Это довольно редкое словосочетание, означающее «он совершенно неприступен», возникло, вероятно, в языке старорусских «потешных людей» — всяких шутов, гудошников и скоморохов.
Они веселили своих высоких покровителей, применяя для их забавы и гусли и бубенцы, наряжаясь в козьи и медвежьи шкуры, в оперенье журавля. В «репертуар» этих «шпыней» входила и езда на козлах и свиньях.
Очевидно, скоморохи встречались иной раз с таким дурным настроением высокопоставленной особы, что на него «даже коза не действовала».
Отсюда и пошла эта поговорка.
