.sshに鍵の登録しすぎ
~/.ssh/configに次のように書く
Host hogehoge.com
HostName fugafuga.com
User hogo
Port 12345
IdentitiesOnly yes ←重要
IdentityFile ~/.ssh/id_rsa
$ ssh-add -D
のコマンドを実行
$ ssh -p xxxx -o IdentitiesOnly=yes -i ~/.ssh/xxxxx xxx@xxx.xxx.xxx.xxx