Anda ingin folder kunci dan kunci itu sendiri hanya dapat dibaca oleh pengguna. Saya selalu melakukan chmod 700 ~/.ssh; chmod 600 ~/.ssh/* sendiri, di mana Anda jelas ingin mengubah direktori tersebut agar sesuai dengan kasus penggunaan Anda sendiri.
Atau, Anda dapat chown -R $USERNAME ~/.ssh; chmod -R go-rwx ~/.ssh
chown dapat diperlukan saat file kunci diunduh atau diinstal sebagai root misalnya.
Jangan pernah melakukan chmod 777 pada kunci pribadi Anda! Itu membuatnya (mungkin) dapat dibaca oleh publik, dan Anda tidak menginginkannya. Selain itu, SSH dalam beberapa kasus bahkan akan menolak untuk menggunakan file dengan izin yang terlalu permisif, sehingga Anda dapat menyalahkan diri sendiri dengan hal ini.
Jika izin file bukan masalahnya, mungkin ada beberapa penyebab lainnya. Anda mungkin memiliki izin yang salah pada salah satu direktori ~/.ssh atau ~/.ssh/keyfolder (secara teknis juga di ~ tapi ini bukan satu-satunya gejala). Gunakan ls -adl untuk memeriksa direktori tersebut. Mereka harus memiliki rwx untuk Anda, tetapi --- untuk grup dan dunia.
Masalah lain mungkin (tetapi ini cukup jarang) adalah ssh-add biner memiliki setuid bit disetel, menyebabkannya dijalankan sebagai pengguna yang berbeda, dan karenanya tidak memiliki hak untuk membaca kunci pribadi Anda. Gunakan ls -lh $(which ssh-add) untuk memeriksa ini.