Aquí les dejo dos muy buenos artículos que explican como utilizar ssh de forma segura pero sin contraseña.

Administración de OpenSSH sin contraseña (Español)

SSH without password:micro HOWTO – by Arunchandar Vasan (Inglés)

Suele ser algo muy preguntado. ¿ Cómo hago para utilizar ssh sin contraseña y de manera segura ?. La respuesta es ssh agent, que permite trabajar mediante la identificación de claves, pero sin la necesidad de tipear contraseñas o frases.