Обращаемся на определённые порты(в определённом порядке), включается ssh, ну а дальше как хочется, {passwd,rsa-key}
Так такое реализовано, просьба со ссылками, и другими плюшками. Ну очень интересно.
Эта технология называется Port knocking, детали реализации легко найдете с помощью поисковиков.