En plus du port SSH /SFTP non standard, on peut même un peu plus fermer les accès, en verrouillant sur des IP bien ciblées, lorsque les lieux distants sont en IP fixe.
C'est possible sur les directions de port sur une Freebox. Je ne sais pas si c'est possible sur d'autres box, mais c'est sympa.
C'est ce que j'ai fait pour accéder en direct à mon Synology (en dehors de Quickconnect), ayant plusieurs "points de chute" dans la famille, lorsque je me déplace avec mon laptop...
Clair que ce sera jamais totalement étanche, mais avec un SSH bien bétonné, port non standard et un blocage sur l'IP entrante, sans faire dans la parano, c'est déjà pas mal...