Votre situation est normale.
Il y a des descendants du Hail Mary Cloud qui estiment avoir des années devant eux. A bas bruit ils viennent frapper à la porte en évoluant lentement sur des années.
Cela ne nécessite pas de mesure extraordinaire pour s'en défendre.
Typiquement, blindez votre daemon comme des intervenants le signalent déjà ici: sur interface publique, si possible autorisez explicitement les comptes et pas d'accès root à distance, authentification uniquement par clef voire par certificat, bon niveau de logging, autorisez au plus les niveaux de crypto par défaut de la dernière version SSH.
Au pare-feu, inutile de trop en faire car inutile de bannir l'adresse d'un robot qui reviendra demain avec une autre adresse se connectant seulement toutes les x minutes. Par contre il convient d'éliminer les énervés (typiquement humains) qui, eux, n'ont pas le temps et placent trop de connexions en un court laps de temps, donc habituellement limitation du nombre de connexions simultanées d'une même source et limitation du nombre de tentatives d'une même source sur une durée assez courte. Pour un programme aussi audité et sécurisé que SSH, montrer que le service est défendu dissuade rapidement tous les opportunistes qui n'ont pas un intérêt singulier pour vous ou votre serveur. Ils préfèreront aller utiliser leur temps ailleurs.
Quant au bruit de fond, il n'est pas utile de s'en inquiéter sauf s'il pompe dans les ressources de votre serveur ou que vos journaux d'audit montrent une nouvelle tendance (cas concret en exemple: à la suite de la découverte d'une faiblesse du daemon sur versions précédentes, tentatives de dégrader les niveaux de cryptographie à la connexion).