Déjà tu mets le port de ton switch coté WAN-ONT en "le numéro de vlan que tu veux" en vlan natif, pareil coté WAN routeur.
Comme ceci, ton arrivé WAN ONT va pouvoir communiquer seulement avec ton WAN routeur, bien sur, sur le switch, tout les autre ports doivent être exclut de ce vlan. Et c'est également important que cela soit en natif, (ou untag pour les ciscosien si tu veux).
Ensuite, pour l’accès a l'interface de ton switch, je pense juste que ton routeur route les différents réseaux chez toi entre eux, donc de n'importe quel réseau tu as accès a l'interface de ton switch. Il suffirait au premier abord d'enlever les routes entre vlan qui n'ont pas lieu d’être pour que tu n'y ai plus accès que depuis le réseau que tu veux (je pense que c'est cela qui se passe pour toi, je ne connais pas ton réseau).
Pour le management de ton switch, généralement, tu mets une IP, un masque de sous-réseau et une passerelle a ton switch, suivant ton modele, soit tu dois le mettre dans un vlan, soit il se met dans le vlan par defaut (vlan 1 généralement)