Pas de QoS sur du gigabit c'est bon. La probabilité que tu satures la connexion est infime et inférieure à la probabilité que ton switch dérange.
Si tu veux par contre, tu peux en prendre un avec de l'IGMP snooping pour éviter qu'il envoie les flux TV (si tu as le décodeur TV) sur tout le réseau.
Pour le ping, tu fais un traceroute complet (vers google.fr, ping.online.net, proof.ovh.net ) et tu verras ce qui prend du temps.
Du moment que tu es à 1ms sur la box, le soucis ne vient pas de chez toi.