Tout dépend comment est configuré son switch... Personnellement j'ai du mal à voir comment une QoS qui n'est appliquée que sur le traffic sortant pourrait avoir un impact sur le traffic entrant, surtout que la QoS est appliquée sur un VLAN et que donc il ne doit pas aller bien loin dans le réseau d'Orange, et en tout cas pas en dehors, mais bon...
Perso, j'ai un EdgeRouter 4 à la place de la box, dans ma région la CoS est obligatoire (et j'ai réglé le problème en développant un patch pour le firmware), et je n'ai aucun problème de perf.