En effet on peut exclure le disque dur finalement

surtout si c'est pareil sur le NVMe de la Series X.
Après les autres trucs à tester, si tu passes par un switch ou autre, d'essayer en connectant directement la console à la box, ou même tester en wifi pour voir, en théorie ça peut monter autour des 600.
Est-ce que d'autres appareils font autre chose en même temps ? Pas forcément quelque chose qui consomme beaucoup de débit, mais qui serait jugé comme prioritaire et donc limiterait le débit de la console, comme un soucis de QoS.
Si en effet la "limite" est présente quelle que soit l'heure de la journée, ça n'est peut-être pas un problème de peering, à voir peut-être en essayant différents serveurs DNS en espérant que les paquets prennent un chemin différent.
Après ça reste des idées comme ça, je ne sais pas ce que tu as essayé

Autre test à faire sur un PC : télécharger un jeu sur le Windows Store, ça devrait passer par les mêmes serveurs.
Par contre sur PC (et peut-être sur Xbox du coup), Microsoft a eu la "bonne" idée de mettre une gestion automatique de la bande passante pour Windows Update et le Store, régulièrement il essaie de connaître la vitesse maximum de ta connexion et s'en rapproche sans forcément l'atteindre pendant un téléchargement. Et si son test s'est fait dans de mauvaises conditions, on se retrouve limité arbitrairement par Windows lui-même... (seulement pour Win Update et le Store).
Il y a des tweaks possibles pour éviter cette limite mais ça ne marche pas à tous les coups, ou alors temporairement, même en la désactivant.
Je te ferais un retour sans faute dès que j'aurai fait le test, pour l'instant ma Series X est limitée par la 4G, 40-80 Mb/s suivant les heures ^^