J'avais fait le test sur le téléphone le 1er jour mais pas assez près et c'est le chiffre qui m'était resté en tête, et en effet collé à la box ça va bien mieux.
En réfléchissant je viens de réaliser qu'il y avait un ordinateur commun à tous mes tests, et ensuite en échangeant le câble supposément cat 8, et voilà le miracle... Quel boulet de ne pas y avoir pensé plus tôt

Le câble que je viens de recevoir semble défectueux d'une manière ou d'une autre. Câble changé et tout est enfin ok.
Merci beaucoup à tous pour votre aide ! Finalement la cause était ridicule, comme elle l'est souvent.