Bon, après quasiment 4 semaines, le fin mot de l'histoire...
J'ai donc eu la visite de 3 techniciens (dont deux on fait exactement la même chose à mon avis mais bon ...) + 3 appels avec des cellules techniques qui avait l'air de compétence différentes. En gros, plus le problème dure plus les gens en face sont compétents (le premier technicien ne connaissait même pas la différence entre un Ethernet croisé et droit ...  ) .
Bref, suite à tout cela ils en arrivent à la conclusion que le soucis vient de la box.
Une fois le diag posé, je reçois dans les 24h, un code pour changer ma box en boutique, ce que je fais.
J'installe la box, 12h d'activation et là, miracle, ça fonctionne. 970 mb/s de débit.
En cadeau de la part de Bouygues, une recharge de 60go sur mon portable et les semaines qu'on durée le problème offertes (sachant que j'avais internet, j'avais juste un débit très bas pour de la fibre).
Je précise que la prise de RDV à toujours été très rapide, les RDV tenus et rapide. Posé le diag fut long mais le process assez indolore, je suis très satisfait de Bouygues là dessus.

Donc problème réglé pour moi ! Si l’expérience peut servir à quelqu'un d'autre...

Merci à ceux qui ont pris le temps de me lire et aux deux qui ont pu me répondre

Ca reste quand même très étonnant qu'ils aient attendus aussi longtemps avant d'autoriser le changement de la box. En temps normal, on fait un échange de box, puis seulement après on fait déplacer des techniciens (ça coûte largement moins cher d'effectuer un changement de box, que de payer un sous traitant pour venir sur place).