Est-ce que tu as des problèmes de débits juste après ces soubresauts ? Essaie plusieurs tests différents (NPerf, Speedtest...) et si tu vois une vitesse très amoindrie (par exemple 50 mégabits alors que tu es en Ethernet gigabit entre PC et box), ça peut être lié à une saturation de l'arbre GPON local. (Tous les opérateurs mutualisent la fibre grand public, mais de ce que je comprends, chez Free c'est jusqu'à 64 clients qui se partagent 10 Gbps, alors que chez les autres c'est actuellement jusqu'à 128 clients pour 2,5 Gbps.)
Tu devrais essayer PingPlotter pour avoir un aperçu plus détaillé de ce qui se passe niveau ping (même la version gratuite propose une granularité fine sur 10 minutes).
Si tu te sens particulièrement masochiste tu pourrais aller jusqu'à installer Smokeping quelque part chez toi (VM, Raspberry Pi, etc.) pour faire un suivi archi-complet vers plusieurs cibles.
Ah, oui, et question un peu bête, mais on ne sait jamais : le boîtier internet est bien à l'air libre ? Pas mis dans un meuble quelconque sans ventilation, laissée à surchauffer ? (On sait jamais, ça pourrait être de la surchauffe)