OK, donc c'est probablement un problème IPv4 chez le FAI, et réactiver l'IPv6 n'est qu'une solution de contournement du problème réel initial.
Oui, probablement un problème de routage IPv4 ou de CG-NAT.
De manière générale, la qualité du réseau IPv4 est sur une pente descendante, en partie à cause de ces multiples niveaux de NAT (CG-NAT saturés et dimensionnés juste au poil car très chers, trafic qui fait un détour pour passer par ces équipements, encapsulation dans IPv6, NAT sur la box qui ne supporte que 1024 ou 2048 sessions TCP/UDP simultanées et aucun autre protocole que ces deux là, ALG SIP qui casse tout, blocage des IP de sortie CG-NAT par CloudFlare ou autre WAF, etc.).
En mobile chez Bouygues, par exemple, j'ai plusieurs fois eu le cas où les destinations IPv4 n'étaient pas joignables, mais jamais aucun souci en v6. J'ai attribué cela au NAT64 sans vraiment pouvoir le vérifier... passer en mode avion pendant 10 secondes et en sortir résout le problème.
Bref, à mon sens, utiliser IPv6 dès que c'est possible relève du bon sens plus que du contournement, mais je vois ce que tu veux dire.