Il y a des problèmes et des lacunes chez tous les opérateurs.
Par exemple, l'infra Free n'est pas assez redondée (plaques régionales avec un seul lien, ce qui fait tomber des départements entiers avec un coup de pelleteuse). Les Freebox sont au top, mais les Livebox pas forcément (interface minimaliste, reboots intempestifs...). Free fait passer tout le trafic ipv4 par Paris : ça peut jouer sur la latence si on est très loin de la capitale et qu'on est très regardant sur la latence vers des serveurs de jeux (qui sont encore très souvent en ipv4).
Ça fait un bail que Free n'est plus à la ramasse niveau peering/transit (surtout avec leur arrivée chez Nine), c'est juste une réputation qui leur colle à la peau. De même, ici, on a tendance à présumer que Orange sont forcément les meilleurs sur tous les domaines. Là encore, c'est une réputation qui a pu être méritée, et je serais généralement d'accord pour dire qu'avec Orange, on court moins de risques.
J'ai été abonné Orange et Free, j'ai eu des petits problèmes occasionnels chez les deux. Mais des problèmes différents.
Je dirais qu'on peut jouir d'accès internet de très grande qualité en France, et ainsi, on ne peut plus vraiment affirmer qu'un FAI est forcément incontestablement supérieur aux autres. La différence de qualité se joue dans un mouchoir de poche. La différenciation se fait désormais sur d'autres critères qui relèvent généralement d'une appréciation personnelle et subjective : qualité et fonctionnalités des box, services ajoutés, peering vers des destinations très spécifiques (Hetzner pour certains, un jeu vidéo en particulier pour d'autres, des services cloud pour encore d'autres...)