La distance implique de la latence :Calcul du ping en fonction du nombre de Km d'une fibre
Et la latence impacte les performances : Débit Max TCP en fonction des pertes de paquets (et du RTT)

Ce n'est pas plus compliqué que cela.

Donc, en gros, si Orange déplaçait son serveur de test parisien sur Pau, tu retrouverais tes performances d'avant, et les parisiens se coltineraient les tiennes.

Mais comme la plupart des services du net servis en France sont hébergés dans des datacenters situés en région parisienne, il va te falloir faire avec.
Ceci étant dit, les performances que tu obtiens sont très correctes.