Si la latence change en fonction du FAI, c'est un problème de peering non ? Je suis chez Sosh à Paris centre, mes amis chez Free ont souvent moins de latence que moi dans les jeux.
Chemins réseau différents vers la destination (si c'est des jeux video, le serveur qui héberge la partie, je suppose).
Une politique de peering ouverte et une présence sur de nombreux IXP permet souvent de maintenir des latences faibles, en effet, car on minimise la longueur et la charge des chemins réseaux. Maintenant, si ton interco sur l'IXP est saturée, tu auras des problèmes, ce n'est pas magique non plus.