Si tu télécharge en saturant ta connexion, le routeur buffurise les paquets qui arrivent et qui ne peuvent passer dans le tuyeau. (quand le buffer est plein, les paquets sont supprimés, c'est l'étape suivante)
Il n'est donc pas délirant d'avoir des latences très importantes.
SpeedTest fait une moyenne sur quelque ping, il est possible qu'il y ait eu un souci et que cela fasse exploser la moyenne.