Auteur Sujet: Le Test de débit Android d'UFC Que Choisir n'est pas fiable  (Lu 9770 fois)

0 Membres et 1 Invité sur ce sujet

vivien

  • Administrateur
  • *
  • Messages: 32 833
    • Twitter LaFibre.info
Le Test de débit Android d'UFC Que Choisir n'est pas fiable
« le: 18 décembre 2013 à 11:10:40 »
UFC Que Choisir met son application Android à jour
Nouveauté : Un test de débit est proposé, mais il est moins fiable que ses concurrents


J'ai comparé ce matin le débit en 4G 1800 Mhz Bouygues Telocom sur la ville de Gentilly (94) avec les différents outils de test de débit disponibles sur Android.

En résumé :
- UFC Que choisir : 28 Mb/s (débit moyen sur un fichier de 10,1 Mo) et 288ms à 548ms de ping vers OVH Roubaix
- 4G Mark (serveur hébergé chez OVH) : 47 Mb/s (débit moyen sur un fichier de 20 Mo) et 44ms de ping vers OVH Strasbourg
- DegroupTest (serveur hébergé chez OVH) : 52 Mb/s (débit max), 42 Mb/s (débit moyen) et 43ms de ping vers OVH Roubaix
- SpeedTest (serveur hébergé chez OVH) : 50 Mb/s (débit en régime établi) et 88 ms de ping (bug android qui double le résultat) qui est en réalité de 44ms

La nouvelle application d'UFC Que Choisir n'est vraiment pas bonne, que ce soit en débit ou en ping.
L'hébergeur n'est pas en cause car les autres tests qui sont aussi hébergé chez OVH et affichent des résultats corrects.

Test de débit UFC que-choisir (serveur hébergé par OVH) à gauche réalisé avant les autres tests et à droite réalisé après les autres tests :


Le fichier téléchargé par le test d'UFC Que choisir est http://debit.info-reseau.quechoisir.org/dl/dl.qcsp
Il fait 10,1 Mo (10 088 026 octets) ce qui est faible pour de la 4G. C'est l'unique cause du mauvais débit ?
Pour le ping il semble mal réalisé (le ping se calcul à vide, pas pendant un transfert de données au débit max)

Autre remarque, le serveur web utilisé est nginx, ce n'est pas le plus représentatif d'Internet, qui utilise majoritairement apache2.

Statistiques Netcraft pour montrer que le serveur web utilisé par UFC Que choisir n'est pas le plus représentatif de l'Internet :



4G Mark (serveur hébergé chez OVH) et DegroupTest (serveur hébergé chez OVH)


SpeedTest Paris (à gauche) , Massy (au centre) , OVH roubaix (à droite)

Le ping est important vers OVH Roubaix, c'est lié à un bug android 4.x avec les serveurs qui ont de la compression http (mode deflate activé de Apache2) : il y a deux aller-retour au lieu d'un seul, ce qui double le ping.
=> http://code.google.com/p/android/issues/detail?id=43132
=> http://code.google.com/p/android/issues/detail?id=38817

oliviertoto92350

  • Client Bbox fibre "câble"
  • Modérateur
  • *
  • Messages: 1 573
  • Bbox Sensation FTTH
Le Test de débit Android d'UFC Que Choisir n'est pas fiable
« Réponse #1 le: 18 décembre 2013 à 11:32:14 »
Comment alerter les ingénieurs qui ont fait le programme chez UFC QUE CHOISIR afin qu'ils corrigent ce point ?

vivien

  • Administrateur
  • *
  • Messages: 32 833
    • Twitter LaFibre.info
Le Test de débit Android d'UFC Que Choisir n'est pas fiable
« Réponse #2 le: 18 décembre 2013 à 14:31:13 »
Romain Cauvin ‏(@strife92) a également réalisé un test comparatif :

Nico

  • Modérateur
  • *
  • Messages: 34 822
  • FTTH 1000/250 sur Paris 15ème (75)
    • @_GaLaK_
Le Test de débit Android d'UFC Que Choisir n'est pas fiable
« Réponse #3 le: 18 décembre 2013 à 18:31:38 »
Bon j'ai utilisé le WiFi et pas les réseaux mobiles, mais le résultat est d'autant plus édifiant ! Faut dire, avec un fichier de 10Mo faut pas espérer une mesure fiable non plus.


oliviertoto92350

  • Client Bbox fibre "câble"
  • Modérateur
  • *
  • Messages: 1 573
  • Bbox Sensation FTTH
Le Test de débit Android d'UFC Que Choisir n'est pas fiable - Wifi 5 Ghz
« Réponse #4 le: 18 décembre 2013 à 19:19:51 »
[HS]
@ Nico
Comment as tu configuré ton point d’accès 5 Ghz ?
Avec un Samsung S4 et un PA TpLink ArcherC7 5 Ghz, impossible de dépasser 65 Mbps chez moi.

Nico

  • Modérateur
  • *
  • Messages: 34 822
  • FTTH 1000/250 sur Paris 15ème (75)
    • @_GaLaK_
Le Test de débit Android d'UFC Que Choisir n'est pas fiable
« Réponse #5 le: 18 décembre 2013 à 19:25:32 »
J'ai rien configuré, c'est juste une Livebox Play.

vivien

  • Administrateur
  • *
  • Messages: 32 833
    • Twitter LaFibre.info
Le Test de débit Android d'UFC Que Choisir n'est pas fiable
« Réponse #6 le: 19 décembre 2013 à 09:29:52 »
Bonne idée nico.

J'ai réalisé des tests en WiFi, a coté de ma Bbox Fibre 100 Mb/s et sans aucun appareil connecté hors mon téléphone afin d'être sur du débit de 100 Mb/s

J'ai systématiquement réalisé les tests 3 fois :

Serveur SpeedTest de Massy pour vérifier qu'on arrive bien au 80 à 90 Mb/s, le débit pour un WiFI 300 Mb/s :


DegroupTest est un peu moins bon :


Viens ensuite 4G MARK avec le fichier de 100 Mo :


Sensorly arrive en 4ème position :


Et le test d'UFC Que choisir arrive vraiment très loin derrière :


Vous allez me dire que c'est un test sur un fichier de seulement 10 Mo.
C'est effectivement une des cause du mauvais débit (pas du mauvais ping) mais pas la seul :

3G mark à un débit bien meilleur avec un fichier de seulement 5 Mo :



Ca serait bien que UFC QueChoisir laisse dans les options une possibilité de changer de serveurs.
Je pense qu'il n'est pas bien optimisé.

kgersen

  • Client Bouygues FTTH
  • Modérateur
  • *
  • Messages: 6 275
  • FTTH 1Gb/s sur Paris (75)
Le Test de débit Android d'UFC Que Choisir n'est pas fiable
« Réponse #7 le: 19 décembre 2013 à 17:30:04 »
Je ne mettrais pas nginx en cause la, du moins pas le produit en lui même mais peut etre son installation ou sa configuration dans ce cas la.
En general nginx est meilleur qu'Apache dans beaucoup de cas, il a été concu pour ca de toute facon...

Pour en revenir au test, il y a clairement une limite soit dans le peering soit dans l'hebergement soit dans le serveur lui meme car on tourne a 30Mbps en moyenne avec une ligne fixe.

J'ai installé les tests dans un émulateur Android (genymotion) sur un PC relié en filaire a ma ligne (100/5). J'obtient quasi le max avec tout les tests (100/5) sauf celui d'UFC qui plafonne a 30Mbps en moyenne (j'ai eu une seul fois un 78Mbps et souvent 20 et moins).

J'ai capturé le trafic pour voir. Ca download un fichier depuis "static1.quechoisir.net". Un traceroute vers ce site montre beaucoup de perte de paquets sur les noeuds juste avant le serveur. Ca pourrait expliqué les mauvais résultats, un probleme d’équipement réseau ou de saturation/peering a cet endroit.

Nico

  • Modérateur
  • *
  • Messages: 34 822
  • FTTH 1000/250 sur Paris 15ème (75)
    • @_GaLaK_
Le Test de débit Android d'UFC Que Choisir n'est pas fiable
« Réponse #8 le: 19 décembre 2013 à 22:10:25 »
J'ai capturé le trafic pour voir. Ca download un fichier depuis "static1.quechoisir.net". Un traceroute vers ce site montre beaucoup de perte de paquets sur les noeuds juste avant le serveur.
Et aussi sur le dernier saut ? Parce que je viens de regarder et aucune perte vers static1.quechoisir.net.

kgersen

  • Client Bouygues FTTH
  • Modérateur
  • *
  • Messages: 6 275
  • FTTH 1Gb/s sur Paris (75)
Le Test de débit Android d'UFC Que Choisir n'est pas fiable
« Réponse #9 le: 19 décembre 2013 à 23:41:56 »
pas vu de perte pour le dernier, juste les 2 avant (les vss machin truc d'ovh, les 2 noeuds avant le serveur qui se repartissent la charge on dirait).
  8.|-- gsw-g1-a9.fr.eu                            0.0%   100    9.3   9.6   7.4  28.8   2.6
  9.|-- rbx-g2-a9.fr.eu                            0.0%   100   12.5  13.1  11.1  44.5   4.0
 10.|-- vss-8a-6k.fr.eu                           11.0%   100   11.4  36.9  11.0 267.8  54.9
    |  `|-- 91.121.128.37
 11.|-- static1.quechoisir.net                     0.0%   100   13.0  15.3  10.7  65.7   9.3

Ca veut peut-être rien dire et le probleme est sur le serveur ou son soft.

maintenant faut voir aussi qu'elle formule d’hébergement chez OVH ils ont choisi de payer ;)

Nico

  • Modérateur
  • *
  • Messages: 34 822
  • FTTH 1000/250 sur Paris 15ème (75)
    • @_GaLaK_
Le Test de débit Android d'UFC Que Choisir n'est pas fiable
« Réponse #10 le: 20 décembre 2013 à 06:53:22 »
Si tu n'as pas de pertes sur le dernier saut, les pertes d'avant ce sont juste des routeurs qui ne répondent pas.

vivien

  • Administrateur
  • *
  • Messages: 32 833
    • Twitter LaFibre.info
Le Test de débit Android d'UFC Que Choisir n'est pas fiable
« Réponse #11 le: 20 décembre 2013 à 08:16:22 »
Je pense que les causes de ce mauvais débit sont multiples :

1 - Un mauvais développement coté appli mobile
2 - Un fichier trop petit
3 - Un serveur qui est bien connecté en 1 Gb/s chez OVH mais qui a un débit complétement instable pour une raison que j'ignore

Je vais illustrer l'instabilité coté serveur avec des tests réalisés depuis une connexion 1Gb/s :

Téléchargement d'un fichier de 10 Mo sur le serveur de test de débit d'OVH. C'est un vieux Debian connecté en 10 Gb/s :
$ wget -O /dev/null http://ipv4.proof.ovh.net/files/10Mio.dat
100%[======================================>] 10 485 760  32,0MB/s   ds 0,3s
2013-12-20 07:59:21 (32,0 MB/s) - «/dev/null» enregistré [10485760/10485760]

$ wget -O /dev/null http://ipv4.proof.ovh.net/files/10Mio.dat
100%[======================================>] 10 485 760  33,1MB/s   ds 0,3s
2013-12-20 07:59:22 (33,1 MB/s) - «/dev/null» enregistré [10485760/10485760]

$ wget -O /dev/null http://ipv4.proof.ovh.net/files/10Mio.dat
100%[======================================>] 10 485 760  36,3MB/s   ds 0,3s
2013-12-20 07:59:23 (36,3 MB/s) - «/dev/null» enregistré [10485760/10485760]

$ wget -O /dev/null http://ipv4.proof.ovh.net/files/10Mio.dat
100%[======================================>] 10 485 760  33,5MB/s   ds 0,3s
2013-12-20 07:59:25 (33,5 MB/s) - «/dev/null» enregistré [10485760/10485760]


Le téléchargement se fait toujours en 0,3 seconde avec un débit moyen de 300 Mb/s (le fichier est trop petit pour avoir un débit moyen supérieur)


Même taille de fichier, même datacenter OVH, mais serveur de l'UFC Que Choisir :
$ wget -O /dev/null http://debit.info-reseau.quechoisir.org/dl/dl.qcsp
100%[======================================>] 10 088 026  31,6MB/s   ds 0,3s
2013-12-20 08:02:28 (31,6 MB/s) - «/dev/null» enregistré [10088026/10088026]

$ wget -O /dev/null http://debit.info-reseau.quechoisir.org/dl/dl.qcsp
100%[======================================>] 10 088 026  5,24MB/s   ds 1,8s
2013-12-20 08:02:32 (5,24 MB/s) - «/dev/null» enregistré [10088026/10088026]

$ wget -O /dev/null http://debit.info-reseau.quechoisir.org/dl/dl.qcsp
100%[======================================>] 10 088 026  5,16MB/s   ds 1,9s
2013-12-20 08:02:36 (5,16 MB/s) - «/dev/null» enregistré [10088026/10088026]

$ wget -O /dev/null http://debit.info-reseau.quechoisir.org/dl/dl.qcsp
100%[======================================>] 10 088 026  29,5MB/s   ds 0,3s
2013-12-20 08:02:38 (29,5 MB/s) - «/dev/null» enregistré [10088026/10088026]

$ wget -O /dev/null http://debit.info-reseau.quechoisir.org/dl/dl.qcsp
100%[======================================>] 10 088 026  28,1MB/s   ds 0,3s
2013-12-20 08:02:40 (28,1 MB/s) - «/dev/null» enregistré [10088026/10088026]

$ wget -O /dev/null http://debit.info-reseau.quechoisir.org/dl/dl.qcsp
100%[======================================>] 10 088 026  5,25MB/s   ds 1,8s
2013-12-20 08:02:44 (5,25 MB/s) - «/dev/null» enregistré [10088026/10088026]

$ wget -O /dev/null http://debit.info-reseau.quechoisir.org/dl/dl.qcsp
100%[======================================>] 10 088 026  5,24MB/s   ds 1,8s
2013-12-20 08:02:51 (5,24 MB/s) - «/dev/null» enregistré [10088026/10088026]

$ wget -O /dev/null http://debit.info-reseau.quechoisir.org/dl/dl.qcsp
100%[======================================>] 10 088 026  32,6MB/s   ds 0,3s
2013-12-20 08:02:58 (32,6 MB/s) - «/dev/null» enregistré [10088026/10088026]


Une fois sur deux le téléchargement se fait en 0,3 seconde ce qui est le temps normal pour un fichier de cette taille sur une connexion 1Gb/s et un ping de 4/5ms (si le ping est supérieur, le temps de téléchargement augmente, normal).

Le problème c'est que une fois sur deux le temps de téléchargement passe à 1,8 ou 1,9 seconde !
Ce n'est pas acceptable.

 

Mobile View