La Fibre
Fournisseurs d'accès à Internet mobile et 5G/4G fixe => 4G 5G Mobile => 
QoS mobile => Discussion démarrée par: Boris de Bouygues Telecom le 05 juillet 2016 à 11:18:34
-
Étude nPerf sur l’autoroute A7 : quel opérateur mobile propose la meilleure connexion entre Lyon et Marseille ?
À l’approche des grandes vacances, nPerf, l’outil spécialisé dans le test des connexions fixes et mobiles, a voulu mettre à l’épreuve les réseaux 2G, 3G et 4G des opérateurs sur l’autoroute A7 entre Lyon et Marseille.
L’équipe nPerf a donc mené une campagne de mesures et récolté plus de 600 tests via quatre smartphones Wiko Tommy équipés chacun de cartes SIM Orange, Bouygues Telecom, SFR et Free.
https://www.youtube.com/watch?v=dSoGyNfp2cQ
Débits descendant : près de 10 Mb/s pour Bouygues Telecom
Côté débit, c’est Bouygues Telecom qui offre les meilleures performances en approchant les 10 Mb/s en moyenne, suivi par Orange qui propose à ses abonnés un débit moyen de 8,65 Mb/s.
Streaming et navigation : Free est à la traîne
Notre application nPerf permet de tester le débit mais également les performances de streaming et de navigation. Sur ces points-là, Free est le mauvais élève. Son itinérance avec Orange lui permet certes de bénéficier de débits corrects, en revanche, la qualité de service fourni laisse à désirer.
Bouygues Telecom se démarque
Entre Lyon et Marseille, sur l’autoroute A7, ce sont Bouygues Telecom et Orange qui proposent les meilleures connexions. Tant au niveau du débit qu’en termes d’expérience utilisateur (navigation et streaming), les deux opérateurs distancent nettement SFR et Free. Mention spéciale à Bouygues Telecom qui se démarque sur le débit descendant.
Retrouvez l’ensemble de notre étude nPerf. (Méthodologie, graphiques et analyse.) sur la page dédiée (http://pages.nperf.com/etude-3g-4g-autoroute-a7-lyon-marseille/).
Source : nPerf
-
C'est complètement bidon. On sait même pas avec quel serveur ils font les tests, visiblement ils passent par l'Internet alors il n'y a pas que la qualité des antennes qui rentrent en compte.
Pour les tests de bande passante on sait pas si c'est du TCP/UDP ou autre, ni même combien de connexions parallèles sont lancées. La même chose pour la latence, on sait pas quelle machine ils pingent...
Pareil pour le terminal, un smartphone dont on ne connait pas le système d'exploitation ni les paramètres réseau.
Puis on ne parle pas de l'application non plus, certainement libre et open source.
-
C'est complètement bidon. On sait même pas avec quel serveur ils font les tests, visiblement ils passent par l'Internet alors il n'y a pas que la qualité des antennes qui rentrent en compte.
Pour les tests de bande passante on sait pas si c'est du TCP/UDP ou autre, ni même combien de connexions parallèles sont lancées. La même chose pour la latence, on sait pas quelle machine ils pingent...
Pareil pour le terminal, un smartphone dont on ne connait pas le système d'exploitation ni les paramètres réseau.
Puis on ne parle pas de l'application non plus, certainement libre et open source.
En quoi c'est bidon si tout ces paramètres sont les memes pour les tests des 4 opérateurs ?
Après j’avoue que le code non open de l'application est le gros probleme des speedtest en général (surtout que nperf a un gros bug en mesure d'upload).
-
En même temps le taux d'échec ("c’est-à-dire le nombre de tests qui ont échoué faute de réseau mobile") est également plus grand chez Bouygues (14,91%) que chez Orange (9,21%).
De plus les tests ayant réussis sont à 62% fait en 4G pour Bouygues contre 28,3% chez Orange, on pourrait donc espérer un écart plus grand...
La conclusion "Bouygues Telecom propose la meilleure expérience connectée à ses utilisateurs" me paraît donc un peu orientée.
Car on pourrait très bien interpréter le résultat comme "Orange a la meilleur couverture et quasiment le meilleur débit moyen, Bouygues va un peu plus vite en moyenne mais couvre moins."
Surtout quand on voit le passage :
Suite à cette étude, Orange nous indique rencontrer un problème d’interférences sur ses antennes situées le long de l’autoroute A7, impactant la qualité de son réseau. L’opérateur a déposé plusieurs plaintes auprès de l’Agence Nationale des Fréquences (ANFR) pour faire cesser ces brouillages.
Les résultats me paraissent globalement similaires à ce qui se passe au niveau national : Orange 1er, Bouygues un peu derrière...
-
En quoi c'est bidon si tout ces paramètres sont les memes pour les tests des 4 opérateurs ?
pas mieux. :)
C'est de toute façon le genre de comparatif auxquels on va avoir de plus en plus droit avec la volonté de l'arcep de permettre aux consommateur de juger sur pièce avec des chiffres terrains.
Donc, sur le terrain, dans la vraie vie, à un instant t le résultat est tel que décrit plus haut.
-
Sur ces points-là, Free est le mauvais élève. Son itinérance avec Orange lui permet certes de bénéficier de débits corrects, en revanche, la qualité de service fourni laisse à désirer.
C'est simplement ce qui se passerait si freemobile ne bridait pas les tests de débits, mais tous les streaming, téléchargements de .avi etc... Donc s'il y avait du bridage par extension de fichier, ce qui avait été montré par ailleurs !
-
En effet, si la connexion est mauvaise, le test peut échouer et ne sera donc pas pas comptabilisé comme test valide
Le fait de ne pas comptabiliser les tests en echec (débit 0) favorise par la méthode de calcul celui qui a un taux d'échecs plus important.
Au final l'écart est assez faible < 1 Mbit/s, ça aurait été intéressant de voir le résultat entre Orange et Bouygues si les échecs (plus nombreux pour bouygues) avaient été comptabilisés dans le calcul.
-
C'est le lieu du test que je trouve contestable, le même test répété dans plusieurs ZND aurait été plus représentatifs pour mesurer les progrès apportés.
Bref, ce test n' apporte rien de nouveau.
-
Le fait de ne pas comptabiliser les tests en echec (débit 0) favorise par la méthode de calcul celui qui a un taux d'échecs plus important.
Au final l'écart est assez faible < 1 Mbit/s, ça aurait été intéressant de voir le résultat entre Orange et Bouygues si les échecs (plus nombreux pour bouygues) avaient été comptabilisés dans le calcul.
Oui, mais quelle valeur apporter à un test en échec ? Si on met zéro, les débits ne veulent plus dire grand chose :)
Il est important d'avoir les deux indicateurs en vue : débit ET taux d’échec.
-
C'est le lieu du test que je trouve contestable, le même test répété dans plusieurs ZND aurait été plus représentatifs pour mesurer les progrès apportés.
Bref, ce test n' apporte rien de nouveau.
C'est un drive test, comme pour le TGV Paris-Lyon. C'est un test ponctuel réalisé dans des conditions réelles. Ça intéressera principalement les personnes qui ont l'habitude de faire ces trajets bien entendu :)
-
Oui, mais quelle valeur apporter à un test en échec ? Si on met zéro, les débits ne veulent plus dire grand chose :)
Il est important d'avoir les deux indicateurs en vue : débit ET taux d’échec.
On est d’accord :) Les deux sont nécessaires pour garantir le sens du résultat.
Mais bien souvent il n'y a que le débit moyen qui est retenu ou mis en avant.
-
On notera que malgré les performances, selon nperf, Free avec ses fréquences 2600 (et un peu d'antennes 1800) aurait quasiment 10 points de couverture de plus qu'Orange sur l'autoroute A7.
On imagine qu'ils ont forcé la SIM de Free sur le réseau propre pour obtenir ce résultat.
-
Je serais curieux de savoir comment ça a été réalisé.
-
On notera que malgré les performances, selon nperf, Free avec ses fréquences 2600 (et un peu d'antennes 1800) aurait quasiment 10 points de couverture de plus qu'Orange sur l'autoroute A7.
On imagine qu'ils ont forcé la SIM de Free sur le réseau propre pour obtenir ce résultat.
Non, aucun forçage de réseau. Les tests sont réalisés dans des conditions les plus proches possibles d'un client lambda. Les tests Free incluent donc les tests réalisés en itinérance Orange.
-
Aucun redémarrage / mode avion sur les mobiles ?
Mais j'ai peut-être un début d'explication avec les tests réalisés sur les aires d'autoroute. Le fait de s'arrêter et d'allonger le temps de trajet est favorable à Free Mobile en permettant plus de reselection vers le réseau propre. Et au final on se retrouve dans des conditions qui s'éloigneraient un peu d'un client lambda.
-
Aucun redémarrage / mode avion sur les mobiles ?
Mais j'ai peut-être un début d'explication avec les tests réalisés sur les aires d'autoroute. Le fait de s'arrêter et d'allonger le temps de trajet est favorable à Free Mobile en permettant plus de reselection vers le réseau propre. Et au final on se retrouve dans des conditions qui s'éloigneraient un peu d'un client lambda.
Oui, le client lambda va s'arrêter qu'une ou deux fois sur le trajet mais ça paraissait très arbitraire de les tirer au sort. Donc on a préféré une évaluation de l'ensemble des aires sur le trajet même si c'est vrai que c'est moins représentatif ! (sauf peut-être pour les femmes enceintes :p)
-
Non, aucun forçage de réseau. Les tests sont réalisés dans des conditions les plus proches possibles d'un client lambda. Les tests Free incluent donc les tests réalisés en itinérance Orange.
Ce qui explique aussi pourquoi les tests de débit en itinérance Orange sont corrects (pas bridés), tandis que les autres usages fortement consommateurs de bande passante (streaming, .avi, .iso etc...) ne sont pas terribles car bridés par extension ou protocole (https...), comme déjà dit.
-
En même temps, on peut pas dire que free sort en grand vainqueur de ce test, les chiffres auraient été juste un poil pire. ::)
Je pense aussi que le protocole peut être amené à évoluer en fonction du retour d'expérience qu'ils ont eut sur ce premier test.
Mais au final, je pense que ca donne un aperçu appréciable pour le consommateur.
Dans l'idéal, il faudrait mesurer la téléphonie, la qualité de la voix, le roaming inter-antenne lors d'une conversation, etc.
C'était un des points noirs à l'époque où j'ai testé FM. Tu change d'antenne, la communication coupe.
-
Ce qui serait bien pour Free, c'est de distinguer les résultats quand il est en itinérance, et quand il est sur réseau propre, ce qui donnerait une idée des différences, même si une note globale est apportée à la fin. Et mettre les données en open data ?
P.S : au niveau statistiques, avoir un écart type, et pas seulement une moyenne, serait une bonne chose. Un gros écart type indique des écarts notables selon les sites.
-
P.S : au niveau statistiques, avoir un écart type, et pas seulement une moyenne, serait une bonne chose. Un gros écart type indique des écarts notables selon les sites.
+1
A bas les moyennes seules, mettez une médiane + les 1er et dernier déciles/quartiles (ou les 5e et 95e centiles), c'est beaucoup plus intéressant d'un point de vue consommateur de se dire qu'il y a 95% de chance d'avoir un débit minimal ou maximal que d'avoir une moyenne qui ne veut pas vraiment dire grand-chose...
-
Tiens c'est marrant l'ARCEP a testé aussi l'autoroute A7 et les résultats ne sont pas du tout mais alors pas du tout la même chose que l'étude nperf.
On peut donc se poser des questions sur la méthodologie adoptée par nperf tant les résultats sont étonnants.
-
En regardant très rapidement, je trouve les chiffres suivants :
Taux d'échec (page web chargée en >10sec)
- Bouygues Télécom : 19%
- Free Mobile : 56%
- Orange : 16%
- SFR : 18%
Taux de 4G (test 4G / nombre total)
- Bouygues Télécom : 45.5%
- Free Mobile : 16%
- Orange : 64%
- SFR : 46%
Le tout sur un total de 3792 tests. Autant pour le taux d'échec la méthodo est peut-être éloignée, autant sur le taux de 4G je suis nettement plus étonné !
-
La différence flagrante du taux de tests effectués en 4G face aux résultats de l'ARCEP pourrait bien s'expliquer par le terminal utilisé pour les tests.
L'ARCEP ne précise pas le modèle utilisé pour ses tests, mais l'ont peut supposer l'usage d'un modèle haut de gamme/flagship récent, qui semble adapté pour les mesures (gamme Galaxy S* de Samsung... Lors des essais presse dans le TGV :
https://www.dailymotion.com/video/x4hbm36_que-valent-sfr-orange-free-et-bouygues-dans-un-tgv_tech (https://www.dailymotion.com/video/x4hbm36_que-valent-sfr-orange-free-et-bouygues-dans-un-tgv_tech)
).
nPerf, de son côté, indique utiliser le Tommy de Wiko, marque """française""" dont le business est d'ajouter son logo sur les appareils nonames dont toute l'ingénierie et la production est effectuée en Chine. On peut alors se poser la question de la pertinence de ce choix, étant donnée la propension des appareils de ce type à avoir des radios bas de gamme et/ou de mauvaise qualité. Peut-être un choix motivé par un intérêt économique ? ::)
-
Peut-être un choix motivé par un intérêt économique ? ::)
Si c'est le cas, je ne vois pas vraiment le problème, à partir du moment que ce téléphone est diffusé de manière assez large dans l'hexagone et qu'il représente l'expérience de milliers d'utilisateurs (plus que le dernier galaxy s qui coûte une fortune). Ah si, si le test est réellement sponsorisé par Wiko, il faudrait le préciser...
PS: Wiko ne rebadge pas du noname mais du tinno (sa maison mère)
-
Le problème que je vois, c'est qu'on se retrouve avec des écarts énormes avec les chiffres de l'ARCEP. Dans ces conditions, à qui se fier ? Lequel des deux peut prétendre mesurer avec exactitude la couverture/performance des opérateurs ?
-
Je viens d'ouvrir les rapports des 2 sociétés ayant travaillé pour l'ARCEP, on trouve :
- iPhone 5S / Samsung Galaxy S6 Edge (4G) chez Directique
- Samsung Galaxy S5 / iPhone 5s / Samsung Galaxy S6 (4G) / iPhone 6s (4G) chez QoSi (4GMark)
-
Le problème que je vois, c'est qu'on se retrouve avec des écarts énormes avec les chiffres de l'ARCEP. Dans ces conditions, à qui se fier ? Lequel des deux peut prétendre mesurer avec exactitude la couverture/performance des opérateurs ?
" L'exactitude " ca n'existe pas dans ce domaine qui est assez aléatoire. Ce sont des états des lieux réalisés à des instant T.
On le voit avec la remarque sur les perturbations autour des antennes Orange signalé dans le document.
Pour avoir des tests précis et à jour, il faudrait des sondes fixes sur tout le territoire qui mesure en permanence la qualité des réseaux.
-
Pour avoir des tests précis et à jour, il faudrait des sondes fixes sur tout le territoire qui mesure en permanence la qualité des réseaux.
Je pense qu'on s'oriente plus vers le crowdsourcing que la pose de sondes fixes.
-
" L'exactitude " ca n'existe pas dans ce domaine qui est assez aléatoire. Ce sont des états des lieux réalisés à des instant T.
Eh bien justement, il faut que les états des lieux réalisés à des instants T reflètent la réalité à cet endroit en cet instant. Si les entreprises mandatées par l'ARCEP et nPerf refont leurs tests ensemble au même moment, il y a fort à parier que l'on constatera des écarts similaires (mais le résultat sera biaisé aussi, parce qu'on aura 3 smartphones au lieu d'un à faire des speedtests sur la même antenne).
+1 pour le crowdsourcing, les solutions comme Sensorly, 4GMark ou même la carte nPerf qui sont alimentées par des milliers/millions de mesures faites par les utilisateurs constituent pour moi des sources d'information plutôt fiables.
-
Les résultats sont pas biaisés puisque le matériel utilisé est identique lors des tests de chaque opérateur.
nperf utilise 4 mobiles identiques pour tester les 4 opérateurs au même instant. Rien n'est biaisé.
C'est l'homogénéité des tests d'un même organisme qui compte.
Qu'il y ait des différences de mesures entre deux protocoles de tests différents, c'est logique.
Mais au final on voit bien que les résultats restent cohérents dans l'ensemble des tests, Orange est premier, Free est dernier. La logique est respecté.
-
Concernant Wiko, ils ont eu la gentillesse de nous prêter les terminaux, Samsung n'ayant pas donné suite à nos demandes (étonnant !). Et on a pas les moyens de l'ARCEP pour mener ce genre de campagnes :) (eux, c'est facile ils utilisent nos sous à tous hein)
Effectivement, les protocoles de tests ne sont pas les mêmes, les tests réalisés sont différents également. C'est très délicat de comparer les chiffres d'une étude à l'autre. Cependant la comparaison des opérateurs au sein d'une même étude reste valable. Il ne faut pas oublier également que les tests sont réalisés à un instant T, le lendemain, ça peut être légèrement différent.
Chez nPerf on a pas vocation à sillonner toute la France pour faire des tests, l'objectif étant plus de faire connaître l'application par des zooms sur des usages typiques qui intéressent les Français. Ensuite c'est le crowdsourcing qui nous intéresse, avec plus d'1M de tests par mois, on a encore beaucoup de choses à faire dans ce domaine ;)
-
Phach : Non, justement, la logique n'est pas respectée. Sur le taux de 4G par exemple, là où l'étude nPerf donne 28,3 % de tests effectués en 4G sur le réseau Orange, l'ARCEP trouve 64 %. 35,7 points de différence, c'est énorme.
Les classements ne sont donc pas les mêmes sur ce critère :
Orange / SFR / Bouygues Télécom / Free pour l'ARCEP
Bouygues Télécom / Free / Orange / SFR pour nPerf
Côté taux d'échec, si le classement final se rejoint bien, c'est de peu : les 3 gros ont des résultats très similaires (entre 1 et 2 points de différence) dans les tests de l'ARCEP. Là encore, 35 points de différence entre les résultats des deux entités sur le réseau Free (cette différence est plus logique, puisque les protocoles de test ne sont pas les mêmes).
Sn@ke : Merci de tes précisions concernant la situation avec Wiko :)
-
C'est très délicat de comparer les chiffres d'une étude à l'autre.
C'est vrai car la méthodologie diffère pas mal, après je trouve l'écart de "taux de 4G" vraiment élevé ! Et pour le coup ce chiffre là ne devrait pas être très dépendant de la méthodologie de chacun à mon sens.
-
Phach : Non, justement, la logique n'est pas respectée. Sur le taux de 4G par exemple, là où l'étude nPerf donne 28,3 % de tests effectués en 4G sur le réseau Orange, l'ARCEP trouve 64 %. 35,7 points de différence, c'est énorme.
Je suis d'accord, c'est énorme et anormal, c'est pour ça qu'ils ont nuancé en expliquant que Orange avait constaté des perturbations sur leurs antennes durant la période du test de nperf :
Suite à cette étude, Orange nous indique rencontrer un problème d’interférences sur ses antennes situées le long de l’autoroute A7, impactant la qualité de son réseau. L’opérateur a déposé plusieurs plaintes auprès de l’Agence Nationale des Fréquences (ANFR) pour faire cesser ces brouillages.
Des chiffres qu'ils soient bons ou mauvais doivent être pris avec précautions quelque soit la source.
Rien de vaut l'expérience utilisateur. On n'a plus d'engagement sur les forfaits, si la qualité ne convient pas, on change. Le marché se régulera de lui même.
J'ai été chez FM, ca ne me convenait pas, j'ai changé de fournisseur.
Désormais, je suis chez Sosh depuis plusieurs mois, j'en suis extrêmement satisfait, j'ai pas de raison de changer.