La Fibre
Fournisseurs d'accès à Internet mobile et 5G/4G fixe => 4G 5G Mobile => 
QoS mobile => Discussion démarrée par: vivien le 09 février 2019 à 20:23:36
-
Rapport QoSi sur la qualité des 4 opérateurs mobile en 2018
QoSi, le "spécialiste de la mesure de la QoE/QoS des réseaux telecoms" a publié son rapport annuel pour la France.
Il est réalisé à partir :
- Des données crowdsourcing des applications 4GMARK, QOSBEE, Gigalis, Débitest 60, Tu Captes ?, Ki Capte et BeCover
- Des campagnes terrains réalisées par des voitures QoSi qui sillonnent toute la France et nommé "UpData" en utilisant la solution 4GMARK PRO. La démarche UpData, c’est une initiative scientifique de tests en conditions maîtrisées. Les mesures sont effectuées sur les 4 opérateurs au même instant au même endroit, avec des terminaux de références et sans aucun biais possible (trafic parallèle, fair-use). Ce sont les conditions de campagnes QoS classiques telles qu’imposées par les cahiers des charges ARCEP ou opérateurs. L’initiative UpData vise notamment à compléter le crowdsourcing et cible donc en priorité les zones rurales. Chaque année, les équipes UpData sillonnent la totalité des départements de l’hexagone.
L'analyse des résultats est réalisé par des spécialistes, dans le but de limiter au maximum les biais inhérents au crowdsourcing parmi lesquels :
- Le contrôle des smartphones incluant par exemple des smartphones non compatibles 4G,
- Le contrôle des forfaits incluant des cartes pré-payées limitées en débit, des forfaits en dépassement de fairuse, etc,
- Le contrôle de l’environnement de tests : extérieur, intérieur, voiture, trains...
- L’absence d’équilibre géographique dans l’utilisation par la communauté du service,
- La volonté d’un individu ou d’une entité de favoriser son opérateur ou d’en défavoriser un autre,
- La volonté d’un individu ou d’une entité de biaiser techniquement des tests
Le rapport, de 48 pages est vraiment intéressant car les résultats sont présentés sous différents angles de vue, aussi bien géographique que en fonction de la densité de population.
Voici le rapport complet : (cliquez sur la miniature ci-dessous - le document est au format PDF)
(https://lafibre.info/images/4g/201901_qosi_etude_ connectivite_mobile_france_2018.png) (https://lafibre.info/images/4g/201901_qosi_etude_ connectivite_mobile_france_2018.pdf)
Voici la synthèse des 48 pages :
(https://lafibre.info/images/4g/201901_qosi_etude_ connectivite_mobile_france_2018_5.png)
Orange est clairement le grand vainqueur, toutefois quand on regarde dans le détail, Orange n'est pas toujours N°1, la faute en grande partie au réseau Crozon, le réseau mutualisé tout neuf monté par Bouyguyes Telecom dans certaines région et SFR dans d'autres qui èmet les fréquences des deux opérateurs. Crozon ne couvre que les zones moins denses, une carte mis à jour mois après moi est disponible sur https://lafibre.info/crozon avec de nombreuses options pour filtrer les sites ou rechercher une commune.
-
On va se concentrer sur les débits descendants :
Orange semble être loin devant ses concurrents...
(https://lafibre.info/images/4g/201901_qosi_etude_ connectivite_mobile_france_2018_1.png)
L’étude de QoSi est réalisée sur la base de l’ensemble des mesures géolocalisées en France (si vous réalisez un test sans GPS, les données ne sont utilisées).
Elle présente une segmentation en 3 grandes strates :
- Les 15 plus grandes agglomérations au sens de l’INSEE (agglomération de plus de 400 000 habitants) dites « Grandes agglomérations » ou TOP15. Par exemple « L’agglomération de Paris » correspond à un ensemble
d’un peu plus de 400 communes du bassin de population de l’Ile de France et pas seulement à la commune de Paris. - Les agglomérations entre 10 000 et 400 000 habitants dites « Moyennes agglomérations »
- Les agglomérations de moins de 10 000 habitants et toutes les communes hors agglomération correspondants aux zones rurales, et que l’on dénommera tout naturellement « Zone Rurale ». Il est intéressant de noter que cette strate est loin d’être négligeable puisqu’elle regroupe plus de 20 millions d’habitants sur un peu plus de 32 000 communes (la France en compte environ 36 000)
Et là on voit que Orange n'est plus le premier dans lez zones rurales (agglomérations de moins de 10 000 habitants pour un total de 20 millions d’habitants) :
(https://lafibre.info/images/4g/201901_qosi_etude_ connectivite_mobile_france_2018_2.png)
-
Quand on regarde les pourcentages de communes avec un débit inférieur à 0,5 Mb/s ou inférieur à 10 Mb/s, Orange est derrière Bouygues et SFR.
Ce type de résultats, inespéré il y a 10 ans pour Bouygues Telecom ou SFR est lié aux investissements dans le nouveau réseau mutualisé Crozon.
(L'objectif est d'avoir le pourcentage de communes mal couverte le plus faible)
(https://lafibre.info/images/4g/201901_qosi_etude_%20connectivite_mobile_france_2018_3.png)
-
Les débits montants :
Si Orange est N°1 dans les grandes agglomérations et les moyennes agglomérations, il est 3ème dans les zones rurales.
Free Mobile est toujours bon dernier, quel que soit la façon de regarder les résultats, pour le débit descendant, comme le débit montant, la navigation web, le streaming.
(https://lafibre.info/images/4g/201901_qosi_etude_%20connectivite_mobile_france_2018_4.png)
-
Le rapport propose des résultats régions par régions.
Comme vous imaginez Orange est souvent N°1, mais ce n'est pas systématiquement le cas, voici un contre exemple :
(https://lafibre.info/images/4g/201901_qosi_etude_%20connectivite_mobile_france_2018_8.png)
-
Enfin, on peut noter que QoSi a publié tous les critères de transparence en complétant les tableaux propos par le code de conduite Arcep 2018 :
(https://lafibre.info/images/4g/201901_qosi_etude_%20connectivite_mobile_france_2018_6.png)
(https://lafibre.info/images/4g/201901_qosi_etude_%20connectivite_mobile_france_2018_7.png)
-
Les résultats de l'enquête Arcep 2018 sur du même ordre de grandeur :
Annexe 2 : synthèse des résultats 2018[/color]
(https://lafibre.info/images/4g/201810_arcep_qos_mobile_6.jpg)
(https://lafibre.info/images/4g/201810_arcep_qos_mobile_7.jpg)
Le résumé QoSi :
Voici la synthèse des 48 pages :
(https://lafibre.info/images/4g/201901_qosi_etude_ connectivite_mobile_france_2018_5.png)
-
Le résumé de nPerf, Baromètre des connexions Internet mobiles en France métropolitaine 2018 :
L'ordre est le même (Orange N°1, Bouygues Telecom et SFR très proche mais Bouygues Telecom légèrement devant et Free dernier)
Sur les débits descendants, les résultats QoSi / Arcep sont obtenus par pondération avec la population de la commune et par surpondération de la strate de population dans laquelle le test a eu lieu. De cette manière, la population française est représentée dans son ensemble, y compris dans le cas où les données sur-représenteraient certaines populations.
(https://lafibre.info/images/4g/201901_nperf_barometre_connexions_mobiles_2018_1.png)
Le rapport complet de nPerf pour 2018 (21 pages) : (cliquez sur la miniature ci-dessous - le document est au format PDF)
(https://lafibre.info/images/4g/201901_nperf_barometre_connexions_mobiles_2018.png) (https://lafibre.info/images/4g/201901_nperf_barometre_connexions_mobiles_2018.pdf)
-
nPerf est le premier outil à avoir rempli les tableaux du code de conduite, ce qui permet de voir des différences avec la méthode QoSi aussi bien au niveau de la mesure des débits :
- QoSi / Arcep : monothread - nPerf : multithread
- QoSi / Arcep : durée de 10 secondes - nPerf : durée de 5 secondes
- QoSi / Arcep : 50% port 443 50% port 80 - nPerf : 100% port 80
- QoSi / Arcep : Mire aléatoire - nPerf : Priorité aux mires hébergées dans le réseau de l'opérateur / la plus performante pour les clients
(https://lafibre.info/images/4g/201901_nperf_barometre_connexions_mobiles_2018_2.png)
(https://lafibre.info/images/4g/201901_nperf_barometre_connexions_mobiles_2018_3.png)
(https://lafibre.info/images/4g/201901_nperf_barometre_connexions_mobiles_2018_4.png)
(https://lafibre.info/images/4g/201901_nperf_barometre_connexions_mobiles_2018_5.png)
(https://lafibre.info/images/4g/201901_nperf_barometre_connexions_mobiles_2018_6.png)
-
A noter en terme de temporalité que l’enquête ARCEP concerne ~avril-juin 2018 quand nperf/QoSi sont sur toute l'année 2018.
-
Certains pensent que la coupure de l'itinérance FreeMobile permettrait de bien remonter les débits.
Attention, dans ce cas là le débit ne serait pas calculé uniquement là où Free couvre en 3G/4G : Avec QoSi ou Arcep une absence de couverture = débit de 0 Mb/s qui rentre dans la moyenne : "En cas d’échec, de coupure ou de hors réseau, le débit est comptabilisé à 0"
Couper l'itinérance permettait un gain sur les mesures où le mobile est resté en itinérance alors qu'il y a de la couverture Free, mais cela baiserais le débit encore plus dans les zones non couvertes.
Je ne pense pas que couper l'itinérance permettrait de changer significativement les données de ce graphique :
(https://lafibre.info/images/4g/201901_qosi_etude_%20connectivite_mobile_france_2018_3.png)
-
Merci Vivien.
C'est impressionnant l'écart de Free par rapport aux autres.
Leon.
-
Certains pensent que la coupure de l'itinérance FreeMobile permettrait de bien remonter les débits.
Attention, dans ce cas là le débit ne serait pas calculé uniquement là où Free couvre en 3G/4G : Avec QoSi ou Arcep une absence de couverture = débit de 0 Mb/s qui rentre dans la moyenne : "En cas d’échec, de coupure ou de hors réseau, le débit est comptabilisé à 0"
Couper l'itinérance permettait un gain sur les mesures où le mobile est resté en itinérance alors qu'il y a de la couverture Free, mais cela baiserais le débit encore plus dans les zones non couvertes.
Je ne pense pas que couper l'itinérance permettrait de changer significativement les données de ce graphique :
et pourtant, je remarque bien souvent dans des zones rurales, où la couverture est plutôt bonne (et donne même d'excellents débits), qu'on peut basculer trop facilement sur l’itinérance. C'est souvent des zones limitées, qui, lors de ces tests, sans itinérance, ne donnerais que très peu d’échecs. Or, avec l’itinérance, le simple fait de passer par la vous enferme pour 30 minutes... Dans ces endroits la, les statistiques seraient vraiment différentes. Cela dit, ce n'est qu'une interprétation de certains endroits. La couverture propre est encore trop faible pour pouvoir se passer de l’itinérance partout.
-
A Free Mobile de régler ses parametres opérateurs pour éviter cette bascule "trop facile".
Il leur suffit dėjà d'apporter une couverture 4G sur ces zones.
La 4G étant prioritaire, elle sera reselectionnée en quelques minutes.
-
Merci Vivien pour ce très bon papier que tu nous partages !!!
Bon je reste chez Orange encore pour le mobile, free n'est pas encore au point !
-
A noter que pour l'itinérance, cela ne va pas s'arranger pour Free, puisqu'au 1 Janvier 2019, on est passé à un débit max de 768 kb/s, contre 1 Mb/s avant.
-
Cela change quelque chose en pratique ?
C'est seulement la nuit qu'il était possible d’atteindre ce débit, en journée on est bien en dessous.
Sauf en cas d'incident comme à 18h00 ce vendredi :
Il y a eu un phénomène blizzard avec une absence de saturation, vendredi a 18h00 précise :
(https://lafibre.info/images/3g/201710_free_mobile_3g_iti_orange_2.png)
-
Bravo pour le taf vivien :)
-
pourquoi les test de l'arcep et de nperf montre une grosse difference sur les resultats de free?
-
Je pense (mais ce n'est peut être pas la vérité) que c'est lié à la pondération géographique : Les indicateurs QoSi au niveau national sont obtenus par agrégation des utilisateurs, par pondération avec la population de la commune et pas sur-pondération de la strate de population dans laquelle le test a eu lieu. De cette manière, la population française est représentée dans son ensemble, y compris dans le cas où les données sur-représenteraient certaines populations.
Quand tu es dans une zone en itinérance ou pas du tout couverte, je pense qu'il y a moins de test de débit que dans une zone couverte.
Dans le cas de nPerf, on peut s'attendre à une sur-représentation des tests de débit réalisés sous couverture 4G par rapport à la population vivant dans ces zones.
Outre ce point il y a des problématiques : que se passe t'il si le débit est faible ou nul ? L’application nPerf affiche généralement un message d'erreur (je dois avoir des copie d'écran si vous souhaitez approfondir ce point) alors que QoSi continue.
Enfin il y a des différences de méthodologie, mais pas au point de faire de telles différences.
-
Ta question concernait l'Arcep et non QoSi.
Le principe semble toutefois le même.
Dans le document Couverture et qualité des services mobiles - Kit du régulateur v01 mis en œuvre par l’Arcep pour les campagnes de mesures sur le terrain
(cliquez sur la miniature ci-dessous - le document est au format PDF)
(https://lafibre.info/images/4g/201812_arcep_kit_du_regulateur.png) (https://lafibre.info/images/4g/201812_arcep_kit_du_regulateur.pdf)
On a le paragraphe suivant page 13 :
Les mesures effectuées par l’Arcep visent à être statistiquement justes à l’échelle nationale en étant équitablement réparties sur l’ensemble du territoire; ainsi le nombre de mesures réalisées dans les strates de population est proportionnel à la population de chacune:
-34 % des mesures sont faites dans des agglomérations de plus de 400000 habitants
-31% dans des agglomérations comprises en10000 et 400000 habitants
-35 % dans des communes de moins de 10000 habitants
-
Bonjour,
J'ai constaté un sacré défaut/biais dans l'application iPhone de nPerf (jamais essayé sur d'autres plateformes) qui aurait tendance à artificiellement favoriser les tests bons ou réussis et d'exclure de facto les mauvais résultats, et donc d'obtenir des résultats plus hauts/meilleurs que la réalité.
En effet, j'ai très souvent, en condition de mauvaise réception et sans qu'il n'y ait de changement de technologie (2G/3G/4G) de connexion(*) à ce moment là, une annulation du test car il ne serait pas fiable car changement de technologie, qu'il faut rester connecté au réseau, l'appli toujours au premier plan, etc. et que le tests n'a pas été retenu pour éviter les biais (en fait c'est le contraire).
Ça me le fait presque systématiquement quand il y a des TO, un réseau qui répond pas ou très mal, peu de couverture, un SNR mauvais et qu'évidemment le test est mené de manière parfaitement adéquate (en conformité avec ce que demande le message d'erreur). Du coup ça favorise les bons résultats car les mauvais sont de facto éliminés pour une raison fausse. Je suis obligé de relancer le tests à gogo, qui plante de manière aléatoire à n'importe quel moment, soit durant les tests de débits/ping soit les vidéos soit le web (alors qu'évidemment y a quand même un petit qqch qui passe, et combien même les débits seraient très mauvais voire nuls, y a pas de raison des les exclure, 4GMark ne le fait pas (il a d'autres défauts mais pas celui-là)).
(*) : je précise car c'est l'excuse principale donnée par le message d'erreur...
-
J'ai toujours trouvé moi aussi nPerf optimiste, et trop focalisé sur les débits descendants, plutôt que sur la qualité de service d'ensemble.
-
je n'ai jamais bien compris l'interet de ce genre de recap global.
Ce qui m'interesse c'est que ca marche bien chez moi et là ou je vais, mais a perpete ou là où je ne vais jamais... bof.
Chez moi, orange et free marchent bien, au bureau a 800m, aucun soucis avec aucun operateur, chez un collegue y a quasiment que SFR qui passe, chez une autre c'est seulement free et bouygues (orange carrement hors ligne ! zero reseau, en pleine ville ! faut sortir sur la terrasse pour telephoner... du coup elle est passée chez free). Enfin bref, pour moi ca sert a rien ces comparatifs. A part peut-etre pour controler des obligations de couverture ou autre, mais pour les gens qui veulent un truc qui marchent... bof.
-
Ce qui serait intéressant c'est d'avoir une carte avec les ids des eNodeB et des sondes qui fassent des tests de performances en continu.
-
je n'ai jamais bien compris l'interet de ce genre de recap global.
Chez moi, orange et free marchent bien, au bureau a 800m, aucun soucis avec aucun operateur, chez un collegue y a quasiment que SFR qui passe, chez une autre c'est seulement free et bouygues (orange carrement hors ligne ! zero reseau, en pleine ville ! faut sortir sur la terrasse pour telephoner... du coup elle est passée chez free). Enfin bref, pour moi ca sert a rien ces comparatifs. A part peut-etre pour controler des obligations de couverture ou autre, mais pour les gens qui veulent un truc qui marchent... bof.
Cela veut simplement dire que globalement le réseau Orange est le meilleur et que globalement le réseau free est le moins bon et que si on veut absolument avoir toutes les chances de son côté il vaut nettement mieux prendre Orange qu'un autre.
Ce qui m'interesse c'est que ca marche bien chez moi et là ou je vais, mais a perpete ou là où je ne vais jamais..]Ce qui m'interesse c'est que ca marche bien chez moi et là ou je vais, mais a perpete ou là où je ne vais jamais..
C'est enfoncer une porte battante :D si j'ai pris une 4G Box Bouygues c'est que chez moi ça fonctionne de même que SFR fonctionne très bien avec mon smartphone si c'est de même à Dunkerque c'est très bien pour eux même si je n'y mettrais sans doute jamais les pieds.
-
Nperf c'est completement bidon. Il y'a un biais de selection monstrueux.
La population de geek, qui s'amuse à "qui a la plus grosse" en terme de debits est sur-representee.. ette population qui va faire 5 fois de suite le meme test pour voir si oh grand malheur ils n'auraient pas une petite baisse de debit en passant de 60 à 52Mbit/s le soir entre 18h et 20h. Elle est typique des utilisateurs qui vont enquiquiner par exemple le service client orange fibre parce qu'ils n'ont que 300Mbits alors qu'ils devraient en avoir 900Mbits... Je comprends ces personnes bien sûr. (Moi meme...) , mais c'est pas representatif.
Donc nperf gonfle les debits, et lisse les disparités car ce sont beaucoup d'utilisateurs au fort debit qui l'utilisent.
La réalité du terrain c'est pas nperf... c'est l'arcep.
Et l'arcep met tres bien en evidence un phenomene... en debit maximal de pointe free est bon... mais ayant peu de basses frequences... dans les environnements surchargés ou mouvants la connexion se perd d'où une moyenne catastrophique dans les transports, tgv...et meme dans les grandes villes du fait de l'attenuation par les immeubles.
Si on avait la repartition des debits (nombre users en fonction du debit) je pense que pour orange on aurait une belle courbe gaussienne avec une moyenne correcte.
Alors que free aurait une courbe en U. Avec certains users avec d'excellents debits, et enormement avec des debits cata. Les 30% sous 0.5 Mbits... font reflechir...Car finalement c'est ça le plus terrible. 40 mbit vs 60 à l'usage.... mais se retrouver dans des zones "sans internet" (0.5mbits... c'est ca) cela devient en pratique invivable. C'est surtout ce genre de score qui a de l'importance
-
perso j'ai remarqué que bouygue balance tout leur client en priorité sur la frequence 800 qui a un debit tres bas
-
Je remarque plutôt que le mobile est campé sur la couche 1800 partout où elle est disponible, et qu'en cas de trafic en 4G+ c'est en fonction des conditions du moment.
-
Et l'arcep met tres bien en evidence un phenomene... en debit maximal de pointe free est bon... mais ayant peu de basses frequences... dans les environnements surchargés ou mouvants la connexion se perd d'où une moyenne catastrophique dans les transports, tgv...et meme dans les grandes villes du fait de l'attenuation par les immeubles.
Si on avait la repartition des debits (nombre users en fonction du debit) je pense que pour orange on aurait une belle courbe gaussienne avec une moyenne correcte.
Alors que free aurait une courbe en U. Avec certains users avec d'excellents debits, et enormement avec des debits cata. Les 30% sous 0.5 Mbits... font reflechir...Car finalement c'est ça le plus terrible. 40 mbit vs 60 à l'usage.... mais se retrouver dans des zones "sans internet" (0.5mbits... c'est ca) cela devient en pratique invivable. C'est surtout ce genre de score qui a de l'importance
Excellente et très pertinente remarque !
-
A Free Mobile de régler ses parametres opérateurs pour éviter cette bascule "trop facile".
Il leur suffit dėjà d'apporter une couverture 4G sur ces zones.
La 4G étant prioritaire, elle sera reselectionnée en quelques minutes.
Pas de fréquence en or sauf les 700 récemment, pas d'iti 800 qui était autorisé sur la bande de SFR. Les conclusions étaient quand même prévisibles sur cette période encore de déploiement.
On reviendra surement à des résultats plus dans la moyenne dans quelques années, sans itinéraire et avec la re répartition des fréquences qui fera énormèment de bien à Free. Avoir 2x 5Mhz en 3G quand les autres installent une 5ème porteuse, ca crée un monde d'écart. Ca peut pas être autrement, même avec 2/3 pirouettes type femto intégré aux box.
-
Avoir 2x 5Mhz en 3G quand les autres installent une 5ème porteuse
Installaient, depuis c'est 4G 4G 4G 4G 4G !
-
Le giga, le giga, le giga !
-
Pour ça il faut du mimo, du mimo, du mimo !
(MuMIMO ? ;D )
-
4G : Orange domine toujours les débats pour Qosi
https://www.zdnet.fr/actualites/4g-orange-domine-toujours-les-debats-pour-qosi-39892245.htm
-
Sans surprise. Ce sera certainement conforté par le rapport arcep 2019 qui ne devrait plus tardé.
-
sauf que les autres opérateurs propose plus de giga dans leur forfait donc pas etonnant que la bande passante diminue
-
La plupart des utilisateurs ne modifient pas leur usage en passant de 10 à 50Go dans le forfait.
-
La plupart des utilisateurs ne modifient pas leur usage en passant de 10 à 50Go dans le forfait.
Passé 200 Go, certains résilient leur ligne fixe quand même ;D
-
sauf que les autres opérateurs propose plus de giga dans leur forfait donc pas etonnant que la bande passante diminue
Ce n'est pas parce qu'un FAI propose plus de giga, que dans les faits ils peuvent être consommés.
A titre de comparaison, les abonnés Free Mobile sont bien plus gourmands et dévorent dans le même temps 11,9Go de data par mois
https://www.universfreebox.com/article/52221/Les-abonnes-4G-utilisent-desormais-en-moyenne-8-3-Go-mois-de-data-loin-de-la-consommation-chez-Free-Mobile (https://www.universfreebox.com/article/52221/Les-abonnes-4G-utilisent-desormais-en-moyenne-8-3-Go-mois-de-data-loin-de-la-consommation-chez-Free-Mobile)
11,9 Go c'est peu par rapport à une offre illimitée ou du 100 Go et si la bande passante diminue c'est que le réseau ne tient pas la route.
-
il y a pas mal de personne qui utilise la 4g de free en fixe et je depasse largement les 100 go
-
oui c'est clairement une moyenne
les 3/4 doivent utiliser le truc normalement et consommer 2Go, et certain sont a bloc
-
Pour ma part au mois d août , avec partage de connexion, j ai pété un record:
Plus de 23 méga sur le firfait Europe de Free (je suis parti au Portugal 15 jours avec mes enfants
Plus de 130 gigas en France, mon fils s est rattraper sur les MAJ Forte.
Sinon en moyenne par mois c est au moins plus de 80 gigas par mois,simplement en partage de connexion pour toute ma petite famille