Auteur Sujet: Rapport Arcep QoS Mobile 2021 : Orange 1er, Bytel 2ème, SFR 3ème Free 4ème  (Lu 52782 fois)

0 Membres et 1 Invité sur ce sujet

xp25

  • Abonné RED by SFR fibre FttH
  • *
  • Messages: 5 951
Rapport Arcep QOS Mobile 2021 : Orange 1er, Bytel 2ème, SFR 3ème Free 4ème
« Réponse #24 le: 20 novembre 2021 à 15:13:06 »
C'est très intéressant cet observatoire mais encore une fois, la méthode employée est décriée quand elle ne convient pas.

Je viens de lire un commentaire intéressant de VacheGTI sur un article de ce jour traitant d'un record 5G sur le réseau Free Mobile :

vachegti le 20/11/21 à 13h25 sur https://www.universfreebox.com/article/508044/free-mobile-nouveau-record-pour-la-5g-de-loperateur
Citer
RNC Mobile est une application communautaire, développée par des Freenautes et pour les freenautes.

Elle vient en complément d'un projet un peu fou (initié en 2016) de référencer les sites radio de l'opérateur Freemobile grâce aux informations radio fournies par l'api d'android (rnc/eNb/psc/pci/rscp/rsrp/snr ...) et les données libres publiées par l'ANFR.

à la base nous avons commencé le référencement avec l'application Netmonster (qui utilise toujours notre bdd d'ailleurs) mais on s'est vite rendu compte qu'on avait besoin d'une app propriétaire capable d'aider à l'identification des sites radio. L'app RNC mobile est donc née.

Ensuite il y a eu tout ces études englobant l'itinérance Orange, utilisant du mono-thread pour certaines. Je suis à l'origine de l'ajout du moteur de test de débit de l'app car j'en avais marre de voir de voir tout ce bullshit déversé à chaque études.

Elle utilise par défaut 5 threads de fichiers téléchargés sur plusieurs serveurs différents (hébergés chez OVH,Scaleway, aws, Google, Vult, Azure, Free, SFR, Orange, BT ...) choisi aléatoirement dans une liste. Je trouve que ça ressemble plus à un fonctionne normal d'un smartphone que du mono-thread sur une seule et même IP.

Tout ça pour dire, osef des autres opérateurs ou de leur débit, ce qui nous intéresse c'est Freemobile.

Nous ne publions pas des observatoires des débits pour comparer avec tel ou tel opérateur, c'est pas du tout le but, on montre ce que les Freenautes nous montrent à travers leurs tests dans les différentes villes Françaises. Et inutile de te redire que c'est pas du tout ce que nous montre l'ARCEP !

Bref, l'app restera donc pour les Freenautes.

Pour moi il serait intéressant de faire 2 mesures (1 en Mono, 1 en Multi) sur chaque réseau sur des relais aléatoires (du genre 10 en centre grandes villes et 10 en campagne profonde mais vraiment profonde) et ce avec chaque application et avec 1 seul et même téléphone moyen gamme 4/5G (on permute les SIM à chaque tests sur ce seul téléphone).

Car j'ai l'impression que d'un coté on a un test effectué avec des contraintes appliquées à chaque opérateur et de l'autre on a un concours pour démontrer/prouver quelque chose en y mettant tout les moyens a sa disposition et en testant qu'un seul des réseaux.

C'est un peu ce que dit "elron" dans les commentaires sur le même article.

La vraie question -> est-ce que si RNC mobile se met à faire des tests tout opérateurs cela va aller dans le sens de l'Arcep ou non ?

Dans le doute, pour RNC mobile il vaut mieux continuer à ne tester que Free Mobile.

Dommage  :'(

vivien

  • Administrateur
  • *
  • Messages: 47 217
    • Twitter LaFibre.info
Rapport Arcep QOS Mobile 2021 : Orange 1er, Bytel 2ème, SFR 3ème Free 4ème
« Réponse #25 le: 20 novembre 2021 à 15:35:36 »
La vraie question -> est-ce que si RNC mobile se met à faire des tests tout opérateurs cela va aller dans le sens de l'Arcep ou non ?
Tout ce qui peut augmenter la représentativité des tests est bienvenue.

Tout ce qui n'est pas représentatif d'un usage réel, ce n'est pas intéressant. Les opérateurs optimisent leur réseau pour les tests Arcep, cela vraiment problématique d'avoir une méthodologie de test qui n'est pas représentative de la majorité des usages.

Je précise également qu'il faut les traces radio / réseau, qui sont envoyées aux opérateurs pour analyse.

Les usages évoluent avec le temps, le méthodologie Arcep également. Au début c'était un fichier de 5 Mio en http. Avec le temps la taille est passée à 250 Mio (le téléchargement s’arrête après 10 secondes où a la fin du fichier). On est passé à 50% des tests en http (clair port 80) et 50% en https (chiffré port 443) et depuis deux ans, c'est 100% du https. L'année 2021 a introduit 50% des tests sur un serveur IPv4+IPv6 et 50% des test sur un serveur IPv4 only.

Dans le communiqué de presse, l'Arcep a pris le soins de faire une mise au point sur le sujet, maintenant l'Arcep est ouverte à le discussion pour le protocole 2022 pour améliorer la représentativité :


Focus sur le protocole de tests de débits : une seule ou plusieurs connexions en parallèle ?

L’Arcep a fait le choix, depuis plusieurs années, de réaliser des tests de débits en « mono-connexions », c’est-à-dire consistant à ouvrir et à utiliser un seul flux de connexion entre le mobile et le serveur où est hébergé le fichier à télécharger. Il s’agit aujourd’hui de l’usage majoritaire sur internet. Même lorsque plusieurs applications sont ouvertes sur un mobile, en pratique, la plupart du temps, un seul des flux est utilisé à un instant donné. Ce protocole semble donc à ce stade plus proche de l’usage client et permet de révéler les efforts d’optimisation des réseaux des opérateurs en ce sens.

Il est également possible de réaliser des tests en « multi-connexions », qui mettent plus en avant la « capacité maximale » du réseau en termes de débits. C’est ce qui est fait sur de nombreuses applications de crowdsourcing, et cela peut expliquer les différences entre les débits mesurés par l’Arcep et ceux issus de telles applications.

Rom 1

  • Professionnel des télécoms
  • *
  • Messages: 475
Rapport Arcep QOS Mobile 2021 : Orange 1er, Bytel 2ème, SFR 3ème Free 4ème
« Réponse #26 le: 20 novembre 2021 à 15:43:36 »
Amusant ce commentaire. Comme d'habitude dès qu'un résultat ne nous convient pas, on accuse le thermomètre. Après toute méthodologie est critiquable mais celle de l'Arcep n'en reste pas moins pertinente puisque appliquée à tous.
Exclure l'itinérance Orange par exemple serait d'une totale mauvaise foi alors que les abonnés Free mobile peuvent se retrouver dans cette situation. Cela reflète tout simplement l'expérience client d'un abonné de l'opérateur. Si ça ne convient pas, charge à Free mobile de faire évoluer ses paramètres réseau ou plus logiquement d'arrêter cette itinérance.

Enfin, cette phrase est assez magique « Tout ça pour dire, osef des autres opérateurs ou de leur débit, ce qui nous intéresse c'est Freemobile. ». Juste risible quand on connaît le concours de bistouquette permanent sur les réseaux sociaux et les sites web spécialisés, à toujours comparer qui offre les meilleurs débits. On ne peut pas dire « mon débit est moins bon que les autres mais je m'en fiche car je ne compare pas et il convient à mon usage » et ensuite dire « Youhou regardez mon record, c'est pas chez (mettre l'opérateur concurrent préféré) qu'on peut obtenir ce résultat ». Dans une économie de marché avec plusieurs acteurs en concurrence, faire des comparaisons est... normal.

xp25

  • Abonné RED by SFR fibre FttH
  • *
  • Messages: 5 951
Rapport Arcep QOS Mobile 2021 : Orange 1er, Bytel 2ème, SFR 3ème Free 4ème
« Réponse #27 le: 20 novembre 2021 à 16:00:41 »
Moi ce qui me dérange un peu dans la méthodologie de RNC c'est que le test est fait sur l'antenne Free mais pas sur celle des autres (au même moment) qui peuvent être dans le même secteur.

Si je fais au même endroit et au même moment un test Free et que j'ai 1.5Gbits mais que je fais un test SFR (imaginons) et que là il y a 1.7Gbits, qui est le meilleur ?

Sur RNC, chaque test est attribué à un relais (vu que de base l'App sert à les répertoriés), en revanche les autres application (Nperf par ex) ne te donnent pas le relais sur lequel tu fais le speedtest il est juste indiqué la localisation générale.
Comment faire alors si le test RNC est fais quasi sous l'antenne et que le relais SFR est 1Km plus loin ?

Il y a de grosses disparités de méthodologie et c'est flagrant.

On pourrai voir ça comme ça: un comice agricole où on test les bouchers/charcutiers/traiteurs d'une même région et à coté, un boucher seul dans son coin qui fait un concours entre ses différents produits dans sa boutique et qui indique sur le net (j'ai les meilleurs produits).

Nan personne ne voit le problème là ?

J'imagine une application RNC mobile chez chaque opérateur qui publie ses meilleurs speedtest, l'Arcep n'a plus qu'a remballer ;D

alain_p

  • Abonné Free fibre
  • *
  • Messages: 16 272
  • Delta S 10G-EPON sur Les Ulis (91)
Rapport Arcep QOS Mobile 2021 : Orange 1er, Bytel 2ème, SFR 3ème Free 4ème
« Réponse #28 le: 20 novembre 2021 à 16:09:29 »
L'ARCEP n'a rein à remballer car dans cette hypothèse, elle serait là pour garantir la méthodologie et l'équité des meures. Quelque soit le thermomètre, il doit être le même, dans les mêmes conditions, pour tous.
Et il doit être représentatif de tous les utilisateurs. Car RNC mobile n'existe pas pour les iphone, ce qui enlève toute une partie du parc, souvent la plus performante d'ailleurs.

chantoine

  • Abonné Bbox fibre
  • *
  • Messages: 1 954
  • 91
Rapport Arcep QOS Mobile 2021 : Orange 1er, Bytel 2ème, SFR 3ème Free 4ème
« Réponse #29 le: 20 novembre 2021 à 16:22:09 »
Enfin, cette phrase est assez magique « Tout ça pour dire, osef des autres opérateurs ou de leur débit, ce qui nous intéresse c'est Freemobile. ». Juste risible quand on connaît le concours de bistouquette permanent sur les réseaux sociaux et les sites web spécialisés, à toujours comparer qui offre les meilleurs débits. On ne peut pas dire « mon débit est moins bon que les autres mais je m'en fiche car je ne compare pas et il convient à mon usage » et ensuite dire « Youhou regardez mon record, c'est pas chez (mettre l'opérateur concurrent préféré) qu'on peut obtenir ce résultat ». Dans une économie de marché avec plusieurs acteurs en concurrence, faire des comparaisons est... normal.

Tout à fait d'accord.

En tout cas, une seule conclusion suite à cette étude : la 5G de Free, c'est vraiment de la fausse monnaie  ::)

Pour rappel, l'itw de Niel vers fin décembre 2013 (https://www.lejdd.fr/Economie/Xavier-Niel-J-ai-beaucoup-de-peine-pour-mes-concurrents-644110) :
Citer
QUESTION : "Votre 4G est-elle du "vent" comme le dit le PDG d'Orange?
RÉPONSE : Stéphane Richard est encore jeune dans le métier. La 4G, c'est du haut débit sur le mobile. Pour avoir cette vitesse de téléchargement au-dessus de 80 mégabits, Free a 700 antennes, contre 530 pour Bouygues Telecom. Pour SFR, c'est 724. Seul Orange en a encore plus. Les autres antennes ne font pas de haut débit, elles ne servent qu'à afficher 4G sur votre téléphone."

Cruel.

alain_p

  • Abonné Free fibre
  • *
  • Messages: 16 272
  • Delta S 10G-EPON sur Les Ulis (91)
Rapport Arcep QOS Mobile 2021 : Orange 1er, Bytel 2ème, SFR 3ème Free 4ème
« Réponse #30 le: 20 novembre 2021 à 16:37:19 »
Il y a deux 5G de Free, la 700 MHz, qui n'apporte rien, et la 3500 MHz qui fait le job avec ses 70 MHz (60 MHz utilisables ?). Le problème, c'est qu'il y a 90% de 700 MHz.

xp25

  • Abonné RED by SFR fibre FttH
  • *
  • Messages: 5 951
Rapport Arcep QOS Mobile 2021 : Orange 1er, Bytel 2ème, SFR 3ème Free 4ème
« Réponse #31 le: 20 novembre 2021 à 16:48:45 »
Un commentaire de Myck205 entre chantoine et alain_p vers ~16h30 a disparu disait :

Citer
Les baromètres Nperf nous mentent ? :o

Myck205

  • Abonné Orange / Sosh 4G/5G
  • *
  • Messages: 6 253
  • Free FTTH 10G/SFR Box 9 8Gpartagé/Orange 5XGSPON
Rapport Arcep QOS Mobile 2021 : Orange 1er, Bytel 2ème, SFR 3ème Free 4ème
« Réponse #32 le: 20 novembre 2021 à 16:52:21 »
Un commentaire de Myck205 entre chantoine et alain_p vers ~16h30 disparu disait :

Merci mon brave, fausse manip' !!! T'auras le droit à un bonus dans ta gamelle 👍🏻

Philoutix

  • Expert Orange
  • Abonné Orange adsl
  • *
  • Messages: 867
  • Lyon (69)
Rapport Arcep QOS Mobile 2021 : Orange 1er, Bytel 2ème, SFR 3ème Free 4ème
« Réponse #33 le: 20 novembre 2021 à 17:52:48 »
Mais que fait Xavier ? Va falloir se bouger et acheter la Tribune, c'est pas possible un pareil article  ;D

https://www.latribune.fr/technos-medias/telecoms/telecoms-une-enquete-de-l-arcep-torpille-la-5g-de-free-896808.html

vivien

  • Administrateur
  • *
  • Messages: 47 217
    • Twitter LaFibre.info
Rapport Arcep QOS Mobile 2021 : Orange 1er, Bytel 2ème, SFR 3ème Free 4ème
« Réponse #34 le: 20 novembre 2021 à 18:19:16 »
Quelque soit le thermomètre, il doit être le même, dans les mêmes conditions, pour tous.

C'est nécessaire, mais ce n'est pas suffisant. Il faut qu'il soit représentatif d'un usage réel.

Ceux qui demandent que tous les tests de l'Arcep soient réalisés avec le protocole de congestion BBR, car les débit de Free sont multiplié par 10 quand on prend BBR se trompent : Sur internet c'est Cubic qui est majoritaire.

Un bon réseau a un débit proche en Cubic / BBR et mono / multi-thread.

La réciproque, c'est que pour résumer, une différence importante entre débit Cubic / BBR et mono / multi-thread est synonyme de réseau en mauvaise santé (perte de paquets et/ou saturations). Ces soucis sur les réseaux ne sont pas que sur une feuille de papier : ils impactent les utilisateurs, car la grande majorité des usages sont en mono-thread Cubic.
 
Même si BBR n’est pas très représentatif sur internet, avoir la différence de débit entre Cubic et BBR permet de tirer des conclusions sur la santé d’un réseau au-delà du débit offert. C’est aussi un moyen de donner des pistes pour comprendre les mauvais débit et inciter les opérateurs à faire le nécessaire, car oui, en traquant les pertes de paquets on peut chercher à les éliminer (et donc à avoir un débit proche entre Cubic et BBR).

Cubic est de loin le protocole de congestion TCP le plus représentatif, c’est celui utilisé par défaut sur le serveurs depuis de nombreuses années.
 
BBR est un nouveau protocole de congestion TCP qui doit encore évoluer. Une version BBRv2 est en préparation. Plusieurs travaux montrent que le BBR actuel n'est pas fair : Si on met des flux BBR et Cubic sur le même tuyau, BBR va prendre la bande passante des flux Cubic. BBR fait également exploser le taux de retransmissions, ce qui en cas de saturation va diminuer le débit réel utilisable vis à vis de Cubic (car BBR ne va pas faire grossir la taille du lien saturé). BBR a tendance à faire diminuer un peu le trafic réel utilisable sur un lien, à cause des retransmissions importantes.
 
Cubic n’est pas exempt de défauts. Si une perte de paquet arrive pendant la phase de montée en débit, on sort de la croissance exponentielle pour rentrer en contrôle de congestion et le débit va peu monter. La perte de paquets en début de connexion TCP peut être catastrophique pour le débit en Cubic (pas avec BBR).

Quand il y a une saturation sur un lien, BBR est excellent, grâce a la capacité qu’il va récupérer sur les connexions Cubic de ce même lien (BBR dégrade les connexions Cubic du même lien). Un exemple réel sur une saturation du lien Cogent => Orange : https://lafibre.info/peering/saturation-cogent-gt-orange/msg898513/#msg898513
Le débit est de 719 Mb/s avec BBR et 10 Mb/s avec Cubic (sur le même serveur, car iPerf3 permet de changer de protocole de congestion TCP à la volée).

Outre le protocole de congestion, un autre choix important est mono/multi-thread. Normalement sur un réseau sain (sans perte de paquet, sans congestion) la différence entre les deux est faible. Le multi-connexion permet une montée plus rapide en débit, mais il permet aussi de masquer des problèmes de perte de paquets / saturations. Si une connexion Cubic a une perte au démarrage, son débit sera mauvais. Ce n’est pas problématique en multi-thread : une autre connexion va utiliser le débit non consommé par cette connexion bridée par la perte de paquet.

alain_p

  • Abonné Free fibre
  • *
  • Messages: 16 272
  • Delta S 10G-EPON sur Les Ulis (91)
Rapport Arcep QOS Mobile 2021 : Orange 1er, Bytel 2ème, SFR 3ème Free 4ème
« Réponse #35 le: 20 novembre 2021 à 18:25:06 »
Mais que fait Xavier ? Va falloir se bouger et acheter la Tribune, c'est pas possible un pareil article  ;D

https://www.latribune.fr/technos-medias/telecoms/telecoms-une-enquete-de-l-arcep-torpille-la-5g-de-free-896808.html

Oui :

Citer
Chose très surprenante dans l'enquête de l'Arcep, les performances de Free apparaissent moins bonnes pour les utilisateurs 5G que celles des utilisateurs 4G! Ainsi, le débit moyen de Free dans les zones denses pour les utilisateurs 2G/3G/4G s'élève à 47 Mbit/s. C'est-à-dire bien plus que les 32 Mbit/s enregistrés pour les utilisateurs 2G/3G/4G et 5G lorsqu'ils captent ce réseau... Le constat est similaire dans les zones intermédiaires et les rurales. Free est le seul opérateur systématiquement dans ce cas. Interrogé par La Tribune, l'Arcep n'est pas en mesure de nous fournir une explication.

Cela m'étonnerait que l'ARCEP n'ait pas d'explication, elle n'a surtout pas voulu créer de polémique. Là où la 5G 700 MHz est présente, une partie des 10 MHz du 700 MHz est utilisé aux dépens de la 4G. Là où elle ne l'est pas, l'ensemble des 10 MHz peut être utilisé par la 4G. Et en 5G 700, on sait que le débit est donné par l'agrégation avec la 4G 1800 et 2600 MHz, mais donc il manque un petit bout de 700 MHz.
« Modifié: 20 novembre 2021 à 19:05:47 par alain_p »