L'Arcep dévoile le protocole des campagnes de mesure de la QoS mobile 2022A la suite de polémique lancée par Free en novembre 2021 sur le protocole des campagnes de mesure de la QoS mobile (voir ci-dessous), l'Arcep publie aujourd'hui le protocole de mesure de la QoS mobile 2022.(cliquez sur la miniature ci-dessous - le document est au format PDF)
Le protocole de l’enquête annuelle d’évaluation de la qualité de service (QoS) des opérateurs mobiles vise à mesurer une qualité de service mobile représentative de l’expérience utilisateur. Les débits mesurés par l’Arcep peuvent être éloignés de ceux obtenus avec certains outils de mesure de débit grand public, qui relèvent la capacité du lien (le débit du tuyau qui relie le terminal à internet), alors que l’Arcep cherche à avoir un débit représentatif d’une utilisation d’internet. Les principales différences entre certains tests de débit grand public et le protocole Arcep sont détaillées ci-dessous :
Mono-connexion vs multi-connexionsMono-connexion : un test de débit mono-connexion (monothread) mesure le débit via une seule connexion, ce qui permet de remonter un débit représentatif d’une utilisation d’internet. En effet, la grande majorité des usages sur internet utilisent, à un instant donné, une seule connexion avec un débit important. Pour beaucoup de services sur internet, plusieurs connexions sont ouvertes, mais dans la grande majorité des cas, à un instant donné, une seule connexion à la fois est utilisée pour transférer la plupart des données. Par exemple le transfert va commencer par la connexion « A », avant de basculer sur la connexion « B » puis à la « C » et enfin revenir à la connexion « A ». Il peut y voir des petits éléments qui sont transférés en parallèle, toutefois cela reste minoritaire et globalement, la plupart des usages sur internet sont proches du comportement d’une mesure de débit mono-connexion.
Multi-connexions : un test de débit multi-connexions (multithread) mesure le débit en cumulant les débits de multiples connexions simultanées. On constate par exemple que de nombreux outils de mesure du débit effectuent un transfert sur 16 connexions simultanées. Ces multiples connexions permettent d’estimer le débit maximum du lien, mais ne sont pas à même de déceler certaines limitations de débit sur les connexions TCP. Ces limitations, qui impactent fortement une seule connexion TCP mais marginalement les connexions multiples en parallèle, peuvent être des pertes de paquets ou/et des saturations ou/et une latence trop importante.
Le choix de l’Arcep : le protocole de l’Arcep est mono-connexion afin d’être le plus représentatif des usages de la majorité des clients. Toutefois en 2022, un test expérimental (limité à 50 lieux de mesure) sera réalisé en multi-connexions, afin d’avoir une information supplémentaire sur la capacité des liens considérés.
Cubic vs BBRLes résultats des mesures de la QoS dépendent aussi des caractéristiques techniques des serveurs de test (mire de test), et notamment de leurs algorithmes d’évitement de congestion. Ces algorithmes sont utilisés côté émetteur de données pour décider de la vitesse d’envoi des paquets. Il existe de nombreux algorithmes d’évitement de congestion et ces algorithmes évoluent.
Cubic : aujourd’hui, la majorité des services sur internet utilisent Cubic. Créé en 2006, il s’appuie sur la perte de paquets comme signal pour réduire le débit. Cubic est l’algorithme d’évitement de congestion utilisé par défaut sous Linux (qui équipe la majorité des serveurs sur internet), mais aussi Android et macOS.
BBR : Google a développé en 2016 BBR (Bottleneck Bandwidth and Round-trip propagation time), qui utilise un modèle différent, se basant sur la bande passante maximale et le temps d’aller-retour. Cette approche permet à BBR, quand une connexion perd des paquets, de proposer un débit nettement plus élevé que ceux offerts par les algorithmes s’appuyant sur la perte de paquets, comme Cubic. Aujourd’hui, certains grands acteurs d’internet commencent à déployer BBR sur leurs serveurs. Cependant, BBR n’est pas encore généralisé sur internet notamment en raison de problématiques d’équité des flux. En effet, sur un même lien où le débit est partagé entre utilisateurs (exemple : les fréquences du réseau mobile ou un lien fibre), les connexions BBR vont « prendre la place » des connexions Cubic. Une version « BBR v2 » est en développement pour améliorer la version actuelle et permettre une meilleure cohabitation avec Cubic. Quel sont les algorithmes d’évitement de congestion utilisés dans les applications de test de débit ? Ces applications peuvent utiliser Cubic, BBR, mais également d’autres algorithmes d’évitement de congestion, qui peuvent avoir la particularité d’être « agressifs », permettant potentiellement d’obtenir de très bons débits, mais qui ne sont pas représentatifs d’usages quotidiens. L’Arcep cherche à promouvoir plus de transparence en incitant les outils de mesure à indiquer le protocole d’évitement de congestion. Si le réglage réalisé sur certains serveurs de test de débit permet d’afficher des records de débit, cela n’influe pas nécessairement sur le débit qui sera obtenu pour un usage quotidien d’un utilisateur final.
Le choix de l’Arcep : le protocole de l’Arcep souhaite refléter l’usage des utilisateurs et en 2022, 75 % des tests seront réalisés avec Cubic et 25 % avec BBR. Le test expérimental (limité à 50 localisations) en multi-connexions sera lui réalisé 100 % en BBR, afin d’avoir un échantillon similaire à certains résultats d’outils de mesure de débit grand public.
HTTP vs HTTPSInternet a évolué et est passé en quelques années d’un protocole HTTP (en clair et sur le port 80) au protocole HTTPS (en chiffré sur le port 443). Les tests dans les applications mobiles de test de débit sont encore majoritairement réalisés en HTTP. Le port utilisé n’est, pour certaines applications, ni le port 80, ni le port 443, ce qui pose le problème de la représentativité. L’Arcep pousse pour plus de transparence en demandant aux outils de mesure conformes au Code de conduite 2021 d’indiquer le port utilisé et le chiffrement ou non des flux de test de débit.
Le choix de l’Arcep : en 2022, tous les tests du protocole de l’Arcep sont réalisés avec le protocole HTTPS sur le port 443.
IPv4 vs IPv6La transition d’internet vers IPv6 est en cours et d’après le baromètre IPv6 Arcep 2021, 62 % des pages web les plus visitées (données sur le top 730 d’Alexa en France) sont accessibles en IPv6. Certains outils de mesure de débit ont choisi de ne proposer par défaut que des tests en IPv4, tandis que d’autres utilisent IPv6 dès que le serveur et le client ont une connectivité IPv6. L’Arcep incite à plus de transparence en demandant aux outils de mesure conformes au Code de conduite 2021 d’indiquer si les serveurs supportent le protocole IPv6.
Le choix de l’Arcep : le protocole de l’Arcep prévoit 50 % des tests réalisés en IPv4 et 50 % des tests réalisés en double pile (dual stack) IPv4/IPv6.
Débit moyen vs débit maximumLe débit affiché par les outils de mesure de débit varie selon les outils :
- débit maximum, atteint sur une courte durée pendant le test ;
- débit en régime établi (le débit à la fin du test) ;
- débit moyen après avoir exclu la montée en débit (les premières secondes du test) ;
- débit moyen entre la demande d’un fichier et la réception du dernier paquet.
Afin d’accroitre la transparence sur cet aspect, l’Arcep demande aux outils de mesure qui se sont déclarés conformes au Code de conduite 2020 d’indiquer les indicateurs affichés à l’issue du test. Les outils de mesure doivent également indiquer la durée du test, lorsque le volume maximum n’est pas atteint, ou le volume maximum de données échangés (taille du fichier téléchargé).
Le choix de l’Arcep : le débit est calculé en intégrant l’ensemble des étapes, à savoir la résolution DNS, la connexion TCP, la mise en place d’une couche de chiffrement TLS et le transfert d’un fichier de 250 Mio. Le transfert s’arrête dès que le fichier est entièrement téléchargé ou après expiration d’un délai de 10 secondes. En cas de difficulté sur les étapes de requêtes DNS ou connexion au serveur, le test ne sera pas interrompu avant les 10 secondes.
Configuration des serveurs utilisésDans un souci de transparence, l’Arcep publie un document récapitulant les paramètres des serveurs utilisés :
configuration des serveurs pour l’enquête QoS mobile Arcep 2022 (cliquez sur la miniature ci-dessous - le document est au format PDF)
