Auteur Sujet: Arcep : Api test debit dans chaque box (Lu 54962 fois)

Sn@ke · « **Réponse #36 le:** 02 juillet 2019 à 19:55:32 »

Citation de: Frederic le 02 juillet 2019 à 18:50:06

http://www.leparisien.fr/high-tech/internet-bientot-un-mouchard-pour-mesurer-le-debit-de-votre-box-27-06-2019-8104383.php
extrait: "modèle de la box, version du logiciel intégré, mais aussi débit souscrit par l'utilisateur, type de connexion (ADSL, fibre…), type de connexion entre la box et le PC, génération du wi-fi, connexion de la box à d'autres appareils…"

meme si generation-pc n'est pas fiable, leparisien.fr n'est peut etre un peu +

bye Fred

Vivien a donné le lien vers les specs : https://www.arcep.fr/uploads/tx_gspublication/consult-projdec-api-box-avril2019.pdf
C'est toujours mieux de se renseigner à la source.

Je suppose que par "connexion de la box à d'autres appareils" ils font référence à la possibilité de mesurer le cross-traffic.
L'intérêt c'est de savoir si la connexion a été sollicitée par d'autres appareils durant les quelques secondes de la mesure. C'est un simple compteur d'octets à un instant T, l'API ne renvoie aucune autre info.

Tout ce projet a pour objectif de mieux qualifier les mesures pour les post-traiter plus finement, et exclure éventuellement des mesures qui seraient prises dans de mauvaises conditions (mauvais wifi, cross traffic, etc.). Tout ça dans le but de faire des analyses plus précises et plus pertinentes pour le consommateur.

vivien · « **Réponse #37 le:** 02 juillet 2019 à 21:54:32 »

L'API vise à avoir des études fiables publiées par les acteurs spécialisés dans ces mesures (nPerf, QoSi, Ookla,...) dans le but de remplacer le dispositif fixe dans l’information des consommateurs.

On avait parlé du dispositif fixe, notamment le seul semestre où il y a a eu des données brutes de publiées, permettant de faire des graphes (j'avais représenté toutes les données sous forme de graphes).

Citation de: vivien le 18 mai 2015 à 07:57:08

L'ARCEP (le gendarme des Telecom français) a publié sont second observatoire de la QoS Internet, portant sur s2 2014

Les mesures ARCEP (Autorité de régulation des communications électroniques et des postes) sont été effectuées sur 8 sites répartie en France métropolitaine, dans des conditions "permettant de s’affranchir d’un grand nombre de biais". Ces mesures officielles permettent à l'ARCEP d'assurer la mission, prévue par la loi, de supervision du niveau général de qualité du service d'accès à l'internet. La mise en œuvre de ce dispositif a été confiée, à la société ip-label (entreprise française spécialisée dans la mesure et le suivi de la qualité de service d’accès à l’internet).

C'est encore une version bêta et l'ARCEP insiste pour faire figurer cet avertissement pour chaque publication : "Cette deuxième publication est le fruit d’un très important travail visant à définir un protocole de mesure robuste garantissant une bonne comparabilité entre opérateurs. La mise en œuvre d’un tel protocole comporte un certain nombre de difficultés techniques qui ne peuvent être que progressivement résolues. Compte tenu du recul limité et des risques inhérents au lancement de tout dispositif de ce type, l’ARCEP invite le lecteur à la prudence quant à l’interprétation des données publiées dans le présent rapport de synthèse, qui correspond à un exercice test (version bêta)."

Afin de comparer ce qui est comparable, les données sont classées sous forme de 6 catégories d’accès (par la suite une catégorie = un graphique) :

- Lignes xDSL courtes : Lignes avec un affaiblissement théorique à 300 kHz est inférieure à 21 dB.

- Lignes xDSL moyennes : Lignes avec un affaiblissement théorique à 300 kHz est comprise entre 21 dB et 43 dB.

- Lignes ADSL longues : Lignes avec un affaiblissement théorique à 300 kHz est supérieure à 43 dB.

- Lignes HFC 30 Mb/s (Zones 30 Mb/s du réseau Numericable) : Lignes en fibre optique à terminaison coaxiale ou « hybrides fibre câble coaxial » (HFC) sur lesquelles sont proposées des offres avec des débits théoriques de 30 Mbit/s.

- Lignes FTTLA 100 Mb/s et + : Lignes en fibre optique à terminaison coaxiale sur lesquelles sont proposées des offres avec des débits théoriques de 100 Mbit/s ou plus. L'ARCEP à mesuré des box 100 et 200 Mb/s.

- Lignes FTTH : Lignes en fibre optique de bout-en-bout sur lesquelles sont proposées des offres avec des débits théoriques de 100 Mbit/s ou plus. Pour Orange c'est l'offre Livebox Jet haut de gamme qui est retenue (débit de 500 Mb/s ou 1 Gb/s suivant la zone). SFR est à 300 ou 1 Gb/s en fonction de la zone. Free et Bouygues Telecom ne sont pas mesurés en FTTH car ils ont moins de 100 000 clients FTTH (Free devrait l'être le semestre prochain, vu qu'ils ont dépassé en décembre 2014 les 100 000 clients).

L'ARCEP mesure le débit de 6 façons :
- http depuis Paris (hébergeur Mediactive)
- http depuis Lyon (hébergeur Adeli)
- http depuis Londres (hébergeur Akamai)
- http depuis Francfort (hébergeur Akamai)
- http depuis New-York (hébergeur Akamai)
- P2P en téléchargeant une ISO d'Ubuntu LTS

Les débits des 5 premiers sites ne sont "pas publiés in extenso, la phase de rodage du dispositif s’étant poursuivie au second semestre.". Il ne reste donc que les débits en P2P :

vivien · « **Réponse #38 le:** 25 octobre 2019 à 18:39:25 »

L'API est enfin adoptée par l’Arcep. La décision Arcep va être transmise pour homologation au ministre chargé des communications électroniques puis, sous réserve d’homologation, publiée au Journal officiel.

La décision n°2019-1410 : (cliquez sur la miniature ci-dessous - le document est au format PDF)

Un communiqué de presse bien détaillé accompagne la décision, afin d'éviter des articles de presse qui se trompent. Non l'API ne réalise aucun test de débit.

Le communiqué de presse de l'Arcep :

L’Arcep adopte la décision visant à fiabiliser la mesure de qualité de service de l’internet fixe à travers la mise en place d’une API dans les box

Paris, le 25 octobre 2019

Sur les réseaux fixes, la mesure de la qualité de service est particulièrement complexe : il est à ce jour quasi-impossible techniquement pour un outil de mesure (souvent appelé « speed test ») de connaître avec certitude la technologie d’accès (cuivre, câble, fibre, etc.) sur laquelle a été réalisé un test. Ce manque de caractérisation de la mesure, qui ne permet pas d’isoler des facteurs susceptibles de modifier fortement les résultats, rend les données difficilement exploitables, voire, dans certains cas, induit en erreur le consommateur.

L’API « carte d’identité de l’accès » dans les box : caractériser l’environnement de la mesure, une démarche pionnière à l’échelle mondiale

De nombreux utilisateurs utilisent aujourd’hui des outils de mesure en crowdsourcing pour évaluer le débit ou plus généralement la qualité de service de leurs accès internet. L’API « carte d’identité de l’accès », à laquelle ces outils de mesure auront accès, a pour objectif de caractériser l’environnement de la mesure. Sollicitée uniquement lorsque l'utilisateur initie un test de débit, et sous son contrôle, l'API renseignera l’outil de mesure sur une série d’indicateurs techniques, tels que la technologie d’accès à internet, les débits montant ou descendant contractuels, la qualité du Wi-Fi, etc.

Les résultats obtenus, désormais qualifiés, sont un nouveau pas dans l’amélioration de la mesure de la qualité de service des réseaux fixes.

La décision de l’Arcep précise le cadre de mise en place de l’API, dans le respect et la protection de la vie privée des utilisateurs

Opérateurs et box concernés, paramètres techniques remontés, calendrier de mise en place, spécifications techniques d’implèmentation sont précisés dans la décision. Les données recueillies par l’API ne sont pas transmises à l’Arcep. Aucune donnée liée à l’identification de l’utilisateur (identifiant, nom, localisation etc.) ne sera par ailleurs transmise par l’API aux outils de mesure, dans un objectif de protection de la vie privée des utilisateurs. L’API est sollicitée lors d’un test de débit initié par l’utilisateur lui-même et ne répond pas aux sollicitations depuis internet. Questionnée dans le cadre de cette démarche, la CNIL a pu s’assurer que le dispositif répondait dans son principe aux exigences en matière de protection des données personnelles tout en insistant sur l’importance du rôle de conseil de l’Arcep, notamment au travers du « Code de conduite de la qualité de service internet » vis-à-vis des outils de mesure exploitant l’API.

L’API « carte d’identité de l’accès » : une démarche de co-construction avec les acteurs de l’écosystème

L’Arcep a lancé en début d’année 2018 un vaste chantier sollicitant toutes les parties prenantes afin de résoudre les difficultés de mesure de la qualité de service des réseaux fixes. Cette démarche de co-construction initiée par l’Arcep implique une vingtaine d’acteurs dont des outils de mesure en crowdsourcing, des opérateurs et des acteurs académiques. L’écosystème a convergé vers la mise en place d’une Application Programming Interface (API) implèmentée directement dans les box des opérateurs et accessible aux outils de mesure qui respectent le Code de conduite publié par l’Arcep .
Une consultation publique a été menée au printemps dernier sur ce projet ; les dix-sept réponses reçues par l’Arcep sont publiées ce jour (cf. annexe). Ces contributions ont permis d’ajuster, en concertation avec les acteurs de l’écosystème, les modalités de mise en œuvre de l’API.

La décision adoptée par l’Arcep va être transmise pour homologation au ministre chargé des communications électroniques puis, sous réserve d’homologation, publiée au Journal officiel.

Document associé : Décision n°2019-1410 (cliquez sur la miniature ci-dessous - le document est au format PDF)

vivien · « **Réponse #39 le:** 25 octobre 2019 à 18:45:31 »

Pour en savoir plus sur l’API « Carte d’identité de l’accès »

Comment fonctionne l’API ?

(1) L’outil de mesure utilisé par le client envoie une requête à l’API située dans la box.
(2) L’API répond à l’outil de mesure en lui transmettant les spécifications techniques qui caractérisent l’environnement de l’utilisateur.

La plupart des informations transmises sont disponibles nativement dans la box. Les autres spécifications non disponibles nativement, comme le débit souscrit par l’utilisateur, sont transférées du système d’information des opérateurs à la box (3).

Quels sont les outils de mesure qui ont accès à l’API ?

L’API sera accessible aux outils de mesure qui se sont déclarés conformes au « Code de conduite de la qualité de service internet » publié par l’Arcep.

A ce jour, cinq outils de test de qualité de service d’internet fixe se sont déclarés conformes à ce Code de conduite :
• nPerf ;
• SpeedTest UFC-Que Choisir ;
• DébitTest 60 ;
• 4GMark ;
• IPv6-test.

Le Code de conduite de la qualité de service internet, version 2018, qui fixe un niveau minimum de transparence et de robustesse, sera amené à évoluer périodiquement.

Quelles sont les box concernées par l’API ?

Les opérateurs qui ont plus d’un million de clients et qui remplissent les conditions décrites dans la décision de l’Arcep auront l’obligation d’implèmenter l’API dans la majorité des modèles de box xDSL, câble, FTTH et 5G fixe proposées aux clients à l’issue d’un délai de 18 mois à compter de la publication, après homologation, de la décision de l’Arcep au Journal officiel.

L’Arcep encourage également à implèmenter l’API dans les autres modèles de box.

L’API est-elle accessible depuis Internet ?

Non, l’API est accessible uniquement depuis le réseau local de l’utilisateur final et ne répond pas aux requêtes provenant d’internet. De plus, un système de restriction d’accès est mis en place, afin que seuls les outils autorisés puissent accéder à l’API.

Quand l’API sera-t-elle disponible ?

Le déploiement de l’API sera progressif :
• 22 mois après la publication de la décision, l’API sera implèmentée dans 5% des box du parc concerné par la mise en place de l’API ;
• 26 mois après la publication de la décision, l’API sera implèmentée dans 40% des box du parc concerné ;
• 30 mois après la publication de la décision, l’API sera implèmentée dans 95% des box du parc concerné et 100% des box du parc concerné proposées aux nouveaux clients.

vivien · « **Réponse #40 le:** 25 octobre 2019 à 18:56:07 »

Les délais sont annoncés en mois "après la publication de la décision".

La publication n'est pas celle de l'Arcep mais celle du Journal officiel, après homologation au ministre chargé des communications électroniques. Si tout se passe bien, cela devrait se faire début 2020.

Donc l'API arrivera concrètement en 2022, le temps de laisser le temps aux opérateurs de la mettre en place.

Si vous regardez la décision, vous pouvez voir que contrairement aux décisions habituelles de l'Arcep, on rentre dans les détails techniques. TLS apparaît une dizaine de fois dans la décision par exemple.

Exemple avec l'annexe 3 qui détaille la sécurisation minimum des SpeedTest / nPerf / ... pour avoir accès à l'API :
Afin de mieux fiabiliser la restriction définie en annexe 2, les outils de mesure devraient mettre en
place les mesures de sécurité suivantes :
- le nom de domaine de l’outil de mesure doit être signé par DNSSEC, afin de protéger contre
le cache poisoning ;
- le champ DNS Certification Authority Authorization (CAA) doit être déclaré pour limiter les
autorités de certification (CA) qui sont autorisées à délivrer des certificats pour le nom de
domaine ;
- un appel au site en HTTP doit contenir uniquement une redirection vers le même site en
HTTPS ;
- les échanges HTTPS ne doivent pas gérer des versions inférieures à TLS 1.2 ;
- les en-têtes HTTP Strict Transport Security (HSTS) doivent être envoyés sur le domaine
principal.

Rien de révolutionnaire, ce sont les bonnes pratiques pour sécuriser un site.

kgersen · « **Réponse #41 le:** 25 octobre 2019 à 19:59:59 »

Citer

Pour des raisons de sécurité et de confidentialité des échanges, l’API ne répond pas sur une
connexion HTTP sans couche de chiffrement TLS. L’API n’est accessible que depuis le réseau local
(LAN) de l’utilisateur final et ne répond pas aux requêtes qui pourraient provenir d’Internet

....

Afin de sécuriser l’API et réduire le périmètre d’attaque, un système de restriction d’accès doit être
mis en place. La restriction d’accès retenue en concertation avec les différents acteurs impliqués est :
CORS + OAuth 2.0 (https://oauth.net/2/) avec un token à validité de 15 minutes.
Chaque outil de mesure autorisé dispose d’un jeton OAuth dédié et peut en demander un second
pour effectuer des vérifications avant une mise en production.

euh pourquoi CORS/OAuth si on ne peut y accéder que de l’intérieur ?!

donc je ne pourrais pas creer mon propre outil pour faire mes propres speedtest ?

"en concertation avec les différents acteurs impliqués" ->
. a croire qu'ils veulent pas que de nouveaux concurrents viennent ? du moins pas facilement ?
. et/ou a croire que les opérateurs veulent limiter/controller quel outils utilisent l'api ?

franchement c'est étonnant que l'ARCEP laisse faire cela.

(je n'ai pas encore tout lu donc y'a peut-etre quelque chose que j'ai loupé).

robin4002 · « **Réponse #42 le:** 25 octobre 2019 à 21:47:42 »

Probablement pour une question de vie privé.

Laisser l'api ouvert, c'est permettre à des scripts d'accéder à ces informations (même si l'accès ne se fait qu'en local, via du javascript dans le navigateur tu peux récupérer les données) et ces informations pourraient être utilisé pour faire du profilage publicitaire.
Après c'est effectivement dommage dans le sens où cela limiterai les acteurs, j'aurai bien aimé faire quelque test avec l'api une fois déployé perso.

Sinon j'ai regardé les spécifications rapidement, ça semble bien pensé.

kgersen · « **Réponse #43 le:** 25 octobre 2019 à 22:11:05 »

Citation de: robin4002 le 25 octobre 2019 à 21:47:42

Probablement pour une question de vie privé.

Laisser l'api ouvert, c'est permettre à des scripts d'accéder à ces informations (même si l'accès ne se fait qu'en local, via du javascript dans le navigateur tu peux récupérer les données) et ces informations pourraient être utilisé pour faire du profilage publicitaire.
Après c'est effectivement dommage dans le sens où cela limiterai les acteurs, j'aurai bien aimé faire quelque test avec l'api une fois déployé perso.

Sinon j'ai regardé les spécifications rapidement, ça semble bien pensé.

Franchement je doute que ce soit pour cela. Un simple mot de passe définissable par l'utilisateur suffit pour contrer ce genre de chose.

Tout le truc me semble fait 'dans un coin, entre amis' au lieu d'une approche dans l'esprit d'Internet avec RFC et un depot de source commun sur github ou autre et contrôlé par l'ARCEP. Cet problématique n'est pas franco-française après tout. Il y déjà une base, UPnP-IDG, que toutes les box supportent déjà, et que tous les routeurs SOHO supportent. Il suffisait de partir la dessus et d'amender des nouvelles fonctionnalités par RFC dont une api web.

En plus rendre le truc 'IPv6 only' (ie l'API ne fonctionne qu'en IPv6 par exemple) aurait été un plus.

vivien · « **Réponse #44 le:** 25 octobre 2019 à 22:46:56 »

La sécurisation est une demande des FAI et non pas une demande des outils de mesure de la QoS (les SpeedTest / nPerf / ...).

L'idée est d'éviter que Facebook ou des régies publicitaires se servent de l'API pour faire de la publicité ciblée. Abonnement à 10 Gb/s => personne aisée => produits de luxe. Abonnements à 2 Mb/s, ADSL mauvais, pub pour un abonnement satellite...
Avec la puissance du Wi-Fi, je suis sur que certains pourraient faire des choses...

Rien empercherait un site web ou une application d'appeler l'API sans le consentement de l'utilisateur.

Bref, pour éviter tout usage abusif, seul les outils de test de débit conforme a un code de conduite peuvent accéder à l'API et pour éviter tout usage frauduleux, la sécurisation est réalisée selon les règles de l'art.

C'est tout le contraire d'un mouchard (terme repris par la presse qui n'avait probablement pas lu les 17 pages)

hwti · « **Réponse #45 le:** 26 octobre 2019 à 02:15:47 »

Pour un site, ça aurait été bloqué via CORS (hors DNS poisoning, mais dans ce cas la box verrait un champ Host qui ne correspondrait pas).
Mais une application (notamment mobile) aurait pu faire les requêtes.

Là effectivement c'est bloqué, mais ça empêche donc l'utilisateur ou tout programme opensource d'exploiter l'API.
Il aurait été possible d'autoriser le mot de passe de la box (il permet déjà accéder à l'interface web en local, donc ça n'aurait pas ajouté de risque supplèmentaire côté sécurité) en plus du système à base OAuth qui a l'avantage de ne rien devoir demander à l'utilisateur.

kgersen · « **Réponse #46 le:** 26 octobre 2019 à 07:07:01 »

Citation de: vivien le 25 octobre 2019 à 22:46:56

L'idée est d'éviter que Facebook ou des régies publicitaires se servent de l'API pour faire de la publicité ciblée. Abonnement à 10 Gb/s => personne aisée => produits de luxe. Abonnements à 2 Mb/s, ADSL mauvais, pub pour un abonnement satellite...
Avec la puissance du Wi-Fi, je suis sur que certains pourraient faire des choses...

Je me demande bien qui a pu imaginer un scenario pareil et chez quel(s) FAI...c'est juste pas crédible une seconde. Les régies pubs ont de bien meilleurs moyens d'obtenir ces infos sans aller utiliser une api franco-française ...

Et franchement avoir un abo a 10Gbps chez Free n'indique en rien de la CSP d'une personne.

Le plus inquiétant dans cette solution c'est qu’apparemment les opérateurs ont le contrôle total de qui peut utiliser l'API. Il n'est fait mention nulle part des règles qui régissent la liste ' Access-Control-Allow-Origin' (CORS).

Et l'OAuth retenue court-circuite complètement l'utilisateur : ce n'est pas lui qui a le contrôle final de qui peut utiliser l'API.

Une approche 'neutre' et sous le contrôle de l'utilisateur, devrait être comme les OAuth que tout les utilisateurs connaissent et pratiquent déja quand ils se connectent avec un compte Google, FaceBook, Twitter, etc sur un site tiers (ou comme avec FranceConnect).

Dans le cas présent il suffit d'une sorte de serveur oauth 'neutre' géré directement par et que par l'ARCEP.

En détail:

- N'importe qui peut créer un compte d'outil de mesure sur le site (géré par l'ARCEP donc) en donnant un email valide et l'url CORS qui sera utilisée.

- Un process auto ou manuel permet de valider l'email et l'url (notamment vérifier que la personne a bien le contrôle de l'url comme fait LetsEncrypt). D'autres infos peuvent éventuellement être demandés & validés comme l'identité, le but du test, etc, usage perso ou pro (avec kbis) etc. Une fois validé l'url est dans une base globale chez l'ARCEP (éventuellement pour une durée limité comme 1 mois , a renouveler régulièrement donc).

- Ensuite ce sont les box qui iront directement interroger cette base globale pour valider ou pas une requête sur l'api lan. Si l'url est autorisée par la base de l'ARCEP, la box présente ensuite une demande d'autorisation a l'utilisateur ('autorisez vous <url> de <email ou nom de société> a accéder a vos informations technique d’abonnement Internet (cette presentation se fait via une page web avec une URL fixe sans CORS que les sites de test pourront intégré dans un popup comme font Google,Facebook, etc quand ils permettent une oauth sauf que la il n'y a pas besoin de compte utilisateur/mot de passe, la box autorisant cette demande que si ca vient du lan et avec la bonne url).

- si l'utilisateur autorise la demande, l'url est ajouté a la liste 'Access-Control-Allow-Origin' (CORS) de la box (durée limitée a 15 minutes par exemple).

- en option, l'interface de la box permet aussi d'ajouter manuellement des URLs dans la CORS de la box pour les utilisateurs avancées ou ceux souhaitant automatiser les mesures chez eux.

- En aucun cas les FAI n'ont a gérer de backoffice spécifique a cela ou peuvent bloquer qui que ce soit. Ils n'ont pas la liste des url des outils de mesure enregistrés a l'ARCEP dans la base globale (personne d'autre que l'ARCEP n'a cette liste) et n'ont pas a la connaitre. Ils peuvent par un process de signalement d'abus justifié a l'ARCEP faire éventuellement retirer de la base globale une url qui ferait trop de demande sur l'API (mais ils peuvent de toute façon 'throttler' l'API s'ils le souhaitent et ils le devraient de toute façon et cela suffit largement comme protection).

Bref y'a quasi zero coût en backoffice, support, etc (OPEX) pour les FAI que du code a ajouter et valider dans les box, code qui peut et devrait être fournit par l'ARCEP dans le cadre d'un projet open-source accessible a tous. Le coût pour les FAI est minimal , juste les tests d'intégration/validation/stabilité de leur box avec le code commun et il ne faut pas 2 ans pour ca...

l'ARCEP peut éventuellement demandé une participation financière aux outils de mesure si c'est pour un usage pro (l'ARCEP aura de toute facon pour chaque outil (url) le taux d'usage puisque toutes les box de France viendront interroger le serveur de l'ARCEP. Si besoin des quotas/limites peuvent donc être prévus avec des options payantes).

Nico · « **Réponse #47 le:** 26 octobre 2019 à 09:43:38 »

Beau cadeau que fait l'ARCEP à cette liste d'outils de mesure, ils ont du ouvrir le champagne !

Y a-t-il une contrepartie pour s'assurer de la qualité des tests qu'ils réalisent ou c'est un chèque en blanc ? Je lis "se sont déclarés conformes" au code de bonne conduite, c'est vérifié ou déclaratif ?