La Fibre
Télécom => Peering Transit (appairage) => 
BGP (technique, questions générales) => Discussion démarrée par: vivien le 12 novembre 2021 à 17:23:06
-
Le 29 novembre prochain, l'Arcep va faire publier son baromètre annuel IPv6.
Pour les hébergeurs, il y aura comme l'année dernière il y avait un tableau listant les plus importants hébergeurs (en nombre de nom de domaines) et les données IPv6.
Mais cette année l'Arcep devrait également publier un tableur (et un fichier PDF pour ceux qui ne veulent pas l'ouvrir dans un tableur) qui liste tous les AS hébergeant des nom de domaines en .fr .re .pm .yt .tf et .wf (c'est un gros tableau, il y a plus 8600 AS différents hébergants ces nom de domaines)
Objectif ? Si vous cherchez à savoir combien MilkyWan héberge de .fr .re .pm .yt .tf et .wf et le % d'IPv6 vous aurez votre réponse (car avec 28 nom de domaines hébergés, MilkyWan est en 960ème position).
Ma question est la suivante : je ne trouve pas de liste qualitative indiquant un nom en face de chacun des AS d'Internet.
En ce moment je me base sur http://www.bgplookingglass.com/list-of-autonomous-system-numbers mais pour reprendre mon exemple de MilkyWan, MilkyWan n'est pas listé et il faut donc chercher MilkyWan par son numéro d'AS. Pour les 120 premiers j'ai traité à la main et je trouve de temps en temps des différence entre les données HE.net et cette liste (et HE.net semble plus à jour), mais c'est impossible de faire à la main pour les 8600 AS.
Je suis donc intéressé par une liste AS => Nom de cet AS dans un format exploitable par un tableur.
PS : Pour mon teasing sur MilkyWan, 68% des 28 noms de domaines hébergés (web) sont disponibles en IPv6, pour les mails c'est 25 noms de domaines et 48% disponible en IPv6 ce qui est très bon vu le taux moyen et pour le DNS 126 noms de domaines autoritaires sont hébergés et 100% disponibles en IPv6.
Début du fichier calc :
(https://lafibre.info/images/ipv6/202111_hebregeurs_as.png)
-
Chaque RIR doit avoir sa liste d'ASN j'imagine, exemple ici pour l'ARIN : ftp://ftp.arin.net/info/asn.txt ou ici RIPE : https://ftp.ripe.net/ripe/asnames/asn.txt
Mais je n'ai pas bien compris à quoi servent ces statistiques, comment fais-tu pour déterminer le nombre de domaines hébergés sur un AS ? Je ne vois pas comment être exhaustif sur les domaines et comment gères-tu ceux en multi-cloud (à la fois sur AWS et Azure par exemple) ?
-
Je cherche si c'est possible un gros fichier CSV qui liste le numéro d'As sur une colonne et le nom sur une seconde colonne.
Sinon pour la méthodologie, pour chaque nom de domaine l'Afnic regarde quelle IP est enregistré pour la racine et l'AS associé.
Il est possible de faire ces statistiques à partir d'open data de l'Afnic qui liste tous les nom de domaines enregistrés, mais en l’occurrence je m'appuie sur l'Afnic pour associer un nom de domaine à un AS.
Ensuite un nom de domaine peut avoir plusieurs IP sur plusieurs AS : Il est dans ce cas là compté pour chacun des AS, ce qui explique quand dans mon tableau si on ajoute la liste des nom de domaines de tous les AS, on trouve un chiffre supérieur au nombre de domaine total affiché en haut du tableau.
Attention les sous-domaines (comme par exemple www.) ne sont pas interrogés, les statistiques se basent uniquement sur la racine. On se limite également aux extensions de l'Afnic : .fr .re .pm .yt .tf et .wf Les nom de domaines en .com ou .info ne sont pas interrogés. Toutefois cela permet de donner une bonne indication de la transition IPv6 des différents hébergeurs.
-
C'est ça tu veux ? ;)
https://bgp.potaroo.net/cidr/autnums.html
Comment je trouve, ah ça c'est mon secret ::)
-
C'est top xp25.
MilkyWan est bien listé (et tous les autres) !
-
You are Always Welcome Vivien ;)
-
La liste publiée l'année dernière (traitée à la main).
Cette année il devrait y avoir un fichier complet de proposé.
Des précisions sur les 100 premiers hébergeurs sont également disponibles en annexe.
L'annexe en question :
(https://lafibre.info/images/ipv6/202012_arcep_barometre_ipv6_hebergeurs_4.png)
(https://lafibre.info/images/ipv6/202012_arcep_barometre_ipv6_hebergeurs_5.png)
-
C'est un fichier fichier qui est plus facile à post-traiter avec Libre Office Calc que Microsoft Excel (plus de 100 000 lignes, fichier de 12 Mo avant traitement)
J'ai mis en pièce jointe le fichier clean, avec première colonne le numéro de l'AS (sans le terme AS), en nettoyant ce qui est inutile dans le texte et en limitant le texte à 20 caractères la description de l'AS.
-
D'autres choses qui pourraient t'intéresser :P
Apparemment il propose aussi (fouille bien):
https://bgp.potaroo.net/index-as.html
https://resources.potaroo.net/iso3166/index.html
https://ipv4.potaroo.net/
https://bgp.potaroo.net/index-v6.html
Regarde ça aussi sur les AS ça a l'air bourré de choses ::) :
https://www.cidr-report.org/as2.0/
C'est pas sensiblement la même liste que je t'ai donné ?
https://www.cidr-report.org/as2.0/autnums.html
Peut-être centraliser ces informations sur un topic dédié ?
-
Peut-être centraliser ces informations sur un topic dédié ?
Pourquoi pas, avec les différentes solutions pour pouvoir trouver a quel AS appartient une IP.
On en parle dans deux sujet sur le forum :
- https://lafibre.info/ipv6/analyser-la-progression-dipv6-via-les-logs-apache2/msg224173/#msg224173
- une solution a base d'une full view d'internet, je ne sais plus où est le script.
Tu te lances ?
-
- une solution a base d'une full view d'internet
ip2as
-
ip2as
Perso, j'ai dû me faire un petit script pour convertir une table full-view (sur BIRD) afin de la transformer en JSON accepté par ip2as.
Mais maintenant, ça fonctionne bien. En tout cas, mon AS-Stat fonctionne bien :)
-
Mise à jour de mon fichier avec les données du jour AS / Nom de l'AS.
J'ai coupé le nom de l'AS à 16 caractères.
Il y a 110 267 AS maintenant cotre 106 270 en novembre 2021.
-
Mise à jour du tableau. J'ai une colonne avec le pays, ce n'est pas fiable à 100%, mais à 95%.
L"original est https://www.cidr-report.org/as2.0/autnums.html que j'ai travaillé pour avoir qq chose d'exploitable (limitation à environ 20 caractères, suppression de termes génériques).
Je suis déçu de la qualité, pour de nombreux AS, le nom ne correspond pas, ou est bien moins explicite que celui que propose https://bgp.he.net/ (j'ai fais des corrections à la main pour les gros AS internationaux ou Français).
Je ne sais pas comment avoir une liste de tous les AS avec un nom proche de ce que propose https://bgp.he.net/
-
https://bgp.he.net/orgname/as3215 retourne {"orgname":"Orange S.A.","source":"whois","cached":true}, donc "Orange S.A." au lieu du "France Telecom - Orange, FR" de https://www.cidr-report.org/as2.0/autnums.html.
La requête est individuelle, et a besoin d'un cookie, donc ce n'est pas pratique, mais ça peut aider à savoir d'où viennent les données (ici whois).
Sinon avec les pays listés sur https://bgp.he.net/report/world, des pages comme https://bgp.he.net/country/US donnent une liste d'AS avec les noms.
Mais là encore il faut des cookies, et il faut parser le HTML (soit avec un script, soit dans le browser, mais la structure n'est pas si compliquée) :
<tr>
<td><a href="/AS6939" title="AS6939 - Hurricane Electric LLC">AS6939</a></td>
<td>Hurricane Electric LLC</td>
<td class='alignright'>9,563</td>
<td class='alignright'>151,164</td>
<td class='alignright'>7,017</td>
<td class='alignright'>63,251</td>
</tr>
-
Pour Akvorado, j'ai fait ça : https://vincentbernat.github.io/asn2org/. Cela repose sur plusieurs sources, dont les bases IRR, DB-IP (pour pallier au fait que l'ARIN ne donne pas accès à toutes les données pour emmerder le monde) et PeeringDB. C'est mis à jour tous les 15 jours. Cela donne moins d'entrées (99608), j'ai pas trop regardé la diff.
-
Merci vbernat, c'est vraiment au-dessus au niveau qualité.
Par contre, il manque une information sur le pays.
J'ai fusionné les deux sources (avec RECHERCHEV) ce qui permet de voir ce qui manque, probablement des AS qui ne sont pas annoncés sur internet, mais qui sont déclarés.
Voici le tableau :
202506_liste_autonomous_system_double_source.ods (https://lafibre.info/images/peering/202506_liste_autonomous_system_double_source.ods)
1 er colonne : N° AS
2ᵉ colonne source https://www.cidr-report.org/as2.0/autnums.html sur lequel j'ai retravaillé des centaines d'AS manuellement.
3ᵉ colonne source https://vincentbernat.github.io/asn2org/ (limité au 25 premiers caractères)
4ᵉ colonne pays, issue des deux dernières lettres de la première source.
-
Voici le fichier en fusionnant le meilleur des deux sources (+ un peu de retouche manuelle sur les plus gros AS Français et les Tier1 ont le préfixe Tier1) :
202506_liste_autonomous_system.ods (https://lafibre.info/images/peering/202506_liste_autonomous_system.ods)
Merci pour votre aide.
-
Liste encore plus propre et retravaillé manuellement pour les 1000 premiers AS en termes de nom de domaines.
J'ai rajouté le nombre de noms de domaine hébergés sur les trois dernières années en web (enregistrement A / AAAA), mail (enregistrement MX) et DNS autoritaire.
- Format ODS : 202506_liste_autonomous_system_avec_nb_nom_domaine_fr.ods (https://lafibre.info/images/peering/202506_liste_autonomous_system_avec_nb_nom_domaine_fr.ods)
- Format XLSX : 202506_liste_autonomous_system_avec_nb_nom_domaine_fr.xlsx (https://lafibre.info/images/peering/202506_liste_autonomous_system_avec_nb_nom_domaine_fr.xlsx)
- Format CSV : 202506_liste_autonomous_system_avec_nb_nom_domaine_fr.csv (https://lafibre.info/images/peering/202506_liste_autonomous_system_avec_nb_nom_domaine_fr.csv)
-
Encore un fichier qui pourrait en intéresser certains : La liste des pays (Code ISO, nom français, nom anglais) avec la population 2024 et l'estimation du nombre d'internautes.
Le nombre d'internautes vient de https://en.wikipedia.org/wiki/List_of_countries_by_number_of_Internet_users mais a été retravaillé pour capé les données avec un maximum à 85% de la population et un minimum de 10% (on avait des pays avec plus d'internautes que d'habitants et visiblement la formule de calcul n'est pas toujours la même).
229 pays sont listés, on a vraiment tout jusqu'au Vatican (pays de 764 habitants).
- Format PDF : liste_pays_avec_population.pdf (https://lafibre.info/images/doc/liste_pays_avec_population.pdf)
- Format ODS : liste_pays_avec_population.ods (https://lafibre.info/images/doc/liste_pays_avec_population.ods)
- Format XLSX : liste_pays_avec_population.xlsx (https://lafibre.info/images/doc/liste_pays_avec_population.xlsx)
- Format CSV : liste_pays_avec_population.csv (https://lafibre.info/images/doc/liste_pays_avec_population.csv)