Auteur Sujet: Analyser la progression d'IPv6 via les logs Apache2  (Lu 13632 fois)

0 Membres et 1 Invité sur ce sujet

vivien

  • Administrateur
  • *
  • Messages: 47 075
    • Twitter LaFibre.info
Analyser la progression d'IPv6 via les logs Apache2
« le: 23 avril 2015 à 15:45:23 »
L'objectif est de publier un baromètre pour voir la progression de l'IPv6 en France.

Je cherche un outil, capable, à  partir de log apache2, de sortir des statistiques IPv6 par AS :

Idéalement un classement du top 100 des AS qui sont le plus présentes dans les log avec :

- Le numéro de l'AS (et en bonus son pays et son nom)
- Le pourcentage de hits (ligne dans le fichier de log Apache2) en IPv6 (sur le nombre total de lignes)
- Le classement global (IPv4 + IPv6) et terne de nombre de hits
- Le classement IPv4 only en terme de hits
- Le classement IPv6 only en terme de hits
- Le nombre de hits IPv4 sur la période
- Le nombre de hits IPv6 sur la période

Un plug-in existe pour http://www.awstats.org ?

kgersen

  • Modérateur
  • Abonné Bbox fibre
  • *
  • Messages: 9 078
  • Paris (75)
Analyser la progression d'IPv6 via les logs Apache2
« Réponse #1 le: 23 avril 2015 à 19:37:14 »
A défaut de trouver un outil existant tu peux toujours envoyer les logs dans une 'fusion table' ou un tableur Drive et faire des graphes ensuite.

L'ajout de données peut s'automatiser avec un simple 'import' quotidien par exemple (c'est un simple HTTP POST) ou par un script Apps Script (qu'il faudra utiliser de toute facon pour obtenir l'AS probablement via un webservice comme http://www.telize.com/geoip/ par exemple).

vivien

  • Administrateur
  • *
  • Messages: 47 075
    • Twitter LaFibre.info
Analyser la progression d'IPv6 via les logs Apache2
« Réponse #2 le: 24 avril 2015 à 17:39:48 »
Pour chaque ligne du fichier log apache, il faut :
  • Lire la ligne et extraire l'IP et la taille téléchargée
  • Récupérer l'AS à  partir de l'IP
  • Déterminer si l'IP est une IPv4 ou une IPv6
  • Si l'AS existe déjà dans la table, incrèmenter les compteur "hits" de +1 et "taille" de la taille téléchargée coté IPv6 si IPv6 ou coté IPv4 sir IPv4
  • Si l'AS n'existe pas dans la table, créer un l'AS

On se retrouve ensuite avec un tableau de ce type :

AS            hits IPv4            taille IPv4          hits IPv6        taille IPv6
32151502186504564305654
1232211021865045630457654

En important ce tableau dans un tableur on peut facilement faire des stats en opérant un tri et des ratios entre IPv4 et IPv6.

Comment fait traceroute avec l'option -A pour récupérer l'AS ?
Vu le nombre de ligne à traiter, je vais me faire jeter, si j'utilise un apps-script qui fait des appels en ligne.

Chez geoip c'est :
string geoip_asnum_by_name ( string $hostname )Exemple :
<?php
$asn 
geoip_asnum_by_name('www.example.com');

if (
$asn) {
    echo 
'The ASN is: ' $asn;
}
?>
Cela donne : "The ASN is: AS15133 EdgeCast Networks, Inc"

La base de donnée est en local avec GeoIP : C'est téléchargeable ici pour la base des AS: http://dev.maxmind.com/geoip/legacy/geolite/

Voici les données sources pour les AS pour chaque IP :
ARIN : ftp://ftp.arin.net/pub/stats/arin/delegated-arin-extended-latest
RIPE :   ftp://ftp.ripe.net/ripe/stats/delegated-ripencc-latest
AFRINIC : ftp://ftp.afrinic.net/pub/stats/afrinic/delegated-afrinic-latest
APNIC : ftp://ftp.apnic.net/pub/stats/apnic/delegated-apnic-latest
LACNIC : ftp://ftp.lacnic.net/pub/stats/lacnic/delegated-lacnic-latest



Pour la table, vu que le nombre de ligne est restreint (une ligne par AS, donc je pense qu'on a un maximum de 10000 AS différents), je ne pense pas qu'utiliser MySQL soit intéressant.

Installation : apt install libgeoip1 libgeoip-dev php-geoip geoipupdate

vivien

  • Administrateur
  • *
  • Messages: 47 075
    • Twitter LaFibre.info
Analyser la progression d'IPv6 via les logs Apache2
« Réponse #3 le: 24 avril 2015 à 18:12:20 »
Dans la base du RIPE, ce n'est pas l'AS qui apparaît : l'AS5410 de Bouygues Telecom n’apparaît pas pour la plage 5.48.0.0 :
ripencc|FR|ipv4|5.48.0.0|262144|20120522|allocated
% Information related to '5.48.0.0/14AS5410'

route:          5.48.0.0/14
descr:          BOUYGUES Telecom ISP Wireline
origin:         AS5410
mnt-by:         BYTEL-MNT
source:         RIPE # Filtered

Autre exemple avec Free : l'AS12322 n’apparaît pas
ripencc|FR|ipv4|212.27.32.0|8192|19990306|allocated
% Information related to '212.27.32.0/19AS12322'

route:          212.27.32.0/19
descr:          ProXad network / Free SA
descr:          Paris, France
origin:         AS12322
mnt-by:         PROXAD-MNT
source:         RIPE # Filtered

buddy

  • Expert
  • Abonné Free fibre
  • *
  • Messages: 15 094
  • Alpes Maritimes (06)
Analyser la progression d'IPv6 via les logs Apache2
« Réponse #4 le: 24 avril 2015 à 18:17:50 »
Un plug-in existe pour http://www.awstats.org ?[/size]

oui. Mais il ne fait pas grand chose ... juste le reverse.. aucune stat ipv4/ipv6. (c'est "possible" que je sois passé à côté n'étant pas fan de awstats ...)

@vivien, c'est pour faire des stats sur lafibre.info ? ce n'est pas ipv4 only pour le moment ?

Tien pour info, google vient toujours crawler en ipv4 sur les sites pourtant ipv6 ready.

jack

  • Professionnel des télécoms
  • *
  • Messages: 1 674
  • La Madeleine (59)
Analyser la progression d'IPv6 via les logs Apache2
« Réponse #5 le: 24 avril 2015 à 18:21:58 »
Ce devrait être faisable avec un bout de awk + gnuplot.
Pour chopper le mapping ip2as: utilise dig (http://www.team-cymru.org/IP-ASN-mapping.html#dns)

kgersen

  • Modérateur
  • Abonné Bbox fibre
  • *
  • Messages: 9 078
  • Paris (75)
Analyser la progression d'IPv6 via les logs Apache2
« Réponse #6 le: 24 avril 2015 à 18:30:23 »
D'apres sa man page, traceroute fait un lookup sur whois.ra.net ( ca serait donc une requete whois standard).

kgersen

  • Modérateur
  • Abonné Bbox fibre
  • *
  • Messages: 9 078
  • Paris (75)
Analyser la progression d'IPv6 via les logs Apache2
« Réponse #7 le: 24 avril 2015 à 18:54:22 »
  • Si l'AS existe déjà dans la table, incrèmenter les compteur "hits" de +1 et "taille" de la taille téléchargée coté IPv6 si IPv6 ou coté IPv4 sir IPv4

Tu n'as pas besoin de calculer les hits et la taille par AS. Les requêtes et les graphes feront ca tout seuls.

Le plus simple est d'injecter tout le log dans une table (tableau, fusion, BdD, etc) et d'ajouter des colonnes (des champs) a cette table: un champ pour l'AS et un qui dit IPv4 ou IPv6 (TypeIP). Ensuite tu peux faire des graphes et requêtes sur cette table: genre hits par AS au cours du dernier mois glissant par exemple, etc. Tu peux aussi ajouter les champs FAI, Pays et Ville par exemple.

Le truc ensuite est d'avoir un processus (script, programme, etc) qui met a jour la table quotidiennement et qui "rempli" les champs supplèmentaires (AS,TypeIP, etc) des nouvelles entrées.



vivien

  • Administrateur
  • *
  • Messages: 47 075
    • Twitter LaFibre.info
Analyser la progression d'IPv6 via les logs Apache2
« Réponse #8 le: 24 avril 2015 à 19:05:03 »
kgersen, cela ne fonctionne pas pour les gros logs.

1 million de ligne, c'est vite arrivé avec Apache. (Calc et Excel limitent les tableau a 1 million de ligne et ont bien du mal à gérer des tableau de cette taille)
Uniquement lafibre.info doit dépasser le million de ligne de log par jour => https://lafibre.info/stats/
(une page est composé de plusieurs éléments, chaque image c'est une ligne)

C'est pour cela que je verrais bien un tableau avec une ligne par AS. Cela permet de faire des stats mensuelles ou trimestrielles avec un tableau de moins de 10 000 lignes.

@vivien, c'est pour faire des stats sur lafibre.info ? ce n'est pas ipv4 only pour le moment ?
LaFibre.info va passer en IPv6 dans quelques mois.

Je ne comprend pas que Google ne fasse pas des stats plus détaillées que ça : https://www.google.fr/ipv6/statistics.html

On parle beaucoup d'IPv6, mais qui l'active par défaut ? J'avais compris que K-Net l'activait par défaut, mais vu le trafic très faible, je suppose que cela a été stoppé. Il se dit que Free active l'IPv6 par défaut, mais sur les nouvelles lignes Free que j'ai regardé, ce n'était pas le cas. Quel pourcentage d'IPv6 chez SFR ? Orange ? Bouygues ? Ce script permettrait de répondre aux questions, avec le biais de la population du site visité, qui n'est pas forcèment représentative.



J’imagine au vu des problème de l'IPv6 en France, que c'était lié à la saturation des chemins empruntés pour avoir Youtube en IPv6, avant que Free mette en place des GGC.



IPv6 ne deviens plus négligeable au niveau mondial !


jack

  • Professionnel des télécoms
  • *
  • Messages: 1 674
  • La Madeleine (59)
Analyser la progression d'IPv6 via les logs Apache2
« Réponse #9 le: 24 avril 2015 à 19:11:45 »
Citer
J'avais compris que K-Net l'activait par défaut, mais vu le trafic très faible, je suppose que cela a été stoppé.
C'est activé sur la moitié du parc uniquement.
Nos routeurs ont un défaut, le mauvais switch chinois s'en moquent, les bons commutateurs français beaucoup moins.


buddy

  • Expert
  • Abonné Free fibre
  • *
  • Messages: 15 094
  • Alpes Maritimes (06)
Analyser la progression d'IPv6 via les logs Apache2
« Réponse #10 le: 24 avril 2015 à 19:21:38 »
On parle beaucoup d'IPv6, mais qui l'active par défaut ? J'avais compris que K-Net l'activait par défaut, mais vu le trafic très faible, je suppose que cela a été stoppé. Il se dit que Free active l'IPv6 par défaut, mais sur les nouvelles lignes Free que j'ai regardé, ce n'était pas le cas. Quel pourcentage d'IPv6 chez SFR ? Orange ? Bouygues ? Ce script permettrait de répondre aux questions, avec le biais de la population du site visité, qui n'est pas forcèment représentative.

j'avais entendu dire que Free l'activer par défaut sur les FB révolution > dec 2011...
Pour la part d'ipv6 chez Orange et Bouygues, 0 % non ?
Chez SFR, çà augmentera peut être avec le firmware 3.5 qui gèrera l'ipv6 natif ... (car en FTTH se retrouvait limité à moins de 100 MBits (je n'ai plus le chiffre exact) à cause de l'ipv6 çà fait "mal".)

Si jamais tu trouves quelque chose qui marche bien, je veux bien "traiter" des logs aussi avec.

kgersen

  • Modérateur
  • Abonné Bbox fibre
  • *
  • Messages: 9 078
  • Paris (75)
Analyser la progression d'IPv6 via les logs Apache2
« Réponse #11 le: 24 avril 2015 à 19:57:52 »
Je pensais a une ligne par "IP+user agent" et par jour donc je ne pensais a des millions de lignes (grosso modo ca fait une ligne par user par jour). Effectivement si t'as pas l'usage de l'IP et l'UA tu peux cumuler par AS.

Citer
"c'est pour cela que je verrais bien un tableau avec une ligne par AS"

Je ne capte pas la logique la. Si t'as trop de lignes pour que ca rentre dans un tableau, tu peux réduire a une ligne par AS par jour mais il faut bien garder une dimension 'temporelle' pour faire des stats avec du temps (mois, année, etc). Tu n'a pas plus d'une dizaine d'AS différents par jour non ou aller au pire 100? ca fait 100 lignes/jour ca passe en tableur sinon tu passes en fusion ou SQL.

T'as juste besoin de sommer les hits et les volumes par AS et par jour donc.

Sinon passes en SQL si tu veux tout garder (tout = cumul journalisé par IP/UA donc c'est pas des millions non plus), quitte à  faire des tables cumulatives en plus, style par AS/jour et AS/mois si les requetes sont trop lentes (mais ca c'est de l'opti qu'on fait plus tard).