Raphael : C'est vieux mais ça fait le job pas mal avec un volume maitrisé. C'est pas l'outil d'analyse idéal, mais c'est un outil assez simple et pas trop gourmand pour avoir une vue synthétique de ta répartition. Après si on veut aller plus loin, entre ELK et Wanguard il y a des choses intéressantes à faire, notamment dans le détail des infos qui ne se limitera pas aux AS.

Par rapport à du rrd, pmacct + database + whatever, ça permet notamment de voir autre chose que "tel AS fait tel traf et ça passe par tel IX", ce qui est bien mais insuffisant.
En l'occurrence on pourra voir qui a lancé un DDoS avec quel protocole vers quels clients depuis quels IPs et/ou quels AS, avoir des infos détaillées par IP, protocoles, tailles de paquets, quel est l'AS avec lequel il serait intéressant de peerer (pas l'AS source ni destination, mais celui du milieu), bref tout ce qu'on n'a pas dans un rrd mais qui peut s'extraire en SQL avec des SELECT.

Quand InfluxDB gobe beaucoup de données et que tu lui demandes une requête assez complexe il se retrouve vite en "Out of memory".

Évidemment ce n'est pas forcèment pertinent pour une beigebox hébergée sous la table de la cuisine, ça dépend du besoin.
Et bien sûr il y a les solutions payantes ; voire externalisées (Kentik ou autres Deepfield).

Synack, tu veux dire qu'il crée un RRD par AS, même si tu n'a échangé qu'un paquet avec cet AS et que tu n'aura plus d'autres échange ensuite ?

Des qu'il detecte du trafic avec un AS, il cree le RRD correspondant a l'AS.

Avec les mises à jour toutes les 5 minutes, cela doit générer pas mal d'E/S.

Pas tant que ca. Il met a jour uniquement les RRD correspondant aux AS avec lesquels il y a eu du trafic echange dans l'intervale.

Avec un RRD de 1 Mo, cela fait 50 Go écrit toutes les 5 minutes, j'ai bon ? (a moins qu'il soit possible de mettre à jour le RRD sans le ré-écrire complètement ?)

Pas tout a fait (voir plus haut).

J'ai mis en place mon AS-stats des que j'ai eu du netflow utilisable (nouveaux routeurs "internet border"), il y a environ 3 mois. Depuis, le nombre de RRD n'arrete pas d'augmenter. Je n'ai pas encore touche les 50K de Synack, mais je ne suis pas loin. Selon bgp.potaroo.net ca devrai plafonner vers 55K.

InfluxDB vs RRDtool : ce n'est pas la même chose, et je pense InfluxDB sera beaucoup plus lourd.

RRDtool moyenne, ce que Influx ne fait pas (comme le dit Jack, la taille est fixe) ?

Quand InfluxDB gobe beaucoup de données et que tu lui demandes une requête assez complexe il se retrouve vite en "Out of memory".

Alors ce n'est pas la meme chose dans le sens ou rrdtool est un outil à la fois de stockage de tsdb et de rendering de graph.
Il permet aussi l'aggregation à la volée.

Influxdb (ou prometheus) c'est une bdd orienté tsdb. Evidement c'est aberrant de mettre toutes les données brutes de flow dedans.
Il faut mettre des métriques et après cela se passe niquel (surtout que c'est fait pour) . A noter que Influx gere aussi l'historisation ou aggregation via les continuous query.

L'immense avantage de ces outils moderne c'est :

- une vrai gui avec grafana qui permet de créer des graphs ultra simplement, de les templater, etc...
- le fait que tu n'as pas besoin de définir tes métriques à l'avance;

Donc oui dans un sens ca peut etre plus long à mettre en place (encore que c'est surtout l'habitude) que rrd, mais après quel confort.
(et franchement celui qui a déjà essayer de faire des graph dans rrd ne peux pas me dire le contraire, c'est long et relou)

Par rapport à du rrd, pmacct + database + whatever, ça permet notamment de voir autre chose que "tel AS fait tel traf et ça passe par tel IX", ce qui est bien mais insuffisant.
En l'occurrence on pourra voir qui a lancé un DDoS avec quel protocole vers quels clients depuis quels IPs et/ou quels AS, avoir des infos détaillées par IP, protocoles, tailles de paquets, quel est l'AS avec lequel il serait intéressant de peerer (pas l'AS source ni destination, mais celui du milieu), bref tout ce qu'on n'a pas dans un rrd mais qui peut s'extraire en SQL avec des SELECT.

Voila bien gentiment. Et influx/prometheus sont tres tres performant, il faut faire juste attention a ce que l'on mets dedans comme une BDD quoi.
A refaire d'ailleurs je ferais du prometheus car cela gère l'alerting directement.

Influxdb (ou prometheus) c'est une bdd orienté tsdb. Evidement c'est aberrant de mettre toutes les données brutes de flow dedans.
Il faut mettre des métriques et après cela se passe niquel (surtout que c'est fait pour) . A noter que Influx gere aussi l'historisation ou aggregation via les continuous query.

Bof, j'suis en train d'essayer les outils, grandement motivé par ton retour d'expérience
Je suis plutôt déçu par influxdb : j'essaie de faire de stats par IP, il semble incapable de gérer une telle cardinalité .. :s
(j'ai monté les limites, mais du coup il oom avec 10GB dédié ..)

M'enfin