Apparemment c'est une boîte de collecte de données lambda qui fait du crawling : http://infegy.com/

Le téléchargement du document est réparti avec Content-Range en blocs d'environ 4096 Ko, mais le total serait normalement de 18 Mo, l'addition de la colonne "Taille" dans ton document donne 9,2 Go (si je l'interprète bien !?). Est-ce qu'elle serait coupée avant ? Le compteur est peut-être aussi décuplé par la répartition entre différentes adresses sources.

Dis, ces derniers jours je vois aussi beaucoup de connexions se créer quasi-immédiatement dans les secondes qui suivent l'envoi d'un message sur un sujet (des miens en tous cas...). Ça ne proviendrait pas également de ce robot ? Il doit y avoir un secteur occupé par des crawlers taillés spécifiquement pour récupérer en temps réel les gros logiciels de forums comme SMF.

C'est de cela dont je parle et j'étais l'interlocuteur. Cela a concerné par exemple mon dernier message dans la section IPv6 (https://lafibre.info/ipv6/script-perl-ipv4-ipv6/msg314517/#msg314517) et ceux dans la section Free 10G-EPON, mais vraisemblablement pas les plus récents messages toutes sections confondues ni les miens dans cette section non-indexée. Il serait peut-être intéressant de remonter les logs pour voir dans quels cas ça se manifeste.

J'ai vérifié, ce sont des requêtes avec user-agent "Mozilla/5.0 (compatible) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.73 Safari/537.36 collection@infegy.com" qui fait que le sujet était aussi consulté la nuit.

J'ai filtré les log Apache2 depuis début janvier sur "collection@infegy.com" et voici ce que je note :

- un seul user-agent (c'est le même début janvier et début mars)
- Il n'y a jamais de referer
- 434 requêtes "collection@infegy.com" en janvier 2016
- 83 679 requêtes "collection@infegy.com" en février 2016 (le rythme accélère beaucoup à  partir du 25 février)
- 362 708 requêtes "collection@infegy.com" les 6 premiers jours de mars (soit 1 800 000 requêtes attendues pour Mars, si on garde le même rythme.

Les 446 821 requêtes dans le fichier Libre office calc représentent 14,18 Go téléchargé, dont 9,97 uniquement pour le fichier du PDF du Raspberry Pi 3.
La taille moyenne des requête est de 32 Ko, la médiane est de 8,6 Ko.
Le max est à 7,5 Mo (PDF du Raspberry Pi 3)

=> 201603_stats_user-agent_infegy.ods (fichier de 17 Mo, LibrOffice Calc, lisible avec Excel et OpenOffice)
J'ai supprimé la colonne user-agent (c'est le même début janvier et début mars), referer (inexistant) type de requête (c'est uniquement du HTTP 1.1) et j'ai séparé dans la requête ce qui est avant le "?" de ce qui est après (le PHPSESSID)

J'apporte une petite notification : le très célèbre topic  Remplacer sa Livebox par un routeur Ubiquiti Edgemax avait aux alentours de 19h45-50 ce jour (07/03) une trentaine de visiteurs pour 2 personnes connectées lisant le topic. ça me semble être pour les mêmes raisons.

Les requêtes se sont vraiment amplifiées depuis hier et sont réalisées par période :

Nombre de requêtes Apache2 :


Requêtes My-SQL :


Fréquences du processeur :


Load average sur 5 minutes :


Si cela continue, la solution sera de filtrer les IP en questions.