Comme je l'ai dit, c'est très a la mode le scrap agressif (et mal fait).

J'ai toujours eu un gros doute sur le fait que ce soit un DDoS car ça dure depuis trop longtemps.

Alors je vais aussi aller dans ce sens car c'est vraiment similaire à ce que l'on à de nôtre côté sur le site de ma boite depuis plus de 1 ans... Pour tester, j'ai donné la liste de vivien à claude et celle que l'on à de cloudflare (nous avons un gros soucis similaire qui ddos à cause du nombre de requètes notre server web depuis plus d'un ans) et c'est très similaire niveau type/principe de requète.. etc. faudrait que je prennes une plus grosse liste mais je serais même pas étonné que des IPs matchs aussi 

Nous avons par chance pu mettre en place ce qu'il faut côté cloudflare et cela reste coincé chez eux maintenant... Bon courage!

Je ne peux même pas ouvrir leur site car il est blocklist dans une des listes dns proofpoint 

Ça ne serait pas envisageable de bloquer au niveau d'Apache toutes les requêtes qui ont un query parameter "PHPSESSID" ? A moins que ça ne bloque aussi les "bons" crawlers de google, bing, etc.

Bien vu effectivement. Sur le site oxylabs : "Fresh Web Data for Grounding AI Agents".

Je ne pensais que le crawling évoqué par Hugues pouvait être aussi important, au point de faire tomber un site. C'est assez démentiel.
Décidément, la folie IA a plein de conséquences...

Cela veut dire aussi que lafibre.info est ciblé pour être un site technique assez intéressant où peuvent être récupérées plein d'informations pour entrainer les moteurs d'IA...

Et je pense que ce n'est pas vraiment à l'honneur de Free pro que ses IPs soient louées pour de tels services. Mais cela doit rapporter...

Sans rien connaître à SMF, je soupçonne quand même qu'il y ait un gros problème d'architecture avec le moteur du forum. Sur toutes les pages on a une pelleté d'informations pas vraiment indispensables (comme le statut en ligne ou non de chaque participant à une discussion) qui obligent sans doute à faire une multitude de requêtes DB pour pas grand chose. Et comme ce sont des pages générées entièrement côté serveur, ça empêche aussi de mettre en cache une immense majorité de pages qui ne changent pourtant presque jamais.

Donc on se retrouve avec une majorité de pages essentiellement statiques, mais impossible à mettre en cache car elles contiennent toutes une infime proportion de contenu dynamique. Alors que la majorité du contenu pourrait être servi sans même avoir appeler le moindre PHP.

Je ne pensais que le crawling évoqué par Hugues pouvait être aussi important, au point de faire tomber un site.

De mon point de vue très limité (je n'expose que quelques API JSON/HTTPS avec quelques webapps type grafana), les crawlers s'identifiant comme IA ne respectent pas les rate limits ou autres restrictions présentes dans /robots.txt et répètent aisément les mêmes requêtes 1000x par heure, même si ces requêtes répondent par des codes HTTP 4xx.
C'est comme si ces bots ne cachaient ni le contenu des réponses, ni même la liste des URL qu'ils ont déjà visité.

Dans mon cas je suis très peu impacté : une requête non authentifiée ne me consomme quasiment pas de ressources, et je tarpit les IP générant plus de x réponses 4xx par minute.
Mais je ne suis vraiment pas surpris qu'ils puissent faire tomber un site public avec énormément de contenu dynamique tel que lafibre, surtout vu les resources consommés par SMF (ou PHP, d'ailleurs).

Cela veut dire aussi que lafibre.info est ciblé pour être un site technique assez intéressant où peuvent être récupérées plein d'informations pour entrainer les moteurs d'IA...

Pour les entraîner probablement, mais une grosse partie des requêtes effectuées par ces bots sont réalisées lors de l'inférence.
Par exemple, quelqu'un qui demanderait à ChatGPT "donne moi des instructions claires pour configurer mon routeur OPNSense pour bypasser la Livebox d'Orange" va déclencher une dizaine de requêtes au forum, à minima, si ce n'est un ou deux ordres de grandeur de plus.

Et je pense que ce n'est pas vraiment à l'honneur de Free pro que ses IPs soient louées pour de tels services. Mais cela doit rapporter...

Tragédie des communs malheureusement : c'est peu éthique mais ca rapporte, ceux qui le font se justifient par "si je ne le faisais pas, un autre le ferait et ca serait pareil, autant que je prenne l'argent". Voir aussi: les proxies résidentiels, l'industrie du gaz ou du pétrole, etc...