Donc on se retrouve avec une majorité de pages essentiellement statiques, mais impossible à mettre en cache car elles contiennent toutes une infime proportion de contenu dynamique. Alors que la majorité du contenu pourrait être servi sans même avoir appeler le moindre PHP.

Sur ta conclusion c'est mon propos depuis le début également.

Sinon tu peux mettre des pages dynamiques en cache.
Certes le nombre de visiteurs ne sera plus mis à jour ou affichera une info périmée, mais en mode non-connecté, on s'en fout.

Comme je l'ai dit, c'est très a la mode le scrap agressif (et mal fait).

Je confirme, j'ai le problème sur certains sites que je maintiens et je ne sais plus trop quoi faire.
J'ai essayé Cloudflare, mais les visiteurs humains ont râlé, et les blocages IP sont trop faciles à contourner.
Quelques améliorations de performance grâce à l'IA m'ont permis de supprimer les erreurs 508 pour l'instant, mais vu l'évolution du trafic ça n'est qu'une question de temps avant que ça ne reprenne. 

https://github.com/TecharoHQ/anubis ?

Malheureusement, l'efficacité d'Anubis semble avoir été nettement réduite ces derniers temps :
https://people.kernel.org/monsieuricon/creepy-crawlies (section "Make them pay")
https://lock.cmpxchg8b.com/anubis.html

En plus, quand on navigue sur un vieil appareil, c'est franchement dérangeant. Par exemple, récupérer un document sur https://hal.science depuis un ordinateur de bibliothèque, c'est attendre bien 45 secondes à chaque connexion que le challenge soit validé.

Avec la montée en puissance en cours des Agents IA , ce genre de nuisance ne va faire que de s'intensifier.
Des dizaines de milliers d'agents qui veulent lire notre forum en masse.
On peut effectivement craindre que les volumes de requêtes continue de monter en flèche, vu qu'on ne parle plus seulement d'apprentissage mais d'inférence.

Leon.