Le scrapping ne se fait pour l'instant qu'avec des bots "non connectés" au forum?
Dans ce cas, oui, rendre le forum "quasi statique" pour les utilisateurs "non connectés", c'est probablement la solution à court terme.
Et changer de hardware serveur devrait nous donner de la marge également.

Mais il arrivera un moment, tôt ou tard, où les bots / agents-IA se créeront leur compte, et se connecteront réellement. Mais chaque chose en son temps.

Leon.

Donc on se retrouve avec une majorité de pages essentiellement statiques, mais impossible à mettre en cache car elles contiennent toutes une infime proportion de contenu dynamique. Alors que la majorité du contenu pourrait être servi sans même avoir appeler le moindre PHP.

Sur ta conclusion c'est mon propos depuis le début également.

Sinon tu peux mettre des pages dynamiques en cache.
Certes le nombre de visiteurs ne sera plus mis à jour ou affichera une info périmée, mais en mode non-connecté, on s'en fout.

Comme je l'ai dit, c'est très a la mode le scrap agressif (et mal fait).

Je confirme, j'ai le problème sur certains sites que je maintiens et je ne sais plus trop quoi faire.
J'ai essayé Cloudflare, mais les visiteurs humains ont râlé, et les blocages IP sont trop faciles à contourner.
Quelques améliorations de performance grâce à l'IA m'ont permis de supprimer les erreurs 508 pour l'instant, mais vu l'évolution du trafic ça n'est qu'une question de temps avant que ça ne reprenne. 

https://github.com/TecharoHQ/anubis ?

Malheureusement, l'efficacité d'Anubis semble avoir été nettement réduite ces derniers temps :
https://people.kernel.org/monsieuricon/creepy-crawlies (section "Make them pay")
https://lock.cmpxchg8b.com/anubis.html

En plus, quand on navigue sur un vieil appareil, c'est franchement dérangeant. Par exemple, récupérer un document sur https://hal.science depuis un ordinateur de bibliothèque, c'est attendre bien 45 secondes à chaque connexion que le challenge soit validé.