Si cela continue, la solution sera de filtrer les IP en questions.

Sinon, au lieu de bloquer les IP qui génèrent ce traffic, tu pourrais aussi leur afficher un vhost avec une blague, ou un message clairement visible pour ceux qui sont derrière tout cela... J'espère naïvement que ça pourrait leur faire prendre conscience qu'il faut optimiser leurs activités, si il y a au moins une personne qui supervise leurs crawlers (si oui, elle n'est pas très compétente), et si toutefois leur but n'est pas malveillant.
 
Enfin un simple iptables -s IP -j DROP devrait suffire dans la plupart des cas

Edit : ce qui me semble bizarre dans ton premier graphe c'est que le port 80 soit omniprésent (courbe verte) sur les accès/seconde, comme le site est entièrement sur le 443 ça veut donc dire que la courbe bleue est confondue et que leur bazar accède systématiquement sur le 80 et se fait rediriger sur le 443 ensuite (une charge serveur supplèmentaire inutile.)

T'es pas rendu avec Apache en front end.

Mettre un varnish en reverse proxy pour transformer les visites des guest en simple envoi de page statique.
Cela va faire descendre de façon considérable la charge sur MySQL

Retour de Infegy :

Thank you for the heads up Marin!

We will adjust as needed, and stop sending your site so many requests immediately. Please don't hesitate to reach out if you have any further issues.

Best,

Justin Graves   -   Founder & CEO

Est-ce que tu as mesuré l'impact sur le serveur d'un tel comportement?

Quel est le coût?

Le coût n'était pas négligeable du coté CPU : Chaque page nécessite pas mal de code PHP et de nombreuses requêtes MySQL.

Pour vous donner une idée, j'ai affiché, en bas de chaque page du forum, le temps CPU nécessaire pour générer la page et le nb de requêtes MySQL.

Exemple : "Page générée en 0.048 secondes avec 20 requêtes."
(c'est temporaire, je désactive cette info dans 24h)

Le coût en bade passante lui est nul car les images ne sont pas chargées (exception fait du PDF qui a généré 10 Go de trafic)