Fair enough, mais si un admin bloque des IP classées comme hosting, c'est parce qu'il ne veut peut-être pas de ce traffic? My network, my rules?

J'entends l'argument technique, mais "si tu veux scraper, t'as pas le choix", c'est un peu comme de dire que si tu veux voler des playstations, faut des cagoules et des barres à mines : ca reste des méthodes de sagouins, et c'est pas honnête.

Je vais me faire l'avocat du diable pour une fois :
- Beaucoup de sites bloquent déraisonnablement les IP classés comme hosting
- Beaucoup de gros sites ont mis des ACL tellement violentes par IP que parfois si tu veux crawler, t'as pas trop le choix

Il y a tout de même une absence de respect des normes établies et façons de faire sur Internet (DoS presque distribué, où les acteurs utilisent énormément d'adresses IP différentes pour outrepasser les limitations de connexions par IP ou le tarpitting, non respect de robots.txt, etc.).
Ce n'est pas comme si c'était un simple gus avec curl qui faisait crasher le forum à cause d'un bug dans le code PHP...

Je vois qu'il y a de fausses requêtes Google

Il n'y a aucune volonté de nuisance derrière ces activités, c'est juste surprenant comment c'est volumineux.