La directive Crawl-delay définit le nombre de secondes qu'un robot doit attendre entre deux requêtes successives.
Certains dont Bingbot et Yandex respectent Crawl-delay.
GPTBot d'OpenAI ou ClaudeBot d'Anthropic respectent généralement cette directive, s'ils sont explicitement ciblés.
Googlebot l'ignore totalement (il détermine sa propre vitesse de crawl de manière dynamique en fonction de la capacité de réponse du serveur), mais il ne pose aucun problème de charge.
J'ai donc mis en place ce fichier robots.txt :
User-agent: *
Crawl-delay: 2
Disallow: /*?wap*
Disallow: /*?wap2*
Disallow: /*?imode*
Disallow: /*;wap*
Disallow: /*;wap2*
Disallow: /*;imode*
Disallow: /admin
Disallow: /help
Disallow: /search
Disallow: /presentations
User-agent: GPTBot
Crawl-delay: 2
User-agent: ClaudeBot
Crawl-delay: 2
J'ai ré-autorisé bingbot ce matin, mais il ne respecte clairement pas le Crawl-delay.
J'ai vraiment l'impression qu'il y a des plages où le bingbot fait n'importe quoi et d'autres où le Bingbot a un usage raisonable.
Voici les logs :
202610_log_bingbot_27_octobre_2026.txtMon hypothèse : certains ont loué des VM chez Microsoft pour faire du scraping agressif en se faisant passer pour bing.
J'ai autorisé les plages IP qui font des requêtes à une fréquences raisonables et bloqué celles qui ont un usage extrêmement agressif.