Dans les logs que tu as donné, si on regarde les URL demandées classées par nombres de requêtes :
awk '{ sub(/\??PHPSESSID=[a-z0-f]*/, "", $7); print $7 }' 202610_log_applebot_22_octobre_2026.txt | sort | uniq -c | sort -nk1
On voit que certaines pages sont demandées des centaines de fois, et d'autres seulement quelques fois, sans vraiment de logique apparente.
En regardant les headers retournés par le serveur je vois un Expires: Mon, 26 Jul 1997 05:00:00 GMT. Je doute que les bots l'utilisent, mais si ils le font, ça ne doit pas les aider à prendre une décision éclairé.
Je pense aussi que le PHPSESSID dans les URLs ne doit pas aider non plus, car chaque URL devient essentiellement unique pour une armée de scrapers. Je crois qu'il serait intéressant de désactiver la feature, d'autant qu'elle est parfaitement inutile à la fois pour l'immense majorité des utilisateurs humain, et pour les bots. Il suffit de mettre session.use_only_cookies = 1 dans php.ini, et c'est d'ailleurs désormais la configuration par défaut (et je vois que 0 est même déprécié depuis 8.4).
En plus je vois qu'il y a l'air d'y avoir un bug ou PHPSESSID est parfois (dans 12% des cas) ajouté après un ; au lieu d'un ? ou un &, donc dans ce cas même si un scraper chercherait à l'ignorer il n'y parviendrait pas.