Auteur Sujet: Requetes sur lafibre.info en fonction du user-agent  (Lu 1003 fois)

0 Membres et 1 Invité sur ce sujet

vivien

  • Administrateur
  • *
  • Messages: 53 738
    • Bluesky LaFibre.info
Requetes sur lafibre.info en fonction du user-agent
« Réponse #60 le: 31 octobre 2026 à 18:09:39 »
Bigoudi : Envoi moi la plage IPv4 concernée par MP, je la débloque tout de suite et je vais chercher à comprendre pourquoi je l'ai bloqué..

Sinon ce soir le serveur était de nouveau lent, j'ai fait de nouveaux blocages.

Phach

  • Abonné Bbox fibre
  • *
  • Messages: 1 033
  • Hérault (34) - Occitanie
Requetes sur lafibre.info en fonction du user-agent
« Réponse #61 le: 31 octobre 2026 à 18:21:09 »
salut,
désolé, j'ai pas lu toutes les pages juste les 8 premières mais je suis aussi confronté à ça sur notre infra.
Mon constat lié à ma petit expérience, sachant qu'on a choisi de mettre cloudflare devant les gros clients donc ca aide :
- la plupart des bots liés au search sont respectueux (google, bing, ...) et respecte le crawl-delay que tu peux ajouter dans un robots.txt donc bloquer bing ou google c'est pas toujours une bonne solution.
Garder en tête que plus un site répond vite et plus le bot augmente le rythme.

- les bots liés à anthropic n'ont aucun respect et moi je bloque le user agent qui se présente comme anthopic (les IP commencent par 216 en général, c'est chez aws je crois). On dépasse les 300.000 requêtes par jour de anthropic chez certains clients. et ca insiste pendant des jours même bloqué.
- filtrage par pays avec maxmind geoip pour filtrer le trafic qui n'a aucun sens sur un site franchophone.
- je filtre les user-agents chrome et firefox inférieur à 1xx (ca filtre les gamins qui scannent avec un vieux script tout pourri)
- je filtre quelques AS qui hébergent de la merde, on le sait, tout le monde le sait.

enfin, on test aussi CrowdSec et sa base d'IP malveillantes.

La dernière chose que j'ai mis en place en test c'est le honeypot. Une IP essaie de lire l'url .env ou .credentials ... t'es ajouté à la ban list.

J'ajoute que j'ai lu aussi que les vrais navigateurs chrome notamment, ont un mécanisme qui permet de les identifier parmi les faux user agent via une requête particulière.
Je l'ai pas exploité encore, mais je crois que Cloudflare Turnstile (le recaptcha cloudflare) utilise entre autre cela.



vivien

  • Administrateur
  • *
  • Messages: 53 738
    • Bluesky LaFibre.info
Requetes sur lafibre.info en fonction du user-agent
« Réponse #62 le: 31 octobre 2026 à 18:34:09 »
L'idée, cela serait de pouvoir garder le site en direct, sans être derrière un acteur tel que cloudflare.

- je filtre les user-agents chrome et firefox inférieur à 1xx (ca filtre les gamins qui scannent avec un vieux script tout pourri)
C'est le fltrage de ce soir, qui a permis de rétablir le forum.

Jusqu'à présent les vieux user agent se prenaient un blocage d'IP a postériori, après une analyse manuelle (où je fais attention à ne pas bloquer n'importe quoi).

Là, j'ai dû mettre une règle sur Apache pour ne plus répondre à certain vieux Chrome.

L'idée est toujours de faire une analyse à froid du trafic en question pour qu'il soit bloqué quand il aura changé son user agent.

Je pourais partager mes scripts d'analyse de log, je ne pense pas que cela soit sensible. J'ai vraiment été contraint de monter en compétence sur ce sujet et y consacrer du temps.

vivien

  • Administrateur
  • *
  • Messages: 53 738
    • Bluesky LaFibre.info
Requetes sur lafibre.info en fonction du user-agent
« Réponse #63 le: 31 octobre 2026 à 22:26:48 »
Je suis actuellement en Espagne, donc en Europe. Mais je suis aussi en IPv4 utilisant CGNAT, c’est-à-dire que le FAI assigne la même adresse publique à plusieurs clients en même temps, en utilisant des plages d'adresses privées.
Intéressant, ton IPv4 est indiqué appartenir au Brésil (AS262847 DBUG TELECOM LTDA).

Tu es en Espagne continentale ?

Le Brésil est un des pays qui attaquent le plus le forum, je suppose que des applications mobiles brésiliennes sont utilisées pour être vendues en proxy résidentiel ou pour faire du DDOS.

turold

  • Abonné Orange Fibre
  • *
  • Messages: 2 145
  • mp fermée (sauf admin et exceptions temporaires)
    • Site officieux de Paint.NET.
Requetes sur lafibre.info en fonction du user-agent
« Réponse #64 le: 31 octobre 2026 à 22:58:31 »
Ah, les joies des BDD de geoIP et le capitalisme international sur les IPv4...

Il y a en effet une autre possibilité, c'est que DBUG TELECOM LTDA a récemment acquis ou loué des IP d'un opérateur espagnol.
De là que les IP soient encore physiquement en Espagne en usage, mais que les BDD ont déjà appris qui devait les utiliser...

Je n'arrive pas à avoir en recherche générale sans chiffre, mais c'est probablement un début par 45, 91, ou 185, si c'est cette hypothèse.

Bigoudi

  • Abonné FAI autre
  • *
  • Messages: 74
  • Paris (75)
Requetes sur lafibre.info en fonction du user-agent
« Réponse #65 le: 01 novembre 2026 à 19:28:57 »
Intéressant, ton IPv4 est indiqué appartenir au Brésil (AS262847 DBUG TELECOM LTDA).

Tu es en Espagne continentale ?

Le Brésil est un des pays qui attaquent le plus le forum, je suppose que des applications mobiles brésiliennes sont utilisées pour être vendues en proxy résidentiel ou pour faire du DDOS.
Je ne suis pas au Brésil :) Et l'Espagne n'a plus de territoires d'Outre-Mer depuis 1898 (Porto Rico, Cuba, Philippines...) mais Internet n'existait pas, ni les ordis.

Je t'ai envoyé les IP que j'ai trouvé sur l'onglet WAN de l'interface modem : IP Address et IPv4 Gateway mais qui ne coïncident pas avec l'IP publique. Je t'envoie l'IP publique par MP.

Bigoudi

  • Abonné FAI autre
  • *
  • Messages: 74
  • Paris (75)
Requetes sur lafibre.info en fonction du user-agent
« Réponse #66 le: 07 novembre 2026 à 02:56:59 »
Je t'envoie l'IP publique par MP.
Zut. Je me suis envoyé l'autre jour le MP à moi-même...de Bigoudi à Bigoudi.
Mais cette erreur est peut-être instructive...car je viens de remarquer aussi que depuis ce MP, mon IP publique d'opérateur a varié, elle est donc dans le jargon "dynamique". Mais je ne peux toujours pas entrer dans le forum sans VPN :)

Bon, je t'envoie le MP.

vivien

  • Administrateur
  • *
  • Messages: 53 738
    • Bluesky LaFibre.info
Requetes sur lafibre.info en fonction du user-agent
« Réponse #67 le: 07 novembre 2026 à 08:51:04 »
J'ai débloqué ta plage IPv4, qui est bien en Espagne chez AS15704 XTRA TELECOM S.A. https://bgp.he.net/AS15704

Ce n'est pas grave que l'IP change si elle reste dans ta plage IP (ce sont de grosses plages IP qui sont bloquées).

Toutefois, j'ai reçu beaucoup de trafic indésirable de ton opérateur et il y a 7 autres grosses plages bloquées.

En parallèle, j'ai débloqué Bing hier soir, en espérant qu'il se limiterait à récupérer une page toutes les 2 secondes, comme indiqué par robots.txt, mais il ne respecte pas la directive.

En 8 heures, bing a fait 82 494 requêtes entraînant quelques ralentissements.

J'ai été dans les outils "Bing Webmaster Tools" pour demander de calmer la fréquence :



Bigoudi

  • Abonné FAI autre
  • *
  • Messages: 74
  • Paris (75)
Requetes sur lafibre.info en fonction du user-agent
« Réponse #68 le: 07 novembre 2026 à 09:28:23 »
Par contre, j'ai reçu pas mal de trafic indésirable de ton opérateur et il y 7 autres grosses plages bloquées.
L'opérateur (après 1 rachat et une fusion) fait partie d'Orange Espagne.

vivien

  • Administrateur
  • *
  • Messages: 53 738
    • Bluesky LaFibre.info
Requetes sur lafibre.info en fonction du user-agent
« Réponse #69 le: 07 novembre 2026 à 10:38:56 »
Je pense que j'allègerai bientôt les blocages IP, si j'arrive à bien bloquer en fonction du user-agent.

Les quelques ralentissements de ce matin ne sont pas réellement lié à Bing (même si il a fait boucoup de requêtes), mais à 2 user-agent : Chrome 149 sur Mac et Edge 148 sur Mac.

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/149.0.0.0 Safari/537.36
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/148.0.0.0 Safari/537.36 Edg/148.0.0.0


J'ai bloqué ces deux user-agent.

Chrome 149 devrait avoir très peu d'usagers réel : cela ne correspond pas à une version bloquée par un système d’exploitation obsolète.

Petit tableau permettant de voir les versions de Chrome et Firefox utilisées sur les versions de macOS sorties depuis 216 :
macOS 27 Golden Gate (lancé le 14 septembre 2026) : Chrome est toujours mis à jour
macOS 26 Tahoe (lancé le 15 septembre 2025) : Chrome est toujours mis à jour
macOS 15 Sequoia (lancé le 16 septembre 2024) : Chrome est toujours mis à jour
macOS 14 Sonoma (lancé le 26 septembre 2023) : Chrome est toujours mis à jour
macOS 13 Ventura (lancé le 24 octobre 2022) : Chrome est toujours mis à jour
macOS 12 Monterey (lancé le 25 octobre 2021) : Chrome 150 (sorti en 2026) est la dernière version (privilégier Firefox qui est toujours mis à jour)
macOS 11 Big Sur (lancé le 12 novembre 2020) : Chrome 138 (sorti en 2025) est la dernière version (privilégier Firefox qui est toujours mis à jour)
macOS 10.15 Catalina (lancé le 7 octobre 2019) : Chrome 128 (sorti en 2024) est la dernière version (privilégier Firefox qui est toujours mis à jour)
macOS 10.14 Mojave (lancé le 24 septembre 2018) : Chrome 116 (sorti en 2023) est la dernière version (privilégier Firefox ESR 115 qui sera mis à jour jusqu’en 2027)
macOS 10.13 High Sierra (lancé le 25 septembre 2017) : Chrome 116 (sorti en 2023) est la dernière version (privilégier Firefox ESR 115 qui sera mis à jour jusqu’en 2027)
macOS 10.12 Sierra (lancé le 20 septembre 2016) : Chrome 103 (sorti en 2022) est la dernière version (privilégier Firefox ESR 115 qui sera mis à jour jusqu’en 2027)

Les versions minimales pour pouvoir surfer sur ce forum :
- Chrome 120
- Firefox 93
- Safari 16.1

Hugues

  • AS2027 MilkyWan
  • Modérateur
  • *
  • Messages: 13 600
  • Thoissey (01)
    • Twitter
Requetes sur lafibre.info en fonction du user-agent
« Réponse #70 le: 07 novembre 2026 à 10:47:03 »
J'ai l'impression que tu te bats avec une épée en mousse face à l'armée russe

Suffit de changer l'user agent pour un truc vaguement crédible et le blocage ne bloque plus

vivien

  • Administrateur
  • *
  • Messages: 53 738
    • Bluesky LaFibre.info
Requetes sur lafibre.info en fonction du user-agent
« Réponse #71 le: 07 novembre 2026 à 10:58:45 »
C'est pour cela que je préférais jusqu'à présent le blocage IP avec des plages IP bloquées définitivement et des IP bloquées automatiquement pour 24h (dans la minute qui suit la première requête, via un script qui analyse les log).

Face à l'éparpillement des requêtes sur des millions d'IPv4 qui vont chacune envoyer une seule requête, pas plus, cela devenait intenable.

Je suis sur de l'hybride : blocage immédiat via user-agent, mais après plusieurs jours j'analyse toutes ces requêtes sur des user-agent où je n'ai pas répondu pour bloquer les plages IP les plus actives.

Quand le user-agent sera changé, une bonne partie des IPv4 seront déjà bloquées.