Juste, c'est quoi le modele économique de un hébergement gratuit ? 

De faire essayer et de vendre du payant ensuite.

Heureusement que je suis là pour donner des pistes

https://datadome.co/fr/recherche-de-menace/comment-facebook-a-ete-exploite-comme-un-proxy-par-des-bots-de-scraping/

https://www.c2script.com/scripts/bloquer-les-faux-partages-facebook-venant-de-facebookexternalhit-s66.html



Juste avec "facebookexternalhit" dans Google 

@ buddy et XP25

Vos liens sont très instructifs, et expliqueraient le contexte des requêtes depuis les adresses IPV6, notamment celles avec les références à facebook. Les adresses IPV6 seraient bien manipulées par des indélicats...

Les questions qu'il me reste, c'est d'une part :
- l'étrangeté des requêtes, avec les séquences répétées, qui ne peuvent recevoir que la page d'accueil envoyée dans la plupart des cas d'adresse erronée, plutôt qu'une erreur 404.
- la reprise de ces mêmes requêtes par d'autres sites depuis des adresses IPV4, notamment Amazon (4 IP), OVH France et Québec (5 IP), semrush.com (3 IP), et quelques autres.

Pour compléter le dossier :
1) Au lien facebook fourni par les bots http://www.facebook.com/externalhit_uatext.php, il y a une adresse de contact legal@facebook.com que j'ai utilisée pour leur communiquer le problème. Aucune réponse à ce jour.
2) Hier j'ai communiqué à Alwaysdata un point sur l’origine du problème et les actions que j'ai effectuées pour le résoudre. Je viens de voir que ce matin j'ai reçu un "Merci" de Nicolas G, j'ose espérer que cela termine l'incident, auquel cas je les en remercie.
En tout cas ces bots m'agacent et je compte continuer à les bloquer. Si qqn était au courant d'une limitation du nombre d'IP dans la liste des deny du .htaccess, je suis preneur, merci. Pour le moment cette liste est encore loin d'avoir la taille de celles des TV et Radios de TVradioZap, donc je dois pouvoir gérer. 

Bon, l'histoire continue. J'ai testé le fichier robots.txt. Il n'est pas respecté par les principales adresses qui font du flooding, notamment facebook, semrush, et amazon. J'ai eu le malheur de vouloir le vérifier hier avec des adresses d'Amazon. Ca confirmerait que ces adresses sont détournées d'une façon ou d'une autre mais n'empêche, elles appartiennent bien à ces services.

J'étais rendu à 260 adresses facebook bloquées. Finalement j'ai bloqué toute la plage, un seule ligne suffit dans le .htaccess, ce sera moins lourd pour Apache et Alwaysdata.
Les adresses des ripoux ou utilisés par des ripoux sont les suivantes :
#facebook
deny from 2a03:2880::/32

#fbsv.net (Facebook IPV4, fwdproxy-cco-001.fbsv.net)
deny from 69.171.230
deny from 173.252.83

#Amazon
deny from 3.224.220.101
deny from 23.22.35.162
deny from 52.70.240.171

#semrush.com
deny from 85.208.96
deny from 185.191.171
deny from 185.170.167.18

On se demande comment c'est possible de nos jours. Prenons par exemple l'adresse 3.224.220.101 chez Amazon. Elle est répertoriée comme étant "100% abuse" : https://www.abuseipdb.com/check/3.224.220.101. Il y a 181 pages de listes de sites de webmasters qui ont remonté le problème, mais elle est toujours vivante ! Leurs deux autres adresses, pareil. Les 3 groupes d'adresses chez Semrush, pareil. Et à côté de ça tu as (avais) l'Hadopi sur le dos si tu avais le malheur de télécharger "Le Gorille" de Brassens, de 1952.

La protection sur Internet, c'est celle pour que les gros groupes soient à leur aise, et celle du citoyen, seulement pour lui éviter d'être perturbé quand il fait ses achats, ce ne serait pas bon pour le business des premiers.

Comme j'ai dit, il faut parfois plusieurs jours avant qu'ils ne voient et interpretent et respectent le robots.txt ... tu ne verras son potentiel effet qu'en milieu de semaine prochaine je pense. (bon après, il ne mange pas de pain... vaut mieux l'avoir que rien.)

Les robots scrawlent tout (en fait n'importe quoi car les adresses ne correspondent à rien d'existant sur le site) avant de charger le fichier robots.txt, plutôt que de le lire systématiquement avant d'engager leurs nuisances.
Là je suis coincé. Si je les débloque j'aurai des tonnes de requêtes sans garantie que le robots.txt sera respecté, et je risque la coupure du compte par Alwaysdata. Et si je continue à les bloquer, ils ne peuvent plus lire le robots.txt. Et je crains qu'un blocage sélectif suivant la requête soit lourd en traitement.

Il semble qu'Apache renvoie une erreur 403 quand l'IP est bloquée. Si je pouvais avoir 404, peut-être que le robot cesserait ses intrusions avec ces adresses inexistantes ?

ce que je voulais dire c'est qu'il ne lise pas le robots.txt à chaque fois, mais de temps en temps (1 fois par 24 voire beaucoup plus ...)
Si la dernière fois qu'ils l'ont chargé
-> inexistant
-> pas de lignes les concernant

ils vont continuer à crawler le site comme avant et tenterons quelques temps plus tard de voir si le fichier existe, puis de prendre en compte les instructions et etc ...

Laisse le au moins pour les autres robots
Si ça se trouve, tu les as entièrement bloqué via l'ip avant qu'ils naient eu le temps de charger ton robots.txt (mais c'est une solution comme une autre hein, tu peux laisser le filtre par ip).

Je n'ai laissé que les principaux robots de référencement. Je ne vois pas l'intérêt que j'aurais avec facebook, semrush ou amazon, d'autant plus que manifestement, ils ne cherchent pas les adresses valides. Pas une fois je n'ai vu d'eux la moindre tentative d'accéder à une bonne adresse.

Tu postes si vite que ta réponse et l'ajout de ma question sur l'erreur 403/404 dans mon post précédent se sont croisés.