@ F6FLT : es tu certain que l'augmentation du trafic sur ton site vient essentiellement des robots ? J'ai quand même un doute à ce sujet.
N'aurais tu pas subit une attaque ?

Bah oui. Une attaque de robots !

Une attaque de robot ? je n'ai jamais entendu parler de cela.
Et en quoi consiste ces robots ?

Essaye de lire ce qui a déjà été posté stp...

Je me répète :

C'est en rien une attaque.
Il fallait t'en douter : ton site circule et est partagé sur Facebook.

Ce dernier va sur ton site pour y récupérer des données (c'est comme ça qu'il intègre des apercus pour les liens).
Donc oui ça génère pas mal de lignes dans les access_log (j'ai aussi le cas dès que je poste une news par ex).

Ca c'était pour FB

Pour le reste (le bot qui tente des URL dans le vent), justement... il tente. S'il trouve la ressource, jackpot.
Pareil, j'ai ce cas aussi (ils tentent de trouver ma page de login wordpress par ex).

Je ne poste pas sans lire le sujet auquel je réponds.

Renseigne toi alors sur les domaines que tu ne comprends pas.

Ce n'est pas pour autant que j'arrive à comprendre comment des robots peut provoquer une augmentation du trafic.
Est-ce un DDOS (Denial of Service attack) ?

Non, du crawl intensif du site (pour simplifier)

Tu voulais dire FaceBook. Mais en quoi facebook est responsable ? A moins que facebook a été piraté et que l'attaque part de là.

Renseigne toi sur le rôle de robots de FaceBook

Pourquoi référencer son site ? Il peut simplement y accéder par son adresse IP, si c'est pour un usage privé.

Quel rapport entre référencement et IP ? Tu peux très bien avoir un nom de domaine et un site non référencé ...

Au lieu d'installer son site chez AlwaysData, pourquoi ne pas l'héberger chez lui ? Il peut ainsi mieux contrôler par le pare-feu, ceux qui sont autorisés ou pas à utiliser son site. Dans mon cas, j'ai désactivé tous les robots :

Code: [Sélectionner]

User-Agent: *
Disallow: /

Le fait d'avoir ton fichier robots.txt n'empêche pas les robots d'y accéder, seulement ceux qui le respectent
Il y a plein de bonnes raisons à vouloir héberger le site chez un professionnel plutôt que chez soi.

Parce que les robots web (google, bing, facebook, amazon et etc ...) n'est pas un mal absolu à éradiquer à tout prix non plus.
Plein de personnes en ont besoin à un juste niveau de crawl.
Après que dans certains cas le crawl soit trop agressif c'est une chose, tout bloqué radicalement, s'en est une autre ..
Normalement le robots.txt suffit à les calmer. (encore faut il leur laisser le temps de le lire / interpréter)

Si demain un hébergeur bloque tous les robots et donc l'indexation, pas sur qu'ils aient encore bcp de clients.

Là, j'ai peu de temps, mais je publierais cet été des statistiques sur les top 100 des robots qui indexent lafibre.info.

Vous pourrez voir que le problème, ce n'est pas Google ou Bing (leur activité est faible), mais d'autres.

@F6FLT: Qu'en pense alwaysdata ? Pourquoi ne résolvent-ils pas eux-même le problème ?

J'en étais enchanté avant cet incident, pour mes besoins c'est top à tout point de vue.

Je pense que ce n'est effectivement pas à moi de me protéger d'un trafic manifestement indésirable, par exemple des milliers de requêtes facebook pour toujours les mêmes adresses erronées, jusqu'à 1 toutes les 3 ou 4 secondes, mais à eux car c'est l'ensemble de leurs hébergés qu'ils ont à protéger.

Maintenant je ne suis pas trop exigeant vu que c'est gratuit, je leur ai montré ma bonne volonté, j'ai pris des mesures et communiqué ce que j'ai fait, qui est efficace en terme de charge de serveur.
La suspension du compte indiquerait une mauvaise volonté de leur part mais ce n'est pas le cas pour le moment, l'affaire semble en rester là.