Auteur Sujet: Stats du robot d'indexation Google sur LaFibre.info  (Lu 1780 fois)

0 Membres et 1 Invité sur ce sujet

corrector

  • Invité
Stats du robot d'indexation Google sur LaFibre.info
« le: 08 janvier 2013 à 09:26:01 »
Je ne savais pas que le trafic était si faible entre un hébergeur et Google (je pensais qui l'indexation des pages consommait de grosses quantités vu l'assiduité des robots de Google !
vivien, tu peux nous donner les statistiques des robots sur lafibre?

vivien

  • Administrateur
  • *
  • Messages: 47 252
    • Twitter LaFibre.info
Stats Google sur LaFibre.info
« Réponse #1 le: 08 janvier 2013 à 09:35:27 »
Ca fait un moment que je n'ai pas fait de stats au niveau apache pour voir les robots.

Je pense que c'est entre 1000 et 2000 pages par jour mais les images ne sont pas téléchargées (sauf pour les recherches Google images)

Damien

  • Expert
  • *
  • Messages: 1 917
Stats Google sur LaFibre.info
« Réponse #2 le: 08 janvier 2013 à 09:59:55 »
https://www.google.com/webmasters/tools/home?hl=fr

Ce site te permet d'avoir un rapport complet sur l'activité des robots Google sur ton site.
Pour www.k-net.fr, on est à 100 pages en moyenne par jour, pour 3Mo de données. Ceci ne prend pas en compte le forum (d'ailleurs je devrais l'enregistrer dessus également).

vivien

  • Administrateur
  • *
  • Messages: 47 252
    • Twitter LaFibre.info
Stats Google sur LaFibre.info
« Réponse #3 le: 08 janvier 2013 à 10:36:20 »
Je ne connaissais pas, honte sur moi !

Voici les stats pour lafibre.info, qui inclus SmokePing et le forum fermé du PauBC : https://lafibre.info/paubc/

C'est 55 Mo de données par jour et 6300 pages :


Impressionnant, je ne comprends pas pourquoi cela augmente :


La chute de la courbe verte, c'est probablement la modificaiotn du fichier robot.txt pour exclure les pages pour mobile type https://lafibre.info/index.php?wap2 :


Le robot.txt actuel : https://lafibre.info/robots.txt

Damien

  • Expert
  • *
  • Messages: 1 917
Stats Google sur LaFibre.info
« Réponse #4 le: 08 janvier 2013 à 11:01:25 »
La chute de la courbe verte, c'est probablement la modification du fichier robot.txt pour exclure les pages pour mobile type https://lafibre.info/index.php?wap2 :

L'explication de la courbe verte :
Citer
URL de votre site qui redirigent vers d'autres pages ou URL dont le contenu est très similaire à celui d'autres pages.
Donc oui, Google de lui-même ignorait les pages wap, et en indiquant dans le robot.txt que tu les bloquais a fait baisser cette courbe.

vivien

  • Administrateur
  • *
  • Messages: 47 252
    • Twitter LaFibre.info
Stats du robot d'indexation Google sur LaFibre.info
« Réponse #5 le: 08 janvier 2013 à 11:07:31 »
Malheureusement quand on réalisait une recherche sur google on tombait assez régulièrement sur des pages wap, donc je pense que dés fois il ignorait plutôt la version normale !

(d'où mon action sur robots.txt, certaines personnes ayant un téléphone wap et utilisant toujours ces pages - je pense a leon_m)

Snickerss

  • Expert Free + Client Bbox fibre FTTH
  • Modérateur
  • *
  • Messages: 4 819
  • Mes paroles n'engagent que moi :)
    • BlueSky
Stats du robot d'indexation Google sur LaFibre.info
« Réponse #6 le: 08 janvier 2013 à 11:14:11 »
o m g les tél wap  :P


Allez hop hop hop on passe au Galaxy Note  ;D