Je cherche un outil ou plug-in pour a récupérer la taille des pages sur Internet, afin de faire des statistiques sur l'évolution de la taille des pages web (en incluant les objets rajoutés sur la page, les pub ect...)

Idéalement, je pourrais automatiser la chose en introduisant une longue liste de page web (exemple : le top30 Alexa https://lafibre.info/images/stats/201511_top30_alexa.txt ) et en définissant un time-out (car certaines pages se chargent sans limite avec des vidéos)

Vous avez une idée de ce que je pourrais utiliser ? (30 pages web cela se fait a la main, mais je voudrais faire des stats sur bien plus que 30 pages web)

Sur Android, il y a Tasker qui sait automatiser n'importe quoi, y compris l'ouverture de pages web sur Google Chrome.

Sur un PC (Windows ou Linux peu importe, cela ne devrait pas jouer sur la taille des pages), je ne trouve pas.

Idéalement, si l'outil pourrait me donner le temps de chargement de la page web, ce serait top.
Citefibre (102 requêtes - 349Ko)
Declic Telecom (287 requêtes - 1784Ko)
https://1.testdebit.info/fichiers/5000Mo/5000Mo.iso
https://2.testdebit.info/fichiers/5000Mo/5000Mo.iso
https://ikoula.testdebit.info/fichiers/5000Mo.dat
https://ikoula.testdebit.info/fichiers/1000Mo.dat

4,41 Mb/s ATM avec Windows + Firefox : (sans timestamps)
- CiteFibre : 1,26sec => 4,3 sec (1 connexion) => 12sec (2 connexions) => 22sec (3 connexions)
- DeclicTelecom : 4,70sec => 11,6 sec (1 connexion) => 29sec (2 connexions) => 57sec (3 connexions)

4,41 Mb/s ATM avec Ubuntu + Firefox : (avec timestamps)
- CiteFibre : 1,30sec => 18,7 sec (1 connexion) => 19sec (2 connexions) => 21sec (3 connexions)
- DeclicTelecom : 4,15sec => 45,4 (1 connexion) => 49sec (2 connexions) => 60 sec (3 connexions)

Idéalement, je ferais tourner le script tous les jour, pour avoir des données fiables.
PhantomJS est une idée mais j'aurais préféré un vrai navigateur web pour ne pas avoir de biais de mesure.

Pas besoin de revenir en arrière.
Il faut que les données sortent pour chaque site

Ce que je souhaiterais sortir :
- Un graphe pour voir la taille moyenne évoluer dans le temps (peut être sortir la taille 5centile et 95centile dans le temps)
- Un graphe pour montrer la distribution de la taille des pages web.
- Le top des 10 sites les plus lourd
- Le temps de chargement en bonus, mais j'imagine que cela doit être galère d'avoir qq chose de fiable.

Exemple concret :

je dirais qu'avec CURL y a moyen de s'amuser.
je vais regarder vite fait si je trouve une ligne de commandes qui ferait l'affaire.

Il y a également HTTrack Website Copier, mais ils n'aspire pas tout...

Je pense que le plus simple serait peut être de démarrer le navigateur et compter les octets pendant 1 minute puis fermer le navigateur.

Il y a également HTTrack Website Copier, mais ils n'aspire pas tout...

On est déjà un gros niveau en dessous de Phantom niveau « biais de mesure ».

Dans tous les cas un vrai navigateur semble préférable pour ce qui est des contenus Flash et vidéos, s'ils sont déterminants (sauf navigateur sans-tête convaincant).

- Le top des 10 sites les plus lourd

Cela dépendrait fortement de la taille de l'index.

- Un graphe pour voir la taille moyenne évoluer dans le temps (peut être sortir la taille 5centile et 95centile dans le temps)
- Un graphe pour montrer la distribution de la taille des pages web.

Si ça peut t'intéresser, j'ai trouvé un projet qui fait ce genre de graphes (de novembre 2010 à novembre 2015) :
http://httparchive.org/trends.php?s=All&minlabel=Nov+15+2010&maxlabel=Nov+1+2015
http://httparchive.org/interesting.php





L'explication de la méthodologie : http://httparchive.org/about.php#listofurls

- Le temps de chargement en bonus, mais j'imagine que cela doit être galère d'avoir qq chose de fiable.

Tout dépend de comment tu le définis, l'indicateur de chargement du navigateur devrait être facilement capturable dans le cas de figure idoine.

Ce que j'aimerais bien mettre en base, c'est cette sortie de webpagetest.org ou récupérer celle de Firefox ou chrome.

Les 3 infos qui m'intéressent sont bien données par Firefox (attention il faut vider son cache avant de faire le test) :
- 65 requêtes
- 664,16 Ko
- 0,90 secondes


Je pensais qu'il y avait déjà dés utilitaires pour scripter le chargement d'une page et récupérer la donnée, puis passer au second site ect...