La Fibre
Télécom => Logiciels et systèmes d'exploitation => 
Navigateurs web => Discussion démarrée par: vivien le 06 novembre 2015 à 17:44:07
-
Je cherche un outil ou plug-in pour a récupérer la taille des pages sur Internet, afin de faire des statistiques sur l'évolution de la taille des pages web (en incluant les objets rajoutés sur la page, les pub ect...)
Idéalement, je pourrais automatiser la chose en introduisant une longue liste de page web (exemple : le top30 Alexa https://lafibre.info/images/stats/201511_top30_alexa.txt ) et en définissant un time-out (car certaines pages se chargent sans limite avec des vidéos)
Vous avez une idée de ce que je pourrais utiliser ? (30 pages web cela se fait a la main, mais je voudrais faire des stats sur bien plus que 30 pages web)
Sur Android, il y a Tasker (https://play.google.com/store/apps/details?id=net.dinglisch.android.taskerm&hl=fr) qui sait automatiser n'importe quoi, y compris l'ouverture de pages web sur Google Chrome.
Sur un PC (Windows ou Linux peu importe, cela ne devrait pas jouer sur la taille des pages), je ne trouve pas.
Idéalement, si l'outil pourrait me donner le temps de chargement de la page web, ce serait top.
Citefibre (https://lafibre.info/site/citefibre/offres_premium_tvnumerique.htm) (102 requêtes - 349Ko)
Declic Telecom (https://lafibre.info/site/declic-telecom/www.declic-telecom.com/television.html) (287 requêtes - 1784Ko)
https://1.testdebit.info/fichiers/5000Mo/5000Mo.iso
https://2.testdebit.info/fichiers/5000Mo/5000Mo.iso
https://ikoula.testdebit.info/fichiers/5000Mo.dat
https://ikoula.testdebit.info/fichiers/1000Mo.dat
4,41 Mb/s ATM avec Windows + Firefox : (sans timestamps)
- CiteFibre : 1,26sec => 4,3 sec (1 connexion) => 12sec (2 connexions) => 22sec (3 connexions)
- DeclicTelecom : 4,70sec => 11,6 sec (1 connexion) => 29sec (2 connexions) => 57sec (3 connexions)
4,41 Mb/s ATM avec Ubuntu + Firefox : (avec timestamps)
- CiteFibre : 1,30sec => 18,7 sec (1 connexion) => 19sec (2 connexions) => 21sec (3 connexions)
- DeclicTelecom : 4,15sec => 45,4 (1 connexion) => 49sec (2 connexions) => 60 sec (3 connexions)
-
Salut,
Il faudrait préciser le besoin. Tu voudrais effectuer ces mesures tous les x mois, tous les x jours de manière régularisée ? sur une base individuelle ? en remontant dans le passé avec Archive.org ? Tu admets la possibilité de scripter certaines actions (bash, Node.js, perl, autre) ?
Selon l'usage, je me serais sûrement dirigé vers une solution type PhantomJS, ou vers un bricolage sur la base d'un autre outil (type Scapy ?) pour mesurer la bande passante d'un vrai navigateur qui tournerait de manière automatisée et/ou confinée, + une tâche cron.
J'ai trouvé un article relativement récent qui traite d'une partie du sujet : https://mobiforge.com/design-development/measuring-page-weight
-
Idéalement, je ferais tourner le script tous les jour, pour avoir des données fiables.
PhantomJS est une idée mais j'aurais préféré un vrai navigateur web pour ne pas avoir de biais de mesure.
Pas besoin de revenir en arrière.
Il faut que les données sortent pour chaque site
Ce que je souhaiterais sortir :
- Un graphe pour voir la taille moyenne évoluer dans le temps (peut être sortir la taille 5centile et 95centile dans le temps)
- Un graphe pour montrer la distribution de la taille des pages web.
- Le top des 10 sites les plus lourd
- Le temps de chargement en bonus, mais j'imagine que cela doit être galère d'avoir qq chose de fiable.
Exemple concret :
(https://lafibre.info/images/stats/201511_taille_page_web.png)
-
bonjour,
ce n'est pas cela que tu cherches
bon je me trompe peut-être
https://openclassrooms.com/courses/ameliorez-la-visibilite-de-votre-site-grace-au-referencement/les-statistiques-de-votre-site-avec-google-analytics
ou cela
http://blog.arnaud-k.fr/2009/06/16/8-plugins-firefox-indispensables-pour-les-developpeurs-web/
http://www.maintpress.com/blog/plugin-wordpress-guide-meilleurs-plugins-wordpress-gratuits/
-
je dirais qu'avec CURL y a moyen de s'amuser.
je vais regarder vite fait si je trouve une ligne de commandes qui ferait l'affaire.
-
bonjour,
ce n'est pas cela que tu cherches
Non, vivien parle d'une « longue liste de page web (exemple : le top30 Alexa) », pas juste de son site.
je dirais qu'avec CURL y a moyen de s'amuser.
Non, vivien dit « (avec les objets) » et parle de conditions réelles. curl est un client HTTP, pas HTML ni Flash très basique.
-
Il y a également HTTrack Website Copier, mais ils n'aspire pas tout...
Je pense que le plus simple serait peut être de démarrer le navigateur et compter les octets pendant 1 minute puis fermer le navigateur.
-
les outils intégré dans les navigateur le font mais ca implique le comptage à la main
exemple lefigaro.fr avec firefox
-
Il y a également HTTrack Website Copier, mais ils n'aspire pas tout...
On est déjà un gros niveau en dessous de Phantom niveau « biais de mesure ».
Dans tous les cas un vrai navigateur semble préférable pour ce qui est des contenus Flash et vidéos, s'ils sont déterminants (sauf navigateur sans-tête convaincant).
- Le top des 10 sites les plus lourd
Cela dépendrait fortement de la taille de l'index.
- Un graphe pour voir la taille moyenne évoluer dans le temps (peut être sortir la taille 5centile et 95centile dans le temps)
- Un graphe pour montrer la distribution de la taille des pages web.
Si ça peut t'intéresser, j'ai trouvé un projet qui fait ce genre de graphes (de novembre 2010 à novembre 2015) :
http://httparchive.org/trends.php?s=All&minlabel=Nov+15+2010&maxlabel=Nov+1+2015
http://httparchive.org/interesting.php
(http://chart.googleapis.com/chart?chd=t:-1|74,74,77,77,77,78,77,78,78,79,81,80,81,81,81,83,84,81,82,83,84,84,82,84,87,86,85,86,86,86,86,86,85,84,84,82,84,83,83,84,84,86,85,81,82,85,86,86,87,88,88,88,88,88,89,90,90,90,91,91,92,92,96,93,93,94,94,94,95,94,95,95,95,96,95,93,94,93,93,93,94,95,95,95,95,96,96,97,96,97,98,99,99,99,99,100,95,95,93,94,96,97,98,94,93,99,98,100,100,101,101,103,102,100,99,100,93,99,_|-1|702,705,726,716,717,724,709,734,735,742,769,760,772,777,784,799,807,785,807,816,831,838,830,893,929,960,965,955,962,966,968,973,1008,1011,1018,1042,1059,1067,1068,1090,1097,1124,1105,1092,1098,1227,1239,1249,1269,1285,1286,1284,1280,1270,1292,1311,1335,1400,1411,1427,1448,1462,1466,1485,1492,1521,1532,1551,1585,1590,1617,1614,1653,1701,1682,1681,1687,1710,1703,1728,1739,1762,1765,1775,1783,1808,1829,1850,1821,1855,1860,1890,1899,1944,1925,1907,1953,1958,1931,1944,1977,1999,2008,1958,1950,2061,2062,2099,2087,2131,2135,2162,2161,2169,2167,2182,1976,2191,_&chxl=0:|+%7C+%7C+%7C12%2F28%7C+%7C+%7C+%7C+%7C3%2F15%7C+%7C+%7C+%7C+%7C6%2F1%7C+%7C+%7C+%7C+%7C8%2F15%7C+%7C+%7C+%7C+%7C11%2F1%7C+%7C+%7C+%7C+%7C1%2F15%7C+%7C+%7C+%7C+%7C4%2F1%7C+%7C+%7C+%7C+%7C6%2F15%7C+%7C+%7C+%7C+%7C9%2F1%7C+%7C+%7C+%7C+%7C11%2F15%7C+%7C+%7C+%7C+%7C2%2F1%7C+%7C+%7C+%7C+%7C4%2F15%7C+%7C+%7C+%7C+%7C7%2F1%7C+%7C+%7C+%7C+%7C9%2F15%7C+%7C+%7C+%7C+%7C12%2F15%7C+%7C+%7C+%7C+%7C3%2F1%7C+%7C+%7C+%7C+%7C5%2F15%7C+%7C+%7C+%7C+%7C8%2F1%7C+%7C+%7C+%7C+%7C10%2F15%7C+%7C+%7C+%7C+%7C1%2F1%7C+%7C+%7C+%7C+%7C3%2F15%7C+%7C+%7C+%7C+%7C6%2F1%7C+%7C+%7C+%7C+%7C8%2F15%7C+%7C+%7C+%7C+%7C11%2F1&chxt=x,y,r&chs=600x300&cht=lxy&chco=15A50E,006600&chm=N,15A50E,0,::5,12,,h::8|N**kB,006600,1,::5,12,,h::8&chds=9,99,60,300,9,99,600,3000&chts=006600,24&chtt=Total+Transfer+Size+%26+Total+Requests&chma=5,5,5,25&chls=1,6,3|1&chxr=1,600,3000,500|2,60,300,100&chxs=1,006600,11.5,-0.5,lt,006600,006600|2,15A50E,11.5,-0.5,lt,15A50E,15A50E&chxtc=0,4|1,4&chxp=0&chdl=Total+Requests|Total+Transfer+Size+(kB)&chdlp=bv|r)
(http://chart.googleapis.com/chart?chxl=0:|20%25|40%25|60%25|80%25|100%25|1:|0-1M%7C1-2M%7C2-3M%7C3-4M%7C4-5M%7C5-6M%7C6-7M&chm=N**%,676767,0,,12,,::4&chxp=0,20,40,60,80,100&chxs=0,184852,11.5,0,lt,184852|1,676767,11.5,0,lt,67676700&chxtc=0,4|1,4&chxt=y,x&chbh=53,30,18&chs=550x225&cht=bvg&chco=184852&chd=t:37,28,15,7,4,3,1&chtt=Total+Transfer+Size+per+Page)
L'explication de la méthodologie : http://httparchive.org/about.php#listofurls
- Le temps de chargement en bonus, mais j'imagine que cela doit être galère d'avoir qq chose de fiable.
Tout dépend de comment tu le définis, l'indicateur de chargement du navigateur devrait être facilement capturable dans le cas de figure idoine.
-
http://www.webpagetest.org/ est pas mal connu et a une API pour faire des batchs. C'est fait par Google et on peut soit utiliser leur service soit l'utiliser en privé sur son propre serveur: https://sites.google.com/a/webpagetest.org/docs/private-instances
ici un test de lafibre.info: http://www.webpagetest.org/result/151109_T6_Q0C/ (click sur les entrées de la barre noire pour les details)
-
Ce que j'aimerais bien mettre en base, c'est cette sortie de webpagetest.org ou récupérer celle de Firefox ou chrome.
Les 3 infos qui m'intéressent sont bien données par Firefox (attention il faut vider son cache avant de faire le test) :
- 65 requêtes
- 664,16 Ko
- 0,90 secondes
(https://lafibre.info/images/stats/201511_firefox_analyse_lafibre.png)
Je pensais qu'il y avait déjà dés utilitaires pour scripter le chargement d'une page et récupérer la donnée, puis passer au second site ect...
-
J'ai le même résultat avec wget et les options récursives:
$ wget -P /tmp/www -H -p --exclude-domains xiti.com,nexus.ensighten.com,doubleclick.net,webtrendslive.com,google-analytics.com https://lafibre.info
-snip-
Downloaded: 73 files, 566K in 1.1s (518 KB/s)
-
Ce que j'aimerais bien mettre en base, c'est cette sortie de webpagetest.org ou récupérer celle de Firefox ou chrome.
Tu peux via les API de webpagetest. c'est du restful.
voir: https://sites.google.com/a/webpagetest.org/docs/advanced-features/webpagetest-restful-apis
-
Il y a NemoWeb pour aspirer un site, mais aspire t'il tout ?
Je dois l'avoir.
-
J'ai trouvé une solution pour piloter Firefox ou Chrome et récupérer les infos sur le nombre d'objet, la taille et le temps de chargement
: L'outil Mouse and Keyboard Recorder (http://www.robot-soft.com/mouse-keyboard-recorder.html) pour windows (édité par Robot
Soft)
Il faut mettre une liste de site dans un tableur et lui apprendre à faire un copier / coller dans le navigateur, copier le résultat aller dans le tableur, coller le résultat, descendre d'une ligne, copier le site, aller dans le navigateur web, vider le cache, coller l'url, ect...