Auteur Sujet: Log Apache 2.4 de LaFibre.info (Lu 16919 fois)

corrector · « **Réponse #12 le:** 26 décembre 2015 à 02:09:46 »

Que pensez de ceci :

Mozilla/5.0 (compatible; Googlebot/2.1; startmebot/1.0; +https://start.me/bot) Mozilla/5.0 (compatible; startmebot/1.0; +http://www.start.me/bot)

What is startmebot?

You may have found the name 'startmebot' in your server access logs. For some functionality, start.me users a so called 'bot' that retrieves information from websites. Our bot identifies itself with the name 'startmebot' in its user agent string. The full user agent string for out bot is:

Mozilla/5.0 (compatible; startmebot/1.0; +http://www.start.me/bot)

What kind of information does the bot retrieve?

At the moment our bot is used to retrieve three kinds of information from external sites:

A website page's title
A website's favicon
The contents of RSS feeds offered by a website

Does the bot respect robots.txt?

Our bot does not actually index any content, but only retrieves specific information from online sources. In doing this, our bot does not consider the contents of robots.txt. If you feel our bot is visiting your site too often or should not access specific information on your site, please send us an email at support@start.me.

http://support.start.me/hc/en-us/articles/202370161

vivien · « **Réponse #13 le:** 26 décembre 2015 à 09:48:46 »

Citation de: corrector le 26 décembre 2015 à 01:56:16

vivien, tu peux nous donner les IP des suivants?

Google Bot

Une seule requête, et elle ne vient pas de Google :

Code: [Sélectionner]

78.106.205.243 56909 - [23/Dec/2015:13:46:32 +0100] "GET / HTTP/1.1" 200 20193 "http://userbase.be/forum/viewtopic.php?f=106&t=44381&sid=5712d2cbb27ad12da122710fb9dbf4ae" "Google Bot"

Citation de: corrector le 26 décembre 2015 à 01:56:16

Googlebot-Video/1.0

Peu de requêtes car j'ai peu de fichier audio/vidéo.
Plusieurs requêtes qui sont en 404. J'imagine des liens qui sont sur Internet :

Code: [Sélectionner]

66.249.66.75 - - [08/Dec/2015:12:17:46 +0100] "GET /zeop/zeop-review/12/%7B%22auto_hd%22:false,%22autoplay_reason%22:%22unknown%22,%22default_hd%22:true,%22disable_native_controls%22:true,%22inline_player%22:false,%22pixel_ratio%22:1,%22preload%22:false,%22start_muted%22:false,%22video_data%22:%7B%22progressive%22:[%7B%22hd_src%22:%22https:%5C/%5C/video-ord1-1.xx.fbcdn.net%5C/hvideo-xta1%5C/v%5C/t43.1792-2%5C/1423389_566247310122826_39951509_n.mp4 HTTP/1.1" 404 5476 "-" "Googlebot-Video/1.0"
66.249.74.97 - - [10/Dec/2015:19:16:34 +0100] "GET /zeop/zeop-review/12/%7B%22auto_hd%22:false,%22autoplay_reason%22:%22unknown%22,%22default_hd%22:true,%22disable_native_controls%22:true,%22inline_player%22:false,%22pixel_ratio%22:1,%22preload%22:false,%22start_muted%22:false,%22video_data%22:%7B%22progressive%22:[%7B%22hd_src%22:%22https:%5C/%5C/video-iad3-1.xx.fbcdn.net%5C/hvideo-xta1%5C/v%5C/t43.1792-2%5C/1423389_566247310122826_39951509_n.mp4 HTTP/1.1" 404 5476 "-" "Googlebot-Video/1.0"
66.249.66.72 - - [13/Dec/2015:02:55:35 +0100] "GET /images/tuto/Test_analyse_VoIP_G711_LaFibre.info_2.au HTTP/1.1" 200 338647 "-" "Googlebot-Video/1.0"
66.249.66.72 - - [13/Dec/2015:10:48:21 +0100] "GET /images/tuto/Test_analyse_VoIP_G711_LaFibre.info_12.au HTTP/1.1" 200 339826 "-" "Googlebot-Video/1.0"
66.249.66.75 - - [14/Dec/2015:02:28:14 +0100] "GET /images/free/201201_free_mobile_qos_sur_reseau_orange_xavier_niel.mp3 HTTP/1.1" 304 4650 "-" "Googlebot-Video/1.0"
66.249.78.204 - - [19/Dec/2015:10:39:37 +0100] "GET /images/DatacenterPluie.avi HTTP/1.1" 404 5046 "-" "Googlebot-Video/1.0"
66.249.78.211 - - [20/Dec/2015:00:35:53 +0100] "GET /zeop/zeop-review/12/%7B%22auto_hd%22:false,%22autoplay_reason%22:%22unknown%22,%22default_hd%22:true,%22disable_native_controls%22:true,%22inline_player%22:false,%22pixel_ratio%22:1,%22preload%22:false,%22start_muted%22:false,%22rtmp_buffer%22:false,%22video_data%22:%7B%22progressive%22:[%7B%22hd_src%22:%22https:%5C/%5C/video-iad3-1.xx.fbcdn.net%5C/hvideo-xta1%5C/v%5C/t43.1792-2%5C/1423389_566247310122826_39951509_n.mp4 HTTP/1.1" 404 5506 "-" "Googlebot-Video/1.0"
66.249.78.218 63007 - [21/Dec/2015:15:53:44 +0100] "GET /site/france_telecom/haut_debit/chxlg. swf HTTP/1.1" 200 4969 "-" "Googlebot-Video/1.0"
66.249.78.211 47697 - [21/Dec/2015:23:44:04 +0100] "GET /site/france_telecom/tv_adsl/lanceur. swf HTTP/1.1" 200 4969 "-" "Googlebot-Video/1.0"
66.249.78.204 51656 - [22/Dec/2015:01:33:28 +0100] "GET /images/DatacenterPluie.avi HTTP/1.1" 404 5046 "-" "Googlebot-Video/1.0"
66.249.78.218 44791 - [22/Dec/2015:07:36:33 +0100] "GET /images/tuto/Test_analyse_VoIP_G711_LaFibre.info_1.au HTTP/1.1" 304 4649 "-" "Googlebot-Video/1.0"

vivien · « **Réponse #14 le:** 26 décembre 2015 à 09:58:00 »

Citation de: corrector le 26 décembre 2015 à 01:56:16

vivien, tu peux nous donner les IP des suivants?

Googlebot-Image/1.0

Les requêtes depuis 6h00 du matin, en moins de 4h il y a déjà eu pas mal de requêtes :

Code: [Sélectionner]

66.249.66.78 54856 - [26/Dec/2015:06:45:55 +0100] "GET /images/datacenter/201307_coupure_electricite_datacenter_online_dc2_3.png HTTP/1.1" 200 50935 "-" "Googlebot-Image/1.0"
66.249.78.204 40128 - [26/Dec/2015:06:50:01 +0100] "GET /images/materiel/201502_switch_10GBASE-T_Netgear_ProSafe_XS708E_04.jpg HTTP/1.1" 304 4648 "-" "Googlebot-Image/1.0"
66.249.66.75 43381 - [26/Dec/2015:06:54:03 +0100] "GET /index.php?action=dlattach;attach=12808;type=avatar HTTP/1.1" 200 24868 "-" "Googlebot-Image/1.0"
66.249.78.204 34721 - [26/Dec/2015:06:58:10 +0100] "GET /index.php?action=dlattach;attach=8726;type=avatar HTTP/1.1" 304 4742 "-" "Googlebot-Image/1.0"
66.249.78.218 44833 - [26/Dec/2015:07:02:13 +0100] "GET /images/bistro/201101_ratp_pcc_metro_ligne_1.jpg HTTP/1.1" 200 404672 "-" "Googlebot-Image/1.0"
66.249.78.218 52491 - [26/Dec/2015:07:06:15 +0100] "GET /images/altice_cable/201510_dachstein_cablage_copropriete_16_logements_03.jpg HTTP/1.1" 304 4649 "-" "Googlebot-Image/1.0"
66.249.66.72 38641 - [26/Dec/2015:07:10:22 +0100] "GET /cityplay-fibre/cityplay-rachete-par-wibox/?action=dlattach;attach=7952 HTTP/1.1" 304 288 "-" "Googlebot-Image/1.0"
66.249.78.204 56466 - [26/Dec/2015:07:14:23 +0100] "GET /images/datacenter/201305_datacenter_google_MNK_005.jpg HTTP/1.1" 304 4650 "-" "Googlebot-Image/1.0"
66.249.78.204 46167 - [26/Dec/2015:07:18:30 +0100] "GET /images/peering/201405_sonde_ripe_atlas_1.jpg HTTP/1.1" 304 4649 "-" "Googlebot-Image/1.0"
66.249.66.75 52973 - [26/Dec/2015:07:22:34 +0100] "GET /images/materiel/201502_switch_10GBASE-T_Netgear_ProSafe_XS708E_17.jpg HTTP/1.1" 304 4649 "-" "Googlebot-Image/1.0"
66.249.66.72 54099 - [26/Dec/2015:07:26:35 +0100] "GET /index.php?action=dlattach;attach=11860;type=avatar HTTP/1.1" 304 4742 "-" "Googlebot-Image/1.0"
66.249.78.211 62402 - [26/Dec/2015:07:30:42 +0100] "GET /images/materiel/201404_amd_athlon_xp_barton_3200_1.jpg HTTP/1.1" 304 4649 "-" "Googlebot-Image/1.0"
66.249.78.211 60035 - [26/Dec/2015:07:34:43 +0100] "GET /installation-ftth/migration-fttla-vers-ftth/?action=dlattach;attach=7820;image HTTP/1.1" 304 4742 "-" "Googlebot-Image/1.0"
66.249.78.211 47276 - [26/Dec/2015:07:38:50 +0100] "GET /images/cityplay/201405_rachat_cityplay_par_altitude_infrastructure.png HTTP/1.1" 304 4649 "-" "Googlebot-Image/1.0"
66.249.78.204 40226 - [26/Dec/2015:07:42:51 +0100] "GET /images/doc/200610_savoie_dossier_FTTH_Maurienne_annexe_2.jpg HTTP/1.1" 304 4648 "-" "Googlebot-Image/1.0"
66.249.78.204 57353 - [26/Dec/2015:07:46:58 +0100] "GET /images/dsp/Maurienne_article_2006_3.jpg HTTP/1.1" 304 4649 "-" "Googlebot-Image/1.0"
66.249.66.72 40305 - [26/Dec/2015:07:51:03 +0100] "GET /images/logo/logo_3F.png HTTP/1.1" 304 4647 "-" "Googlebot-Image/1.0"
66.249.78.218 65272 - [26/Dec/2015:07:55:03 +0100] "GET /val-dorge/le-deploiement-du-tres-haut-debit-sur-le-val-dorge-cavo/?action=dlattach;attach=19518 HTTP/1.1" 304 4742 "-" "Googlebot-Image/1.0"
66.249.78.218 40339 - [26/Dec/2015:07:59:11 +0100] "GET /images/4g/201510_free_mobile_antenne_tube_16.jpg HTTP/1.1" 304 4649 "-" "Googlebot-Image/1.0"
66.249.66.72 43816 - [26/Dec/2015:08:03:12 +0100] "GET /orange-internet/livebox-play-incapable-de-tenir-une-semaine-up/?action=dlattach;attach=3574;image HTTP/1.1" 304 4742 "-" "Googlebot-Image/1.0"
66.249.78.218 39111 - [26/Dec/2015:08:07:19 +0100] "GET /images/orange_pmz/201311_brest_fibre_orange_1.jpg HTTP/1.1" 304 4649 "-" "Googlebot-Image/1.0"
66.249.78.218 38419 - [26/Dec/2015:08:11:23 +0100] "GET /images/orange_pmz/201401_franconville_fibre_orange_4.jpg HTTP/1.1" 304 4649 "-" "Googlebot-Image/1.0"
66.249.78.204 64655 - [26/Dec/2015:08:15:23 +0100] "GET /images/orange/201107_France_Telecom_Marine_39.jpg HTTP/1.1" 304 4649 "-" "Googlebot-Image/1.0"
66.249.78.204 35337 - [26/Dec/2015:08:19:34 +0100] "GET /images/dsp/201406_ain_siea_change_pmz_pour_orange_15.jpg HTTP/1.1" 304 4649 "-" "Googlebot-Image/1.0"
66.249.78.211 61030 - [26/Dec/2015:08:23:32 +0100] "GET /images/dsp/201406_ain_siea_change_pmz_pour_orange_13.jpg HTTP/1.1" 304 4649 "-" "Googlebot-Image/1.0"
66.249.78.218 38906 - [26/Dec/2015:08:27:39 +0100] "GET /index.php?action=dlattach;attach=2593;type=avatar HTTP/1.1" 304 4742 "-" "Googlebot-Image/1.0"
66.249.78.204 41846 - [26/Dec/2015:08:29:00 +0100] "GET /index.php?action=dlattach;attach=20515;type=avatar HTTP/1.1" 200 11815 "-" "Googlebot-Image/1.0"
66.249.78.204 63052 - [26/Dec/2015:08:29:23 +0100] "GET /index.php?action=dlattach;attach=15644;type=avatar HTTP/1.1" 200 11012 "-" "Googlebot-Image/1.0"
66.249.66.78 60901 - [26/Dec/2015:08:31:43 +0100] "GET /images/dsp/201310_limeil-brevannes_reseau_ftth_opale_12.jpg HTTP/1.1" 304 4649 "-" "Googlebot-Image/1.0"
66.249.66.72 46075 - [26/Dec/2015:08:35:44 +0100] "GET /images/dsp/201310_limeil-brevannes_reseau_ftth_opale_15.jpg HTTP/1.1" 304 195 "-" "Googlebot-Image/1.0"
66.249.78.218 49608 - [26/Dec/2015:08:39:51 +0100] "GET /smokeping/knet/DNS/knet_primaire_last_172800.png HTTP/1.1" 200 51675 "-" "Googlebot-Image/1.0"
66.249.66.72 49762 - [26/Dec/2015:08:43:52 +0100] "GET /images/3g/201306_nra_orange_cesson_sfr.png HTTP/1.1" 304 4648 "-" "Googlebot-Image/1.0"
66.249.78.211 62648 - [26/Dec/2015:08:48:00 +0100] "GET /haute-garonne/etat-des-deploiments-toulouse-metropole/?action=dlattach;attach=10960 HTTP/1.1" 304 4742 "-" "Googlebot-Image/1.0"
66.249.78.211 61377 - [26/Dec/2015:08:52:04 +0100] "GET /index.php?action=dlattach;attach=13433;type=avatar HTTP/1.1" 304 4742 "-" "Googlebot-Image/1.0"
66.249.78.211 62844 - [26/Dec/2015:08:56:04 +0100] "GET /kiwi-tv/nouveau-boitier-tv/?action=dlattach;attach=6092 HTTP/1.1" 304 4742 "-" "Googlebot-Image/1.0"
66.249.78.211 35847 - [26/Dec/2015:09:00:13 +0100] "GET /kiwi-tv/nouveau-boitier-tv/?action=dlattach;attach=6089;image HTTP/1.1" 304 4742 "-" "Googlebot-Image/1.0"
66.249.78.218 65281 - [26/Dec/2015:09:04:17 +0100] "GET /tester-son-debit/sondage-voulez-vous-plus-dupload/?action=dlattach;attach=1451 HTTP/1.1" 304 4742 "-" "Googlebot-Image/1.0"
66.249.66.72 53879 - [26/Dec/2015:09:08:21 +0100] "GET /images/ovh/201107_rbx1_remplacement_carte_hs_5.jpg HTTP/1.1" 304 4649 "-" "Googlebot-Image/1.0"
66.249.66.78 49781 - [26/Dec/2015:09:12:25 +0100] "GET /images/tuto/201308_diametre_cable_288fo.jpg HTTP/1.1" 304 4648 "-" "Googlebot-Image/1.0"
66.249.78.211 46882 - [26/Dec/2015:09:16:25 +0100] "GET /images/dsp/201406_ain_siea_change_pmz_pour_orange_16.jpg HTTP/1.1" 304 4649 "-" "Googlebot-Image/1.0"
66.249.66.75 44804 - [26/Dec/2015:09:20:33 +0100] "GET /images/dsp/201406_ain_siea_change_pmz_pour_orange_05.jpg HTTP/1.1" 304 4649 "-" "Googlebot-Image/1.0"
66.249.78.218 51862 - [26/Dec/2015:09:24:33 +0100] "GET /images/dsp/201406_ain_siea_change_pmz_pour_orange_06.jpg HTTP/1.1" 304 4649 "-" "Googlebot-Image/1.0"
66.249.78.218 54999 - [26/Dec/2015:09:28:41 +0100] "GET /images/datacenter/201305_datacenter_google_mini_PRY_03.jpg HTTP/1.1" 304 4648 "-" "Googlebot-Image/1.0"
66.249.78.204 56418 - [26/Dec/2015:09:32:41 +0100] "GET /images/datacenter/201305_datacenter_google_mini_PRY_16.jpg HTTP/1.1" 304 4648 "-" "Googlebot-Image/1.0"
66.249.78.218 58677 - [26/Dec/2015:09:36:49 +0100] "GET /images/dsp/201206_thd_seine_versailles.jpg HTTP/1.1" 304 4649 "-" "Googlebot-Image/1.0"
66.249.78.218 36431 - [26/Dec/2015:09:40:53 +0100] "GET /images/smileys/Content_26.gif HTTP/1.1" 304 4648 "-" "Googlebot-Image/1.0"
66.249.78.218 37650 - [26/Dec/2015:09:44:57 +0100] "GET /images/altice/201312_campus_sfr_saint-denis_android_11.png HTTP/1.1" 304 4649 "-" "Googlebot-Image/1.0"
66.249.78.211 42764 - [26/Dec/2015:09:49:02 +0100] "GET /images/tv/esport169.jpg HTTP/1.1" 304 4648 "-" "Googlebot-Image/1.0"
66.249.66.75 65412 - [26/Dec/2015:09:52:41 +0100] "GET /index.php?action=dlattach;attach=2804;type=avatar HTTP/1.1" 200 11842 "-" "Googlebot-Image/1.0"
66.249.78.218 51708 - [26/Dec/2015:09:53:01 +0100] "GET /index.php?action=dlattach;attach=64;type=avatar HTTP/1.1" 200 10281 "-" "Googlebot-Image/1.0"

Bensay · « **Réponse #15 le:** 26 décembre 2015 à 10:40:54 »

Citation de: vivien le 25 décembre 2015 à 21:53:40

Liste des user-agent utilisé sur LaFibre.info les 3 dernières semaines

Je vous ai mis dans un fichier texte la liste des user-agent utilisé (un user-agent n’apparaît qu'une seule fois dans le fichier, trié par ordre alphabétique)
=> 201512_user-agent_lafibreinfo.txt

Possibilité d'avoir les itérations par User-Agent ??

Je serais curieux de savoir combien de personne utilise :

Code: [Sélectionner]

Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2599.0 Safari/537.36
Cdt

Bensay

kgersen · « **Réponse #16 le:** 26 décembre 2015 à 10:56:43 »

Citation de: Bensay le 26 décembre 2015 à 10:40:54

Possibilité d'avoir les itérations par User-Agent ??

+1 l'important est le taux d'utilisation de chaque agent.

Le compte par IP unique me semble un bon moyen.

vivien · « **Réponse #17 le:** 26 décembre 2015 à 11:04:22 »

Comment faire ?

Là c'est assez simple :
cut -d \" -f 6 access.log | sort | uniq > user-agent.log

Compter le nb d'IP unique par user-agent cela complique pas mal la chose.
Si vous avez un script sous la main...

jack · « **Réponse #18 le:** 26 décembre 2015 à 13:08:50 »

Un truc comme ça:

Code: ("awk") [Sélectionner]

awk -F ' - |"' '{ua[$7][$1] = 0} END { for(i in ua) print(length(ua[i]), ":", i)}' access.log | sort -h

vivien · « **Réponse #19 le:** 26 décembre 2015 à 16:12:12 »

Pas mal.

Par contre, comme j'ai le numéro de port dans les fichiers de log, a la place du second argument qui est toujours à "-", il est impossible d'utiliser espace et tiret en séparateur.

L'espace me semble le seul séparateur utilisable. Par contre comment faire pour qu'il interprète les champs entourés de guillemets comme un unique champ, comme le fait calc ?

Exemple d'une ligne de mes logs :

Code: [Sélectionner]

107.178.19.4 52984 - [26/Dec/2015:15:53:22 +0100] "GET /sfr-espace-technique/ HTTP/1.1" 200 11951 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:22.0) Gecko/20100101 Firefox/22.0 AppEngine-Google; (+http://code.google.com/appengine; appid: e~viavoo-webcrawler)"

jack · « **Réponse #20 le:** 26 décembre 2015 à 16:30:46 »

Tu peux faire comme ceci, en te basant sur le champ 3 au lieu du 2 :

Code: ("awk") [Sélectionner]

awk -F ' [0-9]* - |"' '{ua[$7][$1] = 0} END { for(i in ua) print(length(ua[i]), ":", i)}' access.log | sort -h
Attention : ne fonctionne que si tu n'utilises pas l'authentification HTTP
Le champ 3 est un %u par défaut :

Citation de: https://httpd.apache.org/docs/2.4/fr/mod/mod_log_config.html

L'utilisateur distant (en provenance d'auth ; peut être faux si le statut de retour (%s) est 401).

Le séparateur de awk est une expression régulière, tu peux donc en faire ce que tu souhaites

vivien · « **Réponse #21 le:** 26 décembre 2015 à 18:04:22 »

Voici le résultats sur les 4 derniers jours avec le nombre d'IP unique par user-agent :
=> 201512_user-agent_lafibreinfo.txt

Voici le top 30 : (stats sur 4 derniers jours)

Code: [Sélectionner]

27049 : Python-urllib/1.17
4111 : Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.106 Safari/537.36
4105 : Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.106 Safari/537.36
3528 : Mozilla/5.0 (iPhone; CPU iPhone OS 9_2 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13C75 Safari/601.1
3274 : Mozilla/5.0 (Windows NT 6.1; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0
2595 : Mozilla/5.0 (Windows NT 10.0; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0
1594 : Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.106 Safari/537.36
1302 : Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko
1267 : Mozilla/5.0 (iPad; CPU OS 9_2 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13C75 Safari/601.1
1156 : Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/601.3.9 (KHTML, like Gecko) Version/9.0.2 Safari/601.3.9
1025 : Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.106 Safari/537.36
1025 : Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1
1011 : Mozilla/5.0 (Windows NT 6.3; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0
681 : Mozilla/5.0 (Windows NT 6.1; rv:43.0) Gecko/20100101 Firefox/43.0
640 : Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2486.0 Safari/537.36 Edge/13.10586
525 : Mozilla/5.0 (Windows NT 5.1; rv:43.0) Gecko/20100101 Firefox/43.0
518 : facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
505 : Mozilla/5.0 (Windows NT 6.1; Win64; x64; Trident/7.0; rv:11.0) like Gecko
470 : Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.106 Safari/537.36
452 : Mozilla/5.0 (Windows NT 6.1; WOW64; rv:42.0) Gecko/20100101 Firefox/42.0
447 : Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.135 Safari/537.36 Edge/12.10240
435 : Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.106 Safari/537.36
406 : Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:43.0) Gecko/20100101 Firefox/43.0
397 : Mozilla/5.0 (Windows NT 6.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.106 Safari/537.36
381 : Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko
379 : Mozilla/5.0 (iPad; CPU OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1
365 : Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko
363 : Mozilla/5.0 (Windows NT 6.1; Trident/7.0; rv:11.0) like Gecko
343 : Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_1) AppleWebKit/601.2.7 (KHTML, like Gecko) Version/9.0.1 Safari/601.2.7

Windows NT 10.0 ==> Windows 10 et Windows Server 2016
Windows NT 6.3 ==> Windows 8.1 et Windows Server 2012 R2
Windows NT 6.1 ==> Windows 7 et Windows Server 2008 R2
Windows NT 5.1 ==> Windows XP

Vous vous demandez ce que c'est ces 27049 IP unique qui ont le user agent "Python-urllib/1.17" ?
Moi aussi, c'est clairement énorme.
Le fichiers téléchargés par ces dizaines de milliers de PC est toujours le même : https://lafibre.info/images/tv/logo_rsi_la1.jpg

Voici les logs filtré avec le user-agent "Python-urllib/1.17" : 201512_log_lafibreinfo_python.txt
Si vous avez une idée sur l'origine des requêtes...

vivien · « **Réponse #22 le:** 26 décembre 2015 à 18:16:36 »

Citation de: vivien le 26 décembre 2015 à 18:04:22

Le fichiers téléchargés par ces dizaines de milliers de PC est toujours le même : https://lafibre.info/images/tv/logo_rsi_la1.jpg

L'image n’apparaît que dans le sujet suivant : https://lafibre.info/adeli-fibre/bouquet-tv-adeli/

Marin · « **Réponse #23 le:** 26 décembre 2015 à 18:27:15 »

Citation de: vivien le 26 décembre 2015 à 18:04:22

Si vous avez une idée sur l'origine des requêtes...

Une recherche sur l'URL semble indiquer ce fichier est visiblement hotlinké dans les ressources d'un plugin XMBC permettant de regarder des chaînes internationales.