Auteur Sujet: Log Apache 2.4 de LaFibre.info (Lu 16908 fois)

vivien · « **Réponse #48 le:** 04 février 2016 à 13:03:47 »

Citation de: Marin le 04 février 2016 à 12:45:29

Pendant une période de transition seulement. Dans quelques années (à mois selon les cas), je suis à peu près sûr que les bibliothèques standards des principaux langages de script l'auront intégré de manière plus ou moins transparente.

Je ne pense pas, car http1.1 qui date de 1997, n'est toujours pas implèmenté dans beaucoup de bibliothèques standards.

Un exemple : la bibliothèque "Python-urllib/1.17" utilisée par XBMC est en http 1.0 (nombreuses requêtes car un plug-in utilise une image hotlinké du forum)

Voici quelques robots qui utilisent eux aussi http 1.0 :

Code: [Sélectionner]

Gigabot/1.0
linkapediabot (+http://www.linkapedia.com)
Mozilla/5.0 (compatible; archive.org_bot +http://archive.org/details/archive.org_bot)
Mozilla/5.0 (compatible; archive.org_bot +http://www.archive.org/details/archive.org_bot)
Mozilla/5.0 (compatible; heritrix/3.3.0-SNAPSHOT-20140702-2247 +http://archive.org/details/archive.org_bot)
Mozilla/5.0 (compatible; ltbot/0.3.6 +http://www.kdsl.tu-darmstadt.de/de/kdsl/research-program/crawling-and-semantic-structuring/)
Mozilla/5.0 (compatible; MJ12bot/v1.4.5; http://www.majestic12.co.uk/bot.php?+)
Mozilla/5.0 (compatible; special_archiver/3.1.1 +http://www.archive.org/details/archive.org_bot)
Mozilla/5.0 (compatible; thumboweb_bot/BETA0.8; +http://www.thumboweb.com/bot.php)
Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.6) Gecko/20070725 Firefox/2.0.0.6 - James BOT - WebCrawler http://cognitiveseo.com/bot.html
SafeDNS search bot/Nutch-1.9 (https://www.safedns.com/searchbot; support [at] safedns [dot] com)

Microsoft Office est aussi en http1.0 pour ses requêtes :

Code: [Sélectionner]

Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2; .NET4.0C; .NET4.0E; MSOffice 12)
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; BTRS98653; InfoPath.2; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET4.0C; .NET4.0E; MSOffice 12)
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; ms-office; MSOffice 14)
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Win64; x64; Trident/7.0; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; Tablet PC 2.0; GWX:DOWNLOADED; ms-office; MSOffice 14)
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; CMDTDFJS; ms-office; MSOffice 15)

Exemple de requêtes de Microsoft Office, visiblement pour récupérer des logo :
/Smileys/default/wink.gif HTTP/1.0 /Smileys/default/cry.gif HTTP/1.0 /images/logo/Mozilla_Thunderbird_logo.png HTTP/1.0 /images/logo/Windows_Live_Mail_logo.png HTTP/1.0 /images/logo/Microsoft_Outlook_logo.png HTTP/1.0 /images/logo/Apple_Mail_logo.png HTTP/1.0 /images/logo/Evolution_logo.png HTTP/1.0 /images/logo/Kmail_logo.png HTTP/1.0 /images/logo/Claws_Mail_logo.png HTTP/1.0 /images/bbox/mail_bbox_smtp_thunderbird.png HTTP/1.0 /images/bbox/mail_bbox_pop3_thunderbird.png HTTP/1.0 /images/bbox/mail_bbox_imap_thunderbird.png HTTP/1.0 /images/bbox/mail_bbox_windows_live_mail1.png HTTP/1.0 /images/bbox/mail_bbox_windows_live_mail2.png HTTP/1.0 /images/orange/201405_pub_orange_fibre_reims.jpg HTTP/1.0

vivien · « **Réponse #49 le:** 04 février 2016 à 13:11:31 »

Je vois aussi du http1.0 venir avec des user-agent WordPress :

Code: [Sélectionner]

WordPress/4.4.1; http://gembala.tk
WordPress/4.4.1; http://www.korte-kapsels.nl
WordPress/4.4.1; https://blog.philippklaus.de
WordPress/4.4.1; http://1web-host.cf
WordPress/4.4.1; https://ipv6.net
WordPress/4.3.2; http://www.imgcell.com
WordPress/4.4.1; http://gufdes.tk
WordPress/4.4.1; http://lafripouille.org
WordPress/4.4.1; http://showboxdigital.com
WordPress/4.3.2; http://androidbelab.com
WordPress/4.3.2; http://dwswebservices.com/congallagher/wp-backup
WordPress/4.4.1; http://ferienz.xyz
WordPress/4.4; https://wiki.neo-services.com:44443
WordPress.com; https://ununiversdeslivres.wordpress.com

Là ce sont majoritairement des requêtes sur des images, mais pas que des images :
/images/dsp/201303_ain_carte_reseau_liain_big.png HTTP/1.0 /images/free/2008_11_Free_FTTH_paris.jpg HTTP/1.0 /images/free/201101_carte_reseau_free_france.png HTTP/1.0 /images/dsp/201210_carte_fibre_oise_1_original.jpg HTTP/1.0 /images/dsp/201411_eure-et-loir_carte.jpg HTTP/1.0 /images/orange/20100702_Couverture_Orange_Fibre_Metz.png HTTP/1.0 /images/altice/201112_carte_ftth_18.png HTTP/1.0 /images/bistro/201303_packard_bell_imedia_s_2.png HTTP/1.0 /images/ovh/201105_test_quizz_%20c_est_quoi.jpg HTTP/1.0 /images/altice/Alcatel_ISAM_7342_FTTU.png HTTP/1.0 /images/dsp/201501_bpe_boite_de_protection_epissure.jpg HTTP/1.0 /images/international/logo_belgacom2_big.png HTTP/1.0

Il y a aussi du PDF ou des articles :
/images/doc/201106_spec_AR8327.pdf HTTP/1.0 /iperf/online-iperf/msg180514/ HTTP/1.0 /free-la-fibre/cgn-14-chez-free-une-ipv4-partagee-par-4-clients/ HTTP/1.0

Marin · « **Réponse #50 le:** 04 février 2016 à 13:21:42 »

Citation de: vivien le 04 février 2016 à 13:03:47

Je ne pense pas, car http1.1 qui date de 1997, n'est toujours pas implèmenté dans beaucoup de bibliothèques standards.

Un exemple : la bibliothèque "Python-urllib/1.17" utilisée par XBMC est en http 1.0 (nombreuses requêtes car un plug-in utilise une image hotlinké du forum)

Tu prends un exemple pour lequel il existe une version supérieure (urllib2, module qui existe depuis 2000 d'après l'arbre de source Python et qui envoie bien du HTTP/1.1) et qui est considérée comme déprécié (supprimé avec Python3) depuis un bon paquet d'années aussi

Si tu as du plus sérieux...

Citation de: vivien le 04 février 2016 à 13:03:47

Microsoft Office est aussi en http1.0 pour ses requêtes :

Je vois aussi du http1.0 venir avec des user-agent WordPress :

J'ai bien parlé en années, parce qu'il y a plusieurs autres temps de dépréciation à prendre en compte.

vivien · « **Réponse #51 le:** 04 février 2016 à 13:36:08 »

Je vois aussi du http 1.0 qui semble venir du téléchargement de PDF sous Android :

Code: [Sélectionner]

Mozilla/5.0 (Linux; Android; 4.1.2; GT-I9100 Build/000000) AppleWebKit/537.22 (KHTML, like Gecko) Chrome/25.0.1234.12 Mobile Safari/537.22 OPR/14.0.123.123
Mozilla/5.0 (Linux; Android 4.4.2; SM-G355H Build/KOT49H) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/30.0.0.0 Mobile Safari/537.36
Mozilla/5.0 (Linux; Android 4.4.2; SM-G910S Build/KOT49H) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/30.0.0.0 Mobile Safari/537.36
Mozilla/5.0 (Linux; Android 5.0.1; GT-I9505 Build/LRX22C; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/43.0.2357.121 Mobile Safari/537.36
Mozilla/5.0 (Linux; Android 5.0.1; GT-I9505 Build/LRX22C; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/46.0.2490.76 Mobile Safari/537.36
Mozilla/5.0 (Linux; Android 5.0; ASUS_Z008D Build/LRX21V) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.95 Mobile Safari/537.36
Mozilla/5.0 (Linux; Android 5.0; ASUS_Z00AD Build/LRX21V; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/43.0.2357.121 Mobile Safari/537.36
Mozilla/5.0 (Linux; Android 5.1.1; falcon Build/LMY48W; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/46.0.2490.76 Mobile Safari/537.36
Mozilla/5.0 (Linux; Android 5.1.1; Mi-4c Build/LMY47V; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/47.0.2526.100 Mobile Safari/537.36
Mozilla/5.0 (Linux; Android 5.1.1; SM-A800F Build/LMY47X; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/43.0.2357.121 Mobile Safari/537.36
Mozilla/5.0 (Linux; Android 5.1.1; SM-G920F Build/LMY47X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.83 Mobile Safari/537.36
Mozilla/5.0 (Linux; Android 5.1.1; SM-J500F Build/LMY48B; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/43.0.2357.121 Mobile Safari/537.36
Mozilla/5.0 (Linux; Android 5.1.1; SM-N910F Build/LMY47X; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/43.0.2357.121 Mobile Safari/537.36
Mozilla/5.0 (Linux; Android 5.1; XT1032 Build/LPB23.13-56; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/47.0.2526.100 Mobile Safari/537.36
Mozilla/5.0 (Linux; U; Android 4.1.2; fr-fr; LG-E430 Build/JZO54K) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30 ACHEETAHI/2100502012

Les requêtes associées ne concernent que des fichiers PDF :
/images/doc/201301_SDTAN_CG40.pdf HTTP/1.0 /images/doc/201301_SDTAN_CG03_CG15_CG43_CG63.pdf HTTP/1.0 /images/4g/201202_ericsson_remote_radio_unit_description.pdf HTTP/1.0 /images/doc/201301_SDTAN_CG59_CG62.pdf HTTP/1.0 /images/4g/201004_ericsson_rbs6201_lte1800.pdf HTTP/1.0 /testdebit/wifi/200803_WDS_connection_using_3AP.pdf HTTP/1.0 /images/bbox/201505_bbox_liste_des_chaines_tv.pdf HTTP/1.0 /images/orange/201407_guide_livebox_2.pdf HTTP/1.0 /images/bbox/201505_bbox_liste_des_chaines_tv.pdf HTTP/1.0

Je vois aussi pas mal de requêtes PhantomJS (WebKit scriptable with a JavaScript API http://phantomjs.org/)

Le user-agent est toujours le même : Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.34 (KHTML, like Gecko) PhantomJS/1.9.7 Safari/534.34

Cela représente 16959 requêtes uniquement pour janvier 2016 et c'est toujours une demande sur la racine du site (GET / HTTP/1.0)

Les 16959 requêtes proviennent seulement de deux IP, qui sont deux IP Free :
- 2a01:e34:ee4f:xxxx:xxxx:xxxx:xxxx:xxxx
- 78.228.245.xx

Marin · « **Réponse #52 le:** 04 février 2016 à 13:38:16 »

C'est BadMax ça

vivien · « **Réponse #53 le:** 04 février 2016 à 13:39:54 »

Exact, je cache son IP.

Et sinon en phase, il y a du vieux en http 1.0 comme ce user agent : Mozilla/4.0 (compatible; Lotus-Notes/6.0; Windows-NT)

Lotus Notes 6.0 est sortie en 2002. Je ne sais pas comment il arrive à faire du https avec mon serveur.

corrector · « **Réponse #54 le:** 04 février 2016 à 15:24:32 »

Citation de: vivien le 04 février 2016 à 13:36:08

Cela représente 16959 requêtes uniquement pour janvier 2016 et c'est toujours une demande sur la racine du site (GET / HTTP/1.0)

Les 16959 requêtes proviennent seulement de deux IP, qui sont deux IP Free :
- 2a01:e34:ee4f:xxxx:xxxx:xxxx:xxxx:xxxx
- 78.228.245.xx

Pourquoi tu caches le chiffre :x?

T'es pas logique!

(C'est 5 le chiffre?)

BadMax · « **Réponse #55 le:** 04 février 2016 à 20:53:23 »

J'ai quel Useragent à cet instant ?

EDIT: j'ai trouvé, c'est Vigilia

Me rappelle plus si j'ai custo le UserAgent de ma propre version mais en tout cas, Vigilia n'utilise pas le UserAgent de wget

vivien · « **Réponse #56 le:** 04 février 2016 à 21:24:53 »

Et pourquoi du http1.0 ?

Il me semble que les autres vigilia utilisent du http1.1 (j'avais peu de log wget en http1.0)

BadMax · « **Réponse #57 le:** 04 février 2016 à 22:45:05 »

Version de wget différente ? La mienne n'est sans doute pas la plus fraiche.

turold · « **Réponse #58 le:** 12 février 2016 à 14:23:09 »

Citation de: kgersen le 04 février 2016 à 10:20:08

Depuis dans Chrome y'a plus de spdy dans les flags et c'est chrome://net-internals/#http2 maintenant.

ps: c'est la v43 du 19 mai 2015 qui supprime spdy au profit de http/2

Apparement, dans Chrome, SPDY y est toujours. C'est juste que HTTP/2 est préféré à SPDY.
SPDY sera supprimé de Chrome dans les versions qui sortiront après le 15 mai 2016:
https://www.nextinpact.com/news/98524-chrome-abandonnera-protocole-spdy-15-mai.htm
Publié le 12/02/2016
Primo-source (en anglais): http://blog.chromium.org/2016/02/transitioning-from-spdy-to-http2.html
Publié le 11/02/2016

kgersen · « **Réponse #59 le:** 12 février 2016 à 17:47:45 »

oui je parlais des flags pas du proto lui meme.

Auteur Sujet: Log Apache 2.4 de LaFibre.info (Lu 16908 fois)

corrector