Auteur Sujet: Scripts pour mettre en place un serveur miroir Ubuntu  (Lu 19288 fois)

0 Membres et 1 Invité sur ce sujet

vivien

  • Administrateur
  • *
  • Messages: 47 080
    • Twitter LaFibre.info
Scripts pour mettre en place un serveur miroir Ubuntu
« Réponse #12 le: 24 janvier 2015 à 10:50:03 »
ntpdate :

ntpdate est basé sur du vieux code de ntpd qui n'a pas été maintenu.
ntpd n'est pas installé par défaut sur les serveurs Ubuntu alors que ntpdate, oui.

ntpdate est toujours maintenu, la dernière mise à jour de sécurité de ntpdate date du 20 décembre 2014 : ntpdate 4.2.6p5@1.2349-o Sat Dec 20 11:47:15 UTC 2014 (serveur Ubuntu 14.04 LTS)

Normalement, on lance le daemon ntpd et c'est lui qui va maintenir la machine à l'heure.
La raison initiale était que je souhaitais contrôler l'heure de la mise à l'heure, pour des machines où j'ai besoin de ne pas avoir de process autre pour certains tests. En le mettant a la dernière minute de l'heure, c'est facile de ne pas faire de test à ce moment là.


Scripts pour mettre à jour un miroir :

Pourquoi ne pas utiliser apt-mirror qui est fait pour ça ?

For archive mirrors, it is very important not to delete packages before the Packages.gz-files (which hold information about the packages available) are updated. Therefor, you need a 'Two stage sync'. This means that you download new packages first, and new Packages.gz after that. After you've downloaded the Packages.gz files, it's safe to delete old packages.

Quand j'ai regardé ce que faisait apt-mirror, il m'a semblé comprendre qu'il n'était pas possible de faire un 'Two stage sync', d'où ces scripts.
Je précise au passage qu'il est important de mettre --exclude ".~tmp~" \ sans quoi on va avoir de nombreux échecs (je n'ai vu ça sur aucun tutoriel).


Bonding 802.3ad :

- sur le bonding, l'utilisation du LACP/802.3ad nécessite une configuration sur le switch.

Effectivement, j'ai oublié que cela nécessitait une configuration particulière sur le switch que je n'ai pas abordé.
J'ai rajouté un message d'avertissement.

petrus

  • Expert AS206155
  • Expert
  • *
  • Messages: 1 064
Scripts pour mettre en place un serveur miroir Ubuntu
« Réponse #13 le: 24 janvier 2015 à 11:07:15 »
Deux remarques :
 - j'ai pas compris l'interet de lancer ntpdate régulièrement ? Normalement, on lance le daemon ntpd et c'est lui qui va maintenir la machine à l'heure. Ntpdate est utile si le retard à rattraper est supérieure à 1h d'où l'intéret de le lancer au démarrage de la machine au cas où l'heure BIOS serait erronnée

Plus besoin maintenant depuis quelques versions de ntpd, il sait s'ajuster correctement.

BadMax

  • Client Free adsl
  • Expert
  • *
  • Messages: 3 481
  • Malissard (26)
Scripts pour mettre en place un serveur miroir Ubuntu
« Réponse #14 le: 24 janvier 2015 à 13:19:08 »

Effectivement, j'ai oublié que cela nécessitait une configuration particulière sur le switch que je n'ai pas abordé.
J'ai rajouté un message d'avertissement.

A ce moment, tu peux ajouter des exemples de configurations :
 - mode Etherchannel
int Po<X>
 description Agregat Statique
 switchport mode access
 switchport access vlan <Id>
!
int GigabitEthernet<A>
  switchport mode access
 switchport access vlan <Id>
 channel-group <X> mode on
!
int GigabitEthernet<B>
  switchport mode access
 switchport access vlan <Id>
 channel-group <X> mode on
Notes:
 - X = numéro de l'agrégat de 1 à 1024 (attention, c'est le modèle de switch qui détermine le nombre possible, par exemple sur 2960S c'est 6 agrégat max)
 - Id = numéro de Vlan. On peut aussi faire du 802.1q en remplaçant "mode access" par "mode trunk"
 - A et B : identifiant des interfaces. On peut avoir jusqu'à 8 interfaces dans un agrégat

 - Version 802.3ad / LACP : remplacer le "mode on" par "mode active"

Enfin, note importante : il n'est pas possible de faire un agrégat statique ou 802.3ad à travers plusieurs switches SAUF si :
 - ils utilisent un cable de stack
 - OU ils sont configurés en stack virtuel (Virtual-Chassis Juniper ou VSS Cisco par exemple)
 - OU ils supportent la fonction vPC (Virtual Port-Channel)

BadMax

  • Client Free adsl
  • Expert
  • *
  • Messages: 3 481
  • Malissard (26)
Scripts pour mettre en place un serveur miroir Ubuntu
« Réponse #15 le: 24 janvier 2015 à 13:20:13 »
Plus besoin maintenant depuis quelques versions de ntpd, il sait s'ajuster correctement.

Je ne savais pas faudra que j'essaye :)

vivien

  • Administrateur
  • *
  • Messages: 47 080
    • Twitter LaFibre.info
Scripts pour mettre en place un serveur miroir Ubuntu
« Réponse #16 le: 10 février 2015 à 14:45:12 »
Encore une mise à jour de sécurité de NPTdate !
Son code ne semble pas oublié...

=> https://launchpad.net/ubuntu/+source/ntp/1:4.2.6.p5+dfsg-3ubuntu2.14.10.2

Il est aussi installé sur les Ubuntu avec interface graphique vu que j'ai reçu la notification sur un PC desktop :

Nh3xus

  • Réseau Deux Sarres (57)
  • Abonné MilkyWan
  • *
  • Messages: 3 247
  • Sarrebourg (57)
Scripts pour mettre en place un serveur miroir Ubuntu
« Réponse #17 le: 13 septembre 2015 à 12:03:27 »
Il manque un détail :

Comment est géré la connexion des postes client à ce miroir local ?

Il faut modifier le sources.list sur chaque poste ?

Dans mon association, on a opté pour des redirections DNS transparentes à l'aide de Bind.

---

On propose des installations de Linux Mint sur les PCs des visiteurs lors de nos journées consacrées au Libre.

Je m'occupe de la partie serveur PXE qui est au passage, un peu galère à faire marcher en mode UEFI sur ipv4.

M'enfin, dès que l'on a compris la discrimination des identifiants des clients via l'option DHCP qui va bien, ça fonctionne sans soucis.

Nous utilisons apt-mirror mais je pense tester cette solution dès que j'aurais un vieux disque SATA d'au moins 150 Go sous la main...

Mon serveur PXE rentre tout juste dans les 20 Go du disque tout pourri d'origine du PC.  ;D


vivien

  • Administrateur
  • *
  • Messages: 47 080
    • Twitter LaFibre.info
Scripts pour mettre en place un serveur miroir Ubuntu
« Réponse #18 le: 13 septembre 2015 à 12:22:40 »
Attention, cette méthode demande 1 disque de 1To dédié (occupation à 95% actuellement) ou 2 To si tu souhaites installer le système sur le même disque : il est impossible de séparer les différentes distribution

Voici l'architecture des miroir Ubuntu : Tous les paquets sont dans un dossier "pool" commun a toutes les distribution et de 722 Gio (je rappelle qu'un disque de 1 To, c'est 917Gio utilisable)

$ tree -d -L 5
.
├── lost+found [error opening dir]
└── ubuntu-archive
    ├── log -> /home/log/log/
    └── ubuntu
        ├── dists (52 Gio)
        │   ├── devel -> wily
        │   ├── devel-backports -> wily-backports
        │   ├── devel-proposed -> wily-proposed
        │   ├── devel-security -> wily-security
        │   ├── devel-updates -> wily-updates
        │   ├── lucid
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── lucid-backports
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── lucid-proposed
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── lucid-security
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── lucid-updates
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── precise
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── precise-backports
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── precise-proposed
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── precise-security
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── precise-updates
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── trusty
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── trusty-backports
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── trusty-proposed
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── trusty-security
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── trusty-updates
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── utopic
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── utopic-backports
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── utopic-proposed
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── utopic-security
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── utopic-updates
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── vivid
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── vivid-backports
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── vivid-proposed
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── vivid-security
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── vivid-updates
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── wily
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── wily-backports
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── wily-proposed
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── wily-security
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   └── wily-updates
        │       ├── main
        │       ├── multiverse
        │       ├── restricted
        │       └── universe
        ├── indices (1,1 Gio)
        ├── pool (772 Gio)
        │   ├── main (316 Gio)
        │   │   ├── a
        │   │   ├── b
        │   │   ├── c
        │   │   ├── d
        │   │   ├── e
        │   │   ├── f
        │   │   ├── g
        │   │   ├── h
        │   │   ├── i
        │   │   ├── j
        │   │   ├── k
        │   │   ├── l
        │   │   ├── liba
        │   │   ├── libb
        │   │   ├── libc
        │   │   ├── libd
        │   │   ├── libe
        │   │   ├── libf
        │   │   ├── libg
        │   │   ├── libh
        │   │   ├── libi
        │   │   ├── libj
        │   │   ├── libk
        │   │   ├── libl
        │   │   ├── libm
        │   │   ├── libn
        │   │   ├── libo
        │   │   ├── libp
        │   │   ├── libq
        │   │   ├── libr
        │   │   ├── libs
        │   │   ├── libt
        │   │   ├── libu
        │   │   ├── libv
        │   │   ├── libw
        │   │   ├── libx
        │   │   ├── liby
        │   │   ├── libz
        │   │   ├── m
        │   │   ├── n
        │   │   ├── o
        │   │   ├── p
        │   │   ├── q
        │   │   ├── r
        │   │   ├── s
        │   │   ├── t
        │   │   ├── u
        │   │   ├── v
        │   │   ├── w
        │   │   ├── x
        │   │   ├── y
        │   │   └── z
        │   ├── multiverse (39 Gio)
        │   │   ├── 3
        │   │   ├── a
        │   │   ├── b
        │   │   ├── c
        │   │   ├── d
        │   │   ├── e
        │   │   ├── f
        │   │   ├── g
        │   │   ├── h
        │   │   ├── i
        │   │   ├── j
        │   │   ├── k
        │   │   ├── l
        │   │   ├── lib-
        │   │   ├── liba
        │   │   ├── libb
        │   │   ├── libc
        │   │   ├── libd
        │   │   ├── libe
        │   │   ├── libf
        │   │   ├── libg
        │   │   ├── libh
        │   │   ├── libi
        │   │   ├── libj
        │   │   ├── libl
        │   │   ├── libm
        │   │   ├── libn
        │   │   ├── libo
        │   │   ├── libp
        │   │   ├── libq
        │   │   ├── libs
        │   │   ├── libt
        │   │   ├── libv
        │   │   ├── libx
        │   │   ├── liby
        │   │   ├── m
        │   │   ├── n
        │   │   ├── o
        │   │   ├── p
        │   │   ├── q
        │   │   ├── r
        │   │   ├── s
        │   │   ├── t
        │   │   ├── u
        │   │   ├── v
        │   │   ├── w
        │   │   ├── x
        │   │   ├── y
        │   │   └── z
        │   ├── restricted (12 Gio)
        │   │   ├── b
        │   │   ├── c
        │   │   ├── d
        │   │   ├── f
        │   │   ├── i
        │   │   ├── j
        │   │   ├── l
        │   │   ├── m
        │   │   ├── n
        │   │   ├── p
        │   │   ├── r
        │   │   ├── s
        │   │   └── v
        │   └── universe (407 Gio)
        │       ├── 0
        │       ├── 2
        │       ├── 3
        │       ├── 4
        │       ├── 6
        │       ├── 7
        │       ├── 8
        │       ├── 9
        │       ├── a
        │       ├── b
        │       ├── c
        │       ├── d
        │       ├── e
        │       ├── f
        │       ├── g
        │       ├── h
        │       ├── i
        │       ├── j
        │       ├── k
        │       ├── l
        │       ├── lib-
        │       ├── lib3
        │       ├── liba
        │       ├── libb
        │       ├── libc
        │       ├── libd
        │       ├── libe
        │       ├── libf
        │       ├── libg
        │       ├── libh
        │       ├── libi
        │       ├── libj
        │       ├── libk
        │       ├── libl
        │       ├── libm
        │       ├── libn
        │       ├── libo
        │       ├── libp
        │       ├── libq
        │       ├── libr
        │       ├── libs
        │       ├── libt
        │       ├── libu
        │       ├── libv
        │       ├── libw
        │       ├── libx
        │       ├── liby
        │       ├── libz
        │       ├── m
        │       ├── n
        │       ├── o
        │       ├── p
        │       ├── q
        │       ├── r
        │       ├── s
        │       ├── t
        │       ├── u
        │       ├── v
        │       ├── w
        │       ├── x
        │       ├── y
        │       └── z
        ├── project (576 Kio)
        │   └── trace
        └── ubuntu -> .

vivien

  • Administrateur
  • *
  • Messages: 47 080
    • Twitter LaFibre.info
Scripts pour mettre en place un serveur miroir Ubuntu
« Réponse #19 le: 13 septembre 2015 à 13:57:48 »
Comment est géré la connexion des postes client à ce miroir local ?

Il faut modifier le sources.list sur chaque poste ?

Dans mon association, on a opté pour des redirections DNS transparentes à l'aide de Bind.

Au choix :
- Modification du source.list (une petite commande à passer sur chaque machine, si tu as des script d'installation, c'est à rajouter)
- Faire mentir les serveur DNS pour que "fr.archive.ubuntu.com" (l'url par défaut pour la France) pointe sur ton serveur

BadMax

  • Client Free adsl
  • Expert
  • *
  • Messages: 3 481
  • Malissard (26)
Scripts pour mettre en place un serveur miroir Ubuntu
« Réponse #20 le: 14 septembre 2015 à 15:04:47 »
Sinon pour éviter d'aspirer les 1To d'archives Ubuntu, ci-joint un script qui permet de ne télécharger que les paquets correspondants à une version.

Il faut spécifier :
  - la version: precise, trusty, trusty-updates, etc
 - le type: main, multiverse, universe, restricted
 - le binaire: binary-i386, binary-amd64, source

L'arborescence est re-créée à l'identique. On peut interrompre et recommencer, les paquetages déjà téléchargés ne le sont pas (mais pas de controle des paquets déjà présent, seul un test du fichier est effectué).

/!\ attention par défaut le téléchargement s'effectue dans /projets/ubuntu, il faut modifier le script pour changer cette destination. On peut aussi forcer le serveur de téléchargement en changeant l'URL dans le script.

Pour se servir de ce repository, l'exporter via Apache et faire pointer le source.list des clients dessus.

vivien

  • Administrateur
  • *
  • Messages: 47 080
    • Twitter LaFibre.info
Scripts pour mettre en place un serveur miroir Ubuntu
« Réponse #21 le: 20 février 2016 à 16:04:10 »
Comment connaître la version d'Ubuntu via le user Agent ?

Sur un total de 14 676 485 lignes de log (2,5 Gio) dont 14 443 900 pour APT-HTTP/1.3 et 36 115 pour Apt-Cacher

Début de l'user-agent des requêtes des utilitaires d’installation des paquets (apt, aptitude, logithèque) :
warty => Ubuntu 4.10
hoary => Ubuntu 5.04 => "Ubuntu APT-HTTP/1.3""
breezy => Ubuntu 5.10 => "Ubuntu APT-HTTP/1.3""
dapper => Ubuntu 6.06 LTS => "Ubuntu APT-HTTP/1.3""
edgy => Ubuntu 6.10 => "Ubuntu APT-HTTP/1.3""
feisty => Ubuntu 7.04 => "Ubuntu APT-HTTP/1.3 (0.6.46.4ubuntu"
gutsy => Ubuntu 7.10 => "Ubuntu APT-HTTP/1.3 (0.7.6ubuntu"
hardy => Ubuntu 8.04 LTS => "Ubuntu APT-HTTP/1.3 (0.7.9ubuntu" (987 lignes)
intrepid => Ubuntu 8.10 => "Ubuntu APT-HTTP/1.3 (0.7.14ubuntu"
jaunty => Ubuntu 9.04 => "Ubuntu APT-HTTP/1.3 (0.7.20.2ubuntu"
karmic => Ubuntu 9.10  => "Ubuntu APT-HTTP/1.3 (0.7.23.1ubuntu"
lucid => Ubuntu 10.04 LTS => "Ubuntu APT-HTTP/1.3 (0.7.25.3ubuntu" (1323 lignes)
maverick => Ubuntu 10.10 => "Debian APT-HTTP/1.3 (0.8.3ubuntu"
natty => Ubuntu 11.04 => "Debian APT-HTTP/1.3 (0.8.13.2ubuntu" (45 285 lignes)
oneiric => Ubuntu 11.10 => "Debian APT-HTTP/1.3 (0.8.16~exp5ubuntu" (544 lignes)
precise => Ubuntu 12.04 LTS => "Debian APT-HTTP/1.3 (0.8.16~exp12ubuntu"  (333 059 lignes soit 2,31%)
quantal => Ubuntu 12.10 => "Debian APT-HTTP/1.3 (0.9.7.5ubuntu" (45 248 lignes)
raring => Ubuntu 13.04 => "Debian APT-HTTP/1.3 (0.9.7.7ubuntu" (51 476 lignes)
saucy => Ubuntu 13.10 => "Debian APT-HTTP/1.3 (0.9.9.1~ubuntu" (284 554 lignes)
trusty => Ubuntu 14.04 LTS : 2 user-agent
=> "Debian APT-HTTP/1.3 (0.9.15.4ubuntu" (1 222 lignes)
=> "Debian APT-HTTP/1.3 (1.0.1ubuntu" (11 696 413 lignes soit 80,98%)
utopic => Ubuntu 14.10 => "Debian APT-HTTP/1.3 (1.0.9.2ubuntu" (116 827 lignes soit 0,81%)
vivid => Ubuntu 15.04
=> "Debian APT-HTTP/1.3 (1.0.9.3ubuntu" (64 lignes)
=> "Debian APT-HTTP/1.3 (1.0.9.7ubuntu" (334 448 lignes soit 2,32% alors que plus supporté)
wily => Ubuntu 15.10
=> "Debian APT-HTTP/1.3 (1.0.9.9ubuntu" (1968 lignes)
=> "Debian APT-HTTP/1.3 (1.0.9.10ubuntu" (276 lignes)
=> "Debian APT-HTTP/1.3 (1.0.10.2ubuntu" (1 394 622 lignes soit 9,66%)
xenial => Ubuntu 16.04 LTS pas de "ubuntu" pour les versions de dev
=> "Debian APT-HTTP/1.3 (1.1" (13 157 lignes)
=> "Debian APT-HTTP/1.3 (1.2" (120 106 lignes soit 0,83%)
yakkety => Ubuntu 16.10
=> "Debian APT-HTTP/1.3 (1.3"
zesty => Ubuntu 17.04
=> "Debian APT-HTTP/1.3 (1.4"
artful => Ubuntu 17.10
=> "Debian APT-HTTP/1.3 (1.5"
bionic => Ubuntu 18.04 LTS
=> "Debian APT-HTTP/1.3 (1.6"

Tout ce trafic est normalement en http 1.1 (quand il n'est pas intercepté par un proxy)

User-agent de Apt-Cacher-Server

(Utilitaire pour créer un serveur miroir Ubuntu)



precise => Ubuntu 12.04 => "Debian Apt-Cacher-NG/0.7.2" (0 ligne)
trusty => Ubuntu 14.04 => "Debian Apt-Cacher-NG/0.7.26" (31890 lignes)
vivid => Ubuntu 15.04 => "Debian Apt-Cacher-NG/0.8.0" (273 lignes)
wily => Ubuntu 15.10 => "Debian Apt-Cacher-NG/0.8.5" (3952 lignes)
xenial => Ubuntu 16.04 => "Debian Apt-Cacher-NG/0.8.9" ou "Debian Apt-Cacher-NG/0.9.1"
zesty => Ubuntu 17.04 => "Debian Apt-Cacher-NG/2"
artful => Ubutu 17.10 => "Debian Apt-Cacher-NG/3"
bionic => Ubuntu 18.04 =>

Debian squeeze => Debian 6 => "Debian Apt-Cacher-NG/0.5.1" (0 ligne)
Debian wheezy =>Debian 7 => "Debian Apt-Cacher-NG/0.7.11" (0 ligne)
Debian jessie => Debian 8 => "Debian Apt-Cacher-NG/0.8.0" (273 lignes)
Debian stretch => Debian 9 => "Debian Apt-Cacher-NG/0.8.9" ou "Debian Apt-Cacher-NG/2"


User-agent de apt-p2p :
=> "apt-p2p/0.1.5 (twisted/15.2.1 twisted.web2/8.1.0)" (286 lignes)

Vérification du miroir => "Launchpad Mirror Prober ( https://launchpad.net/ )" (1 808 lignes)

Monitoring repository convergence => "repoverge.net" (1 008 lignes)

$ cat access.log.* | grep "HTTP/1.0\"" | wc -l
132071

$ cat access.log.* | grep "\" \"-\"" | wc -l
59521
$ cat access.log.* | grep "\" \"\"" | wc -l
2
$ cat access.log.* | grep "\" \"Wget" | wc -l
48921
$ cat access.log.* | grep "\" \"libwww-perl" | wc -l
38345
$ cat access.log.* | grep "\" \"PycURL" | wc -l
29535
$ cat access.log.* | grep "\" \"Python-urllib" | wc -l
5233
$ cat access.log.* | grep "\" \"aria2" | wc -l
3426
$ cat access.log.* | grep "\" \"Go " | wc -l
2366
$ cat access.log.* | grep "\" \"curl" | wc -l
251
$ cat access.log.* | grep "\" \"testspeed" | wc -l
189
$ cat access.log.* | grep "\" \"Java" | wc -l
70


$ cat access.log.* | grep "Mozilla/4.0 " | wc -l
2155
$ cat access.log.* | grep "Mozilla/5.0 " | wc -l
3334
$ cat access.log.* | grep "Mozilla/" | grep -v "Mozilla/5.0 " | grep -v "Mozilla/4.0 " | wc -l
8


Pour trouver les nouvelles distributions à  partir des logs :

cat access.log.* | grep -v "Debian APT-HTTP/1.3 (1.2" | grep -v "Debian APT-HTTP/1.3 (1.1" | grep -v "Debian APT-HTTP/1.3 (1.0.9.10ubuntu" | grep -v "Debian APT-HTTP/1.3 (1.0.9.9ubuntu" | grep -v "Debian APT-HTTP/1.3 (1.0.10.2ubuntu" | grep -v "Debian APT-HTTP/1.3 (1.0.9.7ubuntu" | grep -v "Debian APT-HTTP/1.3 (1.0.9.2ubuntu" | grep -v "Debian APT-HTTP/1.3 (1.0.1ubuntu" | grep -v "Debian APT-HTTP/1.3 (0.9.15.4ubuntu" | grep -v "Debian APT-HTTP/1.3 (0.9.9.1~ubuntu" | grep -v "Debian APT-HTTP/1.3 (0.9.7.7ubuntu" | grep -v "Debian APT-HTTP/1.3 (0.9.7.5ubuntu" | grep -v "Debian APT-HTTP/1.3 (0.8.16~exp12ubuntu" | grep -v "Debian APT-HTTP/1.3 (0.8.16~exp5ubuntu" | grep -v "Debian APT-HTTP/1.3 (0.8.13.2ubuntu" | grep -v "Ubuntu APT-HTTP/1.3 (0.7.25.3ubuntu" | grep -v "Ubuntu APT-HTTP/1.3 (0.7.9ubuntu" | grep -v "Debian Apt-Cacher-NG/0.8.9\"" | grep -v "Debian Apt-Cacher-NG/0.8.0)\"" | grep -v "Debian Apt-Cacher-NG/0.8.9\"" | grep -v "Debian Apt-Cacher-NG/0.8.5\"" | grep -v "Debian Apt-Cacher-NG/0.8.0\"" | grep -v "Debian Apt-Cacher-NG/0.7.26\"" | grep -v "\"-\" \"-\"" | grep -v "\"-\" \"Wget/" | grep -v "Mozilla/" | grep -v "\"-\" \"PycURL/" | grep -v "\"-\" \"Python-urllib/" | grep -v "repoverge.net" | grep -v "\"-\" \"libwww-perl/" | grep -v "\"-\" \"Go " | grep -v "\"-\" \"Java/" | grep "Debian APT-HTTP/1.3"

vivien

  • Administrateur
  • *
  • Messages: 47 080
    • Twitter LaFibre.info
Scripts pour mettre en place un serveur miroir Ubuntu
« Réponse #22 le: 26 août 2016 à 21:52:45 »
Je ne vois absolument pas pourquoi un particulier stockerait ses données sur un disque SSD vu que les débits disponibles via les HDD sans équivalent ou supérieur à la vitesse des connexions (d'autant plus vrai pour un NAS avec plusieurs disques).

Tu fais du 110 Mo/s en copiant des photos sur ton disque dur ?

Il faut du SSD pour ce type de débits.

Ok un disque dur sait faire de superbes débits en séquentiel avec un outil de test, mais dans la réalité c'est bien plus faible.

La première fois que j'ai monté un miroir ubuntu, je me suis dit qu'un disque dur SATA 7200 tr/min suffirait... En fait sur plein de fichiers a lire un peu partout, on ne dépasse pas 20 Mo/s et je me suis retrouvé avec le disque utilisé à 100%.

Nico

  • Modérateur
  • *
  • Messages: 44 449
  • FTTH 1000/500 sur Paris 15ème (75)
    • @_GaLaK_
Scripts pour mettre en place un serveur miroir Ubuntu
« Réponse #23 le: 26 août 2016 à 21:59:35 »
Par curiosité j'ai testé, en écriture mon NAS mange 60-70Mo/s sur des photos (depuis le SSD de mon desktop). C'est plutôt raisonnable pour des 5400rpm en RAID5 !