Auteur Sujet: Scripts pour mettre en place un serveur miroir Ubuntu  (Lu 19296 fois)

0 Membres et 1 Invité sur ce sujet

Hugues

  • AS2027 MilkyWan
  • Modérateur
  • *
  • Messages: 12 425
  • Lyon (69) / St-Bernard (01)
    • Twitter
Scripts pour mettre en place un serveur miroir Ubuntu
« Réponse #24 le: 26 août 2016 à 22:05:19 »
ton miroir tourne avec des SSD vivien ?

underground78

  • Expert
  • Abonné Free fibre
  • *
  • Messages: 7 434
  • Orsay (91)
    • FreePON : suivi géographique du déploiement fibre EPON chez Free
Scripts pour mettre en place un serveur miroir Ubuntu
« Réponse #25 le: 26 août 2016 à 22:05:57 »
ton miroir tourne avec des SSD vivien ?
De mémoire oui mais Vivien confirmera.

vivien

  • Administrateur
  • *
  • Messages: 47 086
    • Twitter LaFibre.info
Scripts pour mettre en place un serveur miroir Ubuntu
« Réponse #26 le: 26 août 2016 à 22:13:01 »
Oui, c'est un SSD grand public Crucial BX100 de 1To qui héberge les mises à jour Ubuntu et dérivés pour la France.

Cela ne suffit pas à  faire tenir tout l'archive Ubuntu donc je mets sur le SSD Main + Universe et sur le disque dur de boot de 500 Go du serveur je mets Multiverse + Restricted + les petites truc de la racine. Comme il manquait encore un peu de place, j'ai déplacé les paquets commandant par f et g sur le disque dur. (oui, j'ai un serveur avec un SSD plus grand que le disque dur !)

Dans les log de rsync, vous pouvez voir ce qui va sur SSD et ce qui va sur HDD => http://fr.archive.ubuntu.com/log/

Pour les perf du disque dur, dans le cadre d'un serveur, je me demande si les nombreuses requêtes en // n'ont pas dégradés encore plus les résultats, par rapport une seule lecture ou écriture en // quand tu copies des photos.

underground78

  • Expert
  • Abonné Free fibre
  • *
  • Messages: 7 434
  • Orsay (91)
    • FreePON : suivi géographique du déploiement fibre EPON chez Free
Scripts pour mettre en place un serveur miroir Ubuntu
« Réponse #27 le: 26 août 2016 à 22:15:52 »
Pour les perf du disque dur, dans le cadre d'un serveur, je me demande si les nombreuses requêtes en // n'ont pas dégradés encore plus les résultats, par rapport une seule lecture ou écriture en // quand tu copies des photos.
Ah ben si, les disques durs n'aiment pas les accès concurrents aléatoires.

Free_me

  • Abonné Free fibre
  • *
  • Messages: 3 075
  • Marseille
Scripts pour mettre en place un serveur miroir Ubuntu
« Réponse #28 le: 26 août 2016 à 22:34:59 »
Ok un disque dur sait faire de superbes débits en séquentiel avec un outil de test, mais dans la réalité c'est bien plus faible.

C'est po bien de denigrer....

alegui

  • Abonné Bbox fibre
  • *
  • Messages: 464
  • FTTH Courbevoie (92)
Scripts pour mettre en place un serveur miroir Ubuntu
« Réponse #29 le: 26 août 2016 à 22:52:03 »
C'est po bien de denigrer....
Là tu fais un transfert en séquentiel sur des gros fichiers : c'est le cas idéal.

Cela ne suffit pas à  faire tenir tout l'archive Ubuntu donc je mets sur le SSD Main + Universe et sur le disque dur de boot de 500 Go du serveur je mets Multiverse + Restricted + les petites truc de la racine. Comme il manquait encore un peu de place, j'ai déplacé les paquets commandant par f et g sur le disque dur. (oui, j'ai un serveur avec un SSD plus grand que le disque dur !)
C'est un peu hors sujet, mais je suis curieux : quelle est la taille de multiverse+restrictied en go par rapport à main+universe ? En nombre de paquets la différence est vraiment significative mais la taille des binaires doit être un peu différente...
Et sinon concernant la place, comment fais-tu pour gérer l'augmentation du nombre de packets au fil du temps, si tu es si juste en place?

Nico

  • Modérateur
  • *
  • Messages: 44 450
  • FTTH 1000/500 sur Paris 15ème (75)
    • @_GaLaK_
Scripts pour mettre en place un serveur miroir Ubuntu
« Réponse #30 le: 26 août 2016 à 22:55:27 »
C'est po bien de denigrer....
Ni de montrer la copie d'un gros fichier alors que vivien parlait d'écriture de petits fichiers (photos) deux lignes plus haut.

vivien

  • Administrateur
  • *
  • Messages: 47 086
    • Twitter LaFibre.info
Scripts pour mettre en place un serveur miroir Ubuntu
« Réponse #31 le: 26 août 2016 à 23:39:20 »
Là tu fais un transfert en séquentiel sur des gros fichiers : c'est le cas idéal.
C'est un peu hors sujet, mais je suis curieux : quelle est la taille de multiverse+restrictied en go par rapport à main+universe ? En nombre de paquets la différence est vraiment significative mais la taille des binaires doit être un peu différente...
Et sinon concernant la place, comment fais-tu pour gérer l'augmentation du nombre de packets au fil du temps, si tu es si juste en place?

Il y a des liens physiques entre Main et Universe (ll y a des logiciels qui bascule de l'un vers l'autre) donc je suis obligé de les mettre sur le même système de fichier.
C'est la même chose pour Multiverse + Restricted qui dois être sur le même système de fichier. Ces deux derniers ne représente pas grand chose au niveau place occupé.

Quand je passe la barre de 95% de remplissage du SSD, je bascule des lettres sur le disque dur (aujourd'hui f et g)

En ce moment le SSD est rempli à 86% car Ubuntu 10.04 a été retiré il y a quelques semaines a ma demande (ils l'avaient oublié, un système LTS non maintenu reste quelques mois sur les miroirs avant de passer sur http://old-releases.ubuntu.com/ubuntu/ qui conserve toutes les versions d'Ubuntu non maintenu).

A l'arrivé d'Ubunu 17.04 dans 2 mois, Ubuntu 15.04 qui n'est plus maintenu depuis fin janvier 2016 sera supprimé.
A l'arrivé d'Ubunu 17.10 dans 8 mois, Ubuntu 15.10 qui n'est plus maintenu depuis fin juillet 2016 sera supprimé.
Je parle de l'arrivé d'Ubuntu 17.04 dans 2mois, mais c'est dans les dépôts : quelques jours après la sorite d'une version, la version N+1, en développement, rentre dans les dépôts.

Voici la réponse pour le contenu du miroir (pour naviguer dans les dossiers : http://fr.archive.ubuntu.com/ubuntu/

Attention, cette méthode demande 1 disque de 1To dédié (occupation à 95% actuellement) ou 2 To si tu souhaites installer le système sur le même disque : il est impossible de séparer les différentes distribution

Voici l'architecture des miroir Ubuntu : Tous les paquets sont dans un dossier "pool" commun a toutes les distribution et de 722 Gio (je rappelle qu'un disque de 1 To, c'est 917Gio utilisable)

$ tree -d -L 5
.
├── lost+found [error opening dir]
└── ubuntu-archive
    ├── log -> /home/log/log/
    └── ubuntu
        ├── dists (52 Gio)
        │   ├── devel -> wily
        │   ├── devel-backports -> wily-backports
        │   ├── devel-proposed -> wily-proposed
        │   ├── devel-security -> wily-security
        │   ├── devel-updates -> wily-updates
        │   ├── lucid
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── lucid-backports
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── lucid-proposed
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── lucid-security
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── lucid-updates
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── precise
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── precise-backports
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── precise-proposed
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── precise-security
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── precise-updates
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── trusty
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── trusty-backports
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── trusty-proposed
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── trusty-security
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── trusty-updates
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── utopic
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── utopic-backports
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── utopic-proposed
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── utopic-security
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── utopic-updates
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── vivid
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── vivid-backports
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── vivid-proposed
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── vivid-security
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── vivid-updates
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── wily
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── wily-backports
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── wily-proposed
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   ├── wily-security
        │   │   ├── main
        │   │   ├── multiverse
        │   │   ├── restricted
        │   │   └── universe
        │   └── wily-updates
        │       ├── main
        │       ├── multiverse
        │       ├── restricted
        │       └── universe
        ├── indices (1,1 Gio)
        ├── pool (772 Gio)
        │   ├── main (316 Gio)
        │   │   ├── a
        │   │   ├── b
        │   │   ├── c
        │   │   ├── d
        │   │   ├── e
        │   │   ├── f
        │   │   ├── g
        │   │   ├── h
        │   │   ├── i
        │   │   ├── j
        │   │   ├── k
        │   │   ├── l
        │   │   ├── liba
        │   │   ├── libb
        │   │   ├── libc
        │   │   ├── libd
        │   │   ├── libe
        │   │   ├── libf
        │   │   ├── libg
        │   │   ├── libh
        │   │   ├── libi
        │   │   ├── libj
        │   │   ├── libk
        │   │   ├── libl
        │   │   ├── libm
        │   │   ├── libn
        │   │   ├── libo
        │   │   ├── libp
        │   │   ├── libq
        │   │   ├── libr
        │   │   ├── libs
        │   │   ├── libt
        │   │   ├── libu
        │   │   ├── libv
        │   │   ├── libw
        │   │   ├── libx
        │   │   ├── liby
        │   │   ├── libz
        │   │   ├── m
        │   │   ├── n
        │   │   ├── o
        │   │   ├── p
        │   │   ├── q
        │   │   ├── r
        │   │   ├── s
        │   │   ├── t
        │   │   ├── u
        │   │   ├── v
        │   │   ├── w
        │   │   ├── x
        │   │   ├── y
        │   │   └── z
        │   ├── multiverse (39 Gio)
        │   │   ├── 3
        │   │   ├── a
        │   │   ├── b
        │   │   ├── c
        │   │   ├── d
        │   │   ├── e
        │   │   ├── f
        │   │   ├── g
        │   │   ├── h
        │   │   ├── i
        │   │   ├── j
        │   │   ├── k
        │   │   ├── l
        │   │   ├── lib-
        │   │   ├── liba
        │   │   ├── libb
        │   │   ├── libc
        │   │   ├── libd
        │   │   ├── libe
        │   │   ├── libf
        │   │   ├── libg
        │   │   ├── libh
        │   │   ├── libi
        │   │   ├── libj
        │   │   ├── libl
        │   │   ├── libm
        │   │   ├── libn
        │   │   ├── libo
        │   │   ├── libp
        │   │   ├── libq
        │   │   ├── libs
        │   │   ├── libt
        │   │   ├── libv
        │   │   ├── libx
        │   │   ├── liby
        │   │   ├── m
        │   │   ├── n
        │   │   ├── o
        │   │   ├── p
        │   │   ├── q
        │   │   ├── r
        │   │   ├── s
        │   │   ├── t
        │   │   ├── u
        │   │   ├── v
        │   │   ├── w
        │   │   ├── x
        │   │   ├── y
        │   │   └── z
        │   ├── restricted (12 Gio)
        │   │   ├── b
        │   │   ├── c
        │   │   ├── d
        │   │   ├── f
        │   │   ├── i
        │   │   ├── j
        │   │   ├── l
        │   │   ├── m
        │   │   ├── n
        │   │   ├── p
        │   │   ├── r
        │   │   ├── s
        │   │   └── v
        │   └── universe (407 Gio)
        │       ├── 0
        │       ├── 2
        │       ├── 3
        │       ├── 4
        │       ├── 6
        │       ├── 7
        │       ├── 8
        │       ├── 9
        │       ├── a
        │       ├── b
        │       ├── c
        │       ├── d
        │       ├── e
        │       ├── f
        │       ├── g
        │       ├── h
        │       ├── i
        │       ├── j
        │       ├── k
        │       ├── l
        │       ├── lib-
        │       ├── lib3
        │       ├── liba
        │       ├── libb
        │       ├── libc
        │       ├── libd
        │       ├── libe
        │       ├── libf
        │       ├── libg
        │       ├── libh
        │       ├── libi
        │       ├── libj
        │       ├── libk
        │       ├── libl
        │       ├── libm
        │       ├── libn
        │       ├── libo
        │       ├── libp
        │       ├── libq
        │       ├── libr
        │       ├── libs
        │       ├── libt
        │       ├── libu
        │       ├── libv
        │       ├── libw
        │       ├── libx
        │       ├── liby
        │       ├── libz
        │       ├── m
        │       ├── n
        │       ├── o
        │       ├── p
        │       ├── q
        │       ├── r
        │       ├── s
        │       ├── t
        │       ├── u
        │       ├── v
        │       ├── w
        │       ├── x
        │       ├── y
        │       └── z
        ├── project (576 Kio)
        │   └── trace
        └── ubuntu -> .


Nh3xus

  • Réseau Deux Sarres (57)
  • Abonné MilkyWan
  • *
  • Messages: 3 247
  • Sarrebourg (57)
Scripts pour mettre en place un serveur miroir Ubuntu
« Réponse #32 le: 27 août 2016 à 01:29:58 »
Je ne comprends pas pourquoi il est _absolument_ nécessaire de cloner les dépôts de versions antédiluviennes...

(C'est une vrai question hein)

vivien

  • Administrateur
  • *
  • Messages: 47 086
    • Twitter LaFibre.info
Scripts pour mettre en place un serveur miroir Ubuntu
« Réponse #33 le: 27 août 2016 à 08:04:49 »
Déjà il faut préciser que les versions LTS ont un support de 5ans et les versions non LTS de 6mois.



Il faut donc avoir toutes les versions supportées.
Pour les versions non supportées, il semble logique de les laisser 1an (pour les LTS) sur les serveurs car de nombreux clients n'ont pas fait l'upgrade ne peuvent plus installer de nouveaux logiciels quand on supprimer le contenu du dépôts et ceux qui sont sur une version N-1 de celle supprimée ne peuvent plus faire d'upgrade vers la version N vu qu'elle est supprimée des dépôts.

Aujourd'hui chaque jour 17500 ordinateurs français sous Ubuntu 10.04 LTS se connectent tous les jours à mon miroir pour vérifier si il y a des mises à jour alors qu'il n'est plus supporté depuis 18mois. Ce sont 17500 connexions quotidienne en moyenne. Comme tous ne sont pas connectés 24h/2 à Internet, leur nombre est bien plus important, et par définition je ne vois pas ceux qui ne sont pas connectés à Internet.

Cf stats => http://fr.archive.ubuntu.com/stats/201607_stats.txt


Fragmentation d'Ubuntu : détail des part de marché en France des différentes versions

Ubuntu 14.04 reste de loin la version d'Ubuntu la plus utilisée :

Nh3xus

  • Réseau Deux Sarres (57)
  • Abonné MilkyWan
  • *
  • Messages: 3 247
  • Sarrebourg (57)
Scripts pour mettre en place un serveur miroir Ubuntu
« Réponse #34 le: 28 août 2016 à 01:23:29 »
Merci pour les précisions.

C'est dommage qu'Ubuntu soit un peu l'arbre qui cache la forêt cela dit.

vivien

  • Administrateur
  • *
  • Messages: 47 086
    • Twitter LaFibre.info
Scripts pour mettre en place un serveur miroir Ubuntu
« Réponse #35 le: 28 août 2016 à 08:58:53 »
C'est dommage qu'Ubuntu soit un peu l'arbre qui cache la forêt cela dit.
A propos de quoi ?

Le fait que les clients ne font pas les mises à jour vers les versions suivantes ?

Microsoft à trouvé l'outil ultime avec Windows 10, en imposant les mises à jour pour le grand public et les professionnels (avec pour ces derniers, possibilité de décaler de 6 mois les mises à jour).

Chez Microsoft il y a 3 possibilité pour suivre les mises à jour :
- CB (Current Branch) => dernière version, forcée sur les Windows 10 famille et par défaut pour Windows Pro
- CBB (Current Branch for Business) => même version que Current Branch, mais après un délai d'environ 4 mois. Disponible uniquement sur Windows 10 Pro, Windows 10 Entreprise et Windows 10 Education
- LTSB (Long Term Servicing Branch) => Cette version est pour les postes critiques uniquement et il ne dispose pas de Microsoft Edge, ni du Windows Store et n'a presque aucune applicaiton installé par défaut. Il y a un support de 5 ans en support standard et 5 ans en support étendu. Cette version n’est disponible que pour Windows 10 Entreprise. Une nouvelle version LTSB sera mise à disposition environ tous les 2 à 3 ans.


Microsoft sort une branche de Windows 10 tous les 6 mois environ :
- Windows 10 1507 (Threshold 1) Première version de Windows 10, sorite en juillet 2015 simultanèment en CB, CBB et LTSB.
- Windows 10 1511 (Threshold 2) sortie CB en novembre 2015, Passage en CBB en Avril 2016
- Windows 10 1607 (Redstone 1) également appelée Anniversary Update sortie en CB en juillet 2016, Passage en CBB fin 2016
- Windows 10 1701 (Redstone 2) qui sortira début 2017 en CB

Pour les entreprises, la fin du support pour une CBB est déterminé par 60 jours après la sortie de la CBB+2.
Windows 10 1507, la première version de Windows 10 sera donc supporté jusqu'au 2 novembre (la CBB+2, la version 1607 est sortie le 2 août 2016)