Auteur Sujet: Statistiques 2019 sur le serveur miroir Ubuntu (Lu 7187 fois)

vivien · « **le:** 02 janvier 2020 à 22:23:23 »

Statistiques 2019 sur le serveur miroir Ubuntu "fr.archive.ubuntu.com"
Serveur utilisé par défaut pour la France pour distribuer les logiciels / mises à jour de sécurité pour Ubuntu et ses dérivés, comme Linux Mint.

Les statistiques en temps réel sont sur https://ubuntu.lafibre.info/stats/stats_server.html

Voici les données historiques :
- A gauche les statistiques 2019 (de décembre 2018 à fin décembre 2019)
- Au centre les statistiques 2018 (de décembre 2017 à fin décembre 2018)
- A droite les stats de mars 2016 à avril 2017 (ce graphique est en dessous pour les écrans qui ne sont pas "full HD" - largeur d'écran supérieur à 1680 pixels)

Trafic réseau en Gb/s généré par les mises à jour (via http/htps/rsync) sur la carte Intel X710 :
Chaque point représente un trafic moyenné sur 24 heures.
Les pics sont liés à l'arrivé de nouveaux noyaux Linux ou de nouvelles version de logiciels de grande taille comme Firefox ou LibreOffice

Date des mises à jour du noyau pour la dernière version LTS : (LTS = Long-Term Support)

Code: [Sélectionner]

11/07/2017 : 4.8.0-58-generic #63~16.04.1-Ubuntu SMP Mon Jun 26 18:08:51 UTC 2017
27/07/2017 : 4.10.0-27-generic #30~16.04.2-Ubuntu SMP Thu Jun 29 16:07:46 UTC 2017
02/08/2017 : 4.10.0-28-generic #32~16.04.2-Ubuntu SMP Thu Jul 20 10:19:48 UTC 2017
08/08/2017 : 4.10.0-30-generic #34~16.04.1-Ubuntu SMP Wed Aug 2 02:13:56 UTC 2017
11/08/2017 : 4.10.0-32-generic #36~16.04.1-Ubuntu SMP Wed Aug 9 09:19:02 UTC 2017
29/08/2017 : 4.10.0-33-generic #37~16.04.1-Ubuntu SMP Fri Aug 11 14:07:24 UTC 2017
19/09/2017 : 4.10.0-35-generic #39~16.04.1-Ubuntu SMP Wed Sep 13 09:02:42 UTC 2017
11/10/2017 : 4.10.0-37-generic #41~16.04.1-Ubuntu SMP Fri Oct 6 22:42:59 UTC 2017
31/10/2017 : 4.10.0-38-generic #42~16.04.1-Ubuntu SMP Tue Oct 10 16:32:20 UTC 2017
22/11/2017 : 4.10.0-40-generic #44~16.04.1-Ubuntu SMP Thu Nov 9 15:37:44 UTC 2017
08/12/2017 : 4.10.0-42-generic #46~16.04.1-Ubuntu SMP Mon Dec 4 15:57:59 UTC 2017
11/01/2018 : 4.13.0-26-generic #29~16.04.2-Ubuntu SMP Tue Jan 9 22:00:44 UTC 2018
23/01/2018 : 4.13.0-31-generic #34~16.04.1-Ubuntu SMP Fri Jan 19 17:11:01 UTC 2018
27/01/2018 : 4.13.0-32-generic #35~16.04.1-Ubuntu SMP Thu Jan 25 10:13:43 UTC 2018
23/02/2018 : 4.13.0-36-generic #40~16.04.1-Ubuntu SMP Fri Feb 16 23:25:58 UTC 2018
15/03/2018 : 4.13.0-37-generic #42~16.04.1-Ubuntu SMP Wed Mar 7 16:03:28 UTC 2018
04/04/2018 : 4.13.0-38-generic #43~16.04.1-Ubuntu SMP Wed Mar 14 17:48:43 UTC 2018
24/04/2018 : 4.13.0-39-generic #44~16.04.1-Ubuntu SMP Thu Apr 5 16:43:10 UTC 2018
09/05/2018 : 4.13.0-41-generic #46~16.04.1-Ubuntu SMP Thu May 3 10:06:43 UTC 2018
22/05/2018 : 4.13.0-43-generic #48~16.04.1-Ubuntu SMP Thu May 17 12:56:46 UTC 2018
12/06/2018 : 4.13.0-45-generic #50~16.04.1-Ubuntu SMP Wed May 30 11:18:27 UTC 2018
02/07/2018 : 4.15.0-24-generic #26~16.04.1-Ubuntu SMP Fri Jun 15 14:35:08 UTC 2018
20/07/2018 : 4.15.0-29-generic #31~16.04.1-Ubuntu SMP Wed Jul 18 08:54:04 UTC 2018
07/08/2018 : 4.15.0-30-generic #32~16.04.1-Ubuntu SMP Thu Jul 26 20:25:39 UTC 2018
15/08/2018 : 4.15.0-32-generic #35~16.04.1-Ubuntu SMP Fri Aug 10 21:54:34 UTC 2018
23/08/2018 : 4.15.0-33-generic #36~16.04.1-Ubuntu SMP Wed Aug 15 17:21:05 UTC 2018
01/09/2018 : 4.15.0-33-generic #36-Ubuntu SMP Wed Aug 15 16:00:05 UTC 2018 (Migration Ubuntu 18.04)
11/09/2018 : 4.15.0-34-generic #37-Ubuntu SMP Mon Aug 27 15:21:48 UTC 2018
02/10/2018 : 4.15.0-36-generic #39-Ubuntu SMP Mon Sep 24 16:19:09 UTC 2018
23/10/2018 : 4.15.0-38-generic #41-Ubuntu SMP Wed Oct 10 10:59:38 UTC 2018
14/11/2018 : 4.15.0-39-generic #42-Ubuntu SMP
03/12/2018 : 4.15.0-42-generic #45-Ubuntu SMP Thu Nov 15 19:32:57 UTC 2018
21/12/2018 : 4.15.0-43-generic #46-Ubuntu SMP Thu Dec 6 14:45:28 UTC 2018 x86_64 x86_64 x86_64
12/01/2019 : apt install --install-recommends linux-generic-hwe-18.04
12/01/2019 : 4.18.0-13-generic #14~18.04.1-Ubuntu SMP Thu Dec 6 14:09:52 UTC 2018 x86_64 x86_64 x86_64
29/01/2019 : 4.18.0-14-generic #15~18.04.1-Ubuntu SMP Mon Jan 14 11:09:26 UTC 2019 x86_64 x86_64
09/02/2019 : 4.18.0-15-generic #16~18.04.1-Ubuntu SMP Thu Feb 7 14:06:04 UTC 2019 x86_64 x86_64 x86_64
07/03/2019 : 4.18.0-16-generic #17~18.04.1-Ubuntu SMP Tue Feb 12 13:35:51 UTC 2019 x86_64 x86_64 x86_64
03/04/2019 : 4.18.0-17-generic #18~18.04.1-Ubuntu SMP Fri Mar 15 15:27:12 UTC 2019 x86_64 x86_64 x86_64
24/04/2019 : 4.18.0-18-generic #19~18.04.1-Ubuntu SMP Fri Apr 5 10:22:13 UTC 2019 x86_64 x86_64 x86_64
15/05/2019 : 4.18.0-20-generic #21~18.04.1-Ubuntu SMP Wed May 8 08:43:37 UTC 2019 x86_64 x86_64 x86_64
05/06/2019 : 4.18.0-21-generic #22~18.04.1-Ubuntu SMP Thu May 16 15:07:19 UTC 2019 x86_64 x86_64 x86_64
19/06/2019 : 4.18.0-22-generic #23~18.04.1-Ubuntu SMP Thu Jun 6 08:37:25 UTC 2019 x86_64 x86_64 x86_64
24/06/2019 : 4.18.0-24-generic #25~18.04.1-Ubuntu SMP Thu Jun 20 11:13:08 UTC 2019 x86_64 x86_64 x86_64
28/06/2019 : 4.18.0-25-generic #26~18.04.1-Ubuntu SMP Thu Jun 27 07:28:31 UTC 2019 x86_64 x86_64 x86_64
01/08/2019 : 5.0.0-23-generic #24~18.04.1-Ubuntu SMP Mon Jul 29 16:12:28 UTC 2019 x86_64 x86_64 x86_64
13/08/2019 : 5.0.0-25-generic #26~18.04.1-Ubuntu SMP Thu Aug 1 13:51:02 UTC 2019 x86_64 x86_64 x86_64
02/09/2019 : 5.0.0-27-generic #28~18.04.1-Ubuntu SMP Thu Aug 22 03:00:32 UTC 2019 x86_64 x86_64 x86_64
19/09/2019 : 5.0.0-29-generic #31~18.04.1-Ubuntu SMP Thu Sep 12 18:29:21 UTC 2019 x86_64 x86_64 x86_64
04/10/2019 : 5.0.0-31-generic #33~18.04.1-Ubuntu SMP Tue Oct 1 10:20:39 UTC 2019 x86_64 x86_64 x86_64
22/10/2019 : 5.0.0-32-generic #34~18.04.2-Ubuntu SMP Thu Oct 10 10:36:02 UTC 2019 x86_64 x86_64 x86_64
12/11/2019 : 5.0.0-35-generic #38~18.04.1-Ubuntu SMP Mon Nov 11 09:16:10 UTC 2019 x86_64 x86_64 x86_64
13/11/2019 : 5.0.0-36-generic #39~18.04.1-Ubuntu SMP Tue Nov 12 11:09:50 UTC 2019 x86_64 x86_64 x86_64
02/12/2019 : 5.0.0-37-generic #40~18.04.1-Ubuntu SMP Thu Nov 14 12:06:39 UTC 2019 x86_64 x86_64 x86_64

Nombre de fichiers téléchargés par seconde pour les mises à jour (via http/https) :
La baisse du nombre de requêtes est liée à la montée en puissance d'Ubuntu 16.04 et suivants, qui permet de faire moins de requêtes pour vérifier si il est nécessaire de faire des mise à jour.

Répartition de l'utilisation des slots du serveur web Apache :
Les pic d'utilisation sont liées à des requêtes très étranges détaillées dans le sujet Si vous voyez des codes HTTP 408 (Request Time-out) dans vos log Apache2, vous vous posez peut-être la question de ce que c'est...

Débit des connexions Apache (mises à jour via http/https) en Mo/s :

Temps d'attente (en milliseconde) pour charger un fichier Apache :

(Nouvel indicateur: pas de statistiques pour mars 2016 à avril 2017)

vivien · « **Réponse #1 le:** 02 janvier 2020 à 22:27:57 »

Rsync: Débit en Mb/s.
Bleu:Canonical met à jour ce serveur Vert:Des serveurs tiers se mettent à jour via ce serveur

(Nouvel indicateur: pas de statistiques pour mars 2016 à avril 2017)

Rsync: Nombre de fichiers échangés par seconde lors des synchronisation distante de l'archive Ubuntu :
Bleu:Canonical met à jour ce serveur Vert:Des serveurs tiers se mettent à jour via ce serveur

(Nouvel indicateur: pas de statistiques pour mars 2016 à avril 2017)

Espace disque. L'archive Ubuntu es sur la partition /home, d'une taille de 1,9 To (le trait à 90% est le seuil d'alerte)
- Au 1er janvier 2020, l'archive Ubuntu prend 1,431 To
- Au 1er janvier 2019, l'archive Ubuntu prend 1,243 To

(Nouvel indicateur: pas de statistiques pour mars 2016 à avril 2017)

vivien · « **Réponse #2 le:** 02 janvier 2020 à 22:29:21 »

Load average (moyenne de la charge système) :
Les pics sont liés à des fortes demandes en lecture disque

Usage du processeur Xeon E3-1240 v6 (1 cœur=100% => 4 cœurs hyper-threading, donne un maximum de 800%) :

Usage des 32 Go de mémoire vive (DDR4 SDRAM) : En decembre 2019, j'ai configuré le swappiness à 1, contre 5 avant, pour limiter très fortement le swap (le swap n'est en pratique plus utilisé sur ce serveur).

Uptime (durée de fonctionnement du serveur, en jours): Les reboots sont liés à l’application de correctifs de sécurité

vivien · « **Réponse #3 le:** 02 janvier 2020 à 22:30:52 »

Consommation électrique du serveur Dell R330 (en Watts): La donnée est remontée avec des paliers de 14 watts.

(Nouvel indicateur: pas de statistiques pour mars 2016 à avril 2017)

Température de l'air en degrés d’entrée (vert) / sortie (bleu). (40°c correspond au seuil d’alerte pour l'entrée d'air)

(Nouvel indicateur: pas de statistiques pour mars 2016 à avril 2017)

Température du CPU (vert) / PCH (bleu). Le PCH (Platform Controller Hub) est un chipset Intel sur la carte mère.

(Nouvel indicateur: pas de statistiques pour mars 2016 à avril 2017)

Vitesse des 8 ventilateurs du serveur (en tours par minute): Les ventilateurs des deux alimentations ne sont pas remontés.

(Nouvel indicateur: pas de statistiques pour mars 2016 à avril 2017)

vivien · « **Réponse #4 le:** 02 janvier 2020 à 22:40:14 »

Pourcentage d'utilisation des disques: (c'est un RAID 0 hardware constitué de deux SSD Intel 960Go MLC en SATA)

(Nouvel indicateur: pas de statistiques pour 2018)

Débit en Mo/s lu / écrit sur les disques: (Ne correspond pas au trafic réseau, car la RAM cache les données les plus lues)

(Nouvel indicateur: pas de statistiques pour 2018)

Nombre de IOPS (opérations d'entrée-sortie par seconde) sur la carte RAID Dell PERC H330 :

(Nouvel indicateur: pas de statistiques pour 2018)

Latence disque : (Les évolutions sont liées aux changement de noyaux Linux)

(Nouvel indicateur: pas de statistiques pour 2018)

27/07/2017 : Noyau Linux 4.10
11/01/2018 : Noyau Linux 4.13
02/07/2018 : Noyau Linux 4.15
12/01/2019 : Noyau Linux 4.18
01/08/2019 : Noyau Linux 5.0

Détails de la latence disque :

(Nouvel indicateur: pas de statistiques pour 2018)

vivien · « **Réponse #5 le:** 02 janvier 2020 à 22:44:21 »

Pic de trafic lors du déploiement de grosses mises à jour : (ci-dessous le 25 septembre 2019)

vivien · « **Réponse #6 le:** 02 février 2020 à 20:39:10 »

Depuis la sortie d'Ubuntu 19.10, j'ai mis en place un script qui crée sur la page un fichier CSV, mis à jour chaque jour avec les statistiques version par version d'Ubuntu.
Il y a prés d'un million d'Ubuntu qui se connecte chaque jour à https://ubuntu.lafibre.info/ pour faire des mises à jour d'Ubuntu (ou d'un dérivé comme Linux Mint)

Tout est sur la page https://ubuntu.lafibre.info/
(Fichier .csv, mais aussi des pages html pour chaque jour des 6 derniers mois)

Voici le graphique de l’évolution des version Ubuntu :

Alerte: 22% sont des versions d'Ubuntu ne sont plus supportées.
Le problème vient des vers LTS avec un support à long terme (5 ans) : Ubuntu 14.04 LTS qui date de 2014 dépasse les 12% de part de marché et Ubuntu 12.04 LTS qui date de 2012 est qui n'est plus mis à jour depuis 3 ans est à un près de 5% de part de marché.

Les versions qui ont un support court de 9 mois elles voient leurs utilisateur migrer rapidement vers la version suivante.

Les statistiques détaillées pour la veille sont sur stats_of_day-1.html

Fichier LibeOffice Calc (lisible avec Excel) avec les données source :
202002_statistiques_ubuntu-fr.ods

Date de fin de support :
- Ubuntu 20.04 LTS : avril 2025
- Ubuntu 19.10 Eoan Ermine : juillet 2020
- Ubuntu 19.04 Disco Dingo : 23 janvier 2020
- Ubuntu 18.10 Cosmic Cuttlefish : 18 juillet 2019
- Ubuntu 18.04 LTS Bionic Beaver : avril 2023
- Ubuntu 16.04 LTS Xenial Xerus : avril 2021
- Ubuntu 14.04 LTS Trusty Tahr : 25 avril 2019
- Ubuntu 12.04 LTS Precise Pangolin : 28 avril 2017

buddy · « **Réponse #7 le:** 02 février 2020 à 20:45:35 »

Vivien, comment ça se fait que le serveur héberge encore les paquets pour la LTS 12.04 qui est EOL depuis Avril 2017 ? ça fait bientôt 3 ans qu'elle est EOL, les paquets pour cette version pourrait être supprimé non ? Quelle place prenne-t-il ?

vivien · « **Réponse #8 le:** 02 février 2020 à 21:01:00 »

Ça c'est canonial qui décide.

Habituellement je constate que les versions non LTS sont gardées 6 mois après la dernière mise à jour et les versions LTS 1 ans après la dernière mise à jour.

Maintenant il y a visiblement eu du changement pour les LTS depuis qu'il y a un support optionnel payant Extended Security Maintenance (qui se fait sur d'autres serveurs).

Le support Extended Security Maintenance prolonge le support de 5 ans avec en plus :
- Ubnunt 12.04 +2 ans soit un total de 7 années de support
- Ubnunt 14.04 +3 ans soit un total de 8 années de support
- Ubnunt 16.04 +3 ans soit un total de 8 années de support
- Ubnunt 18.04 +3 ans soit un total de 10 années de support

J'imagine que Canonical souhaite qui les entreprises qui ré-installe un système pendant la phase de maintenance étendue puissent avoir accès au serveur de mise à jour par défaut avant d'activer ESM.

Maintenant Le support ESM d'Ubuntu 12.04 est censé avoir pris fin en avril 2019 (il me semble avoir vu passer des correctif après), bref régulièrement j’espère qu'il sera supprimé.

Pour Ubuntu 10.04 c'est suite à une demande de ma part qu'il avait été supprimé de tous les serveurs (je manquait de place).

Là, il me reste encore de la place (85% d'occupé sur un volume de près de 2 To)

J'ai installé un Ubuntu 12.04 LTS pour voir si je recevrais les mises à jour ESM, mais non. Voici les dernières versions proposées :
- Noyau Linux 3.2.0-126 du 31 mars 2017
- Firefox 52.0.2 du 28 mars 2017
- Thunderbird 45.8.0 du 7 mars 2017
- Libre Office 3.5.7 (avec des patch Canonical pour les failles de sécurité)
- OpenSSL 1.0.1 avec patchs de sécurité
- Apache 2.2.22 avec patchs de sécurité
- PHP 5.3.10 avec patchs de sécurité
- MySQL 5.5.22 avec patchs de sécurité

vivien · « **Réponse #9 le:** 08 février 2020 à 13:56:33 »

Je viens de découvrir que l’extension de mise à jour "Ubuntu ESM" est maintenant gratuite pour les particuliers, dans la limite de 3 PC.

=> https://ubuntu.com/esm

J'ai tenté de l'activer sur Ubuntu 12.04 pour voir quelles étaient ces dernières mises à jour :

vivien · « **Réponse #10 le:** 08 février 2020 à 14:01:27 »

Concrètement, on voit qu'il y a bien un dépôt dédié et chiffré (https only) pour les mises à jour ESM : https://esm.ubuntu.com/ (disponible en IPv6)

Mais en cas d'installation de nouveaux paquets non mis à jour, c'est toujours http://fr.archive.ubuntu.com/ qui est utilisé, d'où le fait qu'Ubuntu 12.04 soit toujours sur mon serveur.

J'ai l'impression que la liste des mises à jour se limite pour les versions serveurs (pas de mise à jour de Firefox par exemple)

vivien · « **Réponse #11 le:** 08 février 2020 à 14:02:34 »

Je n'ai pas été en mesure de télécharger les mises à jour.

Ubuntu ESM a beaucoup évolué entre Ubuntu 12.04 et Ubuntu 14.04 et il est possible que la gratuité ne soit disponible que pour Ubuntu 14.04

Si vous savez comment l'activer, je suis intéressé.