Auteur Sujet: Statistiques 2018 sur le serveur miroir Ubuntu  (Lu 3889 fois)

0 Membres et 1 Invité sur ce sujet

vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
Statistiques 2018 sur le serveur miroir Ubuntu
« le: 01 janvier 2019 à 10:12:04 »
Statistiques 2018 sur le serveur miroir Ubuntu "fr.archive.ubuntu.com"
Serveur utilisé par défaut pour la France pour distribuer les logiciels / mises à jour de sécurité pour Ubuntu et ses dérivés, comme Linux Mint.

Les statistiques en temps réel sont sur https://ubuntu.lafibre.info/stats/stats_server.html

Voici les données historiques :
- A gauche les statistiques 2018 (de décembre 2017 à fin décembre 2018)
- A droite les stats de mars 2016 à avril 2017

Trafic réseau en Gb/s généré par les mises à jour (via http/htps/rsync) sur la carte Intel X710 :
Chaque point représente un trafic moyenné sur 24 heures.
Les pics sont liés à l'arrivé de nouveaux noyaux Linux ou de nouvelles version de logiciels de grande taille comme Firefox ou LibreOffice


Date des mises à jour du noyau pour la dernière version LTS :
(LTS = Long-Term Support)
11/07/2017 : 4.8.0-58-generic #63~16.04.1-Ubuntu SMP Mon Jun 26 18:08:51 UTC 2017
27/07/2017 : 4.10.0-27-generic #30~16.04.2-Ubuntu SMP Thu Jun 29 16:07:46 UTC 2017
02/08/2017 : 4.10.0-28-generic #32~16.04.2-Ubuntu SMP Thu Jul 20 10:19:48 UTC 2017
08/08/2017 : 4.10.0-30-generic #34~16.04.1-Ubuntu SMP Wed Aug 2 02:13:56 UTC 2017
11/08/2017 : 4.10.0-32-generic #36~16.04.1-Ubuntu SMP Wed Aug 9 09:19:02 UTC 2017
29/08/2017 : 4.10.0-33-generic #37~16.04.1-Ubuntu SMP Fri Aug 11 14:07:24 UTC 2017
19/09/2017 : 4.10.0-35-generic #39~16.04.1-Ubuntu SMP Wed Sep 13 09:02:42 UTC 2017
11/10/2017 : 4.10.0-37-generic #41~16.04.1-Ubuntu SMP Fri Oct 6 22:42:59 UTC 2017
31/10/2017 : 4.10.0-38-generic #42~16.04.1-Ubuntu SMP Tue Oct 10 16:32:20 UTC 2017
22/11/2017 : 4.10.0-40-generic #44~16.04.1-Ubuntu SMP Thu Nov 9 15:37:44 UTC 2017
08/12/2017 : 4.10.0-42-generic #46~16.04.1-Ubuntu SMP Mon Dec 4 15:57:59 UTC 2017
11/01/2018 : 4.13.0-26-generic #29~16.04.2-Ubuntu SMP Tue Jan 9 22:00:44 UTC 2018
23/01/2018 : 4.13.0-31-generic #34~16.04.1-Ubuntu SMP Fri Jan 19 17:11:01 UTC 2018
27/01/2018 : 4.13.0-32-generic #35~16.04.1-Ubuntu SMP Thu Jan 25 10:13:43 UTC 2018
23/02/2018 : 4.13.0-36-generic #40~16.04.1-Ubuntu SMP Fri Feb 16 23:25:58 UTC 2018
15/03/2018 : 4.13.0-37-generic #42~16.04.1-Ubuntu SMP Wed Mar 7 16:03:28 UTC 2018
04/04/2018 : 4.13.0-38-generic #43~16.04.1-Ubuntu SMP Wed Mar 14 17:48:43 UTC 2018
24/04/2018 : 4.13.0-39-generic #44~16.04.1-Ubuntu SMP Thu Apr 5 16:43:10 UTC 2018
09/05/2018 : 4.13.0-41-generic #46~16.04.1-Ubuntu SMP Thu May 3 10:06:43 UTC 2018
22/05/2018 : 4.13.0-43-generic #48~16.04.1-Ubuntu SMP Thu May 17 12:56:46 UTC 2018
12/06/2018 : 4.13.0-45-generic #50~16.04.1-Ubuntu SMP Wed May 30 11:18:27 UTC 2018
02/07/2018 : 4.15.0-24-generic #26~16.04.1-Ubuntu SMP Fri Jun 15 14:35:08 UTC 2018
20/07/2018 : 4.15.0-29-generic #31~16.04.1-Ubuntu SMP Wed Jul 18 08:54:04 UTC 2018
07/08/2018 : 4.15.0-30-generic #32~16.04.1-Ubuntu SMP Thu Jul 26 20:25:39 UTC 2018
15/08/2018 : 4.15.0-32-generic #35~16.04.1-Ubuntu SMP Fri Aug 10 21:54:34 UTC 2018
23/08/2018 : 4.15.0-33-generic #36~16.04.1-Ubuntu SMP Wed Aug 15 17:21:05 UTC 2018
01/09/2018 : 4.15.0-33-generic #36-Ubuntu SMP Wed Aug 15 16:00:05 UTC 2018 (Migration Ubuntu 18.04)
11/09/2018 : 4.15.0-34-generic #37-Ubuntu SMP Mon Aug 27 15:21:48 UTC 2018
02/10/2018 : 4.15.0-36-generic #39-Ubuntu SMP Mon Sep 24 16:19:09 UTC 2018
23/10/2018 : 4.15.0-38-generic #41-Ubuntu SMP Wed Oct 10 10:59:38 UTC 2018
14/11/2018 : 4.15.0-39-generic #42-Ubuntu SMP
03/12/2018 : 4.15.0-42-generic #45-Ubuntu SMP Thu Nov 15 19:32:57 UTC 2018
21/12/2018 : 4.15.0-43-generic #46-Ubuntu SMP Thu Dec 6 14:45:28 UTC 2018 x86_64 x86_64 x86_64

Nombre de fichiers téléchargés par seconde pour les mises à jour (via http/https) :
La baisse du nombre de requêtes est liée à la montée en puissance d'Ubuntu 16.04 et suivants, qui permet de faire moins de requêtes pour vérifier si il est nécessaire de faire des mise à jour.


Répartition de l'utilisation des slots du serveur web Apache :
Les pic d'utilisation sont liées à des requêtes très étranges détaillées dans le sujet Si vous voyez des codes HTTP 408 (Request Time-out) dans vos log Apache2, vous vous posez peut-être la question de ce que c'est...


Débit des connexions Apache (mises à jour via http/https) en Mo/s :


Temps d'attente (en milliseconde) pour charger un fichier Apache :
(Nouvel indicateur: pas de statistiques pour mars 2016 à avril 2017)

vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
Statistiques 2018 sur le serveur miroir Ubuntu
« Réponse #1 le: 01 janvier 2019 à 10:13:26 »
Rsync: Débit en Mb/s.
Bleu:Canonical met à jour ce serveur Vert:Des serveurs tiers se mettent à jour via ce serveur
(Nouvel indicateur: pas de statistiques pour mars 2016 à avril 2017)

Rsync: Nombre de fichiers échangés par seconde lors des synchronisation distante de l'archive Ubuntu :
Bleu:Canonical met à jour ce serveur Vert:Des serveurs tiers se mettent à jour via ce serveur
(Nouvel indicateur: pas de statistiques pour mars 2016 à avril 2017)

Espace disque. L'archive Ubuntu es sur la partition /home, d'une taille de 1,9 To (le trait à 80% est le seuil d'alerte)
Actuellement, au 1er janvier 2019, l'archive Ubuntu prend 1,243 To
(Nouvel indicateur: pas de statistiques pour mars 2016 à avril 2017)

vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
Statistiques 2018 sur le serveur miroir Ubuntu
« Réponse #2 le: 01 janvier 2019 à 10:14:06 »
Load average (moyenne de la charge système) :
Les pics sont liés à des fortes demandes en lecture disque


Usage du processeur Xeon E3-1240 v6 (1 cœur=100% => 4 cœurs hyper-threading, donne un maximum de 800%) :


Usage des 32 Go de mémoire vive (DDR4 SDRAM) :


Uptime (durée de fonctionnement du serveur, en jours): Les reboots sont liés à l'applications de correctifs de sécurité

vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
Statistiques 2018 sur le serveur miroir Ubuntu
« Réponse #3 le: 01 janvier 2019 à 10:14:14 »
Consommation électrique du serveur Dell R330 (en Watts): La donnée est remontée avec des paliers de 14 watts.
(Nouvel indicateur: pas de statistiques pour mars 2016 à avril 2017)

Température de l'air en degrés d’entrée (vert) / sortie (bleu). (40°c correspond au seuil d’alerte pour l'entrée d'air)
(Nouvel indicateur: pas de statistiques pour mars 2016 à avril 2017)

Température du CPU (vert) / PCH (bleu). Le PCH (Platform Controller Hub) est un chipset Intel sur la carte mère.
(Nouvel indicateur: pas de statistiques pour mars 2016 à avril 2017)

Vitesse des 8 ventilateurs du serveur (en tours par minute): Les ventilateurs des deux alimentations ne sont pas remontés.
(Nouvel indicateur: pas de statistiques pour mars 2016 à avril 2017)

vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
Statistiques 2018 sur le serveur miroir Ubuntu
« Réponse #4 le: 05 février 2019 à 06:58:18 »
Quelques statistiques TCP, prises le matin, quand de nombreuses machines vont vérifier si des mises à jour sont présentes

$ netstat -an|awk '/tcp/ {print $6}'|sort|uniq -c
     18 CLOSE_WAIT
      5 CLOSING
    301 ESTABLISHED
     17 FIN_WAIT1
     84 FIN_WAIT2
      2 LAST_ACK
     10 LISTEN
    432 SYN_RECV
   4169 TIME_WAIT

Définitions :
ESTABLISHED:La socket a une connexion établie.
SYN_SENT: La socket attend activement d'établir une connexion.
SYN_RECV: Une requête de connexion a été reçue du réseau.
FIN_WAIT1: La socket est fermée, et la connexion est en cours de terminaison.
FIN_WAIT2: La connexion est fermée, et la socket attend une terminaison du distant.
TIME_WAIT: La socket attend le traitement de tous les paquets encore sur le réseau avant d'entreprendre la fermeture.
CLOSED: La socket n'est pas utilisée.
CLOSE_WAIT: Le distant a arrêté, attendant la fermeture de la socket.
LAST_ACK: Le distant termine, et la socket est fermée. Attente d'acquittement.
LISTEN: La socket est à l'écoute de connexions entrantes. Ces sockets ne sont affichées que si le paramètre -a,--listening est fourni.
CLOSING: Les deux socket sont arrêtées mais toutes les données locales n'ont pas encore été envoyées.
UNKNOWN: L'état du socket est inconnu.

Quand j'ai pris les statistiques, il y avait 5038 connexions TCP utilisées, mais seulement 301 utilisées.
La grande majorité sont en TIME_WAIT :


L’état TIME-WAIT a deux buts : Le premier est d’empêcher les segments en retard d’être acceptés dans une connexion utilisant le même quadruplet (adresse source, port source, adresse cible, port cible). La RFC 1337 explique en détail ce qui peut arriver si l’état TIME-WAIT ne joue pas son rôle.

Le second but est d’assurer que l’hôte distant a bien fermé la connexion. Lorsque que le dernier ACK est perdu, l’hôte distant reste dans l’état LAST-ACK3. Si l’état TIME-WAIT n’existait pas, une connexion vers cet hôte pourrait être tentée. Le segment SYN peut alors être accueilli avec un RST.

La RFC 793 demande à ce que l’état TIME-WAIT dure au moins deux fois le MSL. Sur Linux, cette durée n’est pas configurable. Elle est définie dans include/net/tcp.h et vaut une minute


Source : http://vincent.bernat.im/fr/blog/2014-tcp-time-wait-state-linux.html (y'a des jolis dessins, je crois)


vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
Statistiques 2018 sur le serveur miroir Ubuntu
« Réponse #5 le: 05 février 2019 à 06:58:27 »
Le nombre de threads en cours d'exécution :
$ ps -elfT | wc -l
813

Le nombre de fichiers ouverts :
$ lsof | wc -l
3345

vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
Statistiques 2018 sur le serveur miroir Ubuntu
« Réponse #6 le: 17 avril 2019 à 21:44:50 »
Statistiques sur 24h, le jour d'une très grosses mise à jour : Firefox (pour toutes les versions maintenues d'Ubuntu) et LibreOffice + VirtualBox pour Ubuntu 18.04 LTS



Trafic réseau en Gb/s généré par les mises à jour (via http/htps/rsync) sur la carte Intel X710 :
Chaque point représente un trafic moyenné sur 5 minutes.
On a dépassé les 6,3 Gb/s à l'heure où les PC Ubuntu sont allumés : 9h00 le matin


Nombre de fichiers téléchargés par seconde pour les mises à jour (via http/https) :
Le pic est la nuit avec plus de 1600 fichiers téléchargés par seconde : se sont des serveurs qui vérifier si il y a des mises à jour, mais ce n'est pas le cas (les serveur n'ont pas Firefox / LibreOffice)


Répartition de l'utilisation des slots du serveur web Apache :
Le pic (moyenne sur 5 minutes) est de 542,8 slots (nombre de téléchargements simultanés). Si on retranche 50 slots utilisés sans transfert, cela nous fait 6300 Mb/s soit un débit moyen par utilisateur de 12,8 Mb/s.


Débit des connexions Apache (mises à jour via http/https) en Mo/s :


Temps d'attente (en milliseconde) pour charger un fichier Apache :

vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
Statistiques 2018 sur le serveur miroir Ubuntu
« Réponse #7 le: 17 avril 2019 à 21:46:34 »
Pourcentage d'utilisation des disques: (c'est un RAID 0 hardware constitué de deux SSD Intel 960Go MLC en SATA)
On voit que les SSD sont bien limités en débits (et ici on est sur un RAID 0 qui double le débit - heureusement que le gros des demande est en cache dans la RAM)


Débit en Mo/s lu / écrit sur les disques: (Ne correspond pas au trafic réseau, car la RAM cache les données les plus lues)


Nombre de IOPS (opérations d'entrée-sortie par seconde) sur la carte RAID Dell PERC H330 :


Latence disque (attente pour les entrées / sorties) :


Rsync: Débit en Mb/s.
Bleu:Canonical met à jour ce serveur Vert:Des serveurs tiers se mettent à jour via ce serveur


Rsync: Nombre de fichiers échangés par seconde lors des synchronisation distante de l'archive Ubuntu :
Bleu:Canonical met à jour ce serveur Vert:Des serveurs tiers se mettent à jour via ce serveur


vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
Statistiques 2018 sur le serveur miroir Ubuntu
« Réponse #8 le: 17 avril 2019 à 21:48:38 »
Load average (moyenne de la charge système) :
Les pics sont liés à des fortes demandes en lecture disque


Usage du processeur Xeon E3-1240 v6 (1 cœur=100% => 4 cœurs hyper-threading, donne un maximum de 800%) :


Usage des 32 Go de mémoire vive (DDR4 SDRAM) :

vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
Statistiques 2018 sur le serveur miroir Ubuntu
« Réponse #9 le: 17 avril 2019 à 21:50:37 »
Consommation électrique du serveur Dell R330 (en Watts): La donnée est remontée avec des paliers de 14 watts.


Température de l'air en degrés d’entrée (vert) / sortie (bleu). (40°c correspond au seuil d’alerte pour l'entrée d'air)


Température du CPU (vert) / PCH (bleu). Le PCH (Platform Controller Hub) est un chipset Intel sur la carte mère.


Vitesse des 8 ventilateurs du serveur (en tours par minute): Les ventilateurs des deux alimentations ne sont pas remontés.

JeannotPlanche

  • Expert Scaleway
  • Abonné Free fibre
  • *
  • Messages: 128
  • 93
Statistiques 2018 sur le serveur miroir Ubuntu
« Réponse #10 le: 18 avril 2019 à 20:26:54 »
As-tu pensé à ajouter à Munin quelques attributs SMART des SSD ?
Je pense à l'attribut 233 (Media Wearout Indicator), valeur normalisée.

vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
Statistiques 2018 sur le serveur miroir Ubuntu
« Réponse #11 le: 18 avril 2019 à 22:18:43 »
Pour ce serveur je suis derrière un RAID hardware donc je ne vois pas les disques.

Il y a peu d'écriture par rapport à ce qui est lu sur ces disques.

Par contre, il faut que je regarde car pour moi c'est un peu la jungle : Pour moi je pensais que chaque marque de SSD a ses propres indicateurs.