Auteur Sujet: Visite du data center Scaleway DC5 (refroidissement adiabatique)  (Lu 302122 fois)

0 Membres et 1 Invité sur ce sujet

vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
DC5 - 42 Dell PowerEdge C6400
« Réponse #108 le: 11 janvier 2019 à 21:26:40 »
Chaque serveur dispose de 6 emplacements disques dédiés (24 emplacement pour chaque châssis de 2u)

Scaleway fournit ici 2 SSD NVMe de 1 To chacun et un SSD SATA de 120 Go pour le système. 3 emplacements optionnels sont disponibles pour chaque serveur, afin d’installer des disques supplèmentaires.

Les 4 serveurs sont indépendants : il y a donc 4 boutons pour allumer les serveurs. À gauche se trouve les boutons pour les serveurs 1 et 2 et à droite se trouve les boutons pour les serveurs 3 et 4.



Ce type de serveur, en configuration haut de gamme (2x Xeon Gold 5120 soit au total 28 cœurs et 56 threads, 384 Go DDR4 ECC, 4x 1 To SSD NVMe, Bande passante Premium 750 Mbit/s) est loué 450 € HT par mois.

Ce type de serveur Dell est en mesure de fonctionner parfaitement avec un couloir froid à 40°c :



vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
DC5 - 42 Dell PowerEdge C6400
« Réponse #109 le: 11 janvier 2019 à 21:28:22 »
Ce type de serveur est loué 450€/mois en configuration très haut de gamme avec 4 disques NVMe de 1 To :



Chaque serveur à deux connexion 1 Gb/s dédiées : une pour Internet et une pour le RPN.
Le RPN est un réseau privé, dédié, câblé sur la deuxième interface de chaque serveur.



vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
DC5 - 42 Dell PowerEdge C6400
« Réponse #110 le: 11 janvier 2019 à 21:30:02 »
Une seule alimentation est en mesure d’alimenter les 4 serveurs, soit 8 processeurs avec chacun 28 cœurs (total de 224 cœurs dans un format 2u !)



Chaque serveur est connecté :
- A deux alimentations électriques (pour la redondance)
- Câble Ethernet blanc : accès Internet 1Gb/s via un switch Scaleway Chouchou (et prise de contrôle à distance via iDRAC9 Entreprise (un KVM IP intégré dans le serveur qui possède sa propre adresse IP)
- Câble Ethernet bleu : réseau « RPN » 10 Gb/s via un switch Cisco Nexus. Le réseau « RPN » est réseau privé, qui utilises les deuxièmes cartes réseau des machines et qui est indépendant du réseau public.



vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
DC5 - 43 Cisco Nexus N9K C9364C
« Réponse #111 le: 11 janvier 2019 à 21:31:37 »
Scaleway DC5 - 43) Cisco Nexus N9K C9364C

Ce switch agrège les données des switch de baies. Il est équipé de 64 cages QSFP28 à 40 ou 100-Gbps et 2 cages SFP+ à 10 Gb/s. Les fibres venant des baies sont à 40 Gb/s, ce qui est surdimensionné par rapport aux utilisations actuelles (les switchs où sont connectés les serveurs ont 48 ports 1 Gb/s)  tandis que celles qui partent vers le backbone sont en 100 Gb/s.



4 transceivers QSFP+ :



vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
DC5 - 43 Cisco Nexus N9K C9364C
« Réponse #112 le: 11 janvier 2019 à 21:32:35 »
Ces switchs haut de gamme intègrent chacun 32 Go de RAM et un SSD de 256 Go. La table des adresses MAC gère 92 000 entrées. Deux alimentations de 1200 watts permettent d’alimenter le switch avec une redondance en cas de perte d’une alimentation. Le connecteur d’alimentation est différent de connecteurs habituels, car on peut dépasser les 10 ampères en 110 volts. La consommation typique donné par la documentation constructeur est de 429 watts.

Face arrière de 4 Cisco Nexus N9K C9364C : (vous ne pouvez pas sentir, mais les ventilateurs sont extrêmement puissants et bruyants)



vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
DC5 - 44 Scaleway BareMetal SSD Cloud Servers: 14 nodes dans seulement 3u
« Réponse #113 le: 11 janvier 2019 à 21:36:06 »
Scaleway DC5 - 44) Scaleway BareMetal SSD Cloud Servers : 14 nodes indépendantes dans seulement 3u

Scaleway utilise pour le cloud des serveurs maisons. Le site internet de Scaleway dit :

Créé par et pour Scaleway pour offrir le meilleur rapport qualité-prix au monde. Les serveurs Scaleway BareMetal sont conçus pour optimiser la densité et l'efficacité. La conception et la fabrication de nos propres serveurs nous permettent d’optimiser nos coûts. Nous sélectionnons soigneusement chaque composant de nos serveurs, pour obtenir des serveurs de haute qualité au meilleur prix. Nous concevons et construisons des serveurs pour le Cloud et offrons le meilleur rapport qualité-prix au monde.

Pourquoi Scaleway utilise 14 serveurs mono-cpu et pas 7 serveurs bi-cpu ?

Le ratio performance / coût  sera plus intéressant avec 14 serveurs mono-cpu qu'avec 7 serveurs bi-cpu.
En effet, le prix d'un processeur n'est du tout le même à puissance égale, si il est limité a fonctionner sur un serveur mono-cpu, bi-cpu ou quad-cpu.

Voici à quoi ces serveurs ressemblent en face avant de ces serveurs maison :



vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
DC5 - 44 Scaleway BareMetal SSD Cloud Servers
« Réponse #114 le: 11 janvier 2019 à 21:37:40 »
Physiquement, là où Dell met 4 serveurs bi-cpu dans un châssis de 2u, Scaleway place 14 serveurs (appelés node) mono cpu dans un châssis de 3u: 3 cartes de 2 serveurs à gauche et 4 cartes de 2 serveurs à droite. Par défaut, ces serveurs n’ont pas de disques en local et démarrent sur un disque réseau.

Quand le cache avant droit est enlevé, on observe 4 cartes mères, qui ont chacune deux serveurs mono CPU équipés de 2 ports SATA par serveur, afin de connecter jusqu’à 2 SSD en local par serveur (c’est appelé « Direct SSD » sur le site de Scaleway)



Le processeur est de la série Denvorton (cf https://ark.intel.com/products/codename/63508/Denverton) qui ne peuvent que fonctionner que en mono-cpu.

Les serveurs sont appelés « Node » et il y a 2 canaux mémoire par serveur, avec chacun possibilité de mettre une barrette DDR4 par canal, soit 2 barrettes de DDR4 par serveur.



En face avant, on retrouve aussi cet écran LCD rétroéclairé qui permet voir quels serveurs parmi les 14 sont allumés, les alarmes,…
Il faut faire défiler vers le bas pour avoir accès aux 7 autres serveurs.



vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
DC5 - 45 Connexion à 2,5 Gb/s Ethernet
« Réponse #115 le: 11 janvier 2019 à 21:40:27 »
Scaleway DC5 - 45) Connexion à 2,5 Gb/s Ethernet

Coté réseau, contrairement à Dell qui oblige à avoir 8 câbles réseau par châssis de 4 serveurs (4 pour le RPN et 4 pour l’accès à Internet), ici il y a un switch interne pour connecter les 14 serveurs. Avec des câbles, 28 câbles Ethernet auraient été nécessaires !

Les serveurs sont connectés à 2,5 Gb/s à ce switch pour Internet et 2,5 Gb/s pour le RPN. Cela explique la mention « Internal Bandwidth 5 Gb/s » présent sur le site de Scaleway.
Le 2,5 Gb/s Ethernet est une évolution de la norme Ethernet récente qui devrait se démocratiser :



Le châssis est lui connecté à 20 Gb/s pour le RPN et 20 Gb/s pour l’Internet. Le risque de congestion est faible: les 14 cartes Ethernet de 2,5 Gb/s des serveurs permettent un trafic maximum de 35 Gb/s.

Un port RJ45 cuivre est également câblé, probablement pour de l’administration.



vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
DC5 - 45 Connexion à 2,5 Gb/s Ethernet
« Réponse #116 le: 11 janvier 2019 à 21:41:15 »
Face arrière de ces serveurs avec une double alimentation pour la redondance.

L’espace situé à droite et à gauche des alimentations permet de mettre des disque dur ou des SSD connectés aux ports SATA des serveurs qui sont derrières :  il est possible de mettre des câbles SATA en contournant les ventilateurs.



Sur cette photo, on voit clairement les 7 cartes mères équipées chacune de deux serveurs indépendants.
Trois ventilateurs puissants assurent le refroidissement de l’ensemble.
Au centre, il y a de l’espace libre avec ce qui ressemble aux composants du switch Ethernet 14x 2,5 Gb/s avec un uplink de 2x10 Gb/s :



vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
Reportage version PDF
« Réponse #117 le: 11 janvier 2019 à 21:47:20 »
Version PDF du reportage : (cliquez sur la miniature ci-dessous - le document est au format PDF et fait 44 Mo)


vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
DC5 - 46 Depuis ma venue, Scaleway à mis en production DC5
« Réponse #118 le: 11 janvier 2019 à 21:48:27 »
Scaleway DC5 - 46) Depuis ma venue, Scaleway à mis en production DC5

Les photos que je vous présentes sont les photos officiels de Scaleway, prises en décembre 2018.



Suivez le guide...


vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
DC5 - 47 Intervention pour une panne matérielle
« Réponse #119 le: 11 janvier 2019 à 21:56:04 »
Scaleway DC5 - 47) Intervention pour une panne matérielle