Auteur Sujet: Visite du data center Scaleway DC5 (refroidissement adiabatique)  (Lu 12893 fois)

geoffreyc, guiz67 et 8 Invités sur ce sujet

oliviermis

  • Green Data Center, AS62000 PulseHeberg et AS50588 Netrix
  • Professionnel des télécoms
  • *
  • Messages: 59
  • Vélizy (78) et Brest (29)
Visite du data center Scaleway DC5 (refroidissement adiabatique)
« Réponse #180 le: 12 janvier 2019 à 18:54:53 »
Merci Vivien, très bel article

vivien

  • Administrateur
  • *
  • Messages: 29 839
    • Twitter LaFibre.info
Visite du data center Scaleway DC5 (refroidissement adiabatique)
« Réponse #181 le: 12 janvier 2019 à 19:12:20 »
La prochaine étape sera de construire un nouveau DC dans le Noooooooorrrrrrrd pour perdre  1 ou 2°C comparé à Paris et voir...

Ce que je comprends pas c'est que peu d'opérateurs télécom penchent à se rapprocher des pays scandinaves pour y placer des DC de cold storage par exemple...
La latence est important car elle permet de gagner du temps pour le chargement des pages web et mettre à datacenter dans le nord de la France, c'est 4 à 5ms de perdues pour une grand majorité de client, car il n'y a pas de point de peering réellement utilisé à Lille (Je ne remet pas en cause LilleIX, mais si il y a 10 Gb/s de trafic ils seraient content). Et quand un grand acteur demande un 100 Gb/s à OVH sur le CIV, le TH2 local où est implèmenté LilleIX, le a réponse d'OVH, c'est qu'ils ne savent pas faire.

En incluant dorénavant la réponse d'arnaud, si cela coûte actuellement 2 à 3 fois moins cher, il faudra pas que les canicules durent de 2 à 3 fois plus longtemps qu'en 2018...
J'ai un peu discuté sur ce qui réduit la durée de vie des serveurs, avec Arnaud, mais aussi avec Lionel (Maxnod) et c'est :
- Les variations de température
- Les poussières

DC5 sera un datacenter fiable, le doute n'est pas permis, au vu des température passées.
Si il fait 40°c 24h/24 365 jours par an, cela ne posera aucun problème à DC5, la température sera la même que si il fait -30°c dehors : 30°c dans l'allée froide.

Pour le risque de condensation,j'ai beaucoup interrogé Arnaud sur ce point, il faut absolument éviter une variation trop rapide de la température pour que l'humidité dans l'air lié au refroidissement adiabatique condense sur un matériel plus froid que l'air.

L’automate a une protection, pour limiter les changements brusques de température et éviter que de la condensation ne se forme : celui-ci ajuste la température de consigne de soufflage au gré de la température extérieure. Celle-ci est limitée à 1 degrés C. par heure, indiqué sous forme d’une limite de 2°C par 120 minutes sur l’automate :


Là où on a vu des problème de fiabilité du matériel, la température fait le yoyo... 'Toutes les barrettes de ram sont tombées en panne en même temps'
Je pense que c'est pas limité à Gravelines, car j'ai un serveur à Roubaix où la température monte bien aussi.
Graphique de la sonde du disque dur également, entre le 26 juin et aujourd'hui.



Là, ce graphique m'inquiète vraiment! Plus de 18°C de variation de température, c'est énorme.
Je croyais que les disques durs étaient surtout sensible aux variations de température.
Et on voit qu'il n'y a aucune régulation. Ca semble être la température extérieure. Du coup, est-ce qu'on a des données sur la température en hiver?

Leon.

willemijns

  • Client FreeMobile
  • *
  • Messages: 1 600
Visite du data center Scaleway DC5 (refroidissement adiabatique)
« Réponse #182 le: 12 janvier 2019 à 19:43:33 »
La latence est important car elle permet de gagner du temps pour le chargement des pages web et mettre à datacenter dans le nord de la France, c'est 4 à 5ms de perdues pour une grand majorité de client, car il n'y a pas de point de peering réellement utilisé à Lille (Je ne remet pas en cause LilleIX, mais si il y a 10 Gb/s de trafic ils seraient content).

ILIAD a un POP à Lille... Rien n'empeche de créer un NordIX/Hauts-de-FrancIX et de créer un DC pour du cold storage ;)

DC5 sera un datacenter fiable, le doute n'est pas permis, au vu des température passées.
Si il fait 40°c 24h/24 365 jours par an, cela ne posera aucun problème à DC5, la température sera la même que si il fait -30°c dehors : 30°c dans l'allée froide.

Dans le nord, il fait plus froid, on est proche des centrales de Gravelines et de Chooz, l'immobilier est moins cher... et OVH est a gravelines surtout pour se rapprocher de Londres qui est #1 en trafic Internet mondial.

Bref y'a du potentiel....



vivien

  • Administrateur
  • *
  • Messages: 29 839
    • Twitter LaFibre.info
Visite du data center Scaleway DC5 (refroidissement adiabatique)
« Réponse #183 le: 12 janvier 2019 à 19:51:46 »
Tous les opérateurs ont un ou des POP sur Lille.
La réalité du peering régional est tout autre.

Mettre un data center à Lille, signifie qu'il faudra ramener le trafic à Paris pour le trafic Français, même pour les clients à Lille.

Aucun gros opérateur ne peer en 2019 à Lille avec OVH.

willemijns

  • Client FreeMobile
  • *
  • Messages: 1 600
Visite du data center Scaleway DC5 (refroidissement adiabatique)
« Réponse #184 le: 12 janvier 2019 à 19:54:56 »
Mettre un data center à Lille, signifie qu'il faudra ramener le trafic à Paris pour le trafic Français, même pour les clients à Lille.

En mettant que du cold storage c'était pour moi et cela n'engage que moi pas un soucis. bon voilà j'ai dit mon idée... c'est tout ;)

fanning

  • Client FAI autre
  • *
  • Messages: 25
Visite du data center Scaleway DC5 (refroidissement adiabatique)
« Réponse #185 le: 12 janvier 2019 à 20:17:59 »
La réalité du peering régional est tout autre.
La réalité est que le trafic est <10G.

Mettre un data center à Lille, signifie qu'il faudra ramener le trafic à Paris pour le trafic Français, même pour les clients à Lille.
Citation de: willemijns
Dans le nord, il fait plus froid, on est proche des centrales de Gravelines et de Chooz, l'immobilier est moins cher... et OVH est a gravelines surtout pour se rapprocher de Londres qui est #1 en trafic Internet mond
La réalité est qu'il faut plein de wave 100G pour remonter sur Paris.
Sa coute un bras en équipement de transmission que tu remplacera tous les 5 ans (voir plus vite)
Au final la différence du foncier sera vite récupéré (ammortissement de +20ans de ton bâtiment, valeur résiduelle, ...)

Aucun gros opérateur ne peer en 2019 à Lille avec OVH.
Et ils ont raison ! Pourquoi tu devrais payer du transport jusqu'à Lille alors que tu l'a gratuitement sur Paris.
Après il faut pas oublier qu'actuellement un port 100G sur un routeur ISP sa coute > 15000 (full dfz), donc tu essaie de remplir ton port au maximum.

fanning

  • Client FAI autre
  • *
  • Messages: 25
Visite du data center Scaleway DC5 (refroidissement adiabatique)
« Réponse #186 le: 12 janvier 2019 à 20:21:29 »
En mettant que du cold storage c'était pour moi et cela n'engage que moi pas un soucis. bon voilà j'ai dit mon idée... c'est tout ;)
Du Cold storage par définition sa ne consomme que très peu de Kw, en 2019 c'est très facile de trouver une baie pas cher sans élec.
Par contre dès que tu veux >1kw (très vieux DC) >3kw (DC récent) sans devient très compliqué et très cher.

fanning

  • Client FAI autre
  • *
  • Messages: 25
Visite du data center Scaleway DC5 (refroidissement adiabatique)
« Réponse #187 le: 12 janvier 2019 à 20:24:44 »
@Arnault: Vu que le cout de construction/maintenance est inférieur, on peut s'attendre que les serveurs résilié seront déplacé sur DC5 afin de libérer de l'espace sur DC3 ?

jack

  • Professionnel des télécoms
  • *
  • Messages: 1 568
  • La Madeleine (59)
Visite du data center Scaleway DC5 (refroidissement adiabatique)
« Réponse #188 le: 12 janvier 2019 à 21:53:06 »
Je reviens sur les "BareMetal SSD Cloud Servers"
À deux reprises, tu dis que ce sont des 7 blades bi-sockets, dans un chassis 3RU

J'avais cru comprendre que ce n'était pas possible, principalement pour des raisons de dissipations de chaleur
À ma connaissance, ni Dell ni Supermicro ne propose se genre de matière, et les offres scaleway ne tirent pas non plus parti de cela (8 CPU x86 max par serveur)

Qu'est-ce que cela signifie ?
Est-ce une typo ?
Est-ce vraiment des serveurs bi-socket, mais qui ne supportent qu'un faible TDP global (il n'est pas possible de mettre n'importe quel CPU, mais seulement des "petits") ?

vivien

  • Administrateur
  • *
  • Messages: 29 839
    • Twitter LaFibre.info
DC5 - 45 Connexion à 2,5 Gb/s Ethernet
« Réponse #189 le: 12 janvier 2019 à 22:05:50 »
On vois bien 7 serveurs distinct bi-cpu sur les photos ci-dessous.

Pour la consommation électrique, si on prend une limite de 300w par serveur, ce qui permet de mettre des CPU haut de gamme avec un TDP de 120watts (il n'y a pas de disque et le principal composant qui consomme ce sont les 2 CPU), on arrive à 2100 watts, cela me semble réalisable.

Cela fait 32 cœurs 64 threads par machine avec un Xeon E5-2683V4 et au total sur 3u, cela fait 224 cœurs et 448 threads sur 3u.

Avec des Xeon Gold à 20 cœurs par CPU, on passe à 280 cœurs et 560 threads sur 3u.

Cela reste des suppositions, je ne sais pas ce qu'utilise Scaleway sur ces machines ni la puissances des alimentations.

Physiquement, là où Dell met 4 serveurs dans un châssis de 2u, Scaleway place 7 serveurs dans un châssis de 3u: 3 à gauche et 4 à droite. Par défaut, ces serveurs n’ont pas de disques en local et démarrent sur un disque réseau.

Quand le cache avant droit est enlevé, on observe 4 cartes mères de serveurs bi-CPU avec 4 ports SATA, afin de connecter jusqu’à 4 SSD en local par serveur (c’est appelé « Direct SSD » sur le site de Scaleway)



Les serveurs sont appelés « Node » et il y a 2 canaux mémoire par processeur, avec chacun possibilité de mettre une barrette DDR4 par canal, soit 4 barrettes de DDR4  par serveur.

Sur cette photo, on voit clairement les 7 serveurs, avec chacun deux processeurs et 4 barrettes de DDR4.
Trois ventilateurs puissants assurent le refroidissement de l’ensemble.
Au centre, il y a de l’espace libre avec ce qui ressemble aux composants du switch Ethernet 7x 2,5 Gb/s avec un uplink de 2x10 Gb/s :



Chez Dell, c'est 1600 watts sur 2u, donc plus dense en watts que 2100 watts sur 3u : (400 watts max par serveur)

Une seule alimentation est en mesure d’alimenter les 4 serveurs, soit 8 processeurs avec chacun 28 cœurs (total de 224 cœurs dans un format 2u !)


Hugues

  • AS57199 MilkyWan
  • Expert
  • *
  • Messages: 6 745
  • Paris (15ème)
    • MilkyWan
Visite du data center Scaleway DC5 (refroidissement adiabatique)
« Réponse #190 le: 12 janvier 2019 à 22:24:45 »
La latence est important car elle permet de gagner du temps pour le chargement des pages web et mettre à datacenter dans le nord de la France, c'est 4 à 5ms de perdues pour une grand majorité de client, car il n'y a pas de point de peering réellement utilisé à Lille (Je ne remet pas en cause LilleIX, mais si il y a 10 Gb/s de trafic ils seraient content). Et quand un grand acteur demande un 100 Gb/s à OVH sur le CIV, le TH2 local où est implèmenté LilleIX, le a réponse d'OVH, c'est qu'ils ne savent pas faire.
LillIX, pas LilleIX. Et je ne vois pas le rapport, tu peux être à Lille sans peerer à Lille, juste en achetant 3 ou 4 FON vers Paris.

willemijns

  • Client FreeMobile
  • *
  • Messages: 1 600
Visite du data center Scaleway DC5 (refroidissement adiabatique)
« Réponse #191 le: 12 janvier 2019 à 22:37:04 »
c'est ce que je voyais aussi.... en plus ca pourrait être en plus des départs vers Londres de Paris...

https://www.iliad.fr/amf/2017/Iliad_Documentdereference2016.pdf
chez ILIAD page 55 ca passe via gravelines.... online doit passer à peu dechosesprés aussi par là.



 

Mobile View