Auteur Sujet: Visite du data center Scaleway DC5 (refroidissement adiabatique)  (Lu 304531 fois)

0 Membres et 1 Invité sur ce sujet

Hugues

  • AS2027 MilkyWan
  • Modérateur
  • *
  • Messages: 12 446
  • Lyon (69) / St-Bernard (01)
    • Twitter
Visite du data center Scaleway DC5 (refroidissement adiabatique)
« Réponse #300 le: 22 mars 2021 à 21:49:30 »
En somme, DC5 se rapproche de DC3, l’adiabatique en plus ?

vivien

  • Administrateur
  • *
  • Messages: 47 183
    • Twitter LaFibre.info
Visite du data center Scaleway DC5 (refroidissement adiabatique)
« Réponse #301 le: 23 mars 2021 à 03:53:55 »
c'est un système à pré-action sous air, de chez HiFog, avec réserve d'eau et groupe électrogène, les têtes ont étés implantées avec l'appuie d'une CFD (oui oui ...)

Pour ceux qui se demandent, une simulation CFD (Computational Fluid Dynamics) est utilisé pour simulation un incendie tout en prenant en compte les équations fondamentales de la mécanique des fluides (équations de Navier-Stokes) sur un maillage tri-dimensionnel du domaine physique.

D'ailleurs vous ne le savez peut être pas, mais en cas de détection incendie, la quasi totalité des datacenters, que ca soit à gaz ou à brouillard d'eau, coupent la climatisation pour cette même raison afin de contourner ce problème des 2m/sec.

Du coup, pour que ça soit efficace dans ces conditions, il faudrait ... couper la ventilation ... et donc la continuité de service ... ce que nous refusons et que notre assureur refusait aussi.

Oui, c'est l'idéal d'éteindre un début d'incendie sans avoir à couper la salle tout entière. Mais en cas d'impossibilité de mise en place d'une telle solution, utiliser un système qui oblige à couper la climatisation et donc quelques minutes après l'énergie peut être intéressant: il est préférable de couper les serveurs plutôt que de détruire les serveurs.

Maintenant, le brouillard d’eau, c'est pour la salle avec les serveurs.

Sur DC3 il y a du brouillard d'eau sur les transformateurs 20 000 volts extérieurs, mais il y en a dans les TGBT ?

Les onduleurs 550 kVA en formation parallèle. Il y aura 20 onduleurs au total pour DC3, une fois l'extension réalisée.

Si l'incendie si déclare dans le TGBT, j'ai compris que la solution Scaleway c'est :
- Limiter ce qui brûle en remplaçant progressivement le parc de batteries par des batteries “v0” auto-extinguible qui, en cas d’emballement thermique ou de court circuit, ne brûle pas.
- Les passages de câbles sont spécialement calfeutrés et traités avec des mastics et des peintures intumescentes.
- Les locaux énergie, onduleurs sont coupe-feu deux heures.
- Dispositif d’extraction des fumées, lui-même capable de fonctionner deux heures par 400°C.
- Mur qui tente de contenir l’explosion d’un transformateur (cela peut faire pas mal de dégâts).

Certains de ces points on fait défaut chez OVH sur Strasbourg SBG2, mais un premier retour d'expérience important de ce sinistre semble être l’impossibilité des pompiers à aigr sur un feu où le 20 000 volts est présent :

Et en réalité les Pompiers étaient sur site en 15 minutes, mais ils n'ont commencés à s'attaquer au feu que 1H30 plus tard, le temps que le distributeur électrique coupe le courant sur tout le secteur. Donc en 1H30 il n'y avait déjà plus rien...
l'arrivée et le comptage était au RDC de SBG2, voila pourquoi il a annoncé dépêcher une unité mobile HTA, en gros un container avec des cellules HTA pour repartir le courant vers les autres bâtiments.

La mise en place des transformateurs haute tension à l’extérieur du bâtiment pour DC3 et DC5 est donc un point important, mais  https://blog.scaleway.com/fr/comment-protegeons-nous-vos-donnees/ n'aborde pas la possibilité pour les secours de pouvoir couper l'arrivée 20 000 volts.

Je me demande si c'est un axe de travail possible, ou si il y avait des spécificités sur Strasbourg (régie locale d’électricité peut-être moins réactive), pour qu'il soit nécessaire d'attendre 1h30 pour couper le 20 000 volts en pleine nuit.

abermingham

  • AS12876 Officiel Scaleway
  • Expert
  • *
  • Messages: 112
  • Paris (75)
Visite du data center Scaleway DC5 (refroidissement adiabatique)
« Réponse #302 le: 23 mars 2021 à 13:24:50 »
Oui, bien sur, il y a de l'extinction incendie dans les TGBT à DC3

Les vannes à pré-action sont à l'extérieur du local à risque


Le principe des vannes à pré-action est très simple.
Le réseau est en temps normal remplis sous air. L'eau n'est envoyé qu'avec l'action simultanée d'une tête qui déclenche et vidé le réseau de son air (fusible thermique) et de la détection incendie en seuil "Alarme feu" (Il y a deux seuils, un seul de pré-alarme très précoce et un seuil alarme feu confirmé).

Dans le local, il est traité avec des buses de type VdS OH1 MSPU. Il y en a 8 par salle, 4 coté onduleurs, 4 coté batteries
(https://www.marioff.com/sites/default/files/brochures/2400c-fr_le_systeme_hi-fog_introduction_technique.pdf)


L'arrêt électrique "total" (GE + Arrivées) n'est jamais recherchée ni par l'exploitant ni par les secours si le compartimentage permet au sinistre d'être limité à 1 compartiment et contrôlable.
Ce n'est pas anodin car l'arrêt total électrique pose soucis pour les dispositifs d'extinction incendie, les pompes haute pression sont électriques par exemple.

C'est une manoeuvre de dernier recours, lorsque qu'il n'y a pas de compartimentage ou que le sinistre devient incontrôlable.
Dans ce cas :
- Concernant la HT et la possibilité aux pompiers de couper, les arrêts d'urgence sont obligatoires à proximité des transformateurs au delà d'une certaine distance de sa protection BT / HT. De mémoire c'est 15 mètres mais je ne suis plus sur de cette valeur. Sinon lorsque cette distance est inférieure, pas d'arrêt d'urgence, c'est au niveau cellule haute tension que c'est fait, et donc sur manoeuvre du concessionnaire et/ou de l'exploitant.
- De même pour les groupes électrogènes qui doivent avoir un arrêt d'urgence accessible aux pompiers (Arrêt d'urgence mécanique/électrique + un arrêt d'urgence dit "Pompiers" qui ferme le fioul du moteur)

En principe pour une salle informatique :
- Seuil Pré-alarme : levée de doute + intervention à la main (extincteur) si nécessaire
- Seuil Alarme confirmée : Evacuation du compartiment (Alarme sonore), ouverture électronique des vannes à pré-action
- Sinistre confirmé / chaleur : déclenchement de la/les tête(s) thermo-fusible à proximité du sinistre, fermeture du bassin de rétention des eaux d'incendie -> Début de l'extinction
- Sinistre qui s'étends dans le compartiment : arrêt d'urgence électrique du compartiment sinistré (Alimentations ondulées), arrêt de la ventilation sur passage d'eau, activation du dés-enfumage (manoeuvre pompier sur le CMSI) pour faciliter les secours. Le reste des compartiments fonctionnent normalement
- Sinistre qui s'étends au-delà du compartiment : Arrêt HT, consignation des GE, fermeture des vannes fioul (L'extinction continue de fonctionner, il a son propre tarif jaune indépendant)

vivien

  • Administrateur
  • *
  • Messages: 47 183
    • Twitter LaFibre.info
Visite du data center Scaleway DC5 (refroidissement adiabatique)
« Réponse #303 le: 23 mars 2021 à 14:10:13 »
Merci pour ce message détaillé.

Je me demande si l'extinction incendie des locaux énergie ne devrait pas être indiqué dans le blog https://blog.scaleway.com/fr/comment-protegeons-nous-vos-donnees/

Certains lecteurs vont penser que ce n'existe pas, car ce n'est pas mentionné, surtout que certains acteurs en martelant vouloir faire évoluer les standards du marché, sous entendent que ce n'est pas le cas.


Ici, il dit qu'OVH va faire évoluer les standards du marché. Il le répète 5 fois, donc ça n'est pas une erreur ponctuelle.
Ce qu'il veut dire, j'espère en tout cas, c'est qu'OVH va faire évoluer les standards d'OVH, pas les standards du marché... Les standards du marché ne sont pas en cause à priori, vu qu'OVH ne les a jamais appliqués.
Je suis désolé, mais ce discours me choque.

Il semble dire que le "freecooling, c'est mal, c'est du passé". Et là non plus, je ne suis pas d'accord.
Le freecooling à la OVH, avec des salles largement ouvertes aux 4 vents, pas étanches, avec de l'air quasiment pas filtré, et des serveurs à seulement 1-2m de l'entrée d'air extérieure, oui, ça pose beaucoup de question, et depuis le tout début.
Les Freecooling à la Facebook et Scaleway, c'est forcément très très différent.

J'espère que les conclusions parleront également des procédures d'arrêt et de consignation électrique du site en cas d'incident grave : coupure totale (HT et BT), et coupure des onduleurs. Si ça a retardé de plus de 30 min l'intervention réelle des pompiers, comme on peut le lire ici, ça peut avoir du sens. Je ne dis pas qu'il y a eu un problème, c'est juste une hypothèse.

Un vidéo meilleure que les autres sur Fukushima, qui montrent que le système de refroidissement en absence total d'électricité sur le site, le condenseur, n'était pas du tout maîtrisé par l'exploitant et la vanne a pratiquement tout le temps été fermée, ce qui a entraîné la fusion du cœur. Grace à des simulations, on sait que le niveau de l'eau dans le réacteur à baissé sous le niveau des barres de combustible actif seulement une heure et 15 minutes après la panne d’électricité, les vannes du condenseur n'ayant pas été ouvertes. On sait maintenant que la fusion du cœur à commencé quelques heures après le Tsunami. Le guide des opérateurs n'avait pas prévu la panne complète d’électivité du site (sachant que le site à de nombreuses lignes, toutes coupées par le tremblement de terre, des groupes de secours et même des batteries qui ont été inutiles car sous l'eau).


Leon

  • Client SFR sur réseau Numericable
  • Modérateur
  • *
  • Messages: 5 991
Visite du data center Scaleway DC5 (refroidissement adiabatique)
« Réponse #304 le: 25 mars 2021 à 07:20:56 »
Merci beaucoup Arnaud (@online_fr) pour tous ces détails. C'est très intéressant.
Un hébergeur, comme Scaleway-Online qui est fier de montrer ouvertement ses installations (y compris aux journées portes ouvertes), effectivement, ça inspire confiance.

Par rapport au rapprochement que fait Vivien avec Fukushima... Même si le rapprochement est un peu hasardeux, je pense qu'un des point vitaux est la formation du personnel présent H24 sur site à toutes les procédures d'urgence.
Une formation répétée à toutes ces procédures, c'est juste indispensable. Je pense qu'Arnaud peut facilement faire le rapprochement avec ses formations de pilote amateur d'avion léger.
L'aviation de ligne, avec le nucléaire, c'est des domaines où ce type de formation régulière est le plus présent et le plus judicieux. 
Rendre l'installation complexe (datacenter) facilement compréhensible (c'est un métier), et former continuellement les équipes, c'est une des clefs essentielles à la gestion de ce genre de problèmes. J'insiste sur la formation continuelle. Pour agir efficacement dans l'urgence, on n'a pas le temps de puiser dans sa mémoire des informations qui n'ont pas été ravivées depuis des années.

Plusieurs exemples montrent que la gestion d'incident aurait pu être différente avec des équipes terrain plus formées
* Fukushima, effectivement
* Telehouse 2 perte de climatisation, avec une manipulation malheureuse d'une vanne inappropriée
* et peut-être la perte d'alimentation Online DC2, où l'opérateur sur site aurait pu déclencher manuellement les groupes récalcitrants en acquittant les alarmes.
* etc...

Du coup, est-ce que certains opérateurs de datacenter mettent en place des formations spécifiques? Et aussi des simulateurs d'infrastructure, sur lesquelles l'opérateur peut s'entrainer? Comme un simulateur d'avion, ou un simulateur de salle de commande de centrale nucléaire?
Les équipes terrain se forment auprès des équipementiers (SDMO, Eaton, etc...) ?

Leon.
« Modifié: 25 mars 2021 à 07:48:06 par Leon »

Processus42

  • Abonné Free adsl
  • *
  • Messages: 8
  • Haute-Loire (43)
Visite du data center Scaleway DC5 (refroidissement adiabatique)
« Réponse #305 le: 05 avril 2021 à 17:20:52 »
Peut-être qu'un système d'extinction automatique sera rajouté à DC5. Si on part du principe qu'en cas d'incendie non maitrisable on coupe l’énergie dans la salle et donc la ventilation, un système par brouillard d'eau pourrait être pertinent (il n'abime pas le matériel informatique). Les sprinklers, l'étape suivante, même si ils endommagent les serveurs, les données d'un serveur noyé d'eau sont récupérable sans aucun problème.
Une électronique qui baigne dans l'eau de nombreuses heures (ça sera évidemment le cas avec un déclenchement de sprinkler), ça n'est souvent pas récupérable. Et si le déclenchement des sprinkler a eu lieu avant la coupure de courant électrique, la dégradation de l'électronique est encore plus rapide, en quelques minutes seulement (électrolyse puis oxydation).
Et l'eau détruit rapidement une électronique "standard" qui n'est pas conçue pour être en contact avec de l'eau.

Est-ce que l'eau est si destructrice que ça ? Leon, quand tu parles de "nombreuses heures", à combien penses-tu ? Je m'interroge aussi sur l'impact réel de l'électrolyse: De ce que je connais du procédé on utilise des tensions très élevées (bien plus élevées que les 230V qu'on retrouve en salle serveur), et des solutions particulières pour que l'électrolyse fonctionne. Je n'y connais pas grand chose, mais j'imagine qu'il faudrait que le 230V (Ou les 12V, 5V ou 3V) soit resté plusieurs dizaines de minutes pour qu'il y ait suffisamment de dépôt de la part d'une électrolyse de l'eau (du robinet) pour donner naissance à une oxydation suffisante pour déteriorer de façon irrécupérable le métal exposé de l'électronique des serveurs.

Le plus gros danger matériel à mon avis c'est plutôt le court-circuit.
Pour des dispositifs éteints un bon arrosage suivi d'un séchage dans les heures qui suivent ne devrait pas être si destructeur. Ça peut sauver un DC, à condition de compartimenter le déclenchement des sprinklers, parce qu'il faut pouvoir faire sécher le matériel ensuite !

vivien

  • Administrateur
  • *
  • Messages: 47 183
    • Twitter LaFibre.info
Visite du data center Scaleway DC5 (refroidissement adiabatique)
« Réponse #306 le: 25 mai 2021 à 09:57:15 »
Clip tourné chez Scaleway :


e-TE

  • Abonné Free fibre
  • *
  • Messages: 1 145
  • Déville-les-Rouen (76)
Visite du data center Scaleway DC5 (refroidissement adiabatique)
« Réponse #307 le: 25 mai 2021 à 11:05:32 »
bon bah derrière cette video... spéciale, il a l'air d'avoir du contenu pas trop mal le monsieur sur sa chaine YT :)

sf!

  • Abonné Free fibre
  • *
  • Messages: 419
  • Nord - 59
Visite du data center Scaleway DC5 (refroidissement adiabatique)
« Réponse #308 le: 25 mai 2021 à 21:01:52 »
Pour ceux qui connaissent la série "Chuck", on dirait un des collègues xD

underground78

  • Expert
  • Abonné Free fibre
  • *
  • Messages: 7 436
  • Orsay (91)
    • FreePON : suivi géographique du déploiement fibre EPON chez Free
Visite du data center Scaleway DC5 (refroidissement adiabatique)
« Réponse #309 le: 27 mai 2021 à 00:33:36 »
Un article de NextInpact, Cloud de confiance : Scaleway note des avancées mais « l’État semble abdiquer toute ambition », renvoie vers ce sujet. :)

Citation de: NextInpact
Évoquant son approche « full-stack », la société concevant ses propres datacenters, innovant notamment dans les systèmes de refroidissement comme avec son système adiabatique mis en place à DC5, développant sa propre couche logicielle, Léchelle semble à la fois apprécier certaines décisions mais être inquiet par d'autres aspects.

Leon

  • Client SFR sur réseau Numericable
  • Modérateur
  • *
  • Messages: 5 991
Visite du data center Scaleway DC5 (refroidissement adiabatique)
« Réponse #310 le: 27 mai 2021 à 06:51:24 »
Clip tourné chez Scaleway :
Etonnant de laisser faire ça dans des allées en production.

Sinon, ça n'est pas tourné à DC5, vu qu'il y a un faux plancher. Donc c'est soit DC2, soit DC3.

Leon.

dj54

  • Abonné Free fibre
  • *
  • Messages: 921
  • Nancy (54)
    • La passion des ondes
Visite du data center Scaleway DC5 (refroidissement adiabatique)
« Réponse #311 le: 19 juin 2021 à 20:07:34 »
Reportage vidéo DC5