La Fibre

Datacenter et équipements réseaux => Datacenter => Maxnod Maxnod => Discussion démarrée par: Nico le 28 mars 2023 à 23:23:17

Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Nico le 28 mars 2023 à 23:23:17
Incendie dans le datacenter Maxnod du 28 mars 2023

Reprise du thread d'Hugues à propos de l'incendie de Maxnod, complété avec de nouvelles photos :

https://twitter.com/huguesdelamure/status/1640643682071085057

Bon, le Datacenter Maxnod est en feu, incendie sur le local batterie des panneaux photovoltaïques. Feu pas maîtrisé. Bon courage à tous ceux impactés.

Pour info, @milkywan_net peu impacté, quelques abonnés FTTH coupés dans le secteur parce qu'un câble SIEA a été touché.

Ça commence à se calmer

Update : Électricité HS depuis 10h20

Des câbles de fibre ont brûlé dans le datacenter donc ça ne sent pas très bon

A priori salle machine pas/peu impactée, sans certitudes.

Pour l'instant on est en stand by en attendant de voir si et quand on pourra récupérer les machine

La coupure électrique du datacenter a eu lieu à 10h14 et 40 secondes

Sur ce graphique qui log les accès à LaFibre.info, hébergé à ce moment-là au Maxnod, le dernier point relevé est à 10h10. Celui de 10h15 est resté sans réponse.
(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_10h10.webp)

10h14 : En regardant les logs du forum de manière plus précise, on voit des accès chaque seconde et cela s'arrête à 10h14 et 39 secondes.
(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_10h14.webp)

11h02 :
(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_11h02.webp)

11h04 :
(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_11h04.webp)

11h06 :
(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_11h06.webp)

11h07 :
(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_11h07.webp)

11h15 :
(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_11h15.webp)

11h17 :
(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_11h17.webp)

11h22 :
(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_11h22.webp)

11h54 :
(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_11h54.webp)

12h01 :
(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_12h01.webp)

12h39 : Intervention sur les fibres pour rétablir des clients SIEA coupés
(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_12h39.webp)
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Nico le 28 mars 2023 à 23:28:58
Le feu est maitrisé et les pompiers sont entrés dans le bâtiment

Le gérant du dc est entré avec les pompiers pour voir dans quel état sont les infras IT

Update : salle intacte, un peu de suie, désenfumage en cours

Réseau : mort
Elec : Mort

On reste en standby pour récupérer les machines

Je vais pas tarder à partir, on va revenir des qu'on a la confirmation qu'on peut récupérer les machines


13h16 :
(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_13h16.webp)

13h28 :
(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_13h28.webp)

13h29 :
(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_13h29.webp)

13h37 :
(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_13h37.webp)

13h47 :
(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_13h47.webp)

16h26 :
(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_16h26.webp)
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Nico le 28 mars 2023 à 23:29:54
Tour extérieur du datacenter :

Des photos de l'extérieur du bâtiment, plus rien à sauver hélas.

Le parking, surplombé par des panneaux photovoltaïques, capable d'alimenter entièrement le datacenter + stocker de l'énergie dans des batteries pour la nuit :
(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_exterieurs_01.webp)

L'entrée de Maxnod :
(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_exterieurs_02.webp)

Les bureaux :

(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_exterieurs_03.webp)

(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_exterieurs_04.webp)
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Nico le 28 mars 2023 à 23:30:18
La salle où étaient stockées plusieurs tonnes de batteries pour stocker l'énergie solaire : C'est de là qu'est partie l'incendie
(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_exterieurs_05.webp)

(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_exterieurs_06.webp)

Au fond les groupes froids pour les serveurs :
(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_exterieurs_07.webp)

Cette porte donne dans le couloir principal : (avec à l'autre bout la porte d'entrée)
(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_exterieurs_08.webp)

L'arrière de la salle serveur, avec la grille pour la sortie de l'air chaud du datacenter :
(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_exterieurs_09.webp)

Sous les panneaux, on voit une centrale de traitement d'air, qui injecte l'air frais dans les couloirs froids, le datacenter étant refroidi par free-cooling direct (sauf en cas de température extérieur > 28°c) :
(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_exterieurs_10.webp)

Vue de la face avant, on voit d'autres centrales de traitement de l'air et un bâtiment à droite qui contient les groupes électrogènes et la réserve de fioul :

(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_exterieurs_11.webp)
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Nico le 28 mars 2023 à 23:30:44
Je suis parti, retour vers 17h. On a laissé quelqu'un sur place pour avoir des infos

De retour sur site, on attend pour récupérer le matos

Update je suis dans le DC

Bon les baies vont bien. Matos un peu sale mais ça ira

Une dizaine de clients sont là pour de-racker, nous on attend du monde pour se lancer...

Allez ça dérack, bonne soirée à vous !

16h29 : Entrée du Maxnod. À droite, la porte de la salle serveur :
(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_interieur_01.webp)

16h29 : Une des premières entrées dans la selle serveur :
(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_interieur_02.webp)

19h45 : Beaucoup de matériel a été retiré des baies :
(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_interieur_03.webp)

16h29 : Exploration de la salle serveur
À droite, les entrées des allées froides.
À gauche, les onduleurs pour la charge IT et leurs batteries (les batteries sont dans une armoire juste à côté de l'onduleur).
(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_interieur_04.webp)

16h34 : On est dans un couloir froid. Au fond à droite, l'entrée d'air frais, venant de la centrale de traitement d'air extérieur :
(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_interieur_05.webp)

16h35 : découverte de l'état du matériel (couloir froid)
(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_interieur_06.webp)
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Nico le 28 mars 2023 à 23:30:47
Visiblement, il a fait très chaud dans certaines parties de la salle serveur.

En bas à gauche, les onduleurs pour les serveurs, avec leurs batteries dans l'armoire : elles n'ont pas été impactées
En bas à droite, l'armoire avec les disjoncteurs + compteurs des arrivées électriques des baies.
(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_interieur_07.webp)

Le plastique à fondu :
(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_interieur_08.webp)

Les chemins de câble dans la salle IT
Des câbles dont l'enveloppe est abimée :

(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_interieur_09.webp)

Baie NetSyst coté couloir froid :  des traces sont visibles, notamment sur le routeur Cisco.
(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_interieur_10.webp)

Baie NetSyst coté couloir chaud :
(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_interieur_11.webp)

Hugues a récupéré le serveur qui héberge LaFibre.info :
(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_interieur_12.webp)

Il y a trop de suie sur la carte mère pour espérer la faire redémarrer :
(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_interieur_13.webp)
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Nico le 28 mars 2023 à 23:31:04
La salle serveur est l'endroit le plus préservé du datacenter.

Hors de cette salle, la structure du bâtiment semble affectée et le toit (lui aussi recouvert de panneaux photovoltaïques) est partiellement effondré.

16h46 :

(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_interieur_14.webp)

16h49 :
(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_interieur_15.webp)

Des sprinkler étaient pourtant présents dans le bâtiment :

(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_interieur_16.webp)

Le TGBT a entièrement brulé :

(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_interieur_17.webp)

On distingue les endroits où étaient rackés les disjoncteurs et autres équipements électriques :

(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_interieur_18.webp)

16h47 :
(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_interieur_19.webp)

16h48 : Les batteries à l'origine du drame
(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_interieur_20.webp)
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Aunisien le 28 mars 2023 à 23:31:45
Bon courage !
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: alf084 le 28 mars 2023 à 23:34:41
Un DC faussement TIER4 😏

(https://lafibre.info/images/adeli/logo_maxnod_64.png)
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: web7 le 28 mars 2023 à 23:34:59
On souhaites vraiment du courage aux clients et à l'entreprise Maxnod, c'est quand même un des pires scenarios pour un DC :(

Et je pense qu'il faut féliciter aussi les services de secours pour avoir réussi à épargner des flammes la partie IT même si celle ci est durement touchée.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Nico le 28 mars 2023 à 23:36:40
Un DC faussement TIER4 😏
C'était une marque déposée, rien à voir avec l'uptime institute.

https://data.inpi.fr/marques/FR3839157?q=Tier%204#FR3839157
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Hugues le 28 mars 2023 à 23:37:13
J'étais sur place de 10h45, 30 minutes après le début de l'incendie, jusqu'a 22h ce soir.

C'est un spectacle désolant, la structure du batiment est compromise, tous les serveurs/routeurs/switchs sont remplis de suie conductrice et corrosive.

On a pu rentrer au bout de 5h, contre l'avis des pompiers dans le DC pour récupérer notre matériel.

L'atmosphère était irrespirable, il faisait chaud, tout était recouvert d'une suie collante, du sol au plafond, aucune lumière, seules nos frontales pour nous éclairer.

Sans aucun doute une des expériences les plus étranges de ma carrière.

Tout mon soutien à Lionel dans cette étape difficile. On revient demain matin pour faire un point.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: xp25 le 28 mars 2023 à 23:53:41
2 articles en parlant :

https://www.lemessager.fr/57372/article/2023-03-28/ain-un-important-incendie-dans-un-centre-de-donnees-informatiques

https://www.datacenterdynamics.com/en/news/maxnod-data-center-in-france-burns-down-ups-system-thought-to-be-at-fault/
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Hugues le 28 mars 2023 à 23:54:34
https://alloforfait.fr/internet/news/115854-maxnod-datacenter-inaccessible-incendie-batteries-panneaux-photovoltaiques.html

https://www.latribunerepublicaine.fr/57372/article/2023-03-28/ain-un-important-incendie-dans-un-centre-de-donnees-informatiques
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Hugues le 28 mars 2023 à 23:55:23
https://www.datacenterdynamics.com/en/news/maxnod-data-center-in-france-burns-down-ups-system-thought-to-be-at-fault/
Cet article est mensonger, ça n'a RIEN a voir avec les UPS
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: alf084 le 28 mars 2023 à 23:56:21
C'était une marque déposée, rien à voir avec l'uptime institute.

https://data.inpi.fr/marques/FR3839157?q=Tier%204#FR3839157

Oui Oui ;)

(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_tiers4.webp)
https://twitter.com/a_bermingham/status/1640816485613588480?s=61&t=_oPgBpq9PunyzNxNL2x0RA
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Optix le 28 mars 2023 à 23:58:37
Autant, l'incendie d'OVH, bof. Mais là, j'avoue que ça m'a fait qq chose dans mon p'tit coeur  :'(

Un petit DC neutre, monté par la main d'un mec qui a monté un petit opérateur, qui a poussé LyonIX, etc. Tout ce travail bousillé en qq heures.

Une pensée émue pour Lionel et ses salariés, j'espère qu'ils sauront se relever de cette épreuve, apprendre de cela et repartir d'une façon ou d'une autre.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: sweet77 le 29 mars 2023 à 00:07:42
Bonsoir,

Cest là qu'on voit la compétence et le professionalisme des gens comme nico, hugues, optix et bien dautres...

Bravo messieurs ! Vous méritez la confiance que nous portons à des gens de bonne volonté comme vous !
Il faut en avoir dans le pantalon pou remettre en ordre un DC aprrès un grave incendie tel quel celui là.

De tout coeur avec vous.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: xp25 le 29 mars 2023 à 00:18:46
Les normes vont elles être revues pour éloigner drastiquement l'alimentation électrique et sa redondance des baies réseaux ?

Ça va peut être devenir une condition "sine qua non" que TGBT/Batteries/arrivées électriques soient dans un local bétonné et éloigné de plusieurs centaines de mètres sans communication avec les salles serveur maintenant pour héberger son matos !
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 29 mars 2023 à 00:25:17
Certains acteurs se mettent à mettre les batteries dans un bâtiment extérieur, séparé du datacenter.

Certains font de même pour les onduleurs, suite à l'incendie d'OVH, a vu que les batteries ne sont pas les seuls éléments à risque.

Pour le TGBT je ne pense pas que cela soit nécessaire.

Le rapport rapporte "une mesure hygrométrique singulière vers 23h15 et une nouvelle augmentation de celle-ci un peu après 0h30 [...] Il n’est pas possible, à ce stade, d’établir la cause de la défaillance au niveau de l’ASI qui pourrait s’expliquer par différentes hypothèses (présence de liquide ou d’humidité liée à la présence du système de refroidissement situé à proximité, dysfonctionnement lié à l’opération de maintenance réalisée le matin même, exploitation de l’onduleur en dehors des plages normales de fonctionnement, …)."

Le 10 mars 2021, a 0h35, départ de feu sur un onduleur de la salle d’énergie n°2 de SBG2 (source : image extraite de la vidéosurveillance OVH, publiée par le BEA-RI)
(https://lafibre.info/images/ovh/202205_bea-ri_rapport_enquete_incendie_datacenter_ovh_strasbourg_05.webp)
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: caaptusss le 29 mars 2023 à 01:20:46
arf cette image me met toujours la chair de poule Vivien...
Maxnode a un peu la même histoire que ma boite, comme d'autres ici d'ailleurs. Une petite infra qui grossit, et qui s'installe dans un DC de conception "interne" et construit par nos petites mains.
Quand je vois le résultat sur les photos de Hugues, je reste... stoïque. Ca me fait vraiment mal de voir ça, car je m'identifie énormément à ce qui est arrivé. On était passé pas loin d'un évènement similaire dans notre dernier DC, ce qui m'a poussé à faire des choix assez drastique sur le DC qu'on exploite à Marly, notamment en matière d'extinction automatique.

Mais quand on voit la puissance calorifique dégagé par les matériaux isolant, et les batteries en elles même, on se dit qu'on peut mettre toute la sécurité qu'on veut, on restera impuissant face à ça.
La seule solution est effectivement de déplacer le risque à l'extérieur des salles, dans un bâtiment annexe. C'est ce que j'ai dessiné pour notre prochain DC qui sortira de terre dans les années à venir. TGBT, transfo, batteries, onduleur, tout ça à part, et à au moins 10 Mètres du bâtiment principal.

Les réflexes vis à vis de la suie sont d'ailleurs les bons. Le matériel, bien que "sauf", est mort. Seul les données peuvent avoir du sens en terme de récupération. Décontaminer les serveurs, c'est toujours possible, mais terriblement long, et souvent incertain, y a qu'à voir le taux de panne des serveurs transférés de Strasbourg sur OVH, le forum est plein d'exemples.

Espérons que ce type d'évènement fera surtout progresser les stratégies de sauvegarde, et faire prendre conscience aux DSI et passionnés, qu'un datacenter, ça brule, et ça brule même bien.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Hugues le 29 mars 2023 à 01:23:59
Pour info, l'incident a eu lieu pendant le raccordement du pack de batteries a un onduleur du circuit photovoltaïque du batiment (tout ce matériel était neuf et pas encore en prod)
Donc extinction manuelle a la seconde ou ça a pris feu, ils ont passé 5 extincteurs mais ça n'a pas suffi.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: acontios le 29 mars 2023 à 01:34:44
Ce sont des images qui sont difficiles à voir :(

Tout mon soutien à Lionel et ses équipes, et si je peux faire quelque chose pour aider, n'hésitez pas à me contacter. Faut rester solidaire sur ce genre de coup dur !

Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: burger hans le 29 mars 2023 à 06:44:20
Je suis de tout cœur avec vous et je reste admiratif du travail accompli pour faire repartir la machine, chapeau ! Hans.👍🏻
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Nico le 29 mars 2023 à 06:48:21
(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_article_le_progres.jpg)

Source : Le Progrès - 29/03/2023
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Leon le 29 mars 2023 à 07:22:06
C'est triste, effectivement.

Adeli/Maxnod, c'est une petite entreprise d'une dizaine de salariés, c'est ça? Une petite structure à taille humaine, avec des solutions "innovantes".
C'est l'artisanat du datacenter, et un FAI artisanal orienté "pro" (et le terme "artisanat" n'est absolument pas une critique de ma part). 
J'espère de tout coeur qu'ils s'en relèveront.
Effectivement, c'est autre chose qu'OVH Strasbourg, ça n'est pas les seuls moyens financiers/techniques derrière, et Maxnod était leur seul et unique Datacenter.
Ca fait mal aux coeur.

J'aimerais quand même tenter de comprendre :
De ce qu'il se dit, ce seraient des batteries Lithium. Vous confirmez? On sait quelle techno exactement? LFP ?
Pourquoi mettre des batteries Lithium dans un datacenter?
Ca semble quand même plus risqué que des batteries Plomb (dont on avait d'ailleurs parlé avec Lionel il y a quelques années ici).

C'était des batteries uniquement pour faire de l'auto-conso en photovoltaique?
Donc des batteries indépendante des onduleurs/UPS de secours?
C'est sans doute facile à dire après coup, et je m'en excuses, mais j'ai du mal à comprendre l'intérêt du stockage local sur batteries, par rapport à du photovoltaique où l'excédent est réinjecté dans le réseau ERDF/Enedis. Même sur le plan "écologie", c'est très discutable.

Bon courage à l'équipe Maxnod/Adeli, et à Lionel Drevon en particulier.

Leon.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: thedark le 29 mars 2023 à 07:30:38
C'est triste !
Bon courage aux équipes !
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: raph01 le 29 mars 2023 à 07:37:24
Je suis abonné Adeli sur le réseau fibre du SIEA et j'étais venu me renseigner sur le forum suite à la coupure réseau à mon domicile depuis hier matin mais quand je vois ce qu'il s'est passé, ça fait relativiser  :-X
Bon courage à toute l'équipe d'Adeli.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Nico le 29 mars 2023 à 07:52:29
C'est sans doute facile à dire après coup, et je m'en excuses, mais j'ai du mal à comprendre l'intérêt du stockage local sur batteries, par rapport à du photovoltaique où l'excédent est réinjecté dans le réseau ERDF/Enedis. Même sur le plan "écologie", c'est très discutable.
Le prix élevé d'achat d'électricité a du "créer" un ROI à cette solution, en face tu as des revenus d'injection assez faibles.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Sn@ke le 29 mars 2023 à 07:58:12
Ça fait toujours mal de voir ça. Bon courage à l'équipe Maxnod !

La conclusion est toujours le même en effet  : un DC ça brûle... mieux vaut héberger ses services critiques sur au moins deux DC distants.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Nico le 29 mars 2023 à 09:10:23
Les sites web du CHU de Strasbourg indisponibles

Impossible d'aller sur l'un des sites du Centre hospitalier universitaire de Strasbourg depuis l'après-midi du mardi 28 mars. C'est la conséquence d'un incendie dans le data center de l'un des prestataires du CHU.

Si vous n'arrivez pas à aller sur les sites internet du Centre hospitalier universitaire de Strasbourg, pas la peine de changer d'ordinateur ou de moteur de recherche, il ne s'agit pas non plus d'une cyberattaque, c'est un problème interne. Les sites sont indisponibles, après un incendie dans le data center du prestataire du CHU. La structure est installée dans l'Ain.

https://twitter.com/CHRUStrasbourg/status/1640725474383896577

En cas d'urgence, il est conseillé de passer par le standard au 03 88 11 67 68. Certains services sont aussi disponibles sur Doctolib. Le CHU précise que "tout est mis en œuvre pour rétablir le service."
Il y a deux ans, un gros incendie en Alsace cette fois, chez OVH, avait bloqué le site web de nombreuses entreprises partout en France.

https://www.francebleu.fr/infos/sante-sciences/les-sites-web-du-chu-de-strasbourg-indisponibles-4979062



Le site pointe sur une IP Adeli.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: pju91 le 29 mars 2023 à 09:13:03
Le site pointe sur une IP Adeli.
L'indisponibilité risque de durer nettement plus longtemps que celle de lafibre.info.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Ragarock le 29 mars 2023 à 09:38:08
Force et Honneur aux équipes de Maxnod, et de leurs clients
en espérant que les assurances et la Région suivent pour remettre l'entreprise sur pied.

Pour info, l'incident a eu lieu pendant le raccordement du pack de batteries a un onduleur du circuit photovoltaïque du bâtiment (tout ce matériel était neuf et pas encore en prod)
Donc extinction manuelle a la seconde ou ça a pris feu, ils ont passé 5 extincteurs mais ça n'a pas suffi.

Comme quoi, c'est encore et toujours l’erreur humaine : :-\



Un grand merci à Hugues et aux équipes.
Du coup, c'est le même serveur que vous avez nettoyé suffisamment pour le remettre en route?
Ou alors vous avez juste swappé le SSD sur un un autre serveur que vous aviez en stock?

Parce que ta photo du serveur montre de la suie sur la carte mère, c'est pas bon du tout.

Leon.

Peut-être, demander à Octave la procédure de nettoyage des serveurs  ;D  ovh commence à avoir des compétences là-dessus. 8)


Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: artur le 29 mars 2023 à 10:47:18
Bon courage aux équipes.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Leon le 29 mars 2023 à 10:59:30
C'est un spectacle désolant, la structure du batiment est compromise, tous les serveurs/routeurs/switchs sont remplis de suie conductrice et corrosive.

On a pu rentrer au bout de 5h, contre l'avis des pompiers dans le DC pour récupérer notre matériel.

L'atmosphère était irrespirable, il faisait chaud, tout était recouvert d'une suie collante, du sol au plafond, aucune lumière, seules nos frontales pour nous éclairer.
Du coup, vous avez forcé la main aux pompiers pour qu'ils vous laissent rentrer?
J'espère que vous n'avez pas pris trop de risque côté santé; les fumées et produits de combustion des batteries Lithium, c'est assez méchant.

Je suppose que vous avez pris les risques surtout pour sauver la grosse infra NetSyst, pas pour le petit serveur Lafibre qui a peu d'importance en comparaison (j'espère que tout le monde me comprend quand je dis ça).

Leon.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Hugues le 29 mars 2023 à 11:05:37
Du coup, vous avez forcé la main aux pompiers pour qu'ils vous laissent rentrer?
Oui. Faut voir la scène, tous les gens devant là, c'est des clients qui attendent pour récupérer leur matos :

(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_16h26.webp)

Deux heures plus tard, tu avais 25 voitures à cul sur le parking avec des gens qui dérackaient...

J'espère que vous n'avez pas pris trop de risque côté santé; les fumées et produits de combustion des batteries Lithium, c'est assez méchant.

Je suppose que vous avez pris les risques surtout pour sauver la grosse infra NetSyst, pas pour le petit serveur Lafibre qui a peu d'importance en comparaison (j'espère que tout le monde me comprend quand je dis ça).

Oui, y'a des moments ou tu ne réfléchis pas, tu fais ce qu'il y'a à faire pour sauver le business de la boite (même si ce n'est pas la mienne, c'est aussi important a mes yeux), le reste on verra plus tard...
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: dmxvalou le 29 mars 2023 à 11:28:46


J'aimerais quand même tenter de comprendre :
De ce qu'il se dit, ce seraient des batteries Lithium. Vous confirmez? On sait quelle techno exactement? LFP ?
Pourquoi mettre des batteries Lithium dans un datacenter?
Ca semble quand même plus risqué que des batteries Plomb (dont on avait d'ailleurs parlé avec Lionel il y a quelques années ici).

C'était des batteries uniquement pour faire de l'auto-conso en photovoltaique?
Donc des batteries indépendante des onduleurs/UPS de secours?
C'est sans doute facile à dire après coup, et je m'en excuses, mais j'ai du mal à comprendre l'intérêt du stockage local sur batteries, par rapport à du photovoltaique où l'excédent est réinjecté dans le réseau ERDF/Enedis. Même sur le plan "écologie", c'est très discutable.


Je suis aussi intéressé de savoir quel type de batterie, a pris feu si quelqu'un a l'info.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Twinsy le 29 mars 2023 à 12:00:01
Je suis aussi intéressé de savoir quel type de batterie, a pris feu si quelqu'un a l'info.

Je suis également intéressé pour connaitre le type de batteries qui a posé problème ?

Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: thsdrd le 29 mars 2023 à 12:01:38
Bon COURAGE à Maxnod ainsi qu'aux clients impactés ! Force à vous.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Mogette le 29 mars 2023 à 12:40:16
Rooooo les images sont impressionnantes , triste à la fois.

Très bon boulo des pompiers , ça a permis apparement de sauver au moins le serveur de notre site préféré  ;D !

Très bon boulo aussi pour l'opération de récupération en milieu hostile des serveurs.

Et quelle rapidité , le site est revenu très vite ! Quel plaisir de pouvoir reposter à nouveau même si ça n'a pas été long, lafibre.info me manque.

 ;)
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: lm2 le 29 mars 2023 à 13:26:48
Les sites web du CHU de Strasbourg indisponibles

Impossible d'aller sur l'un des sites du Centre hospitalier universitaire de Strasbourg depuis l'après-midi du mardi 28 mars. C'est la conséquence d'un incendie dans le data center de l'un des prestataires du CHU.

Si vous n'arrivez pas à aller sur les sites internet du Centre hospitalier universitaire de Strasbourg, pas la peine de changer d'ordinateur ou de moteur de recherche, il ne s'agit pas non plus d'une cyberattaque, c'est un problème interne. Les sites sont indisponibles, après un incendie dans le data center du prestataire du CHU. La structure est installée dans l'Ain.

https://twitter.com/CHRUStrasbourg/status/1640725474383896577

En cas d'urgence, il est conseillé de passer par le standard au 03 88 11 67 68. Certains services sont aussi disponibles sur Doctolib. Le CHU précise que "tout est mis en œuvre pour rétablir le service."
Il y a deux ans, un gros incendie en Alsace cette fois, chez OVH, avait bloqué le site web de nombreuses entreprises partout en France.

https://www.francebleu.fr/infos/sante-sciences/les-sites-web-du-chu-de-strasbourg-indisponibles-4979062



Le site pointe sur une IP Adeli.

déjà redispo :)

ca me rappelle le site du musée pompidou (ou du centre je sais plus) suite au dc d'ovh..
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Optix le 29 mars 2023 à 13:28:20
déjà redispo :)
Bien vu, ils ont déménagé chez O2Switch.

$ host chru-strasbourg.fr
chru-strasbourg.fr has address 109.234.165.102
chru-strasbourg.fr mail is handled by 10 mx4.chru-strasbourg.fr.
chru-strasbourg.fr mail is handled by 20 mx2.chru-strasbourg.fr.
chru-strasbourg.fr mail is handled by 20 mx3.chru-strasbourg.fr.
chru-strasbourg.fr mail is handled by 10 mx1.chru-strasbourg.fr.

$ whois 109.234.165.102
[Requête en cours whois.ripe.net]
[whois.ripe.net]
% This is the RIPE Database query service.
% The objects are in RPSL format.
%
% The RIPE Database is subject to Terms and Conditions.
% See http://www.ripe.net/db/support/db-terms-conditions.pdf

% Note: this output has been filtered.
%       To receive output for a database update, use the "-B" flag.

% Information related to '109.234.164.0 - 109.234.167.255'

% Abuse contact for '109.234.164.0 - 109.234.167.255' is 'abuse@o2switch.fr'

inetnum:        109.234.164.0 - 109.234.167.255
netname:        O2SWITCH
descr:          o2switch Datacenter Ip-Range-4
descr:          -- Location Datacenter 2 - O2S-PA02 --
descr:          ------ o2switch Datacenters ------
descr:          Abuse : abuse@o2switch.fr
descr:          Support : support@o2switch.fr
descr:          ------ www.o2switch.net ------
country:        FR
...
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Leon le 29 mars 2023 à 16:12:52
Je vois que des nouvelles photos sont apparues. Merci au photographe (Hugues? Gary?).
C'est impressionnant, très impressionnant. 
On voit des Sprinkler. Il serait intéressant de savoir s'ils se sont bien déclenchés, et si oui, pourquoi ils n'ont pas réussi à circonscrire l'incendie dans la pièce des batterie.
Surtout s'ils se sont déclenchés dans les autres pièces (couloir).

(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_interieur_16.webp)

Leon.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Hugues le 29 mars 2023 à 16:17:35
Les sprinklers sont un vestige de l'ancien usage des locaux, n'en tenez pas compte ^^

Le feu de batterie ne s'arrête pas au sprinkler... :/
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: DM61 le 29 mars 2023 à 17:19:08
Quelle performance pour tous remettre sur pieds rapidos !! :)
Chapeaux bas à toute l'équipe!
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: raph01 le 29 mars 2023 à 17:53:22
Les clients Adeli (dont je fais partie) sont toujours impactés par une coupure réseau totale  :'(
Aucune info de la part d'Adeli pour l'instant.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: caaptusss le 29 mars 2023 à 18:04:36
En l'état, les câbles ont du fondre, et les routeurs ne peuvent être rallumés sans nettoyage.
Il faut également pouvoir rallumer les équipements dans un environnement sécurisé, ce qui n'est pas le cas du batiment.
Dans l'ordre, il faut :
- Ramener un shelter/container
- Retirer les fibre qui sont HS
- Nettoyer les équipements réseaux
- Amener un groupe électrogène et/ou retirer un départ 400V depuis le transfo/comptage
- Rallumer les équipements

En théorie, ça peut se faire "rapidement" mais si les assureurs ont figé la scène d'incident, ils ne peuvent probablement pas trop toucher tant que les expertises ne sont pas réalisées.
Il y a des conditions d'exclusions qui permettent la continuité d'exploitation immédiate mais c'est souvent à négocier avec l'assureur dans le contrat, ou au moment du sinistre.

Bref, c'est pas simple et ça peut prendre quelques jours pour remonter une infra, ne serais-ce que pour faire "pinguer" les routeurs sur internet.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 29 mars 2023 à 18:09:02
Une bonne partie de l'infrastructure d'Adeli est hébergée dans la baie où était le serveur LaFibre.info (les serveurs au-dessus et en dessous de moi étaient ceux d'Adeli).

On a vu que cette baie située est plus touchée que d'autres (pour des raisons que j'ignore, probablement la présence d'une gaine d'aération qui a amené la fumée).

Je suis donc réservé sur la remise en service rapide des serveurs et routeurs Adeli.

Le serveur LaFibre.info (qui n'a pas été redémarré, seul le SSD a été conservé).


(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_interieur_13.webp)

Adeli est présent sur TH2 (1u dans une baie du 2ᵉ étage) avec un switch, je ne sais pas si c'est une solution pour mettre en place une solution temporaire pour les clients.

Une autre solution pourrait être une reprise des clients activé du SIEA par un autre opérateur déjà client du SIEA (même chose pour le réseau le SIDEC où Adeli a des clients grand public).
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Leon le 29 mars 2023 à 18:13:17
En l'état, les câbles ont du fondre, et les routeurs ne peuvent être rallumés sans nettoyage.
Il faut également pouvoir rallumer les équipements dans un environnement sécurisé, ce qui n'est pas le cas du batiment.
Dans l'ordre, il faut :
- Ramener un shelter/container
- Retirer les fibre qui sont HS
- Nettoyer les équipements réseaux
- Amener un groupe électrogène et/ou retirer un départ 400V depuis le transfo/comptage
- Rallumer les équipements

En théorie, ça peut se faire "rapidement" mais si les assureurs ont figé la scène d'incident, ils ne peuvent probablement pas trop toucher tant que les expertises ne sont pas réalisées.
Il y a des conditions d'exclusions qui permettent la continuité d'exploitation immédiate mais c'est souvent à négocier avec l'assureur dans le contrat, ou au moment du sinistre.

Bref, c'est pas simple et ça peut prendre quelques jours pour remonter une infra, ne serais-ce que pour faire "pinguer" les routeurs sur internet.
Une solution alternative peut être de remonter en urgence une infra minimale (routeurs) dans une baie d'un datacenter voisin/concurrent. Ca me semble crédible, et plus simple à mettre en oeuvre.
Mais c'est là aussi loin d'être simple. Si les opérateurs locaux sont solidaires, ça peut sans doute se faire.

Leon.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 29 mars 2023 à 18:32:24
C'était des batteries uniquement pour faire de l'auto-conso en photovoltaique?
Donc des batteries indépendante des onduleurs/UPS de secours?
Oui : les batteries pour les serveurs ainsi que les onduleurs sont dans la salle serveur en allée chaude et n'ont pas été impactées.

C'est une nouvelle installation qui devait permettre au datacenter de fonctionner en grande partie avec des panneaux photovoltaïques, même la nuit.

D'après ce que je comprends, c'est la mise en place de ce dispositif de stockage de l'énergie sur batterie qui a provoqué l'incendie.
Pour info, l'incident a eu lieu pendant le raccordement du pack de batteries a un onduleur du circuit photovoltaïque du batiment (tout ce matériel était neuf et pas encore en prod)
Donc extinction manuelle a la seconde ou ça a pris feu, ils ont passé 5 extincteurs mais ça n'a pas suffi.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Leon le 29 mars 2023 à 18:38:29
D'après ce que je comprends, c'est la mise en place de ce dispositif de stockage de l'énergie sur batterie qui a provoqué l'incendie.
Ouch, dans ce cas, il va probablement y avoir une bataille d'experts en assurance, entre l'assurance d'Adeli, celle de l'installateur, et celle du constructeur de l'onduleur. Pas simple...

Leon.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 29 mars 2023 à 18:47:42
Je fais un premier point avec les éléments connus.

Dans les points positifs : (qui ont permis de ne pas détruire les données des serveurs)
- Pompiers intervenus rapidement ;
- Énergie électrique éteinte rapidement. Cela peut paraitre simple, mais pour rappel dans l'incendie d'OVH Strasbourg, cela a été mission impossible de couper le courant. Les pompiers ont attendu sur place sans pouvoir intervenir à cause du 20 000 volts n'a été coupé que 1h15 après le début de l'incendie (Arcs électriques de plus d'un mettre autour de la porte du local énergie, flash impressionnants et bruit assourdissants). Les onduleurs de la salle énergie de SBG2 non impactée par l'incendie ont continué de fournir du courant pendant près de 3h après le début de l'incendie - jusqu'à leur destruction totale. cf Rapport d’enquête BEA-RI sur l’incendie du datacenter OVH de Strasbourg en 2021 (https://lafibre.info/ovh-datacenter/incendie-ovh-strabourg/msg954375/#msg954375) ;
- Les personnes sur place connaissaient bien les lieux et les équipements ;
- Grande place autour du datacenter pour les pompiers ;
- Réseau incendie fonctionnel pour alimenter en eau les pompiers ;
- Faible densité d'habitation autour du datacenter.

Dans les points négatifs :
- Pas de mur coupe-feu suffisant autour de la salle qui avait plusieurs tonnes de batteries pour les panneaux photovoltaïques ;
- Pas de clapets/registres aérauliques pour fermer hermétiquement les récupérations d'air chaud des serveurs qui servent à chauffer les bureaux (ce qui a fait rentrer la fumée et la chaleur dans la salle serveur) ;
- Mauvaise évaluation du danger des batteries utilisées.

Enfin, pour la remise en service du site, l'arrivée électrique du site, en face avant du datacenter, me semble ne pas avoir été impactée. Il serait donc possible de la réutiliser pour alimenter un conteneur provisoire.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 29 mars 2023 à 19:39:05
Je me demande si le nettoyage du matériel n'est pas une option possible ? (comme pour OVH)

(https://lafibre.info/images/ovh/202103_ovh_incendie_strasbourg_nettoyage_sbg1_2.jpg)
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: pju91 le 29 mars 2023 à 19:56:39
Le nettoyage n'est pas une option possible ?
Il faudrait que tu demandes à Octave ce que sont devenus les serveurs nettoyés 2 ans après.
Ca permettrait de mettre en perspective avec :
Nexeren interdit d'héberger dans leur DC du matos venant de maxnod, trop de risque.

En ce qui concerne :
Ouch, dans ce cas, il va probablement y avoir une bataille d'experts en assurance, entre l'assurance d'Adeli, celle de l'installateur, et celle du constructeur de l'onduleur. Pas simple...
Peut-être aussi en impliquant celui qui a validé l'ingéniérie de cette installation de batteries et en a mal estimé les risques ...

Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: mattmatt73 le 29 mars 2023 à 20:04:02
Nexeren interdit d'héberger dans leur DC du matos venant de maxnod, trop de risque.

Hostelyon a dit 15 jours ça doit être démonté ou ils coupent le jus.

Les machines venant de maxnod sont dans des baies les plus loins du reste, au cas où.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Hugues le 29 mars 2023 à 20:08:51
Et 15 jours c'est déja sympa...

Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: renaud07 le 29 mars 2023 à 20:20:41
Ça me parait aussi assez sévère cette restriction, comme si du matos qui n'a jamais pris de suies était à l'abri d'une défaillance.

Sans compter que c'est pas du matos à 100 balles, mais plutôt à 4 chiffres... vous avez une assurance d'ailleurs ?

 
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Nico le 29 mars 2023 à 20:26:55
Ça me parait aussi assez sévère cette restriction, comme si du matos qui n'a jamais pris de suies était à l'abri d'une défaillance.
C'est le contraire, ce matos présente un risque plus élevé de défaillance.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: mattmatt73 le 29 mars 2023 à 20:38:50
Et 15 jours c'est déja sympa...

Oui, il pourraient faire comme nexeren et ça serait compréhensible.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: renaud07 le 29 mars 2023 à 20:50:41
C'est le contraire, ce matos présente un risque plus élevé de défaillance.
On s'est mal compris.

Ce que je voulais dire c'est : est-ce que leur plus forte probabilité de défaillance, justifie leur mise à l'écart ? Pour moi pas forcément.

Ils peuvent très bien juste cesser de fonctionner sans pour autant déclencher un autre incendie ou je ne sais quoi. Si tous les PC et autres routeurs prenaient feu quand il y a un défaut il faudrait un peu plus s’inquiéter, mais pour l'immense majorité ce n'est pas le cas et heureusement.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Nico le 29 mars 2023 à 21:00:26
Là ce n'est pas juste un défaut, les photos sont "parlantes". Et j'imagine que ces DCs ne voudraient pas que leur assurance sorte une exclusion si qqch arrivant.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Hugues le 29 mars 2023 à 21:03:34
Si une alim de serveur se met a cramer et à faire de la fumée, déclenche l'alarme incendie et déclenche du gaz ou du brouillard d'eau, ça va être la cata

Quel intérêt pour un DC ?
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: renaud07 le 29 mars 2023 à 21:53:17
Là ce n'est pas juste un défaut, les photos sont "parlantes". Et j'imagine que ces DCs ne voudraient pas que leur assurance sorte une exclusion si qqch arrivant.

Ah ces assurances... toujours prêtes à chercher la petite bête pour ne pas rembourser.

Si une alim de serveur se met a cramer et à faire de la fumée, déclenche l'alarme incendie et déclenche du gaz ou du brouillard d'eau, ça va être la cata

Quel intérêt pour un DC ?

C'est sûr que si ça déclenche le système anti incendies ça serait pas génial. Après y'a peut-être d’autres solutions, comme isoler les machines avec une surveillance renforcée.

Ma femme a jeté mon jean sortant de la machine à laver qui revenait de Maxnod.
Imagines les serveurs qui ne sont pas passés à la machine à laver.

C'est si horrible que ça ? Pour les cartes électroniques, c'est bien plus facile que du textile qui imprègne les odeurs et les tâches.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: hwti le 29 mars 2023 à 21:53:53
Si une alim de serveur se met a cramer et à faire de la fumée, déclenche l'alarme incendie et déclenche du gaz ou du brouillard d'eau, ça va être la cata
Si les alims sont changées, il y a quand même beaucoup moins de risques avec le reste du serveur.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: kgersen le 29 mars 2023 à 23:27:09
Vue de mon monitoring:
(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_monitoring.webp)
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: lm2 le 29 mars 2023 à 23:30:43
jme demande : pas de FM200 chez maxnod? :o
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: pioup le 30 mars 2023 à 08:38:31
Légalement si les pompiers disent de ne pas entrer dans un datacenter encore fumant ça suppose que ce n'est pas assez sécurisé. Le souci viendrait vite de la DIRRECTE et des prud'hommes s'ils étaient saisis.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Hugues le 30 mars 2023 à 08:43:36
Pour le coup je pense qu'on a tous pris nos responsabilités (on était une petite dizaine de clients) à ce moment la.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: simon le 30 mars 2023 à 09:34:13
Si une alim de serveur se met a cramer et à faire de la fumée, déclenche l'alarme incendie et déclenche du gaz ou du brouillard d'eau, ça va être la cata

Je suppose que la peur suite à l'incident joue sur les réactions, mais un système incendie ne devrait pas ouvrir les sprinklers et noyer la salle pour une simple alim qui chauffe et fume.

Je serai étonné si un seul détecteur de fumée pouvait déclencher la suppression incendie. Il en faut d'habitude au minimum deux activés, et bien souvent, détection de fumée et chaleur (surtout dans les mileux électroniques où il y a souvent fumée sans grand risque d'incendie).
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Hugues le 30 mars 2023 à 09:35:42
"ne devrait pas" pourquoi ? un système VESDA laser analyse l'air justement...
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: simon le 30 mars 2023 à 09:37:38
Tu vas déclencher l'alarme sur particules d'air (donc fumées). Noyer la salle sur une seule détection est un gros risque, non?
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Hugues le 30 mars 2023 à 09:50:04
si ça se déclenche a 4h du matin avec personne sur site pour confirmer/infirmer, tu fais quoi ?
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 30 mars 2023 à 09:55:27
Vue de mon monitoring:

Avec les explications :
(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_monitoring2.webp)

Note : j'ai regardé les logs, c'est étonnant la coïncidence, on a 13h00 de down (et si on regarde au niveau des secondes, on est proche de 13h00:00)
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: simon le 30 mars 2023 à 10:03:44
Ca dépend en effet de ton personnel et de ta configuration, mais tu as plusieurs options :
1) tu déclenches l'alarme qui va réveiller la ou les personnes d'astreinte (un gros DC en a forcément une)
2) cette personne a un certain temps pour réagir. Elle peut couper l'alimentation des baies en question, inspecter la vidéo pour avoir une idée de ce qui se passe, etc.
3) si cette personne ne réagit pas ou si ses actions ne suffisent pas, il peut se passer plusieurs choses : a) un deuxième détecteur déclenche car le feu se propage, dans ce cas on libère l'agent d'extinction b) le détecteur qui a déclenché se désactive car le souci est résolu c) un timer expire et l'agent d'extinction est libéré, etc.

Il y a plein de cas possibles. Quand je bossais dans le DC il y a 10 ans, c'était quelque chose comme ca qu'ils faisaient, mais effectivement il y avait toujours une équipe d'astreinte sur place.

L'accent était mis sur la rapidité d'intervention et la résolution du problème en minimisant l'impact sur les opérations. L'arrêt électrique total d'une salle et/ou (pire) la décharge de l'agent d'extinction était certes moins grave qu'un incendie pur et dur, mais était vu par la direction comme quelque chose de très grave et à éviter à tout prix, à raison selon moi.

On parle de DC de ~5-10MW, je ne sais pas quelle taille a Maxnod et si il avait une équipe d'astreinte.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: AxelV le 30 mars 2023 à 10:12:20
  • Les batteries Lithium Fer Phosphate (LFP) quant à elles sont nettement plus stables et s'emballent très difficilement, même lorsqu'elles sont malmenées.

Sans préjuger de quelles batteries il s'agissait dans ce cas, il faut tordre le cou à ce mauvais stéréotype sur les LFP.
Certes, elles sont plus stable en utilisation normale. Mais en cas d'incident, ça reste des batteries avec énormément d'énergie stocké. Les mêmes précautions s'imposent qu'avec toutes les autres formulations.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 30 mars 2023 à 10:16:46
Maxnod est un petit datacenter (environ 60 baies), pas possible pour des datacenter de cette taille d'avoir une présence sur site H24.

2) cette personne a un certain temps pour réagir. Elle peut couper l'alimentation des baies en question, inspecter la vidéo pour avoir une idée de ce qui se passe, etc.
Ce que tu décris simon est proche de ce que faisait OVH.

En pleine nuit, le départ d'incendie de SBG2 à eu lieu à 0h35 (info de la vidéosurveillance). Quelques secondes plus tard, il y a l'alarme et 2 minutes plus tard une personne intervient dans la salle (c'est confirmé par la vidéosurveillance). C'est très rapide difficile d'imaginer plus rapide. Il n'a pas été possible de couper l'alimentation.

Déroulement de l’évènement

Le 10 mars 2021, à 00h35, une alarme se déclenche dans le PC sécurité du site OVH de Strasbourg. À 00h37, le gardien atteint la salle énergie 2 au rez-de-chaussée du bâtiment SBG2 et constate la présence d’une épaisse fumée noire. Le bâtiment est évacué à 00h39.

Le service d’incendie et de secours du Bas-Rhin est appelé par OVH à 00h42. Ils arrivent sur les lieux à 00h59.

[...]
Mais à 02h14, il y a toujours du courant dans le bâtiment 2, maintenant totalement embrasé, et une importante propagation vers le bâtiment 1 est constatée.

[...]
À partir de 03h28, il n’y a plus de courant sur le site.

Au moment où est prise la photo, le bâtiment a encore de l'énergie électrique :
(https://lafibre.info/images/ovh/202205_bea-ri_rapport_enquete_incendie_datacenter_ovh_strasbourg_08.webp)
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: simon le 30 mars 2023 à 10:24:49
Oui, le fait que l'arrivée électrique ne puisse pas être coupée à distance (même hors du bâtiment, par les pompiers) est probablement ce qui a coûté le plus cher à OVH. (off-topic, mais d'ailleurs, ils ont expliqué pourquoi c'était impossible ?)

Effectivement Maxnod est tout petit :) Dans ces cas là, peut-être qu'avec de la vidéosurveillance tu peux avoir une astreinte distante, à minima.
La mise hors tension peut se faire baie par baie avec des équipements standard, et si ce n'est pas possible, il vaut toujours mieux éteindre une rangée de racks plutôt que la totalité du DC.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: raph01 le 30 mars 2023 à 10:25:28
Avec les explications :
(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_monitoring2.webp)

Note : j'ai regardé les logs, c'est étonnant la coïncidence, on a 13h00 de down (et si on regarde au niveau des secondes, on est proche de 13h00:00)
S'ils pouvaient faire pareil pour ma connexion internet, je leur en serais reconnaissant  :o
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 30 mars 2023 à 10:31:15
Oui, le fait que l'arrivée électrique ne puisse pas être coupée à distance (même hors du bâtiment, par les pompiers) est probablement ce qui a coûté le plus cher à OVH. (off-topic, mais d'ailleurs, ils ont expliqué pourquoi c'était impossible ?)
Il y a un sujet complet : Rapport d’enquête du BEA-RI sur l’incendie du data center SBG2 OVH de Strasbourg du 10 mars 2021 (https://lafibre.info/ovh-datacenter/incendie-ovh-strabourg/).

Le 20 000 volts arrive pour l'ensemble du site de Strasbourg directement au rez-de-chaussé de SBG2, sans autre point de coupure à l'extérieur du bâtiment. L'intervention des techniciens a été rapide, mais il n'était pas possible d'éteindre l'incendie avec des extincteurs. Si la coupure du 20 000 vols était possible à ce moment-là, je ne pense pas que le personnel avait la procédure (où les compétences ?) pour le faire immédiatement. Après, c'était trop tard et la solution a été de couper au niveau du départ des lignes 20 000 volts, mais cela a pris du temps, car Électricité de Strasbourg s'est en premier déplacé sur le site d'OVH pour tenter de couper le 20 000 volt.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Optix le 30 mars 2023 à 10:37:36
Le communiqué posté il y a une heure.

(https://lafibre.info/images/adeli/202302_maxnod_incendie_communication_30mars2023.webp)
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: fabtra31 le 30 mars 2023 à 11:00:01
Force a eux, ca doit etre un gros coup dur... J'ai eu ca chez un client l'autre jour, c'est compliqué....
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: raphaelp le 30 mars 2023 à 11:00:58
On croise les doigts et on espere bientot récupérer notre connectivité...
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Hugues le 30 mars 2023 à 11:01:16
On croise les doigts et on espere bientot récupérer notre connectivité...
Ça ne devrait plus tarder maintenant
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: raph01 le 30 mars 2023 à 11:50:13
Aucun délai annoncé pour l'instant suite à la première communication, c'est pas rassurant sur la probabilité d'une résolution rapide ...
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 30 mars 2023 à 12:02:22
Nouvelle communication :
(https://lafibre.info/images/adeli/202302_maxnod_incendie_communication_30mars2023_2.webp)
Source : Facebook (https://www.facebook.com/maxnodbyadeli/)
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Hugues le 30 mars 2023 à 12:31:04
Aucun délai annoncé pour l'instant suite à la première communication, c'est pas rassurant sur la probabilité d'une résolution rapide ...
Sur le réseau ça devrait le faire
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: ppn_sd le 30 mars 2023 à 12:38:40
Etonnant quand même qu'il n'y ait même pas une page web secours/maintenance pour maxnod.com
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: raph01 le 30 mars 2023 à 12:56:30
Retour de la partie réseau fibre ce soir d'après les dernières communications sur Facebook  :o
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: lekoala82 le 30 mars 2023 à 13:02:18
Bonjour,
je suis triste de savoir que le forum " La fibre Info " à eu très chaud hier .
au boulot, nous avons connu la même chose car le site internet était chez OVH . Là, pas sauvegardes !! de la veille ! c'était le boulot du service informatique chez nous. sans commentaires !
ce que je trouve étrange , c'est que je n'ai rien vu sur France 3.

Bon courage à tous !
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 30 mars 2023 à 13:04:42
(https://lafibre.info/images/adeli/202302_maxnod_incendie_communication_30mars2023_3.webp)
Source : Facebook (https://www.facebook.com/maxnodbyadeli/)
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Hugues le 30 mars 2023 à 16:50:01
Concernant ça :
Nexeren interdit d'héberger dans leur DC du matos venant de maxnod, trop de risque.

Nexeren m'indique ceci :

NEXEREN n’interdit pas d’héberger dans ses locaux des équipements provenant du datacenter MAXNOD. Néanmoins, afin de ne faire courir aucun risque à nos centres d’hébergements nous imposons un protocole d’intégration assez strict pour ces équipements :
-          Nettoyage par une société spécialisée dans le domaine et qui opère actuellement dans nos locaux.
-          Démarrages et tests en extérieur des équipements.
-          Vérification par nos équipes avant installation en rack.
 
N’hésitez pas à nous contacter pour tout renseignement complémentaire : www.nexeren.com

C'est là que Netsyst (et donc milkywan + lafibre par extension) va mettre ses nouveaux équipements (pas de réutilisation chez nous, trop de risques), si des clients maxnod ont besoin de remonter leur prod assez vite, c'est un bon choix (et un dc vraiment certifié)
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 31 mars 2023 à 13:05:40
Nouvelle communication :
(https://lafibre.info/images/adeli/202302_maxnod_incendie_communication_31mars2023.webp)
Source : Facebook (https://www.facebook.com/maxnodbyadeli/)
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: willemijns le 31 mars 2023 à 16:57:13
Peut-être, demander à Octave la procédure de nettoyage des serveurs  ;D  ovh commence à avoir des compétences là-dessus. 8)

je "suie" dubitatif sur cette taquinade ^^
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: mattmatt73 le 31 mars 2023 à 16:58:21
je "suie" dubitatif sur cette taquinade ^^

alors ça, j'approuve !
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Tutévukantabu le 31 mars 2023 à 17:23:24
Mon Dieu c'est impressionnant !!! Comme vou avez dû en baver pour maîtriser le sinistre et tenter de récupérer un max de serveurs à peu près préservés !... Où en sont les événements aujourd'hui ?
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Hugues le 31 mars 2023 à 17:28:48
Coté Maxnod je n'ai pas plus d'infos.

Coté Netsyst, le nouveau matériel est racké à Nexeren et les clients sont en cours de migration, on prévoit d'avoir fini ce soir ou demain
Coté MilkyWan le nouveau matériel est commandé, le déplacement de la collecte SIEA aussi, les U réservés à Nexeren.

Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Leon le 31 mars 2023 à 22:29:09
Coté Netsyst, le nouveau matériel est racké à Nexeren et les clients sont en cours de migration, on prévoit d'avoir fini ce soir ou demain
Si ça n'est pas indiscret, vous procédez comment? Comme pour le serveur Lafibre.info? En mettant les ancien disques durs sur des serveurs "neufs"?
Ou alors vous transférez les données?

Leon.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Hugues le 31 mars 2023 à 22:33:49
Oui, les disques sont visuellement peu affectés (SSD avec enveloppe métal) donc on les réutilise le temps de recevoir les
nouceaux

Cependant les données sont effacées : le PRA ayant été mis en place, la version des données sur les disques n'est plus la bonne.

Tous les disques vont cependant être changés préventivement dans les prochaines semaines, la fiabilité d'un SSD ayant subi un incendie étant trop incertaine,, mais entre un serveur vide et un serveur plein de disques, le prix varie du simple au double
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Paul le 31 mars 2023 à 23:09:21
Et sait-on ce qu'il adviendra du bâtiment ? Est-ce envisageable de le réhabiliter ou Maxnod se déplace définitivement dans un DC existant ?
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Hugues le 31 mars 2023 à 23:19:33
Rien n'est décidé a ce stade
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Nico le 31 mars 2023 à 23:29:58
Et sait-on ce qu'il adviendra du bâtiment ? Est-ce envisageable de le réhabiliter ou Maxnod se déplace définitivement dans un DC existant ?
Les photos me semble pas très encourageantes sur la poursuites des activités là-bas ou tout du moins sans tout reconstruire.

Par contre ce serait plutôt Adeli qui se déplace dans un DC existant que Maxnod. (c'est déjà en partie fait d'ailleurs si les clients FTTH ont une partie des services qui sont remontés)
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: mattmatt73 le 31 mars 2023 à 23:31:12
Et sait-on ce qu'il adviendra du bâtiment ? Est-ce envisageable de le réhabiliter ou Maxnod se déplace définitivement dans un DC existant ?

Le bâtiment a fondu en partie.
C'était impressionnant de sentir le métal brûlé.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: lm2 le 01 avril 2023 à 15:02:17
la question du jour :
au vu des deux incendies d'ovh, de celui de maxnod : pourquoi à ce jour, ne pas imposer aux datacenters d'entreposer leur équipements de batteries sur des sites éloignés de plusieurs dizaines de mètres, pour les DC actuels et ceux à venir?
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: underground78 le 01 avril 2023 à 15:34:48
au vu des deux incendies d'ovh, de celui de maxnod : pourquoi à ce jour, ne pas imposer aux datacenters d'entreposer leur équipements de batteries sur des sites éloignés de plusieurs dizaines de mètres, pour les DC actuels et ceux à venir?
Parce que ça serait très difficile à respecter pour de nombreux sites qui n'ont pas été conçus de cette façon à l'origine ?
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: renaud07 le 01 avril 2023 à 15:40:18
C'est ce que j'allais dire, faut qu'il y est la place. Si le datacenter n'a pas un gros terrain autour...
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: ldrevon le 01 avril 2023 à 17:48:56
Bonjour à tous et merci aux nombreux messages de soutien et d'aide.

Pour information, effectivement le prochain bâtiment sera séparé de l'alimentation, batteries et autres sources d'énergie de forte puissance.
On fera mieux la prochaine fois.
Malheureusement, je ne pourrai pas être très présent sur ce forum, mais on fournira les détails, et j'espère que cela fera avancer les règles de construction des futurs DC.

 
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 01 avril 2023 à 21:10:14
Bon courage Lionel pour les travaux.

Cela doit faire mal de voir disparaitre un site où tu as investi tant d'années de ta vie avec des solutions maison sur le refroidissement qui étaient clairement en avance sur leur temps.


au vu des deux incendies d'ovh, de celui de maxnod : pourquoi à ce jour, ne pas imposer aux datacenters d'entreposer leur équipements de batteries sur des sites éloignés de plusieurs dizaines de mètres, pour les DC actuels et ceux à venir?

Pour un datcenter en pleine ville, la place peut être problématique, donc pas d'obligation (et il y a des alternatives avec des solutions coupe-feu performantes pour qu'un feu de batterie ou d'onduleur ne sorte pas de la zone de confinement).

Maintenant, c'est peut-être trop tôt pour les annonces, mais certains acteurs sortent les batteries dans un local extérieur avec un espace de deux mètres entre le datacenter et le bâtiment batterie. L'incendie d'OVH a montré que les onduleurs pouvaient aussi être un risque et certains sortent les onduleurs du datacenter. Il y a plusieurs solutions pour sortir les batteries / onduleurs : bâtiment en dur, conteneur maritime,...


Le 10 mars 2021, a 0h35, départ de feu sur un onduleur de la salle d’énergie n°2 de SBG2 (source : image extraite de la vidéosurveillance OVH, publiée par le BEA-RI)
(https://lafibre.info/images/ovh/202205_bea-ri_rapport_enquete_incendie_datacenter_ovh_strasbourg_05.webp)
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 01 avril 2023 à 21:46:59
Pour rappel, le risque n'est pas que dans les datacenter...

https://lafibre.info/videos/energie/202301_trottinette_electrique_batterie_prend_feu.mp4

https://lafibre.info/videos/energie/201803_batterie_ordinateur_portable_explose.webm
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 01 avril 2023 à 21:54:05
Comment éviter que les batteries prennent feu ?

(https://lafibre.info/images/environnement/202304_batterie_tesla_en_feu_australie.jpg)
Une batterie stationnaire Tesla en feu en Australie / Image : Fire Rescue Victoria

Électrification des usages et déploiement massif de l’éolien et du solaire : notre transition énergétique va nous demander des capacités de stockage à un niveau jamais atteint jusqu’ici. Du stockage par batteries, entre autres. Mais stocker de l’électricité dans des batteries n’est pas tout à fait sans risque. L’incendie survenu à Rouen en janvier dernier nous l’a une fois de plus rappelé. Arnaud Delaille, directeur des technologies et de l’innovation et cofondateur de PowerUp, nous explique.

En janvier dernier, un entrepôt de l’entreprise Bolloré Logistics partait en fumée du côté de Rouen. Une batterie lithium-ion a pris feu dans un bâtiment où elles étaient quelque 12 000 à être stockées. Rappelant à nos esprits le risque d’incendie lié à la technologie. Un risque d’autant plus présent que le marché des batteries connaît une croissance fulgurante.

Des batteries, il y en a de plus en plus. Dans nos smartphones ou nos ordinateurs portables. Mais aussi dans nos voitures, nos bus ou nos trottinettes. « Pour fixer les idées, on peut dire que la mobilité électrique concentrera près de 90 % du marché des batteries au lithium à horizon 2030 », nous précise Arnaud Delaille, directeur des technologies et de l’innovation de PowerUp, une start-up issue du CEA. « Et qu’un peu moins de 10 % des batteries serviront, à ce même horizon, à des applications stationnaires. »

Des applications de type support au réseau, en particulier dans le cadre du déploiement des énergies renouvelables aléatoires que sont le solaire et l’éolien. Les deux segments sont encore appelés à se développer. La capacité de stockage par batterie au lithium à l’échelle mondiale pourrait ainsi dépasser les 3,5 TWh en 2030.

L’autre problème, c’est que lorsque ces batteries prennent feu, l’incendie est difficile à maîtriser. « Le CEA travaille notamment sur la question en étroite collaboration avec les pompiers », nous raconte Arnaud Delaille. Objectif : identifier les meilleures stratégies de lutte. On sait que pour étouffer un feu — le mot n’est pas choisi par hasard —, l’une des solutions est de le priver d’oxygène.

« L’ennui, c’est que lorsque l’électrolyte au cœur de la batterie se décompose, il génère de l’oxygène. Le feu s’autoentretient. Ce processus se poursuit jusqu’à ce que l’électrolyte soit totalement décomposé. » Le plus efficace resterait donc de l’attaquer à l’eau, pour faire baisser la température. Car nous le verrons plus loin, la température constitue ici un paramètre critique. « Pour être totalement efficace, il faudrait pouvoir immerger le pack de batterie pendant un jour ou deux. Ce n’est pas toujours réalisable. »

Prévenir le risque d’incendie de batterie

De quoi donner encore plus d’importance au travail des ingénieurs qui développent des solutions pour prévenir le risque incendie. Pour sécuriser à long terme le stockage d’énergie par batteries. « Il ne faut pas se leurrer, aucune batterie lithium-ion n’est garantie contre l’emballement thermique », souligne Arnaud Delaille. Dans cette phrase, plusieurs points méritent qu’on s’y arrête un peu.

Pour rappeler d’abord qu’en matière de batteries, la technologie « lithium-ion » est aujourd’hui la plus répandue sur le marché. Pour préciser ensuite ce que les experts entendent par emballement thermique. Vous l’aurez peut-être deviné, c’est par ce processus qu’une batterie brûle. Voire explose. Lorsque la batterie surchauffe ou surcharge, lorsqu’elle est victime d’un défaut de construction ou de dommages mécaniques, par exemple, son électrolyte se décompose en des gaz hautement inflammables.

Des travaux de R&D tentent de résoudre le problème. En proposant de nouveaux matériaux pour les électrodes des batteries, pour certains. « Mais toutes les batteries lithium-ion s’emballent. À des degrés et à des vitesses qui diffèrent simplement en fonction des matériaux employés pour les électrodes, par exemple, ou encore l’électrolyte, qui reste la vraie source du problème », nous assure le cofondateur de PowerUp. C’est du reste la raison pour laquelle des travaux de recherche tentent activement à remplacer les électrolytes actuels liquides par des électrolytes solides, dans les batteries dites « tout solides ».

La plupart des développements restent encore confinés dans des laboratoires. La plus connue, c’est la batterie solide d’ores et déjà proposée par Blue Solutions. « L’inconvénient, c’est que cette technologie fonctionne actuellement à partir de 80 °C. Les efforts se concentrent donc sur le fait de permettre son fonctionnement sans ce besoin de maintien en température. Par ailleurs, tout risque de feu ne sera pas réglé pour autant, cette technologie reposant sur l’utilisation de lithium métal à l’électrode négative, matériaux lui-même hautement inflammable. »

« Ces propos ne se veulent pas alarmistes pour autant, et ne doivent donc pas faire peur à ceux qui voudraient passer au véhicule électrique. Parce que les avantages sont nombreux. Et parce que de plus en plus de dispositifs permettent de prévenir les incendies de batteries », note Arnaud Delaille. Voyons donc de plus près de quoi il retourne.

Éviter l’emballement thermique dans la batterie

Il existe en premier lieu des systèmes de protection internes aux cellules unitaires, constitutives des batteries. « Toutefois, lorsqu’ils se mettent en marche, il est déjà trop tard pour la cellule. Ils permettent tout juste de prévenir le feu et de limiter les dégâts à l’extérieur. ». Il y a ensuite le fameux BMS, le Battery Management System. Une carte électronique qui gère la charge des cellules et vérifie certains paramètres de fonctionnement. De quoi couper le système en cas de problème, avant le début de l’emballement.

Mais le BMS, malheureusement, ne peut pas tout résoudre. « Il peut être défaillant. C’est ce qui est généralement diagnostiqué sur des feux d’hoverboard ou de trottinettes. Lorsque la batterie vieillit, il peut aussi se créer des courts-circuits internes — par les fameuses dendrites dont on a déjà entendu parler — face auxquels le BMS est impuissant, puisqu’en dehors de son pouvoir de coupure. De même, sur des batteries composées de multitudes de cellules mises en série — on atteint à titre d’exemple plusieurs centaines de volts pour les batteries stationnaires constituées de cellules qui ne fournissent chacune pas plus de 3 à 4 V —, le BMS peine à pointer des surcharges localisées qui peuvent pourtant conduire à l’emballement thermique », nous explique Arnaud Delaille.

C’est pourquoi de nouvelles solutions sont aujourd’hui développées. Parmi lesquelles, celle de PowerUp. L’idée : collecter et analyser les données — la tension, le courant et la température — issues des batteries en fonctionnement pour y déceler les signes avant-coureurs de l’emballement. « Nous avons travaillé rétrospectivement, par exemple, sur des données fournies par un opérateur de batterie après la défaillance d’un module sur les 3 000 qui composaient un conteneur de batteries. Notre système aurait pu émettre une alerte neuf mois avant que le BMS identifie le problème. Il aurait permis, non pas d’éviter un incendie — parce qu’il n’y a pas eu d’incendie, le BMS ayant joué son rôle —, mais de réduire la nuisance. Il a fallu à l’opérateur environ deux mois — comprenant le temps de commande, d’approvisionnement et de remplacement — pour relancer la partie inopérante de sa batterie. Notre solution aurait pu permettre d’éviter la coupure de service », nous raconte Arnaud Delaille.

Les signes précurseurs à l’emballement ne peuvent toutefois pas toujours être détectés de manière aussi précoce. « Cela dépend des usages », souligne le cofondateur de PowerUp. « Dans le cas d’un bus électrique, par exemple, le diagnostic peut se faire non pas plusieurs mois, mais plusieurs semaines avant la mise à l’arrêt forcée par le BMS. De quoi, tout de même planifier la maintenance et remplacer la batterie avant qu’arrive le pire. »


Source: Révolution Énergétique (https://www.revolution-energetique.com/comment-eviter-que-les-batteries-prennent-feu/), le 1er avril 2023 par Nathalie MAYER
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: lm2 le 01 avril 2023 à 22:31:43
C'est ce que j'allais dire, faut qu'il y est la place. Si le datacenter n'a pas un gros terrain autour...

pour les datacenters en agglo, je comprends, bien que leurs gérants et propriétaires doivent bien mal dormir si ca leur arrivait.. c'est un peu leur hantise quelque part?
si c'est arrivé aux uns..

pour le datacenter de maxnod, sur les photos récemment publiées on distingue que c'est en périphérie, avec un champ assez large autour..
quant à ovh, le second incendie avait eu lieu sur un site annexe si je me trompe pas?


(je critique pas, je m'interroge simplement)

dans un local extérieur avec un espace de deux mètres entre le datacenter et le bâtiment batterie.

cela doit faire tousser klaba, ceci dit amha en voyant la fournaise qu'a été ovh, j'aurais mis un zéro derrière ce chiffre : 2m seraient ils vraiment suffisants?
en tout cas vu la fournaise je pense que c'est une honorable précaution.

Pour rappel, le risque n'est pas que dans les datacenter...
impressionnant.. sources?
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: caaptusss le 01 avril 2023 à 22:55:36
Sur les plans de notre futur datacenter, on a mis 10 Mètres entre les bâtiments, et le local énergie sera composé uniquement de murs bétons coffrés, pleins et armés. Et évidemment, comme on est en conception N+N, il y aura 2 locaux, de part et d'autre du bâtiment principal.
La difficultés est de dimensionner la taille de ces locaux pour les futurs besoins. Le PV n'est arrivé qu'il n'y a que quelques années, et jamais on aurait envisagé de mettre autant de batteries en plus des onduleurs pour tenter d'avoir une autonomie quasi totale.

Cela rajoute des couts non négligeable dans la construction, avec du plancher en plus, des réseaux forte puissance en plus sur des distances relativement longue, tout ça est loin d'être négligeable en terme de pertes et de chute de tension. Bref, il faut toujours trouver le juste équilibre entre sécurité et efficacité.

Pour notre DC de Marly, on est en zone urbaine, j'ai potentiellement un peu de terrain autour (parking) pour y construire ce type d'annexe dédié à l'énergie, mais là pour le coup, le gain en matière de sécurité n'est pas assez élevé (vu la puissance en jeu) pour que ça en vaille le coup. Je suppose que ça commence à être pertinent au dessus de 1000 M² de salle technique, donc au moins 2-300 baies, à minima.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: mattmatt73 le 02 avril 2023 à 00:01:27
Sur les plans de notre futur datacenter, on a mis 10 Mètres entre les bâtiments, et le local énergie sera composé uniquement de murs bétons coffrés, pleins et armés. Et évidemment, comme on est en conception N+N, il y aura 2 locaux, de part et d'autre du bâtiment principal.
La difficultés est de dimensionner la taille de ces locaux pour les futurs besoins. Le PV n'est arrivé qu'il n'y a que quelques années, et jamais on aurait envisagé de mettre autant de batteries en plus des onduleurs pour tenter d'avoir une autonomie quasi totale.

Cela rajoute des couts non négligeable dans la construction, avec du plancher en plus, des réseaux forte puissance en plus sur des distances relativement longue, tout ça est loin d'être négligeable en terme de pertes et de chute de tension. Bref, il faut toujours trouver le juste équilibre entre sécurité et efficacité.

Pour notre DC de Marly, on est en zone urbaine, j'ai potentiellement un peu de terrain autour (parking) pour y construire ce type d'annexe dédié à l'énergie, mais là pour le coup, le gain en matière de sécurité n'est pas assez élevé (vu la puissance en jeu) pour que ça en vaille le coup. Je suppose que ça commence à être pertinent au dessus de 1000 M² de salle technique, donc au moins 2-300 baies, à minima.

Vaste question !

Sans trahir de secret : la plupart des DC ont un niet de leurs assureurs pour PV et batteries associées.

Tu veux séparer l'énergie du DC ? sage décision. Ca devrait devenir la base en France.

L'idée de Maxnod était bonne, et sera surrement utilisée par la suite.

Mais les 3 tonnes et quelques de batteries à côté des serveurs n'étaient pas possible.

On était beaucoup à s'étonner de cette installation. Les faits, hélas, ont posé l'eglise au centre du village.

Je ne t'aime pas pour diverses raisons, mais je ne te souhaite pas d'être dans la situation de Maxnod, mardi soir, à sentir la suie et le métal fondue.

Fais ce qu'il faut pour que ça n'arrive plus en France.

Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 02 avril 2023 à 09:13:47
impressionnant.. sources?
+ d'info dans le sujet Batteries et risque d'emballement thermique / incendie (https://lafibre.info/numerique-responsable/nayez-pas-peur-preservez-lenvironnement/) d'où sont extraits ces vidéos.
À noter que dans une partie des cas, c'est du matériel défectueux (batterie ou chargeur).
On a peut-être 1 milliard d'équipements sur batteries en France, cela reste relativement rare et quand un bus électrique prend feu, cela passe directement au 20h.

en voyant la fournaise qu'a été ovh, j'aurais mis un zéro derrière ce chiffre : 2m seraient ils vraiment suffisants?
Cela a bien brulé à OVH, car les pompiers n'ont pas pu intervenir faute de pouvoir couper le 20 000 volt.

2 mètres avec les pompiers qui arrosent le mur du DC, je ne vois pas comment cela pourrait se transmettre.

https://lafibre.info/videos/datacenter/202103_incendie_ovh_strasbourg_4.webm
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Tick le 02 avril 2023 à 15:18:36
J'y connais pas grand chose en usage de batterie dans les datacenters, et encore moins en gestion d'énergie.
Mais est-ce bien utile d'avoir des batteries ? N'est-ce pas plus acceptable d'avoir une coupure de courant tous les 5ans, avec un petit risque d'avoir une barrette de ram ou un DD qui crame, plutôt que de stocker des tonnes de batteries qui peuvent prendre feu, qui ont 99% de chance de servir à rien, qui doivent être régulièrement changées, avec les conséquences écologiques qui vont avec.
Quand on est une banque je dis pas, mais qu'on veuille toute cette redondance derrière, pour héberger des sites de bibliothèques, la facturation d'une TPE, des forums, et des serveurs minecraft (je caricature un peu  ;D ), est-ce pas un peu overkill ?
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 02 avril 2023 à 15:36:37
Les coupures de courant peuvent casser pas mal de choses sur un serveur, c'est vraiment à éviter et il n'est pas acceptable d'avoir une coupure de courant, même tous les 10 ans.

Les groupes électrogènes mettant une poignée de dizaines de secondes à démarrer, il faut un secours.

Cela peut être un volant d'inertie, mais cela a plusieurs problèmes. Les batteries sont aujourd'hui la solution privilégiée.

Les incidents existent, mais sont quand même rares. Difficile de parler de Maxnod, on ne sait pas ce qu'il s'est passé, mais coté OVH SBG2, c'est à priori l'onduleur qui a fait n'importe-quoi et qui déclenché un incendie sur les batteries.

Les problèmes sur les batteries ne se terminent heureusement pas toujours pas un incendie du bâtiment :


DC3 - Feu de batterie sur la chaine A (Onduleur A1, sur 5 disponibles) lors d'une maintenance annuelle planifiée.
Maitrisé, le désenfumage du local est en cours puis évaluation des dégâts.
Tous les onduleurs de la chaine sont en fonctionnement normal, pas d'impact

La vidéo :

https://lafibre.info/videos/datacenter/201909_scaleway_dc3_feu_batterie.mp4

Sinon, je suis contre, utiliser des batteries pour stocker l'énergie solaire photovoltaïque.

L'injection du surplus non consommé sur le réseau me semble préférable.

Avoir un grand réseau est un avantage, cela permet la réduction des fluctuations temporelles, de l'intermittence et de la variabilité de la production d'énergie par la multiplication de sources éloignées, et c'est appelé "effet de foisonnement".


Une nouvelle ligne électrique RTE de 400 km de long entre la France et l'Espagne sera mise en service en 2027 pour doubler les capacités d'interconnexion

La ligne sera essentiellement sous-marine, entre un poste RTE à proximité de Bordeaux et un poste en Espagne à proximité de Bilbao

https://lafibre.info/videos/energie/202208_rte_nouvelle_ligne_electrique_entre_la_france_et_espagne_en_2027.webm
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Steph le 02 avril 2023 à 16:21:56
Sinon, je suis contre, utiliser des batteries pour stocker l'énergie solaire photovoltaïque.

L'injection du surplus non consommé sur le réseau me semble préférable.
Avec la difficulté de stabilité du réseau si cela se généralise trop.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 02 avril 2023 à 16:34:08
C'est pour cela qu'il faut toujours garder une part importante de la production d'électricité dans des énergies où la production est prévisible.

Vouloir n'avoir que du photovoltaïque, solaire est une utopie, sauf le pays dispose de pas mal d'hydraulique.

Le meilleur moyen de stocker l'énergie, c'est :
- produire de l'Hydrogène uniquement quand on a trop d'électricité ;
- stockage d'énergie par pompage ou STEP (remonter de l'eau).
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: pju91 le 02 avril 2023 à 17:05:50
C'est pour cela qu'il faut toujours garder une part importante de la production d'électricité dans des énergies où la production est prévisible.
J'aurais écrit "pilotable" plutôt que prévisible, mais pilotable est un gros mot pour certains car ça veut dire nucléaire ou énergie fossile.
Vouloir n'avoir que du photovoltaïque, solaire est une utopie, sauf le pays dispose de pas mal d'hydraulique.
Sans compter le fait que la max de production du PV, c'est en été quand on en a le moins besoin ...
Le meilleur moyen de stocker l'énergie, c'est :
- produire de l'Hydrogène uniquement quand on a trop d'électricité ;
- stockage d'énergie par pompage ou STEP (remonter de l'eau).
A condition que cet hydrogène soit issu de l'eau et pas du pétrole ...
(attention, on va finir dans la rubrique bistro)
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 02 avril 2023 à 17:18:18
Je trouvais que pilotable n'est pas forcément adapté au nucléaire : on n'est pas en mesure de suivre la consommation avec du nucléaire, c'est lent à monter en puisse ou à réduire la puissance produite.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: ericse le 02 avril 2023 à 17:23:41
Vouloir n'avoir que du photovoltaïque, solaire est une utopie, sauf le pays dispose de pas mal d'hydraulique.
Oui, on peut toujours essayer de combiner éolien, solaire, hydraulique (en comptant sur un relais entre ces sources non-pilotables) avec du stockage (malgré son très faible rendement), mais à terme il faudra aussi jouer avec l'effacement de consommation, l'éléphant que personne ne veut voir dans la pièce.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 02 avril 2023 à 17:30:28
L'hydraulique est pilotable, c'est l'instrument idéal pour adapter la consommation à la production.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Flo_77 le 02 avril 2023 à 17:50:44
Bonjour à tous, en premier un petit mot de soutien pour les équipes de Maxnod... En particulier à Lionel

Ce qui est plutôt inquiétant c'est la prolifération du stockage des productions intermittentes, face au coût de l'électricité industrielle qui augmente. Factuellement ça risque de devenir un risque de plus en plus présent si tout le monde (industriels, particuliers, communes...) se met à stocker des accus. Je ne jette pas la pierre, il faut bien se fournir en électricité (et d'ailleurs c'est très innovant de le faire en DC)

Mais le message de Vivien  (https://lafibre.info/maxnod/28032023-incendie-dans-le-datacenter-maxnod/msg1010040/#msg1010040) est intéressant : allant des gadgets mobiles, voitures électriques, bus, au stockage massif d'énergie, ces batteries utilisent des chimies à haute densité.
La réaction avec l'eau amplifie le phénomène de combustion. Si j'ai bien compris, il n'y a pas vraiment moyen de l'éteindre avant que toute la matière ne soit consumée?

J'ai souvenir du bus électrique qui avait pris feu en plein rue, il y a pile un an : on peut voir que les jets d'étincelles sont assez puissants (et probablement assez haut en température). Il faut donc une bonne solution coupe-feu si c'est situé dans un local...
(vidéo) https://twitter.com/i/status/1510987394232823818


Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: ericse le 02 avril 2023 à 18:10:15
L'hydraulique est pilotable, c'est l'instrument idéal pour adapter la consommation à la production.
Que partiellement, en France seule la moitié de la capacité hydro-électrique est pilotable (beaucoup de centrales sont au fil de l'eau), il faudrait 2 fois plus de lacs et barrages pour équilibrer le solaire et l'éolien actuels (et c'est une estimation annuelle sans compter sur la saisonnalité).
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: pju91 le 02 avril 2023 à 18:24:34
La réaction avec l'eau amplifie le phénomène de combustion. Si j'ai bien compris, il n'y a pas vraiment moyen de l'éteindre avant que toute la matière ne soit consumée?
Certes, mais lorsqu'il n'y a pas d'autres possibilités, il faut quand même limiter l'emballement thermique par tout moyen, y compris l'eau.
Voir par exemple le cas des avions, étudié lors de ce symposium (https://www.ecologie.gouv.fr/sites/default/files/Synthese_sympo_2020_DSAC.pdf) de la DSAC (https://www.ecologie.gouv.fr/securite-aerienne#scroll-nav__1). Il existe aussi des sacs de confinement, utilisé par exemple dans ce cas (https://www.visa-algerie.com/avion-la-batterie-dun-passager-prend-feu-en-plein-vol/).
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 02 avril 2023 à 20:51:48
Je rappelle que les batteries ont déjà causé la destruction de nombreux avions.

Aujourd'hui le transport de voyageurs avec des centaines de Kg de batteries en soute est interdit, le risque est trop grand.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: abermingham le 03 avril 2023 à 13:30:09
la question du jour :
au vu des deux incendies d'ovh, de celui de maxnod : pourquoi à ce jour, ne pas imposer aux datacenters d'entreposer leur équipements de batteries sur des sites éloignés de plusieurs dizaines de mètres, pour les DC actuels et ceux à venir?

Imposer imposer ... la règlementation existe déjà depuis 23 ans !
Un local batterie c'est coupe-feu deux heures, murs et planchers, tous les matériaux M0 incombustibles / in-inflammable + dés-enfumage + voie à l'échelle
Les conséquences d'un sinistre batterie (ce qui n'est PAS rare, c'est déjà arrivé chez nous, chez Data4 et plein d'autres DC) n'ont rien à voir si la loi est respectée.

https://aida.ineris.fr/reglementation/arrete-290500-relatif-prescriptions-generales-applicables-installations-classees

Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: pju91 le 03 avril 2023 à 14:24:50
Un local batterie c'est coupe-feu deux heures, murs et planchers, tous les matériaux M0 incombustibles / in-inflammable + dés-enfumage + voie à l'échelle
J'écrivais :
En ce qui concerne :
Ouch, dans ce cas, il va probablement y avoir une bataille d'experts en assurance, entre l'assurance d'Adeli, celle de l'installateur, et celle du constructeur de l'onduleur. Pas simple...
Peut-être aussi en impliquant celui qui a validé l'ingéniérie de cette installation de batteries et en a mal estimé les risques ...
Ca va être un sujet intéressant si la réglementation n'a pas été respectée ...
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: fansat70 le 03 avril 2023 à 15:25:11
J'écrivais : Peut-être aussi en impliquant celui qui a validé l'ingéniérie de cette installation de batteries et en a mal estimé les risques ...

Ca va être un sujet intéressant si la réglementation n'a pas été respectée ...
Si la réglementation n'a pas été respectée, la messe est dite. Mais il est probable que cette dernière a été respectée, mais n'est vraisemblablement ni adaptée ni insuffisante, ne pouvant prévoir tous les cas plus ou moins foireux que seuls les experts arrivent à dépatouiller (et encore!).
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: olppp le 04 avril 2023 à 18:27:14
La réglementation n'est peut-être plus adaptée. Je ne connais pas précisément son age mais elle visait sûrement l'utilisation de batterie "plomb". Une mise à jour à l'ère du lithium serait bienvenue ?
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 04 avril 2023 à 19:04:13
La réglementation n'était pas respectée pour OVH SBG2 (c'était coupe-feu 1h).

Il n'y a pas encore de rapport pour le Maxnod, mais la durée de l'incendie laisse penser que le coupe-feu autour du local batterie pour le photovoltaïque était inférieur à 2h.

Je cite le rapport du BEA-RI sur l'incendie OVH SBG2 :

Nous rappellerons enfin que si le datacenter n’est pas soumis dans sa globalité à la réglementation des ICPE, certaines de ces parties peuvent y être soumises au-delà d’un certain seuil : les groupes électrogènes, les stockages d’hydrocarbures, les groupes de production de froid, les locaux de charges de batteries.
Dans le cas de SBG2, les locaux de charges de batteries, compte-tenu des quantités de batteries présentes, auraient dû respecter des objectifs de tenue et de résistance au feu.
Il est néanmoins difficile de dire quel impact auraient eu des locaux de charge de batteries conformes à la réglementation dans l’incendie de Strasbourg compte tenu par ailleurs du départ de feu quasi simultané dans la salle des onduleurs, salle qui n’est pas explicitement visée par la réglementation ICPE.

Le rapport donne aussi deux informations en note de bas de page :

SBG2 abritait 800 batteries de 30kg d’une puissance unitaire de 13kW.

L’arrêté du 29/05/00 relatif aux prescriptions générales applicables aux installations classées soumises à déclaration sous la rubrique n° 2925 en tant qu’ateliers de charge prévoit au point 2.4.1. :
Les locaux abritant l'installation doivent présenter les caractéristiques de réaction et de résistance au feu minimales suivantes :
- murs et planchers hauts coupe-feu de degré 2 heures
- couverture incombustible,
- portes intérieures coupe-feu de degré 1/2 heure et munies d'un ferme-porte ou d'un dispositif assurant leur fermeture automatique,
- porte donnant vers l'extérieur pare-flamme de degré 1/2 heure,
- pour les autres matériaux : classe M0 (incombustibles).
Et au point 2.4.2. : Les locaux doivent être équipés en partie haute de dispositifs permettant l'évacuation des fumées et gaz de combustion dégagés en cas d'incendie (lanterneaux en toiture, ouvrants en façade ou tout autre dispositif équivalent). Les commandes d'ouverture manuelle sont placées à proximité des accès. Le système de désenfumage doit être adapté aux risques particuliers de l'installation.

Le rapport complet à gauche (43 pages) et la synthèse à droite (2 pages) :
(cliquez sur les miniatures ci-dessous - les documents sont au format PDF)
(https://lafibre.info/images/ovh/202205_bea-ri_rapport_enquete_incendie_datacenter_ovh_strasbourg.webp) (https://lafibre.info/images/ovh/202205_bea-ri_rapport_enquete_incendie_datacenter_ovh_strasbourg.pdf) (https://lafibre.info/images/ovh/202205_bea-ri_rapport_enquete_incendie_datacenter_ovh_strasbourg_synthese.webp) (https://lafibre.info/images/ovh/202205_bea-ri_rapport_enquete_incendie_datacenter_ovh_strasbourg_synthese.pdf)

Le rapport du SDIS qui indique que le plafond de la salle énergie (y compris pour les batteries) est en bois "coupe-feu 1h avec des gaines techniques non isolées"
(cliquer sur l'image pour zoomer)
(https://lafibre.info/images/ovh/202202_incendie_ovh_strasbourg_partage_experience_sdis67_4.png) (https://lafibre.info/images/ovh/202202_incendie_ovh_strasbourg_partage_experience_sdis67_4.png)
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Fyr le 04 avril 2023 à 23:41:29
La réglementation n'est peut-être plus adaptée. Je ne connais pas précisément son age mais elle visait sûrement l'utilisation de batterie "plomb". Une mise à jour à l'ère du lithium serait bienvenue ?

Les Li-ion sont à risque d'incendie
Les LiFePO moins ou pas de risque, et 3x plus de cycles
Y a des nouvelles découvertes sur les batterie Fe (ou métal)-Air 5-10x moins chère que les batterie Li-based. Deux fois plus de densité énergétique et charge 3x plus rapide que les Li.

Areclor-Mittal a fouttu 200M dans un pilote. Xcel aux US a installé 10MW de capa de stockage en remplacement d'une centrale charbon. Et une usine de production de batterie avec $450M d'investi. Si vous voyez passer le nom de Form Energy c'est fondé par un ancien VP de Tesla. Et eux tablent sur la sortie de batterie qui crachent 1 MW pendant 150H cette année.

Nissan va sortir des véhicules avec des batteries à état solide pour 2028. Y a un constructeur automobile chinois (Anhui Jianghuai Automobile Group Corp ) qui vient de commercialiser des véhicules électriques avec des batteries au sodium. Tiamat en France fait des sodium-ion.

La recherche va très vite.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Leon le 05 avril 2023 à 17:26:34
Est-ce qu'on sait de manière fiable quelle techno de batterie était utilisée pour l'installation photovoltaïque (auto-conso) de Maxnod?
Li-Ion? LFP?
Probablement LFP, c'est ce qui est le plus utilisé pour les installations "stationnaires".

Leon.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Hugues le 05 avril 2023 à 17:27:35
A priori pas d'info certaine sur ce sujet
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 05 avril 2023 à 18:07:14
Le sujet du risque avait été évoqué quelques jours avant l'incendie et Lionel était certain d'avoir une technologie de batterie qui ne pouvait pas lancer un emballement thermique. Il en était persuadé.

J'ai souvenir que Scaleway met des batteries qui limitent fortement ce risque également, on voit d'ailleurs "Flame Retardant V - 0" sur ces batteries de DC5 :

(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_07.jpg)

(https://lafibre.info/images/online/201807_scaleway_dc5_tgbt_06.jpg)
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Fyr le 05 avril 2023 à 22:20:00
Le flame retardant ça doit être sur la partie coque plastique de la batterie. Le V-0 c'est dans les thermoplatics

https://www.protolabs.com/resources/blog/flame-retardant-thermoplastics-and-ul-classifications/
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: seb30 le 06 avril 2023 à 12:20:25
Bizarre ce marquage, normalement c'est UL94V-0 qui doit être indiqué!
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: bolemo le 06 avril 2023 à 12:33:28
Le sujet du risque avait été évoqué quelques jours avant l'incendie et Lionel était certain d'avoir une technologie de batterie qui ne pouvait pas lancer un emballement thermique. Il en était persuadé.

J'ai souvenir que Scaleway met des batteries qui limitent fortement ce risque également, on voit d'ailleurs "Flame Retardant V - 0" sur ces batteries de DC5 :

Toutes ces batteries alignées les unes à côté des autres…
Idéalement, il faudrait les séparer individuellement, ou par petits groupes, avec une barrière thermique pour éviter une contagion si une seule s'emballe et se consume totalement.
La séparation n'a pas besoin de coûter une fortune ; le béton cellulaire est un matériau A1 est très efficace comme pare-feu et isolant thermique + absorbant d'une partie de l'énergie cinétique en cas d'explosion (il faudrait bien sûr étudier toutes les caractéristiques thermiques et chimiques d'un feu de batterie vs siporex pour s'en assurer).

Peut-être comme le dit Fyr que sur ces modèles, la coque joue ce rôle, mais une image comme ça, ça ne rassure pas.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: pju91 le 06 avril 2023 à 13:47:03
Heu, sur les photos de Vivien, ce sont des batteries au plomb ... j'avais compris que la gravité de l'incendie de Maxnod était due à des batteries au Lithium ...
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: underground78 le 06 avril 2023 à 14:40:33
Heu, sur les photos de Vivien, ce sont des batteries au plomb ... j'avais compris que la gravité de l'incendie de Maxnod était due à des batteries au Lithium ...
La photo a été prise chez Scaleway (c'est bien précisé dans le message de Vivien).
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: pju91 le 06 avril 2023 à 15:03:50
Je sais bien, mais j'avais l'impression que bolemo "s'emballait" un peu sur un cliché de batteries au plomb :
Toutes ces batteries alignées les unes à côté des autres…
Idéalement, il faudrait les séparer individuellement, ou par petits groupes, avec une barrière thermique pour éviter une contagion si une seule s'emballe et se consume totalement.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: bolemo le 06 avril 2023 à 18:00:55
Je sais bien, mais j'avais l'impression que bolemo "s'emballait" un peu sur un cliché de batteries au plomb :

Non non, pas d'emballement  ;D Et j'avais bien compris que ce n'était pas une photo de Maxnod.

Disons que de voir autant de batteries alignées et non cloisonnées… ça fait réfléchir.
Oui, le plomb est moins dangereux pour le risque d'incendies, c'est plus un risque chimique, mais des batteries sèches au plomb qui explosent, ça s'est vu, même si c'est bien plus rare.
Mais la logique est simple : les batteries sont un concentré d'énergie, et on est jamais à l'abris d'une unité défaillante ou d'une décharge soudaine (surtout lithium on est d'accord). Le bon sens impose un isolement par petits groupes pour pouvoir contenir et prévenir une propagation.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: fansat70 le 06 avril 2023 à 18:27:29
Non non, pas d'emballement  ;D Et j'avais bien compris que ce n'était pas une photo de Maxnod.

Disons que de voir autant de batteries alignées et non cloisonnées… ça fait réfléchir.
Oui, le plomb est moins dangereux pour le risque d'incendies, c'est plus un risque chimique, mais des batteries sèches au plomb qui explosent, ça s'est vu, même si c'est bien plus rare.
Mais la logique est simple : les batteries sont un concentré d'énergie, et on est jamais à l'abris d'une unité défaillante ou d'une décharge soudaine (surtout lithium on est d'accord). Le bon sens impose un isolement par petits groupes pour pouvoir contenir et prévenir une propagation.
Le bon sens et la rentabilité ne font relativement pas bon ménage... Pour quoi faire secure alors que cela "marche" comme cela?
Seules les compagnies d'assurance auront le dernier mot, en refusant s'assurer un risque qu'elles estiment trop grand. triste, mais c'est hélas comme cela que ça se passe!
Tant que les dites compagnies d'assurance encaissent pour l'ensemble des assurés plus qu'elles ne versent, pas de problème, mais après "quelques" sinistres, c'est tout le monde qui passe à caisse, peu ou prou! Sans être dans des domaines "pointus", il suffit de voir pour les particuliers le volet "catastrophes naturelles" et la progression des primes pour tous les assurés ces dernières années.
L'équation  est on ne peut plus simple!
Après, pour le domaine qui est celui des datacenters reste le risque de perte de crédibilité vis à vis des clients, plus ou moins lésés s'ils n'ont pas assez été prévoyants!
Mais cela, c'est une autre paire de manches!
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 06 avril 2023 à 22:40:35
Toutes ces batteries alignées les unes à côté des autres…
Idéalement, il faudrait les séparer individuellement, ou par petits groupes, avec une barrière thermique pour éviter une contagion si une seule s'emballe et se consume totalement.
La séparation n'a pas besoin de coûter une fortune ; le béton cellulaire est un matériau A1 est très efficace comme pare-feu et isolant thermique + absorbant d'une partie de l'énergie cinétique en cas d'explosion (il faudrait bien sûr étudier toutes les caractéristiques thermiques et chimiques d'un feu de batterie vs siporex pour s'en assurer).

J'ai visité une partie des grands datacenter français, personne ne fait ça.

Les batteries sont plus ou moins resserrées selon les datacenter. Certains isolent les batteries onduleurs et d'autres comme Scaleway mettent les deux ensemble.

Salle batterie OVH Gravelines : (j'imagine que c'est une salle qui prend en compte les enseignement de l'incendie de Strabourg)

Une des salles batterie d'OVH Gravelines :
(https://lafibre.info/images/ovh/202207_sppi_ovh_gravelines_rex_incendie_strasbourg_2.webp)
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 06 avril 2023 à 22:43:33
Chez interxion, on semble privilégier un volume d'air important :

Le temps que les générateurs se lancent et se synchronisent, ce sont des batteries qui permettent aux serveurs d’être alimentés :

(https://lafibre.info/images/datacenter/201004_interxion_batteries.webp)

Photo du local batterie du datacenter d'Interxion MRS1 :

(https://lafibre.info/images/datacenter/201407_interxion_mrs1_batteries.webp)
Crédit photo : Interxion France
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: underground78 le 06 avril 2023 à 22:52:27
J'ai visité une partie des grands datacenter français, personne ne fait ça.
Les salles de batterie là où je bosse (l'hébergement n'est pas notre métier mais on a toutes les caractéristiques d'un datacenter) sont également sur le modèle de ce que tu as vu.

Il y a une très grosse concentration de batterie dans les salles en question, par contre il s'agit de salles dédiées avec un système extinction automatique par gaz.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Anonyme le 07 avril 2023 à 02:45:02
Toutes ces questions, sont liées, à l'autonomie d'approvisionnement en énergie, en cas de défaillance du fournisseur d'énergie principal en ce qui concerne les batteries, et ce quelle que soit la technologie.
Si la fiabilité du fournisseur principal augmente, le cas d'usage de ces batteries en Datacenter pour tenir les coupures intempestives aléatoires partielles est à pondérer par le risque d'interruption par ce type de problème d'incident.
En clair, cela corresponds à comparer le risque d'interruption par manque du fournisseurs d'énergie, versus le risque d'incendie et l'interruption de service y attenant.
Si on estime un pourcentage d'interruption par manque de fourniture d'énergie de la part de EDF pour la France et d'un incendie, quel temps d'interruption est acceptable ? Ce n'est pas cela la vraie question ?
Si on estime à quelques heures par an, un manque de fourniture d'énergie et à plusieurs journées d'interruption pour incendie et perte du matériel, se pose la question du bien fondé de ces solutions, non ?
C'est une solution si le stockage est sans risque et 100% fiable, sinon, le risque est déporté de la fourniture et son interruption au stockage, et manifestement en pire pour ces exemples.
Cela reviens à dire, combien de temps, en moyenne, un onduleur doit permettre une reprise sur dysfonctionnement de fourniture, cela conditionne le dimensionnement des batteries, mais si ces batteries posent un problème de fiabilité de remise en cause de toute l'installation, est il préférable d'avoir une coupure de chez EDF ou un incendie ?
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 07 avril 2023 à 07:31:51
Il y a une très grosse concentration de batterie dans les salles en question, par contre il s'agit de salles dédiées avec un système extinction automatique par gaz.
Il me semble qu'en cas d'emballement thermique, les batteries lithium-ion générant leur propre oxygène, l'extinction par gaz n'est pas la solution idéale (mais peut mieux convenir pour des batteries au plomb).

Les principes de la lutte contre l'incendie impliquent la suppression d'un des 3 éléments : combustible, comburant ou énergie thermique.

Les batteries lithium-ion en emballement génèrent du comburant, beaucoup de chaleur et leur électrolyte est combustible.

Les feux de batteries lithium-ion sont particulièrement complexes à éteindre, on n'a pas trouvé la solution magique. L'immersion des batteries lithium-ion serait la meilleure solution (immersion, pas arrosage)
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Lucien le 07 avril 2023 à 08:05:02
Toutes ces questions, sont liées, à l'autonomie d'approvisionnement en énergie, en cas de défaillance du fournisseur d'énergie principal en ce qui concerne les batteries, et ce quelle que soit la technologie.
C'est surtout lié au temps que le/les groupes démarrent et soient stabilisés
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: pju91 le 07 avril 2023 à 08:31:08
Toutes ces questions, sont liées, à l'autonomie d'approvisionnement en énergie, en cas de défaillance du fournisseur d'énergie principal en ce qui concerne les batteries, et ce quelle que soit la technologie.
Pas uniquement. J'ai visité (mais c'était il y a longtemps) le datacenter d'une très grande entreprise qui avait un contrat avec le fournisseur d'énergie avec "effacement des jours de pointe". Ils disposaient de dizaines de m3 de carburant pour faire fonctionner des turbines et produire leur propre électricité ... je ne sais pas si ça existe encore ce genre de solution.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Nico le 07 avril 2023 à 08:36:32
C'est surtout lié au temps que le/les groupes démarrent et soient stabilisés
Exactement, et dans le cas présent les batteries ajoutées avaient comme rôle la baisse de conso auprès du fournisseur d'élec et la consommation d'élec PV. Donc encore autre chose.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 07 avril 2023 à 09:38:14
Concernant l'effacement à la demande de RTE contre un chèque, certains (comme DC5 Scaleway) savent faire ça sans utiliser les onduleurs : Quand RTE le demande, les groupes démarrent, se synchronisent avec le réseau qui n'est jamais coupé et produisent l'équivalent de la consommation sans couper le datacenter du réseau. Les batteries ne sont pas sollicitées, même en cas de panne du groupe vu que le réseau n'est pas coupé.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Seb65 le 07 avril 2023 à 10:31:05
Si on estime à quelques heures par an, un manque de fourniture d'énergie et à plusieurs journées d'interruption pour incendie et perte du matériel, se pose la question du bien fondé de ces solutions, non ?
Ce n'est pas juste une question de durée totale des interruptions, mais aussi du nombre d'interruptions pour les clients finaux. Chaque interruption est un risque de corruption/perte de données.
Une seule arrivée EDF sans onduleur ça me semblerait quand même très difficile à accepter. Mais avec 2 arrivées EDF bien indépendantes*, pourquoi pas ?



* mais à quel point sont-elles indépendantes ?
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: bolemo le 07 avril 2023 à 12:22:33
Il me semble qu'en cas d'emballement thermique, les batteries lithium-ion générant leur propre oxygène, l'extinction par gaz n'est pas la solution idéale.

Les feux de batteries lithium-ion sont particulièrement complexes à éteindre, on n'a pas trouvé la solution magique.

C'est ce que je comprends aussi, et cela rend l'idée d'un cloisonnement/isolement par petits groupes de batteries plus pertinente que d'avoir toute les batteries ensemble… Si une batterie prend feu, seul son groupe sera sérieusement endommagé. Si le cloisonnement est correctement étudié, il peut permettre à un groupe de se consumer en maîtrisant l'évacuation des fumées et la propagation thermique.

Après l'idée d'avoir des batteries pour un DC n'est pas forcément idiote, le tout est de bien penser/anticiper le risque, en respectant les normes évidemment, mais pas seulement… Un peu de proactivité est nécessaire, aller plus loin que les normes, voire être pionnier dans l'évolution de ces normes.

J'ai rencontré récemment des dirigeants et ingénieurs d'une compagnie d'assurance tournée vers les bâtiments industriels très particulière, leaders sur leur segment (FM Global). Leur approche de l'assurance est très instructive… Ils assessent les risques d'un point de vue d'ingénieur, et accompagnent leurs assurés pour effectuer les changements permettant de réduire les risques. En fait, dommage que je les aie rencontrés avant cet incident à Maxnod, j'aurais bien aimé avoir leur point de vue sur la question, surtout que ce cas de figure est en plein dans leur domaine d'expertise.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: netswitch le 07 avril 2023 à 12:57:02
Par rapport au cloisonnement de batteries au plomb il y a statistiquement très peu d'incendie / explosion de ce type de batterie, raison pour laquelle on peut en aligner des tonnes sans que ça ne pose de gros problèmes aux assureurs jusqu'ici.

Le problème vient plutôt du fait que les batteries au plomb génèrent de l'hydrogène pendant leur cycle de charge, donc trop de cloisonnement peut aussi être un facteur de risque, surtout en cas de mauvaise ventilation, le moindre court circuit va générer une explosion, pas de la batterie mais du gaz qui l'entoure.

Pour en revenir au drame OVH, je serais curieux de connaitre les conditions de ventilation de la salle en question.
Pour MaxNod c'est un court circuit dans les batteries Lithium-quelque chose et les batteries au Lithium même la powebank sur votre bureau, c'est clairement des bombes potentielles.

On voit sur les dernières photos des hauts plafonds et de la ventilation chez Interxion.

Pour moi isoler les batteries par pack de 10 n'a pas vraiment d’intérêt, le mieux est de déporter toute la salle batterie loin de la production et d'observer les normes de résistance au feu des cloisons qui l'entourent et surtout.. de bien la ventiler.


Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 07 avril 2023 à 13:08:19
Pour OVH Strasbourg, l'incendie des batteries est annexe, on aurait abouti au même drame sans les batteries, c'est expliqué dans le rapport du BEA-RI (https://lafibre.info/ovh-datacenter/incendie-ovh-strabourg/) quant au non-respect par OVH des obligations pare-feux 2h dans les locaux batteries (il n'y a pas d'obligation de pare-feu pour les salles énergie).

Concernant la photo de la salle batterie OVH Gravelines que j'ai posté, j'ai créé un sujet pour ne pas trop polluer celui du Maxnod : Les retours d'expérience de l'incendie OVH Strasbourg de mars 2021 : Les actions concrètes mises en place par OVH pour que cela ne se reproduise pas (https://lafibre.info/ovh-datacenter/incendie-ovh-strasbourg/).
Une des salles batterie d'OVH Gravelines :
(https://lafibre.info/images/ovh/202207_sppi_ovh_gravelines_rex_incendie_strasbourg_2.webp)

Le risque d'explosion lié à l'hydrogène pendant le cycle de charge des batteries au plomb, est bien pris en compte dans les nouvelles normes OVH (travaux en cours pour généraliser à tous les sites OVH).

(https://lafibre.info/images/ovh/202207_sppi_ovh_gravelines_rex_incendie_strasbourg_4.webp)

Je propose de continuer la discussion dans le sujet https://lafibre.info/ovh-datacenter/incendie-ovh-strasbourg/
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: pju91 le 07 avril 2023 à 17:23:26
Dans la série incidents / incendies avec des batteries Lithium : Au Futuroscope, le 7 avril (https://www.futuroscope.news/information-07-avril/?lang=fr).
Repris par la presse avec des titres plus ou moins putaclic.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: patrick_01 le 07 avril 2023 à 18:21:37
Une seule arrivée EDF sans onduleur ça me semblerait quand même très difficile à accepter. Mais avec 2 arrivées EDF bien indépendantes*, pourquoi pas ?
* mais à quel point sont-elles indépendantes ?

AMHA, elles ne seraient pas très indépendantes. Sur un réseau électrique, quand les emmerdes commencent elles ont tendance à se propager assez rapidement, donc il faudrait que ces deux "arrivées EDF" viennent au minimum de deux postes électriques distincts et géographiquement éloignées (parce que sur le réseau MT il y a déjà du maillage, la redondance en cas de problème sur un poste électrique est déjà faite et un DC ne fera pas "mieux").
RTE/Enedis ne vont pas tirer des dizaines ou centaines de kilomètres de ligne haute ou moyenne tension pour un client, sauf peut être pour de très gros consommateurs ou des sites d'importance vitale, et encore je n'en suis même pas certain.

Si on est relié au réseau moyenne tension, avoir deux "arrivées" de courant réduit quand même le risque de coupure en cas de panne / feu sur un transfo. C'est ce qu'on fait dans ma boite : 2 transfos, qui alimentent deux barres du TGBT, les consommateurs sont répartis sur les deux barres. Mais en cas de "panne de courant", ça ne change rien et on fait comme tout le monde : onduleurs sur batteries et démarrage des génératrices, qui reprennent l'alimentation des deux barres. Sauf en maintenance / tests, on n'alimente jamais une barre par le réseau et l'autre par les génératrices.

Par contre, je confirme qu'on peut passer du réseau au secouru sans interruption. Les automates qui pilotent les génératrices savent les synchroniser sur le réseau (en fait, c'est le même job que de synchroniser deux génératrices entre elles). Une fois par année, on reste même en parallèle pour plusieurs heures et on fournit de l'énergie au réseau. Mais ce n'est pas pour de l'effacement de pointe, c'est pour "débourrer" les moteurs, les faire tourner un moment au maximum de leur puissance.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: aurel32 le 07 avril 2023 à 22:34:39
RTE/Enedis ne vont pas tirer des dizaines ou centaines de kilomètres de ligne haute ou moyenne tension pour un client, sauf peut être pour de très gros consommateurs ou des sites d'importance vitale, et encore je n'en suis même pas certain.

C'est possible, mais au lieu de demander à RTE/Enedis de tirer les lignes, il faut se placer à un endroit stratégique. Je sais par exemple que groupe BPCE a choisi par exemple de placer deux de ses datacenters dans la région de Castres, qui est alimentée par 2 zones nucléaires distinctes. Mais il ne doit pas y avoir beaucoup de régions en France dans ce cas...
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 12 avril 2023 à 13:19:19
Matériel récupéré par Hugues : Cela ne semble pas récupérable

Cisco ASR1001 :


(https://lafibre.info/images/adeli/202304_cisco_ASR1001_suite_incendie.webp)
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 12 avril 2023 à 13:20:02
Cisco Nexus 3064 :

(https://lafibre.info/images/adeli/202304_cisco_nexus3064_suite_incendie_1.webp)

(https://lafibre.info/images/adeli/202304_cisco_nexus3064_suite_incendie_2.webp)

(https://lafibre.info/images/adeli/202304_cisco_nexus3064_suite_incendie_3.webp)

(https://lafibre.info/images/adeli/202304_cisco_nexus3064_suite_incendie_4.webp)
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: alain_p le 12 avril 2023 à 13:37:00
Il y a peut-être moyen de tenter d'enlever les suies avec une éponge humide, mais cela semble compliqué. Ce ne serait pas simple de passer dans tous les coins...
Pas d'assurance ?

Ces suies qui ont pénétré dans la salle serveur auront finalement fait beaucoup de dégâts...
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: artur le 12 avril 2023 à 13:58:14
Il y a peut-être moyen de tenter d'enlever les suies avec une éponge humide
Je ne crois pas. Il me semble que chez OVH il y avait une procédure de nettoyage, mais il s'agissait de bains à base de produits spéciaux.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: seb30 le 12 avril 2023 à 14:11:26
A l'eau déionisée et l'acohol IPA + brosse antistatique mais il semble qu'un condensateur a déjà souffert sur une photo, le matériel devais encore être sous tension quand la suie est rentrées, et si c'est une suie conductrice, RIP. C'est sur que OVH doit avoir un bon rex sur ce sujet !
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Hugues le 12 avril 2023 à 14:26:59
Il faut pouvoir nettoyer sous les BGA, c'est long et compliqué, si c'est pour avoir a la fin des machines pas fiables, quel intérêt ?
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: mattmatt73 le 12 avril 2023 à 16:15:50
Il faut pouvoir nettoyer sous les BGA, c'est long et compliqué, si c'est pour avoir a la fin des machines pas fiables, quel intérêt ?

surtout si aucun DC sérieux ne veut récupérer ce matériel
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Steph le 12 avril 2023 à 16:58:23
Il faut pouvoir nettoyer sous les BGA, c'est long et compliqué, si c'est pour avoir a la fin des machines pas fiables, quel intérêt ?
Le bio et le recyclage pour tous? ;)
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Hugues le 12 avril 2023 à 17:15:33
n'achetant que du matériel de seconde main, je pense qu'on a déjà fait notre part, je ne vais pas jouer avec la fiabilité de notre réseau (et donc de celle de l'accès internet de nos abonnés) juste pour le plaisir...
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: seb30 le 12 avril 2023 à 19:22:54
Il faut pouvoir nettoyer sous les BGA, c'est long et compliqué, si c'est pour avoir a la fin des machines pas fiables, quel intérêt ?
Oui, la effectivement, ci s’est passé dessous, no way !
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Hugues le 12 avril 2023 à 19:24:48
C'est pas passé dessous mais en nettoyant tu en mets forcément dessous, et vu que c'est conducteur...
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: patrick_01 le 12 avril 2023 à 19:30:59
Le bio et le recyclage pour tous? ;)

Le bio ? Ben j'ai pas encore vu de routeur bio ou même certifié vegan, mais je fais confiance aux vendeurs, ça arrivera un jour ;D

Le recyclage ? Ça veut pas seulement dire garder à tout prix un équipement en fonction. À mon avis, en éliminant correctement les déchets électroniques à travers une filière de recyclage correcte on fait déjà une bonne partie du travail. J'imagine que MilkyWan ne jette pas ses routeurs hors service dans une décharge à ciel ouvert.

Il y a toujours un moment ou le maintien en vie d'un équipement finit par coûter plus cher, même pour la planète, que de le changer. C'est comme pour une bagnole.
Consommation plus importante + trajets en véhicule motorisé pour aller dépanner etc...
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: patrick_01 le 12 avril 2023 à 19:32:10
C'est pas passé dessous mais en nettoyant tu en mets forcément dessous, et vu que c'est conducteur...
Alors c'est facile, tu les dessoudes tu refais les billes et tu ressoudes. Ya des tuto sur youtube  ;D
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: seb30 le 12 avril 2023 à 19:39:58
Alors c'est facile, tu les dessoudes tu refais les billes et tu ressoudes. Ya des tuto sur youtube  ;D
Y’a des chinois qui font ça toute la journée pour réparer des GPU !
Après j‘avais pas vu mais c’est quand même un équipement qui coute la peau du cul, mais bon, la fiabilité n’as pas de prix !
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: patrick_01 le 12 avril 2023 à 19:45:05
Y’a des chinois qui font ça toute la journée pour réparer des GPU !
Après j‘avais pas vu mais c’est quand même un équipement qui coute la peau du cul, mais bon, la fiabilité n’as pas de prix !
C'est vrai. Et ce que j'ai écrit plus haut me fait chier, vivre dans une société du tout jetable / tout remplaçable c'est pas forcément une bonne chose...
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: F-GAHX le 12 avril 2023 à 19:54:27
C'est vrai. Et ce que j'ai écrit plus haut me fait chier, vivre dans une société du tout jetable / tout remplaçable c'est pas forcément une bonne chose...

Apres Pour un besoin informatique que veut on?
de la fiabilité ou du recyclage de matos sans la fiabilité
je pense également que la bonne voie est un recyclage des matières pour construire du neuf
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: hwti le 13 avril 2023 à 01:04:06
A l'eau déionisée et l'acohol IPA + brosse antistatique mais il semble qu'un condensateur a déjà souffert sur une photo, le matériel devais encore être sous tension quand la suie est rentrées, et si c'est une suie conductrice, RIP. C'est sur que OVH doit avoir un bon rex sur ce sujet !
C'est bizarre que ça soit déjà au point d'avoir totalement déconnecté ce condensateur (ou résistance, vu l'état on ne voit pas grand chose).
Les pads P2 et P50 (peut-être rien de soudé dessus au départ) sont aussi dans un état bizarre.

C'est vrai que les suies sous tension, ça n'a pas dû aider.
Si ça a touché le feedback des différentes alimentations, ça pourrait aussi avoir généré des surtensions, et tout griller.

Et sur les photos il y a toujours deux piles lithium, donc certaines parties (NVRAM ? RTC ?) sont toujours alimentées.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Anonyme le 13 avril 2023 à 04:44:05
Les suies, c'est tout de même souvent à base de Carbone. Le Carbone c'est conducteur ?
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: alain_p le 13 avril 2023 à 08:00:21
Oui, c'est conducteur. Voir les gaules en fibre de carbone. Et en plus moderne, le graphène.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Steph le 13 avril 2023 à 08:14:03
Les suies, c'est tout de même souvent à base de Carbone. Le Carbone c'est conducteur ?
Bah oui, voir les mines de crayon, les balais des démarreurs, moteur de perceuse (moteur à courant continu).
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Steph le 13 avril 2023 à 08:15:34
Il y a toujours un moment ou le maintien en vie d'un équipement finit par coûter plus cher, même pour la planète, que de le changer. C'est comme pour une bagnole.
Consommation plus importante + trajets en véhicule motorisé pour aller dépanner etc...
C'est pour cela que mes anciennes voitures sont parties au Maghreb ou dans les ex-pays soviétiques ?  ::)
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: patrick_01 le 13 avril 2023 à 10:00:50
C'est pour cela que mes anciennes voitures sont parties au Maghreb ou dans les ex-pays soviétiques ?  ::)

Ben oui. Le coût du labeur n'est pas le même partout. C'est dans le monde occidental que ça coûte cher de réparer ou d'entretenir, la donne est très différente en Europe de l'Est, en Afrique, etc...

Le coût écologique, c'est un autre problème. Quoi que je fasse, quand je me débarrasse d'une voiture en France, si elle est encore en état de rouler, elle ira polluer dans un coin du globe où les compétences existent pour la maintenir en vie encore 10 ou 20 ans, et où il n'y a pas d'argent pour un véhicule neuf.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: pju91 le 13 avril 2023 à 11:26:57
Le coût écologique, c'est un autre problème. Quoi que je fasse, quand je me débarrasse d'une voiture en France, si elle est encore en état de rouler, elle ira polluer dans un coin du globe où les compétences existent pour la maintenir en vie encore 10 ou 20 ans, et où il n'y a pas d'argent pour un véhicule neuf.
... coin du globe dans lequel lorsqu'elle sera vraiment en fin de vie, elle ne sera pas démantelée / recyclée selon les exigences qu'on a en Europe, augmentant potentiellement les atteintes à l'environnement dans ce pays.
C'est vrai pour d'autres produits que les voitures d'ailleurs.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Fyr le 13 avril 2023 à 12:16:18
Bah oui, voir les mines de crayon, les balais des démarreurs, moteur de perceuse (moteur à courant continu).


Les electrodes de fusion d'1 m de large et 6 m de long dans l'industrie de l'alu. En plus délicat y a les nouveaux fils pour les ECG pendant les coronarographies sous rayon X. Ça conduit le jus mais c'est transparent aux X.


Blague à part c'est des suies dangereuses -> matos à la poubelle (sauf si le coût/délais à neuf est rédhibitoire face à une dépollution pro) En plus c'est idéal pour faire un court circuit et déclencher un nouvel incendie. Même pas sûr que le matos soit admis en datacenter ca doit faire partie des exclusions d'assurances, entre autre parce que le matos n'est plus "aux normes du constructeur" et des garanties que ça apporte. Et sans parler de la toxicité ou dangerosités pour les personnes des suies, en plus avec des résidus divers de l'incendie.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Hugues le 13 avril 2023 à 13:35:45
C'est bizarre que ça soit déjà au point d'avoir totalement déconnecté ce condensateur (ou résistance, vu l'état on ne voit pas grand chose).
Les pads P2 et P50 (peut-être rien de soudé dessus au départ) sont aussi dans un état bizarre.

C'est vrai que les suies sous tension, ça n'a pas dû aider.
Si ça a touché le feedback des différentes alimentations, ça pourrait aussi avoir généré des surtensions, et tout griller.

Et sur les photos il y a toujours deux piles lithium, donc certaines parties (NVRAM ? RTC ?) sont toujours alimentées.
.
Mon expert en hardware me dit que la suie a probablement réagi avec l'étain.

Le matériel n'a pas tourné avec les suies et elles se sont déposées par le haut, il n'y a pas ou peu de suies sur les composants qui étaient a la verticale (les barrettes de ram par exemple)
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: renaud07 le 13 avril 2023 à 18:13:46
Perso, j’essaierais de les nettoyer et de les remettre en route, même si vu les photos y'a peu d'espoir que ça redémarre... et au pire si ça prend feu : un coup d'extincteur.

Et s'ils sont vraiment HS, j'en ferais un wallart en guise de déco/hommage, certains le font bien avec de vieux GPU ou leur CM de PC :D

EDIT:  Par contre je suis surpris de voir du matos cisco (surtout un switch) à base d'x86 avec de la DDR3 ! je pensais que ça tournait avec d'autres architectures bien mieux optimisées niveau conso genre ARM ou MIPS.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: artur le 13 avril 2023 à 18:23:00
OVH avait envisagé de tester leurs serveurs après le nettoyage et avant une éventuelle remise en commercialisation, mais je ne sais pas ce que ça a pu donner.

Par ailleurs, je ne suis pas certain qu'on prend un réel risque à faire tourner du matos qui a été correctement nettoyé.
J'imagine que des faux contacts ou des court circuits sont toujours possibles, mais dans ce cas je m'attendrais plutôt à voir des plantages ou un fusible d'une alim griller...
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 13 avril 2023 à 20:11:59
Pour OVH, il y avait toute une batterie de test sur plusieurs jours après nettoyage avec, j'imagine, du stress-test.

Pair ailleurs pas de plantage observé sur ce vieux PC avec condensateur HS. Maintenant, le processeur est un CPU qui consomme peu, peut-être que le condensateur est nécessaire que pour les CPU puissants.

Condensateur en fin de vie ?

J'ai ce condensateur avec le haut bien gris-noir sur un PC Dell : cela signifie qu'il est en fin de vie ?

Il remplie encore son rôle ?

C'est sans importance pour la fiabilité du PC ?


(https://lafibre.info/images/materiel/201905_dell_condensateur_hs.jpg)
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 13 avril 2023 à 21:14:54
Photo du toit du datacenter Maxnod avant l'incendie :

(https://lafibre.info/images/adeli/202001_maxnod_panneaux_solaires.webp)
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Hugues le 13 avril 2023 à 21:20:06
Perso, j’essaierais de les nettoyer et de les remettre en route, même si vu les photos y'a peu d'espoir que ça redémarre... et au pire si ça prend feu : un coup d'extincteur.

J'espère que c'est ironique :)
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 13 avril 2023 à 21:30:25
Je pense que non, il serait intéressant de laver complétement un ou deux équipements au jet d'eau, les sécher et de voir ce qu'il se passe quand on les remet sous tension (a faire dans le jardin, pour le premier redémarrage).

Par contre, si cela fonctionne, cela restera du matériel de lab.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: simon le 13 avril 2023 à 21:32:14
Pair ailleurs pas de plantage observé sur ce vieux PC avec condensateur HS. Maintenant, le processeur est un CPU qui consomme peu, peut-être que le condensateur est nécessaire que pour les CPU puissants.

Ce condensateur n'est pas forcément placé sur un rail d'alimentation du CPU et son électrolyte n'est pas forcément entièrement sortie (auquel cas il fonctionnerait encore mais stockerait moins d'énergie).
De facon générale, les circuits intégrés sont très robustes au bruit sur leurs rails d'alimentation, donc même avec une capa quasi-HS, ca peut fonctionner... avec un crash éventuel ici et là.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: simon le 13 avril 2023 à 21:39:19
Je pense que non, il serait intéressant de laver complétement un ou deux équipements au jet d'eau, les sécher et de voir ce qu'il se passe quand on les remet sous tension (a faire dans le jardin, pour le premier redémarrage).

Par contre, si cela fonctionne, cela restera du matériel de lab.

Il y a de grandes chances que la machine fonctionne correctement (pour peu que l'eau ne soit pas trop acide).

À mon sens, le risque d'incendie causé par un court circuit sur circuit imprimé dans un serveur est très faible. Les rails d'alimentation sont protégés contre les courts circuits, tous les PCB sont UL 94-V0 ou plus (retardateurs de flamme) et on a un chassis en métal qui ne propagera pas les flammes.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: simon le 13 avril 2023 à 21:41:10
EDIT:  Par contre je suis surpris de voir du matos cisco (surtout un switch) à base d'x86 avec de la DDR3 ! je pensais que ça tournait avec d'autres architectures bien mieux optimisées niveau conso genre ARM ou MIPS.

x86 pour le control plane, c'est assez courant.

Le forwarding plane est fait en ASIC ou NPU à moins qu'on soit sur des petits routeurs (~1 Gbit/s ou moins).
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 16 avril 2023 à 22:43:35
J'ai séparé les messages concernant le serveur qui hébergeait LaFibre.info : Nettoyage serveur LaFibre.info à l'eau, après un incendie au datacenter (https://lafibre.info/serveurs/nettoyage-serveur-a-leau/msg1012553/#msg1012553)
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 24 avril 2023 à 22:39:19
Arte à diffusé en février 2023 un grand reportage : "Stocker l'énergie : Un défi technologique"

Comment stocker l’énergie éolienne et solaire pour pouvoir la réinjecter dans les réseaux quand les conditions météorologiques, comme l’ensoleillement ou le vent, ne sont plus réunies ? Le documentaire explore les coulisses des laboratoires et des start-ups qui développent les batteries du futur.

Alors qu’il est urgent de "verdir" notre production électrique en abandonnant les énergies fossiles, un obstacle de taille demeure : les énergies solaire et éolienne – et dans une moindre mesure, l’énergie hydraulique – reposent sur les caprices d’une nature imprévisible. Si, dans des conditions climatiques optimales, l’électricité est produite en abondance jusqu’à saturer le réseau, elle doit alors être immédiatement consommée, tant il n’est pas encore possible de stocker efficacement cet excédent pour le restituer les jours sans vent ou sans soleil. Les chercheurs planchent ainsi depuis longtemps sur la question cruciale du stockage, multipliant les propositions innovantes. Pourra-t-on demain appliquer certaines d’entre elles à grande échelle ?

Espoirs et limites
Autour de ce défi technologique complexe mais passionnant, ce documentaire propose un tour d’horizon des pistes explorées par les ingénieurs du monde entier, sur leurs applications et leurs limites. Sont présentees les techniques les plus audacieuses, expérimentées à l’échelle industrielle ou domestique, depuis les premiers succès de l’énergie renouvelable, à l’image du pompage-turbinage des centrales hydroélectriques, mis en œuvre dès le XIXe siècle. Des batteries lithium-ion de nouvelle génération au spectaculaire volant d’inertie, en passant par les électrolyseurs individuels ou les condensateurs au graphène, ces propositions suscitent autant d’espoirs que de questions. Indéniablement, le stockage de l’énergie constituera la clé de voûte d’une transition écologique réussie.

Documentaire de Michaela Kirst et Martin Gronemeyer (Allemagne, 2022, 53mn)

Toutes les technologies sont passées en revues et il y en a des dizaines (super-condensateurs, volant d'inertie, hydrogène, méthane, pression osmotique qui attire l'eau dans la turbine, batterie à flux biodégradable - organique...). Elles ont toutes des avantages et des inconvénients. Certaines ne peuvent être installées que dans les montagnes (lac) d'autres dans le désert (stockage de l'énergie avec des sels qui sont à l'état liquide à plus de 600°c et ne s'évapore pas).

Les batteries lithium-ion sont une des solutions qui dominent le marché en Europe et c'est testé par RTE. Le reportage ne mentionne pas le risque d'incendie, mais on voit que RTE a mis des murs coupe-feu entre les conteneurs de batteries :


https://lafibre.info/videos/environnement/202302_arte_stocker_energie_les_batteries.webm

Le reportage en intégralité :

https://www.youtube.com/watch?v=eepItOxdP40
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 27 avril 2023 à 20:44:05
J'ai eu Lionel, il est plus combatif que jamais et Maxnod va bien renaitre.

10h14 : En regardant les logs du forum de manière plus précise, on voit des accès chaque seconde et cela s'arrête à 10h14 et 39 secondes.
(https://lafibre.info/images/adeli/202302_maxnod_incendie_28mars2023_10h14.webp)

10 heures 14 minutes ne correspond pas au début de l'incendie et une extinction volontaire de la salle, mais au moment où on a perdu le TGBT. Le feu était donc largement sorti de la salle batterie à ce moment-là.

La salle étant en suppression par le système de refroidissement free coooling direct, il était intéressant de laisser le plus longtemps la salle sous tension.

Et les onduleurs ? bien que les onduleurs (et leurs batteries) étaient dans la salle IT, le circuit revenait sur le TGBT pour permettre un bypass en cas de grosse maintenance. La perte du TGBT n'a donc pas permis de gagner les minutes que pouvait procurer les onduleurs.

L'incendie a donc démaré bien avant. 9h40 ?
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Optix le 27 avril 2023 à 20:56:21
J'ai eu Lionel, il est plus combatif que jamais et Maxnod va bien renaitre.
Yeaaaahhh ! Ca, ça fait plaisir ! Courage à lui et au staff !
Merci à toi d'avoir pris des news.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: nenex le 27 avril 2023 à 23:02:00
Des nouvelles de l'indemnisation ?
Car on a tous perdu du matériel, du temps, de la crédibilité auprès de nos clients, des cheveux, ...
C'est bien gentil de remercier ses clients pour leurs compréhensions, leurs professionnalismes, leurs courages, leurs audaces, ... tout ça tout ça mais il serait temps de commencer à parler d’indemnisation.
Et, pour l'instant, maxnod répond aux abonnés absents...
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 28 avril 2023 à 07:29:42
J'ai compris qu'il y avait une réunion avec l'assurance la semaine prochaine, mais je n'ai pas posé plus de questions sur ce sujet.

Mon appel visait plus m'assurer que Lionel était bien informé des retours d'expérience de l'incendie OVH Strasbourg de mars 2021 (https://lafibre.info/ovh-datacenter/incendie-ovh-strasbourg/) qui sont très intéressants, même si la technologie de batterie est différente. OVH a évalué tous les risques et adapte son infrastructure pour les contrer.

Les quelques informations que l'on a sur l'incendie Global Switch Clichy du 26 avril 2023 (https://lafibre.info/datacenter/incendie-maitrise-globalswitch-clichy/) permettent de rajouter des points d'attention :

- Attention à l'eau avec les batteries lithium (et pour OVH Strasbourg, la présence de l'eau sur l'onduleur qui a lancé l'incendie est une des hypothèses). Placer les batteries sur un endroit qui peut être inondé en cas de dégât des eaux important ne me semble pas pertinent. Même si elles sont à l'extérieur dans un bâtiment annexe, il faut faire attention aux risques d'infiltration d'eau.

- Les pompiers n'ont pas cherché à éteindre le feu, mais à refroidir les murs coupe-feu afin que l'incendie ne se propage pas. Quand la salle batterie est à l'intérieur d'un DC, il paraît intéressant de laisser un espace entre le mur coupe-feu de la salle et la salle voisine afin de permettre ce refroidissement, sans dégrader par l'eau les équipements de la salle voisine.

- Quand on regarde le timing de Global Switch Clichy, l'incendie a été long (démarré à 5h du matin, mais à 11h l'incendie n'était toujours pas maîtrisé et la coupure électrique du site était encore envisagée). La question de mettre des murs coupe-feu qui ont une résistance de plus de 2h se pose, même si pour Global Switch Clichy, cela a permis de contenir l'incendie.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: F-GAHX le 28 avril 2023 à 08:47:13
J'ai eu Lionel, il est plus combatif que jamais et Maxnod va bien renaitre.
La question est les clients vont signer dans le Nouveau DC maxnod apres ce qu'il c'est passé ?
Adeli vendais le DC comme étant TIER4 sans l'être et vu que c'est les batterie relié aux panneaux solaire qui ont tout cramé je peut comprendre que certains clients soit furieux.
Donc qui va signer ?
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Leon le 28 avril 2023 à 08:57:41
La question est les clients vont signer dans le Nouveau DC maxnod apres ce qu'il c'est passé ?
Adeli vendais le DC comme étant TIER4 sans l'être et vu que c'est les batterie relié aux panneaux solaire qui ont tout cramé je peut comprendre que certains clients soit furieux.
Donc qui va signer ?
Tier4 "Certified by ADELI", c'est le plus important!
Je n'ai toujours pas compris le délire de Lionel Drevon derrière ça, si c'était du sérieux, si c'était pour se moquer de l'uptime institute...
Mais effectivement, vis à vis des clients, ça ne fait pas sérieux.

Leon.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 28 avril 2023 à 09:07:57
Je pense que "Certified by ADELI" était pour dénoncer les conditions tarifaires de la certification (cela coute cher, surtout pour un petit DC).

On voit qu'OVH, qui a peu communiqué sur les actions mises en place suite à l'incident de BG2 (ils ont communiqué sur les sauvegardes sur bande avec une technologie IBM qui sont mis en place dans des sites distincts) n'a pas trop souffert de perte de clientèle.

Maintenant les clients OVH et ceux de Maxnod sont différents (même si on retrouve dans Maxnod un client de SBG2, les hôpitaux de Strasbourg).

C'est toujours plus compliqué pour un data center de province de trouver sa place (vs Paris ou Marseille où il y a une demande forte).

L'aspect écologique, avec auto-production d'une grande partie de l'énergie, pourrait être un atout pour Maxnod pour attirer des clients. Il faudra être convaincant sur l'aspect sécurité sur des batteries au Lithium sont de nouveau installées sur le site. L'incendie Global Switch Clichy du 26 avril 2023 (https://lafibre.info/datacenter/incendie-maitrise-globalswitch-clichy/) montre bien que cette nouvelle technologie de batterie pour les datacenter (cela fait longtemps qu'elles sont utilisées, mais dans les DC c'est récent) demande beaucoup de précautions.

Oui, on fait des batteries Lithium stables, mais il y a de nombreuses conditions à respecter...
J'espère qu'on aura des informations précises sur les éléments qui ont fait que les batteries se sont emballées à Maxnod et Global Switch.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Leon le 28 avril 2023 à 09:19:33
L'aspect écologique, avec auto-production d'une grande partie de l'énergie, pourrait être un atout pour Maxnod pour attirer des clients. Il faudra être convaincant sur l'aspect sécurité sur des batteries au Lithium sont de nouveau installées sur le site. L'incendie Global Switch Clichy du 26 avril 2023 (https://lafibre.info/datacenter/incendie-maitrise-globalswitch-clichy/) montre bien que cette nouvelle technologie de batterie pour les datacenter (cela fait longtemps qu'elles sont utilisées, mais dans les DC c'est récent) demande beaucoup de précautions.
Est-ce que ça veut dire que tu es convaincu que le stockage d'électricité avec un parc de batterie aussi massif, c'est écologique?
C'est franchement loin d'être aussi simple.
C'est peut-être "économiquement viable", mais écologiquement, ça me semble être très discutable, en comparaison d'une installation uniquement raccordée au réseau d'électricité, sans stockage local.

Je pense que "Certified by ADELI" était pour dénoncer les conditions tarifaires de la certification (cela coute cher, surtout pour un petit DC).
OK, mais pourquoi impliquer les clients dans cette histoire? Il est évident que MaxNod n'est PAS tier-4, et qu'il ne l'a jamais été. C'est quand même plus que limite, comme pratique!
Tu penses vraiment que les clients apprécient ça?

Leon.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 28 avril 2023 à 09:32:11
Pour finir sur le sujet écologique, la mise en réseau est nettement préférable au stockage, car cela permet de bénéficier de l'effet de foisonnement (réduction des fluctuations temporelles de l'intermittence et de la variabilité de la production d'énergie par la multiplication de sources éloignées).

Toutefois, si l'Europe fait le choix d'avoir une partie importante de sa production qui est d'origine photovoltaïque et éolien, il faudra nettement augmenter les solutions de stockage d'énergie, pour faire face à des périodes sans vent et presque pas de soleil.

Il faudra aussi augmenter les capacités d'interconnexion entre pays :

https://lafibre.info/videos/energie/202208_rte_nouvelle_ligne_electrique_entre_la_france_et_espagne_en_2027.webm
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Hugues le 28 avril 2023 à 10:10:41
Tout le monde a le droit a une seconde chance, à la condition d'assumer ses erreurs. Parler reconstruction alors même que les clients lésés n'ont pas été indemnisés est très malvenu et est très mal vu par la profession.
Qui irait mettre des serveurs dans un datacenter construit par une boite qui en a déjà fait cramer un sans indemniser ses clients ?

Il faut remettre l'église au milieu du village, mettre 3 tonnes de batteries pour faire tourner un datacenter en semi autonomie n'est pas écologique, c'est au mieux économique, et encore, on ne sait pas si une installation faite dans les règles de l'art est réellement rentable...
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: nenex le 28 avril 2023 à 11:08:01
Tout le monde a le droit a une seconde chance, à la condition d'assumer ses erreurs. Parler reconstruction alors même que les clients lésés n'ont pas été indemnisés est très malvenu et est très mal vu par la profession.

Je n'aurai pas mieux dit !
Qui a des nouvelles ?
Y a-t-il un canal à utiliser pour avoir des news ?

Moi, mon assureur m'a déjà dit que mon assurance ne couvrait que le matériel localisé dans mes bureaux...
Et donc les près de 100K€ de matos chez maxnod, que dalle  :'(

Pour moi, maxnod était un "vrai" tiers 4.
J'en faisais même un argument différenciateur vis à vis de la concurrence.
Quelle "surprise" de découvrir que tout cela n'était que du fake.
Alors si en plus, le DC n'était pas couvert par une RC, là on tient le pom-pom.
Si rien n'est fait, bon courage pour regagner la confiance des clients...
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: simon le 28 avril 2023 à 11:37:47
L'aspect écologique, avec auto-production d'une grande partie de l'énergie, pourrait être un atout pour Maxnod pour attirer des clients. Il faudra être convaincant sur l'aspect sécurité sur des batteries au Lithium sont de nouveau installées sur le site.

Écologiquement, avec le mix énergétique local, PV seul est selon moi bien meilleur que PV + stockage.

PV+stockage est une équation économique sur un site industriel: la puissance appelée est suffisamment élevée pour négocier un contrat d'effacement avec RTE (très bien rémunéré), on peut faire de l'optimisation tarifaire en réduisant la conso aux pointes, etc. Il ne faut pas oublier que pour un DC, en termes d'électronique de puissance, il faut dans tous les cas dimensionner pour pouvoir fournir la puissance max (+ une marge) en attendant le démarrage des groupes.

Il reste ensuite l'investissement dans un parc batteries conséquent, ce qui est de loin la partie la plus chère. Si la rémunération générée par le contrat d'effacement et l'optimisation tarifaire (load shifting) permet une rentabilité avant ~8 ans, je pense que le DC est gagnant. Et quand on voit le prix du MWh en pointe l'hiver dernier, financer un système de stockage permettant de s'effacer pendant 1 à 2h n'est pas forcément délirant.

Oui, on fait des batteries Lithium stables, mais il y a de nombreuses conditions à respecter...
J'espère qu'on aura des informations précises sur les éléments qui ont fait que les batteries se sont emballées à Maxnod et Global Switch.

Un souci récurrent qu'on voit avec les batteries li-ion est qu'une fois emballées, elles peuvent brûler plusieurs jours. Noyer la salle/container est une solution de gestion d'incendie qui commence à se démocratiser : on met l'alimentation hors tension, on ouvre tous les contacteurs, on remplit d'eau pour éviter la propagation des flammes et le dégagement de gaz explosifs, puis on attend sagement que les batteries en feu se consument.

Si j'ai bien suivi, les incendies chez OVH et Global Switch ont eu pour origine la conversion de puissance avant de se propager aux batteries, et je me demande si l'objectif de maintenir l'alimentation coûte que coûte n'a pas joué en faveur de la propagation des flammes.

Dans tous les cas, je pense que les batteries et l'électronique de puissance vont être systématiquement déplacés hors des bâtiments (par exemple sur le parking du DC) partout ou c'est possible.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: nenex le 28 avril 2023 à 12:12:31
Le problème c'est qu'avec ce problème de batterie, on en oublie les raisons de l'augmentation du prix de l'élec...
[Modéré : HS et insultes]
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Channels le 28 avril 2023 à 12:45:38
Et sinon,
pendant ce temps là ...
https://www.linkedin.com/feed/update/urn:li:activity:7057656534658379779/

Bonjour à tous,

Au lendemain de cette seconde soirée, nous tenions à adresser un immense merci aux 64 participants (je n'ai pas le décompte en vrai) à l'événement de ce Jeudi 27/04/2023 accueilli par Euclyde DC5.

👏 Un grand merci à toute l'équipe d'Euclyde dont Franck MANFREDINI, Xavier MARTI et Anwar SALIBA pour leur accueil, l'organisation de la soirée ainsi que pour l'hébergement d'un PoP LyoNAP au sein d'Euclyde DC5 !!

👏 Un grand merci également à Anne-Marie FERRARD de Nexgen et à Pascal Juredieu de Reload Systems pour le sponsoring de l'IXP en nous offrant switchs et optiques !!


Et comme dit l'adage, il faut "Battre le fer quand il est chaud".
Alors LyoNAP a l'immense plaisir de vous inviter à sa troisième et dernière édition de la saison au Gigabarbecue organisé par Maxnod le Jeudi 15 Juin 2023 à partir de 18h30.

Les américains ont les Gigafactory de M. Musk alors que nous, nous avons Lionel et son Gigabarbecue.
Lionel a d'ailleurs déjà suscité de nouvelles vocations, notamment chez Google Cloud et à Global Switch. Nous espérons tous qu'il continuera à inspirer les grands de ce monde.

Rassemblés avec l'équipe de Maxnod, venez conjurer le sort, moquer la loi de Murphy et partager un moment de convivialité.

Apportez merguez, côtelettes, saucisses, pilons de poulets, bref, tout ce qui a 2 pattes, 4 pattes et plus de pattes que vous souhaitez griller, partager, et à boire.

Un système de navette est en cours de réflexion.

Et si la route vous semble longue, peut-être que la maxime de Thich Nhat Hanh vous invitera à profiter des paysages de notre belle région durant le trajet: "Il n'y a point de chemin vers le bonheur. Le bonheur, c'est le chemin."

Parce que "merde", alors trinquons et dansons sur les cendres en attendant la reconstruction. 👊  🏗👷‍♂️👷‍♀️🛠 


🍻 Ci-après le lien d'inscription au LyoNAPéro #3 du Jeudi 15/06/2023 => https://www.LyoNAPero.net/

📣 Lien de notre post linkedin (merci de liker, repartager, commenter :) ) : Post Linkedin
 
En vous remerciant tous, sincèrement, pour ce moment chaleureux et votre soutien,

Benoît MARTIN

Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: artur le 28 avril 2023 à 13:04:43
Y a-t-il un canal à utiliser pour avoir des news ?
Ton assistance juridique ? Ton avocat ?

Moi, mon assureur m'a déjà dit que mon assurance ne couvrait que le matériel localisé dans mes bureaux...
Et donc les près de 100K€ de matos chez maxnod, que dalle  :'(
Ben... Tu es surpris ? Qui a signé ta police d'assurance ?
Je n'aime pas tirer sur l'ambulance, mais parfois je suis encore surpris par les réactions humaines.

Pour moi, maxnod était un "vrai" tiers 4.
J'en faisais même un argument différenciateur vis à vis de la concurrence.
Quelle "surprise" de découvrir que tout cela n'était que du fake.
Alors si en plus, le DC n'était pas couvert par une RC, là on tient le pom-pom.
Si rien n'est fait, bon courage pour regagner la confiance des clients...
On peut croire ce que l'on veut. Tant qu'on a pas vérifié, ça n'a aucune valeur.

Il y a eu sur FRNOG il me semble une très longue discussion suite à l'incendie OVH à Strasbourg entre les clients OVH, les pros de l'IT et autres intervenants.
Une partie de cette discussion tournait autour des conséquences pour les clients, autour de l'incompétence d'OVH, de l'indemnisation, etc.
Certains compatissaient auprès d'OVH, d'autres auprès des clients malheureux et d'autres encore semblaient même contents de communiquer autour des infrastructures qu'ils géraient et qui continuaient à fonctionner malgré le sinistre.

Il ne faut pas être dupe. Les sinistres, y en a eu, y en a et y en aura. Alors si les infras hébérgés chez les autres ont autant de valeur, on fait ceinture, bretelles et tout autre moyen pour ne pas être dans la merde le jour où ça arrive. Et ça commence par des sauvegardes de son PC à la maison.

Je ne suis pas client Maxnod alors je ne me sens pas directement concerné, mais quand des instances que j'utilisais à Strasbourg ne fonctionnaient plus à cause du feu, mon infra a continué à fonctionner.
Cela ne m'a pas empêché de dire qu'OVH a merdé, même si je les aime bien.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Hugues le 28 avril 2023 à 13:07:31
Je ne rentrerai pas dans les détails car ça ne concerne pas les lecteurs de ce forum, mais la question des assurances n'est pas si simple, le parallèle avec OVH n'est pas forcément pertinent et je t'enjoins à ne pas faire de conclusions hâtives car le dossier est plus complexe que ta lecture :)
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: artur le 28 avril 2023 à 13:17:37
Je ne rentrerai pas dans les détails car ça ne concerne pas les lecteurs de ce forum, mais la question des assurances n'est pas si simple, le parallèle avec OVH n'est pas forcément pertinent et je t'enjoins à ne pas faire de conclusions hâtives car le dossier est plus complexe que ta lecture :)
Si tu réponds à moi, tu en dis trop ou pas assez. Il faut être plus explicite sur ce qui est ou n'est pas pertinent dans mes propos, stp.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Hugues le 28 avril 2023 à 13:19:04
Sur le fait que les assurances ne remboursent pas, notamment.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 28 avril 2023 à 13:45:13
Je pense Hugues fait références à des assurances qui disent que le matériel n'est pas détruit, donc pas de remboursement.

Un client Maxnod m'a dit avoir remis en service 80% des serveurs (20% qui ne redémarre pas).

Pour ma part, j'ai été étonné par la difficulté de nettoyer : Nettoyage serveur LaFibre.info à l'eau, après un incendie au datacenter (https://lafibre.info/serveurs/nettoyage-serveur-a-leau/msg1012553/#msg1012553).

Sinon OVH, c'est bien différent, vu que tout ce qui a brulé c'étaient leurs serveurs et pas ceux de leurs clients. OVH n'était pas clair sur l'emplacement des sauvegardes souscrites par les clients et cela explique les condamnations en justice.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Hugues le 28 avril 2023 à 13:50:17

Sinon OVH, c'est bien différent, vu que tout ce qui a brulé c'étaient leurs serveurs et pas ceux de leurs clients.

Par exemple, oui.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Channels le 28 avril 2023 à 14:07:42
Un client Maxnod m'a dit avoir remis en service 80% des serveurs (20% qui ne redémarre pas).

Arretez aussi avec vos histoires de nettoyage.
Je loue a mes clients des serveurs neufs et/ou en "tres bon etat".
Pas des daubes qui ont été fumé au Lithium, Cuivre, Carbone, whatever et qu'on a passer a la machine a laver.
Donc nettoyage ou pas, remise en service ou pas, je continue d'assurer une prestation de qualiter a mes clients, donc j'ai racheter du neuf.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: xp25 le 28 avril 2023 à 14:11:33
Le sens du devoir VS professionnel ::)
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Ragarock le 28 avril 2023 à 14:15:30
Arretez aussi avec vos histoires de nettoyage.
Je loue a mes clients des serveurs neufs et/ou en "tres bon etat".
Pas des daubes qui ont été fumé au Lithium, Cuivre, Carbone, whatever et qu'on a passer a la machine a laver.
Donc nettoyage ou pas, remise en service ou pas, je continue d'assurer une prestation de qualiter a mes clients, donc j'ai racheter du neuf.

Ont à encore un serveur qui traine, remis en état par Ovh sur le site strabourg (sgb3), aucun dysfonctionnement signalé depuis 2ans.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Hugues le 28 avril 2023 à 14:15:39
Un client Maxnod m'a dit avoir remis en service 80% des serveurs (20% qui ne redémarre pas).
80% qui marchent aujourd'hui, mais demain ?

Même nettoyé, le matériel est abimé et son espérance de vie en a pris un sacré coup. Ce n'est pas une alternative viable au remplacement.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Channels le 28 avril 2023 à 14:30:29
Ont à encore un serveur qui traine, remis en état par Ovh sur le site strabourg (sgb3), aucun dysfonctionnement signalé depuis 2ans.

Même nettoyé, le matériel est abimé et son espérance de vie en a pris un sacré coup. Ce n'est pas une alternative viable au remplacement.

Le materiel est, de facto, plus garantie par le constructeur.
C'est dommage pour du matos acheter neuf il y a un moins d'un an avec du support proplus et/ou garantie a vie.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 16 mai 2023 à 13:39:29
C'est peut-être le cas depuis plusieurs jours, mais je n'avais pas vu que le site web Maxnod était de nouveau en ligne, avec une mention de la reconstruction : https://www.maxnod.com/index.php?page=securite

(https://lafibre.info/images/adeli/202305_maxnod_page_securite.webp)
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: F-GAHX le 16 mai 2023 à 14:09:05
Le site à il changer depuis l'incident (outre le message au début) j'avoue que la mention TIER4 fait mal ainsi que tout les paragraphe sur la sécurité incendie/séparation entre L'IT et le technique Quand a la reconstruction toujours la même question les clients seront-ils toujours présent.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Leon le 16 mai 2023 à 21:26:44
Arretez aussi avec vos histoires de nettoyage.
Je loue a mes clients des serveurs neufs et/ou en "tres bon etat".
Pas des daubes qui ont été fumé au Lithium, Cuivre, Carbone, whatever et qu'on a passer a la machine a laver.
Donc nettoyage ou pas, remise en service ou pas, je continue d'assurer une prestation de qualiter a mes clients, donc j'ai racheter du neuf.
Des sociétés spécialisées dans le nettoyage d'électronique, ça existe.

Dans mon entreprise, suite à un incendie à proximité d'une salle de banc de test d'électronique, une dizaine de baies d'équipements qui coutent un bras ont été recouvertes de suies. C'était moche, très moche. Mon entreprise à fait nettoyer, et tester individuellement les équipements : baies d'acquisition, serveurs, émulateurs, etc... Ca a pris environ 2 semaines. Le redémarrage en production, et la remise à niveau des baies a pris du temps derrière aussi.

Tout ce qui était facile et pas trop cher à changer (PC normal non durci, switch Ethernet 100Mb/s) a été évidemment changé.
Mais tout le reste a été nettoyé.
Et il y a eu très peu de "déchet" au final (équipement non réparable), malgré l'état initial.

Ca a fait économiser plus d'1 million d'Euros. Donc ça en valait la peine.
La prestation de nettoyage incluait une "garantie", avec intervention sur site pendant 1 an.

Leon.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: mattmatt73 le 16 mai 2023 à 22:02:25
Des sociétés spécialisées dans le nettoyage d'électronique, ça existe.

Dans mon entreprise, suite à un incendie à proximité d'une salle de banc de test d'électronique, une dizaine de baies d'équipements qui coutent un bras ont été recouvertes de suies. C'était moche, très moche. Mon entreprise à fait nettoyer, et tester individuellement les équipements : baies d'acquisition, serveurs, émulateurs, etc... Ca a pris environ 2 semaines. Le redémarrage en production, et la remise à niveau des baies a pris du temps derrière aussi.

Tout ce qui était facile et pas trop cher à changer (PC normal non durci, switch Ethernet 100Mb/s) a été évidemment changé.
Mais tout le reste a été nettoyé.
Et il y a eu très peu de "déchet" au final (équipement non réparable), malgré l'état initial.

Ca a fait économiser plus d'1 million d'Euros. Donc ça en valait la peine.
La prestation de nettoyage incluait une "garantie", avec intervention sur site pendant 1 an.

Leon.

Sauf qu'il y a un incendie et incendie.

Si aucun DC ne veut de ces machines, il doit avoir une raison.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: buddy le 16 mai 2023 à 22:11:48
Les machines dont tu parles Leon, elle tournait quand la fumée / suie a touché la baie ?
car je pense qu'il y a une différence entre des machines dont le capot / les entrée sorties le temps de les éteindre ont été couvertes de suie ou des machines qui ont tournés et ingérés / ventilés pendant plusieurs minutes, dizaines de minutes des suies épaisses..
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 16 mai 2023 à 22:34:36
Au Maxnod, pas d'ingestion de fumée sous tension, car le système de freecooling direct mettait la salle en sur-pression par rapport à al zone où il y avait l'incendie.

Par contre, une fois l'énergie coupée, il y a eu des suies et de la chaleur. La température est montée haut dans la salle, tout le plastique au plafond a fondu.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: buddy le 16 mai 2023 à 22:52:02
Vivien, au vu de l'état de l'ancien serveur, à l'intérieur, j'ai de très très très gros gros gros doutes que les ventillos du serveur ne tournaient pas quand la fumée est entrée dans la pièce ..
Un serveur 1U n'a pas tant d'entrée d'air que ça et quand tu vois la quantité de suie sur les ram / CPU (qui sont globalement au milieu du serveur ...) ça me parait compliqué que la suie soit rentrée toute seule sans convection forcée par les ventillos du serveur.

La surpression est peut être "tombée" quand le courant a été coupée, mais les batteries des onduleurs devaient encore faire tourner les serveurs...
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 17 mai 2023 à 07:51:38
Il ne faut pas oublier que c'est du freecooling direct : C'est l'air extérieur qui refroidit les serveurs.

Tant que l'IT avait de l'énergie, l'air extérieur était aspiré à l'extérieur, à l'opposé de l'incendie et introduisait de l'air frais et propre dans la salle serveur qui était en surpression (et il y a des conduits d'air vers les autres pièces du bâtiment, pour permettre de chauffer les locaux). Les serveurs étaient donc préservés.

Quand le TGBT a été attaqué par les flammes, l'électricité a été coupée. Les onduleurs situés dans la salle n'étaient pas connectés directement au serveur, cela passait par un by-pass dans le TGBT pour permettre d'alimenter les serveurs en cas de changement d'onduleur. Les onduleurs n'ont donc pas pu prendre le relais et les groupes électrogènes qui ont démarré ont disjoncté. À ce moment-là, on a perdu toute l'alimentation, celle des serveurs, mais surtout celle des ventilateurs qui maintenait la salle en surpression.

Une fois le courant coupé, le flux d'air s'est inversé : les fumées sont entrées par les allées chaudes de la salle, via les conduits permettant d'utiliser l'air chaud pour chauffer le bâtiment. L'air trouvant son chemin vers les entrées d'air frais, via un passage par les serveurs.

On a donc eu un flux d'air inversé avec les fumées, du couloir chaud vers le couloir froid, c'est ce qui explique que la fumée soit rentrée à l'intérieur des serveurs.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: kgersen le 17 mai 2023 à 10:47:27
(https://i.imgur.com/BYIuzAE.png)[/quote]

Je ne sais si c'est volontaire, niveau design cela me fait pensé a un BSOD Windows. (https://fr.wikipedia.org/wiki/%C3%89cran_bleu_de_la_mort).. ;D
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: buddy le 17 mai 2023 à 10:51:41
Une fois le courant coupé, le flux d'air s'est inversé : les fumées sont entrées par les allées chaudes de la salle, via les conduits permettant d'utiliser l'air chaud pour chauffer le bâtiment. L'air trouvant son chemin vers les entrées d'air frais, via un passage par les serveurs.

Je n'arrive pas à comprendre pourquoi le flux s'est inversé au point de traverser les serveurs quand le courant s'est coupé mais bon soit.. (les quelques datacenters / centre de calculs dans lesquels je suis allé les allés froides ne sont pas en "dur" mais plutôt en plastique souple, donc si il y a des courants d'air un peu fort et une coupure d'électricité je ne pense pas que l'on arrive à inverser le sens de circulation de l'air dans les serveurs)
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Leon le 17 mai 2023 à 10:52:03
Quand le TGBT a été attaqué par les flammes, l'électricité a été coupée. Les onduleurs situés dans la salle n'étaient pas connectés directement au serveur, cela passait par un by-pass dans le TGBT pour permettre d'alimenter les serveurs en cas de changement d'onduleur. Les onduleurs n'ont donc pas pu prendre le relais et les groupes électrogènes qui ont démarré ont disjoncté. À ce moment-là, on a perdu toute l'alimentation, celle des serveurs, mais surtout celle des ventilateurs qui maintenait la salle en surpression.
J'ai rien compris... C'est possible de savoir d'où vient cette description de l'incident? D'une discussion entre Lionel Drevon et toi?
- Pourquoi les onduleurs de la salle étaient en Bypass, alors qu'ils étaient justement en train d'intervenir sur le réseau électrique? (donc avec un risque de mauvaise manipulation).
- Un datacenter Tier-4 maintient sa résilience/redondance en cas de maintenance, c'est la définition même. Tout doit être conçu autour de ce principe dès le début, pour permettre l'évolution du datacenter, de son réseau électrique, en conservant la résilience/redondance en permanence.
- On est d'accord que l'intervention qui a déclenché l'incendie, sur les batteries Li-Ion, c'était sur d'autres onduleurs que les onduleurs "UPS" de la salle? Donc probablement en amont des onduleurs-UPS.
- Ca ne m'étonne pas que les groupes aient disjoncté s'ils ont tenté de redémarrer la salle avec les onduleurs-UPS en bypass... Les onduleurs intègrent volontairement une fonction de "montée en charge progressive" pour éviter ce genre de problème.

Je n'arrive pas à comprendre pourquoi le flux s'est inversé au point de traverser les serveurs quand le courant s'est coupé mais bon soit.. (les quelques datacenters / centre de calculs dans lesquels je suis allé les allés froides ne sont pas en "dur" mais plutôt en plastique souple, donc si il y a des courants d'air un peu fort et une coupure d'électricité je ne pense pas que l'on arrive à inverser le sens de circulation de l'air dans les serveurs)
Un incendie, surtout de grande ampleur, génère des mouvements d'air dans tous les sens.

Leon.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 17 mai 2023 à 11:08:51
Oui, c'est un échange avec Lionel. Je pensais que les onduleurs étaient connectés directement au serveur (sans que les câbles sortent de la salle), ce qui aurait permis de maintenir la ventilation mettant en surpression la salle IT plusieurs heures, pour éviter l'entrée de la suie dans la salle IT (les ventilateurs du free-cooling sont connectés aux onduleurs).

Ce qu'il m'a expliqué c'est un bypass des onduleurs a été rajouté sur conseil du constructeur et ce bypass est sur le TGBT.

TGBT => Onduleurs => by-pass => Armoires avec les disjoncteurs des baies => Baies

Le by-pass étant situé physiquement sur le TGBT, quand le TGBT à brûlé, il n'a pas été possible pour les onduleurs d'alimenter les baies (les onduleurs et les armoires avec les disjoncteurs des baies sont dans la salle IT, alors que le TGBT et le by-pass des onduleurs est hors de la salle IT, à proximité de la salle photovoltaïque). Le by-pass n'a jamais été utilisé (il devait servir en cas de remplacement de l'onduleur), mais le by-pass brule, tout est terminé.

L'incendie est bien sûr la partie photovoltaïque du site et les batteries au Lithium. Les onduleurs de la salle IT et leurs batteries au plomb n'ont pas rencontré de problèmes.

Les groupes doivent être connectés a proximité du TGBT donc, il est normal qu'ils disjonctent quand le TGBT est en feu.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: xp25 le 17 mai 2023 à 11:45:38
Je ne sais si c'est volontaire, niveau design cela me fait pensé a un BSOD Windows. (https://fr.wikipedia.org/wiki/%C3%89cran_bleu_de_la_mort).. ;D

Oui ça y ressemble, j'ai pensé la même  ;D

Il y a un générateur Online -> https://www.ravbug.com/bsod/

Ci-joint exemple avec Windows 10/11 et le nouveau GSOD :P
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Leon le 17 mai 2023 à 11:57:28
Oui, c'est un échange avec Lionel. Je pensais que les onduleurs étaient connectés directement au serveur (sans que les câbles sortent de la salle), ce qui aurait permis de maintenir la ventilation mettant en surpression la salle IT plusieurs heures, pour éviter l'entrée de la suie dans la salle IT (les ventilateurs du free-cooling sont connectés aux onduleurs).

Ce qu'il m'a expliqué c'est un bypass des onduleurs a été rajouté sur conseil du constructeur et ce bypass est sur le TGBT.

TGBT => Onduleurs => by-pass => Armoires avec les disjoncteurs des baies => Baies

Le by-pass étant situé physiquement sur le TGBT, quand le TGBT à brûlé, il n'a pas été possible pour les onduleurs d'alimenter les baies (les onduleurs et les armoires avec les disjoncteurs des baies sont dans la salle IT, alors que le TGBT et le by-pass des onduleurs est hors de la salle IT, à proximité de la salle photovoltaïque). Le by-pass n'a jamais été utilisé (il devait servir en cas de remplacement de l'onduleur), mais le by-pass brule, tout est terminé.
Merci Vivien, j'avais mal interprété ta description, je pensait qu'on était en mode bypass.

Tu parles de ventilation qui aurait été maintenue par les onduleurs, mais les "chaines de traitement d'air" ne sont jamais sur les mêmes circuits que les serveurs, ca serait trop risqué: par exemple un gros moto-ventilateur qui grille, perturbant le réseau électrique pendant quelques secondes. On les mets donc souvent en amont des onduleurs. Sur un circuit "auxiliaires".

Pour le TGBT, tu parles d'un unique TGBT, mais dans un datacenter Tier-4, il y a forcément redondance de TGBT (en mode 2N+1, donc minimum 3), les TGBT étant évidemment localisés dans des endroits différents, donc je ne comprends pas trop.

Je ne sais si c'est volontaire, niveau design cela me fait pensé a un BSOD Windows. (https://fr.wikipedia.org/wiki/%C3%89cran_bleu_de_la_mort).. ;D
C'est clairement de l'humour bien "discutable" de notre ami Lionel Drevon.
Dans le même style d'humour "discutable", mais en largement pire, tu as l'organisation par Maxnod/Adeli  (=Lionel Drevon) du GIGA BARBECUE MAXNOD pour conjurer le sort..., sur le site de MaxNod...
https://www.linkedin.com/feed/update/urn:li:activity:7057656534658379779/
Et comme dit l'adage, il faut "Battre le fer quand il est chaud".
Alors LyoNAP a l'immense plaisir de vous inviter à sa troisième et dernière édition de la saison au Gigabarbecue organisé par Maxnod le Jeudi 15 Juin 2023 à partir de 18h30.
[...]
Rassemblés avec l'équipe de Maxnod, venez conjurer le sort, moquer la loi de Murphy et partager un moment de convivialité.

Imagine l'effet d'un tel "humour" sur les clients de Maxnod/Adeli qui ont tout perdu, et qui ne seront pas indemnisés...
On va dire que Lionel est "spécial" pour ne pas être vulgaire.

Leon.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Hugues le 17 mai 2023 à 11:58:37
Dans le même style, mais en largement pire, tu as l'organisation par Maxnod/Adeli du GIGA BARBECUE MAXNOD pour conjurer le sort..., sur le site de MaxNod...
https://www.linkedin.com/feed/update/urn:li:activity:7057656534658379779/
Alors LyoNAP a l'immense plaisir de vous inviter à sa troisième et dernière édition de la saison au Gigabarbecue organisé par Maxnod le Jeudi 15 Juin 2023 à partir de 18h30.
[...]Rassemblés avec l'équipe de Maxnod, venez conjurer le sort, moquer la loi de Murphy et partager un moment de convivialité.

Imagine l'effet d'un tel "humour" sur les clients qui ont tout perdu, et qui ne seront pas indemnisés...
On va dire que Lionel est "spécial" pour ne pas être vulgaire.

Et l'organisateur supprime les commentaires qui disent que c'est quand même assez limite... Ça donne une bonne idée en effet :)
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: buddy le 17 mai 2023 à 12:00:02
Un incendie, surtout de grande ampleur, génère des mouvements d'air dans tous les sens.

Leon.
Oui, mais je pensais que les allés froides/chaudes n'étaient pas si étanches et que ça passerait autour des serveurs plutôt que dans les serveurs pour traverser.
Après j'avais aussi l'impression que l'incendie était à 20m mais ce n'est peut être pas le cas...
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: buddy le 17 mai 2023 à 12:01:07
Pour le TGBT, tu parles d'un unique TGBT, mais dans un datacenter Tier-4, il y a forcément redondance de TGBT, les TGBT étant évidemment localisés dans des endroits différents, donc je ne comprends pas trop.

Leon.
Il est Tier4 By adeli (il s'est auto-certifié). Il n'est pas Tier4 au sens de l'uptime institute.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: F-GAHX le 17 mai 2023 à 12:17:21
Donc il est aller jusqu'a déposer la marque Tier4 avec comme certificateur lui même.
Il y a clairement une volonté de se faire passer pour une chose qui n'est pas (c'est attaquable en justice ?) c'est limite a max.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 17 mai 2023 à 12:55:24
Je ne reviendrai pas sur le "Tier-4" qui n'est pas le "Tier-4" de l'uptime institute (ce dernier est très contraignant, surtout pour un petit datacenter, les équipements de secours devant être dans des salles différentes, alors que la Maxnox met ses deux onduleurs dans la salle IT).

Oui, mais je pensais que les allés froides/chaudes n'étaient pas si étanches et que ça passerait autour des serveurs plutôt que dans les serveurs pour traverser.
Après j'avais aussi l'impression que l'incendie était à 20m mais ce n'est peut être pas le cas...
Les allées froides sont plutôt bien étanches au maxnod (obligation de mettre des caches sur les U non utilisés par exemple).

Tu parles de ventilation qui aurait été maintenue par les onduleurs, mais les "chaines de traitement d'air" ne sont jamais sur les mêmes circuits que les serveurs, ca serait trop risqué: par exemple un gros moto-ventilateur qui grille, perturbant le réseau électrique pendant quelques secondes. On les mets donc souvent en amont des onduleurs. Sur un circuit "auxiliaires".
Il me semble que lors de ma première visite, il m'avait dit que la ventilation est sur onduleur de façon à ne jamais avoir de coupure.

Ne pas oublier qu'un datacenter tiens seulement quelques minutes sans ventilation (cela dépend du volume d'air de la salle et en combien de minutes on atteint la température critique).

Je n'ai pas posé la question à Scaleway, mais selon toi, il ne faudrait pas connecter ces ventilateurs au circuit ondulé ?

(https://lafibre.info/images/online/201807_scaleway_dc5_presentation_06.jpg)
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Leon le 17 mai 2023 à 14:15:24
Je ne reviendrai pas sur le "Tier-4" qui n'est pas le "Tier-4" de l'uptime institute (ce dernier est très contraignant, surtout pour un petit datacenter, les équipements de secours devant être dans des salles différentes, alors que la Maxnox met ses deux onduleurs dans la salle IT).
C'est vraiment ça l'explication de l'histoire "Tier-4 Certified by Adeli"? C'est du vrai premier degré? Sérieusement?
J'ai du poser la question 4 ou 5 fois sur le forum sans jamais avoir de réponse sur les ~10 dernières années.

Si c'est le cas, je me permet un gros WHAT THE FUCK???

Genre "faire un champagne AOP/AOC c'est trop contraignant, donc je vais produire un champagne certified by Leon (C)".
Si c'est du vrai premier degré (je n'y ai jamais cru tellement c'était gros), et que Maxnod-Adeli maintient devant ses clients que Maxnod était Tier-4, alors ça veut dire que Adeli-Maxnod ment ouvertement à tous ses clients, et se ment à lui même depuis 10 ans.

Effectivement, ça pourrait sans doute être attaquable en justice, pour tromperie. Mais ils ne seront probablement jamais inquiétés :
 - ni par l'Uptime Institute, qui n'a jamais été très virulent, et qui se moque pas mal d'un petit Datacenter de 60 baies, ce qui n'est rien à l'échelle de la planète, tant que ça ne fait pas d'émules.
 - ni par les clients, dont la plupart sont certainement trop petits pour supporter un procès qui risque de durer TRES longtemps.

Sinon, il existe un bon nombre de PETITS datacenter, de l'ordre de la centaine de baies, qui sont réellement certifiés Tier-4. Donc l'argument "mais c'est trop contraignant pour un petit datacenter" n'en n'est pas un.
Comme dirait Francis Cabrel : "Faut pas dire à qui je ressemble, faut dire qui je suis".

Leon.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Hugues le 17 mai 2023 à 14:18:27

Si c'est du vrai premier degré (je n'y ai jamais cru tellement c'était gros), et que Maxnod-Adeli maintient devant ses clients que Maxnod était Tier-4, alors ça veut dire que Adeli-Maxnod ment ouvertement à tous ses clients, et se ment à lui même depuis 10 ans.

Je t’invite à parcourir le site de Maxnod, lire le nombre d’occurences du mot « tier 4 » et d’en déduire si a ton avis c’est une petite blague ou si c’était très sérieux :)
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: fansat70 le 17 mai 2023 à 15:28:21
Je t’invite à parcourir le site de Maxnod, lire le nombre d’occurences du mot « tier 4 » et d’en déduire si a ton avis c’est une petite blague ou si c’était très sérieux :)
Là, rien que sur une seule page, mon deuxième neurone a déjà disjoncté...  ;)
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Leon le 18 mai 2023 à 09:38:51
Tiens, un autre sujet qu'on n'a pas encore abordé à propos de l'incendie.
MaxNod était équipé, dans la salle informatique, d'un système d'extinction d'incendie automatique à gaz.

Avec la détection automatique de fumées, le système s'est très probablement déclenché.
Est-ce que quelqu'un peut confirmer?

Dans ce cas, le système aurait du fermer l'arrivée d'air des "centrales de traitement d'air", donc empêcher la surpression d'air dont parle Vivien.
L'arrivée d'air sur la photo (chaine de traitement d'air vers salle IT) ne semble pas équipée de volets /registres incendie automatique, c'est surprenant, car il me semble que c'est obligatoire avec une extinction par gaz. A moins que le système d'isolation incendie ne se base sur des volets / registres en amont dans la chaine de traitement d'air...
Le système aurait du à minima couper la ventilation, mais c'est sans doute insuffisant pour étouffer un début d'incendie dans la salle informatique.
(https://lafibre.info/images/adeli/201205_datacenter_maxnod_12.jpg)

Pendant l'incendie, est-ce que le gestionnaire du datacenter aurait volontairement coupé cette action anti incendie automatique (gaz + arrêt circulation air extérieur), pour maintenir volontairement la surpression d'air dans la salle IT?

Leon.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 18 mai 2023 à 09:50:56
Tout est expliqué sur le site (actuellement en ligne (https://www.maxnod.com/index.php?page=securite)) : Il n'y a pas de détection de fumée, mais la chaleur de l'incendie doit faire fondre un tube PVC rempli de CO2 en basse pression.

J'imagine qu'il a effectivement fondu en haut des baies quand la chaleur est montée haut et que le CO2 est parti.

En ayant fait le choix de la technologie de CO2 sous pression, MAXNOD garantit la continuité d’exploitation. Cette technique permet un traitement anti-feu unitaire sur chaque serveur présent dans une baie, sans que l’exploitation de celle-ci soit neutralisée, et par la même, stopper l’exploitation des autres serveurs.

Principe : un tube PVC rempli de CO2 en basse pression serpente au cœur de la baie et éclate par la chaleur dégagée lors du départ d’un feu. Est ainsi libéré sur le ou les serveurs incriminés le gaz nécessaire à l’extinction d’un feu. Prévenue par les nombreux systèmes de monitoring qui équipent les baies et les serveurs, une équipe de technicien intervient afin de s’assurer de la continuité de service.

D’une manière générale, il est extrêmement rare qu’un dégagement de fumée dans une baie ait pour conséquence un départ de feu. Les protections électriques amonts, disjoncteurs 30mlh et autres disjonctions permettent de parer bien souvent en amont au pire. Pourquoi noyer une baie (gaz ou eau) et stopper l’exploitation de nombreux clients pour un simple dégagement de fumée ?...

Dans un DATACENTER traditionnel, la détection de fumée débouche généralement par l’utilisation massive de produits conditionnés dans des bonbonnes de 50 à 200 bars, hynergènes, FM200 ou gaz sous haute pression.
Le seul problème de ce type de produit est que la salle complète est arrêtée, et que les disques durs des serveurs seront abimés ! Sur ce site, nous avons une extinction automatique à  base de CO2 sous faible pression directement injecté au plus près du départ de feu et isolé à une seul baie.

Aucun arrêt électrique, ni coupure de salle ne sont engendrés pas la détection ou l'extinction d'un départ de feu.
Afin de palier à ce type de risque nous contrôlons chaque jour la présence de papier et de carton dans les baies ainsi que les séparations (câches en métal fournis) Votre activité ne peut en aucun cas souffrir d’un arrêt d’exploitation quelle que soit sa durée ?

La restauration de vos données en cas de crash disque occasionnera une procédure de restauration comprise entre 24 et 96 heures, même si votre PRA a pris la main en secours d’exploitation. Fuyez les systèmes anti-feu sous pression non sélectifs ou par brouillard d’eau. (Il suffit de lire les conditions d'exploitation de vos serveurs. Généralement l'humidité relative est comprise entre 20% et 80% HR en fonctionnement)
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Leon le 18 mai 2023 à 10:11:44
Ca semble être un produit comme celui ci
https://www.indiamart.com/proddetail/data-centre-fire-gas-suppression-system-24150078055.html
https://www.youtube.com/watch?v=KwlwjH1xFkQ
Appréciez la procédure de test avec le briquet, très représentatif.
Donc ça doit fonctionner correctement dans une armoire électrique fermée. Mais dans une baie ouverte aux 4 vents, comme à feu Maxnod (SIC!), je ne vois pas trop...

Le système semble être sur les côté des baies. Vous confirmez, ceux qui connaissaient le datacenter?
La photo ci dessous est prise depuis le couloir chaud (=arrière des serveurs).
(https://lafibre.info/images/adeli/200909_Maxnod_09.jpg)

Leon.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: buddy le 18 mai 2023 à 13:04:06
Donc ça doit fonctionner correctement dans une armoire électrique fermée. Mais dans une baie ouverte aux 4 vents, comme à feu Maxnod (SIC!), je ne vois pas trop...
Pour moi c'est fait selon moi, comme c'est écrit, pour quand tu as des flammèches sur 1 serveur et que c'est la source du feu. Là pour l'incendie qu'il y a eu ce système est inefficace.
1) le feu venait de l'extérieur
2) La salle étant ouverte aux 4 vents de toute façon même si le gaz s'était répandu, 1 min après au vu des mouvements de convection l'air serait redevenu 'normal'.

Mais c'est +/- pareil avec tous les systèmes des datacenters, c'est fait pour contenir / étouffer un feu naissant non ?
Si c'est le bâtiment qui brule, tu peux mettre le gaz que tu veux dans la pièce, dès que la porte / le plancher / le mur a été "percé" par le feu, c'est fini. le gaz sort et ça brule. d'où l’intérêt d'avoir des murs / planchers / porte coupe feu.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 18 mai 2023 à 13:59:08
On va dire que depuis OVH Strasbourg, il y a des changements et que de nombreux acteurs s'équipent de sprinkler pour être en mesure de faire face à un feu important.

Le risque est faible du côté serveur : un serveur brule très mal et propage peu l'incendie. Le risque est là où il y a de la puissance : batteries, onduleurs, transformateurs.

L'incendie Global Switch Clichy a fait beaucoup parler de lui à cause des impacts importants pour Google, mais il a été pas si mal géré que ça : L'incendie a été contenu dans la salle énergie et bien que la communication a longtemps laissé entendre que le bâtiment serait éteint, cela n'a pas été le cas. Si du matériel était HS, c'est à cause de la chaleur dans les salles (panne de clim). Je ne sais pas si on aura le détail, mais l'incident de climatisation semble lui bien moins géré : plusieurs heures de pannes et il serait à l'origine du départ d'incendie.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Leon le 18 mai 2023 à 14:12:40
Pour moi c'est fait selon moi, comme c'est écrit, pour quand tu as des flammèches sur 1 serveur et que c'est la source du feu. Là pour l'incendie qu'il y a eu ce système est inefficace.
Tu as mal compris mon propos. Je jugeait juste ce système d'extinction en soi. Je ne le jugeais pas vis à vis de l'incendie qu'il y a eu.
Je ne vois pas comment un dispositif qui crache du CO2 sur le côté d'un serveur peut éteindre un incendie qui partirait dans le serveur... Il y a une logique qui m'échappe.

Citer
Mais c'est +/- pareil avec tous les systèmes des datacenters, c'est fait pour contenir / étouffer un feu naissant non ?
Si c'est le bâtiment qui brule, tu peux mettre le gaz que tu veux dans la pièce, dès que la porte / le plancher / le mur a été "percé" par le feu, c'est fini. le gaz sort et ça brule. d'où l’intérêt d'avoir des murs / planchers / porte coupe feu.
Pour les feux qui ont besoin de "combustible + comburant", les systèmes d'extinction à gaz sont diablement efficaces, et arrêtent totalement l'incendie. Même un gros truc. Réellement. C'est très utilisé dans l'industrie. Il y a des vidéos de cas réels qui montrent comment ça fonctionne. J'ai pu voir 2 vidéos "privées" d'incendie d'huile, bien violents. Et bien le dispositif d'extinction automatique fonctionne.
Evidemment, pour que ça fonctionne, il faut que l'installation soit bien conçue:
 - murs et porte résistants au feu.
 - câblage et tuyauterie du dispositif résistants au feu
 - isolation à l'air de la pièce via des volets/registres par feu, déclenchés en automatique juste avant l'injection de gaz, coupure automatique du renouvellement d'air (arrêt de la soufflerie).
 - Le dispositif laisse 20 secondes à un éventuel humain pour sortir de la pièce, avec des flash lumineux, et une grosse sirène

Ces dispositifs ne fonctionnent évidemment pas sur des feux de batterie Li-Ion, car les feux de batterie Li-Ion n'ont pas besoin de comburant (oxygène). Mais encore une fois, ça n'est pas mon propos. Je ne parle pas de l'efficacité d'un quelconque dispositif sur un feu de batterie Li-Ion.

Le risque est faible du côté serveur : un serveur brule très mal et propage peu l'incendie. Le risque est là où il y a de la puissance : batteries, onduleurs, transformateurs.
Attention, il y a un autre risque qu'un vrai départ d'incendie : quand une alimentation serveur crame, et ça n'est pas si rare, elle dégage beaucoup de fumée en se consumant de l'intérieur. Les condensateurs qui crame, la gaine du câblage en sur-intensité qui fond. Fumées qui vont pouvoir polluer l'environnement de manière bien violente, encrasser les filtres et radiateurs des serveurs. Bien sur, pour un datacenter qui rejette tout son "air chaud" à l'extérieur, c'est moins un problème, mais même les datacenters en freecooling ouvert (MaxNod, Facebook, Scaleway DC5) ont un mode de recyclage partiel d'air chaud, quand il fait froid dehors.

L'incendie Global Switch Clichy a fait beaucoup parler de lui à cause des impacts importants pour Google, mais il a été pas si mal géré que ça : L'incendie a été contenu dans la salle énergie et bien que la communication a longtemps laissé entendre que le bâtiment serait éteint, cela n'a pas été le cas. Si du matériel était HS, c'est à cause de la chaleur dans les salles (panne de clim). Je ne sais pas si on aura le détail, mais l'incident de climatisation semble lui bien moins géré : plusieurs heures de pannes et il serait à l'origine du départ d'incendie.
+1 là dessus. Je pense aussi que cet incident a été bien maitrisé par GlobalSwitch et par les pompiers.

Leon.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Minasu le 13 juin 2023 à 21:27:23
- isolation à l'air de la pièce via des volets/registres par feu, déclenchés en automatique juste avant l'injection de gaz, coupure automatique du renouvellement d'air (arrêt de la soufflerie).
 
Bonsoir,

L'isolation à l'air doit avoir lieu après et non avant, le gaz inerte devant prendre la place de l'oxygène. Le plus simple, c'est probablement le volet de surpression.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Leon le 13 juin 2023 à 22:11:23
Bonsoir,

L'isolation à l'air doit avoir lieu après et non avant, le gaz inerte devant prendre la place de l'oxygène. Le plus simple, c'est probablement le volet de surpression.
Ce que j'avais vu dans un milieu industriel, c'était clairement une fermeture des volets/registres d'aération (arrivée d'air plus évacuation), avant le remplissage au gaz inerte. Il y avait en plus des évents/volets de surpression, comme tu le dis, oui.
Il faut bien voir que c'est des salles où le renouvellement d'air est très rapide en situation normale, avec une grosse soufflerie, pour du refroidissement. Donc le gaz inerte serait en grande partie perdu si on faisait l'isolation après le remplissage au gaz inerte.

Je ne dis pas que c'est pareil en datacenter, je ne sais pas.

Leon.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Minasu le 14 juin 2023 à 07:44:07
Bonjour Leon,

Par isolation, j'avais compris (à tord) le fait qu'il n'y ait ni entrée d'air, ni de sortie d'air de la salle.

Vous avez totalement raison.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Leon le 14 juin 2023 à 12:08:15
Est-ce que des membres du forum vont au GIGA BARBECUE MAXNOD pour conjurer le sort... qui se tient demain soir, jeudi 15 Juin, à l'emplacement de MaxNod?
Ca serait sympa de nous faire un retour, pour savoir dans quel état d'esprit est Lionel Drevon, suite à tous ces événements.
Est-ce qu'il se repentit? Est-ce qu'au contraire il planifie déjà la reconstruction de son datacenter sur un autre site? Et surtout, est-ce qu'il maintient ses délires autour du Tier-4-by-Adeli ?

https://www.linkedin.com/feed/update/urn:li:activity:7057656534658379779/
Et comme dit l'adage, il faut "Battre le fer quand il est chaud".
Alors LyoNAP a l'immense plaisir de vous inviter à sa troisième et dernière édition de la saison au Gigabarbecue organisé par Maxnod le Jeudi 15 Juin 2023 à partir de 18h30.
[...]
Rassemblés avec l'équipe de Maxnod, venez conjurer le sort, moquer la loi de Murphy et partager un moment de convivialité.

Leon.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Channels le 14 juin 2023 à 12:19:42
Cet événement est une farce de haut niveau et un manque de respect le plus total pour les victimes qui n’ont toujours aucune nouvelle de la moindre indemnisation.
Lionel Drevon et ses "experts assurances" ne donne aucun signe de vie, et ce permette meme des « choses » au dela du foutage de gueule que je n’évoqueraient pas ici.
En tout cas, il n’a pas l’air bien repenti pour cautionner ce genre d’événement morbide.......
Bref, par respect pour les victimes qui ont, pour certains, fermé leurs business, je pense qu’il vaut mieux enterrer le sujet de « cette sauterie ».

Personnelement, j'ai du faire un énorme pret dont je suis 100% caution perso, stopper l'ensemble de mes investissements, et revoir mon business model a la baisse pour sauver mon entreprise a cause d'un mec qui fait a joujou avec 3 tonnes de batterie chinoise a moins de 10 metres de la salle it.
Excusez moi donc de l'avoir mauvaise.

Edit: Cet évènement aurais pu etre mieux apprécié si Lionel Drevon avait indemnisé correctement l'ensemble de ses clients et que l'incident etait "clos". Faire cela 3 mois apres, c'est bof.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Leon le 18 juin 2023 à 12:12:19
Pour la partie indemnisation du matériel, ça se passe comment?

Est-ce qu'il y avait une clause d'indemnisation de matériel hébergé, en cas d'incendie/dégradation, dans les contrats MaxNod?
Dans ce cas, oui, il est légitime d'exiger une communication de la part de MaxNod.
Mais je doute fort qu'une telle clause existe...

Mais s'il n'y avait pas de clause dans les contrats MaxNod, alors on est d'accord que les clients doivent communiquer principalement avec leur propre assurance (si leur matériel était assuré plus qu'en responsabilité civile), qui à son tour se retourne vers l'assurance du fautif (MaxNod)?
C'est bien comme ça que ça doit se passer, et pas autrement. On est d'accord?
Dans ce cas, ça n'est pas à MaxNod de communiquer sur les indemnisations, sauf si MaxNod/Adeli décide de faire un geste commercial. Si MaxNod/Adeli n'a pas la volonté, ni les moyens financiers de ce geste commercial, c'est normal de ne pas le faire.



Je déterre ça, désolé.
Je n'aurai pas mieux dit !
Qui a des nouvelles ?
Y a-t-il un canal à utiliser pour avoir des news ?

Moi, mon assureur m'a déjà dit que mon assurance ne couvrait que le matériel localisé dans mes bureaux...
Et donc les près de 100K€ de matos chez maxnod, que dalle  :'(

Tu n'avais pas d'assurance pour ton matériel hébergé à MaxNod? Pourquoi ça?
Un simple oubli? Une décision volontaire de ta part, vu le risque que tu estimais faible? Une méconnaissance des mécanismes d'assurances?
Ou alors tu es en litige avec ton assurance, car tu penses qu'ils ne respectent pas leur part du contrat d'assurance?

Leon.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Channels le 18 juin 2023 à 12:26:43
Personnellement, chaque fois que j'ai signé dans un DC,
PERSONNE ne parle d'assurance,
PERSONNE ne pose la question ou ne pense à dire "assurez votre matos"...,
PERSONNE ne fait signer de « décharge de responsabilité »
Et RIEN d'indiquer dans les CGV signé (quand il y en a, ce qui n'était pas le cas de Maxnod)

Donc intrinsèquement, j'ai pensé que le DC était responsable du matériel, responsable au sens matériel endommager par un tier bien sûr.
Donc appeler une assurance aujourd'hui pour un sinistre qu'elle ne couvre pas, c'est chaud.

La preuve est qu'aujourd'hui, j'ai mandater un tres bon courtier assureur qui pene vraiment a trouver un contrat adapté a la situation.
Ca doit donc pas etre monnaie courante.

Enfin, il est tout a fait possible "d'etre son propre assureur", ce qui est notre cas aujourd'hui avec nenex.
Cela n'empeche pas de se retourner contre la partie adverse pour indemnisation.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Leon le 18 juin 2023 à 12:41:18
C'est effectivement bizarre. Normalement, chaque fois que tu héberges du matériel dans un lieu tiers (point haut radio, POP, datacenter), le site d'accueil te demande une assurance "responsabilité civile" au cas où ton matériel déclencherait un sinistre (incendie ou autre).
Je ne sais pas si on emploie le terme "responsabilité civile" dans ce cas, mais le principe est là.
Il y a 15 ans, ça semblait être systématique pour l'hébergement en datacenter.
Le datacenter peut proposer une telle assurance "responsabilité civile", mais ça doit être facultatif, de ce que j'ai compris, le client doit pouvoir refuser, et choisir sa propre assurance.
Mais à ma connaissance, l'assurance proposé par le datacenter ne porte jamais sur le matériel en lui même. Et c'est bien normal, vu que le prix du matériel, donc le besoin du client peut varier énormément entre 2 clients : matériel haut de gamme très cher, ou serveurs reconditionnés basiques.

J'ai eu le cas pour héberger des équipements actifs dans des locaux d'une mairie, le matériel n'étant volontairement pas assuré de notre côté. Il a fallu étendre notre assurance juste pour la partie "responsabilité civile".

Dans ce cas, ça fait souvent "tilt" dans la tête des clients, et ils pensent alors à discuter de l'assurance de ce matériel hébergé en dehors de leur propre locaux, avec leur propre assureur.

Tu veux dire que même Nexeren, visiblement plus sérieux, ne t'a jamais demandé de preuve d'assurance?

Franchement, c'est bien qu'on en parle ici, si ça peut servir à d'autres!

Leon.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Channels le 18 juin 2023 à 12:44:50
Non, il s'agit d'assurance "dommage aux biens" si tu es victime d'un incident exterieur.
L'assurance RC intervient si c'est toi l'origine du sinistre.

Exemple :
Une voiture au tiers (obligatoire), cela permet de payer la "victime" si tu provoque un accident
Une voiture en tout risque, cela permet de payer la "victime" si tu provoque un accident + réparer ta propre voiture

Attention, on est en B2B et non en B2C/C2C.
Mon contrat est entre la société ADELI et moi-meme, a ce titre, je discute préjudice et indemnisation avec la société ADELI, et non avec son assurance directement, a lui de faire le passeur derriere.

Aujourd'hui, je suis tres en colere parce qu'au lieu d'assumer ses actes, j'ai été contacté directement par son assureur qui ma demander des documents que je n'avais pas, et qui m'a directement envoyé chier en disant "nous étudierons votre dossier uniquement lorsque nous aurons l’ensemble des pièces demandés", en gros, "va te faire foutre, ta pas d'assurance, demerde toi."

Je repete, Aujourd'hui, AUCUN DC ne m'a demander d'attestation d'assurance "Dommage aux biens" ou RC, ni de signer une "Renonciation a recours" ou tout autre document stipulant que le DC n'est responsable de rien.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Leon le 18 juin 2023 à 12:50:47
Non, il s'agit d'assurance "dommage aux biens" si tu es victime d'un incident exterieur.
L'assurance RC intervient si c'est toi l'origine du sinistre.
Oui, c'est bien ce dont je parle. Un datacenter t'impose (voire propose) normalement une assurance RC, rien de plus.
Effectivement, si le Datacenter veut faire une clause de "renonciation à recours" dans ce cas, pas besoin de discuter "responsabilité civile" avec le client, tu as raison, le datacenter s'occupe lui même de la partie "responsabilité civile", mais ça n'assure en rien le matériel hébergé.

Citer
Mon contrat est entre la société ADELI et moi-meme, a ce titre, je discute préjudice et indemnisation avec la société ADELI, et non avec son assurance directement, a lui de faire le passeur derriere.
OK, mais si ton matériel n'est pas assuré (ça reste à prouver), et qu'il n'y avait aucune clause dans ton contrat, et que Adeli ne veut pas t'indemniser à l'amiable (c'est leur droit), ton seul recours c'est une action en justice.
Tu auras beau téléphoner 4 fois par jour à Adeli, ils n'ont aucune obligation de t'indemniser.

Citer
Je repete, Aujourd'hui, AUCUN DC ne m'a demander d'attestation d'assurance "Dommage aux biens", ni de signer une "Renonciation a recours"
Pour la partie RC, c'est vraiment étrange.

Pour les "dommages aux biens", ça c'est parfaitement normal que le datacenter ne demande rien. Vu que ça n'est pas leur matériel, les datacenter se moquent bien de savoir comment les clients assurent leur propre matériel. Ca ne les regarde pas.

Le datacenter impose normalement l'assurance RC, rien de plus.

Leon.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Channels le 18 juin 2023 à 12:58:05
OK, mais si ton matériel n'est pas assuré (ça reste à prouver), et qu'il n'y avait aucune clause dans ton contrat, et que Adeli ne veut pas t'indemniser à l'amiable (c'est leur droit), ton seul recours c'est une action en justice.
Tu auras beau téléphoner 4 fois par jour à Adeli, ils n'ont aucune obligation de t'indemniser.
Ne pas confondre risque, responsabilité et préjudice.
Ce n'est pas parce que j'ai choisi (ou subi) d'être mon propre assureur que cela me dispense pour autant de rechercher la responsabilité d'un fournisseur qui a manqué à ses obligations / endommager mon matériel.
Cela ne donne pas non plus le droit a son assureur de me contacter en direct et de m'envoyer chier comme une merde quelques jours apres l'evenement.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: nenex le 04 décembre 2023 à 18:44:46
Ce n'est pas parce que j'ai choisi (ou subi) d'être mon propre assureur que cela me dispense pour autant de rechercher la responsabilité d'un fournisseur qui a manqué à ses obligations / endommager mon matériel.
Cela ne donne pas non plus le droit a son assureur de me contacter en direct et de m'envoyer chier comme une merde quelques jours apres l'evenement.
Parfaitement d'accord, je n'aurai pas mieux dit.
De quels droits ce fournisseur détruit, même si c'est du à la fatalité chose à laquelle il faudra d'abord répondre pour s'assurer que ce n'est pas ni de la négligence ni de l'incompétence, notre matériel et ne se sent pas responsable de rien ?
On va faire savoir à ses nouveaux clients de son Maxnod 2.0 comment il a traité ses anciens clients.
On va lui faire de la pub, pas de problème.
Sur le site maxnod.fr, on peut lire "Toute l'équipe travaille avec détermination et nous nous engageons à travailler ensemble pour surmonter cette épreuve."
Quelle indignité quand on sait avec quel mépris il traite certain de ses clients.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: nenex le 04 décembre 2023 à 18:45:40
Tu auras beau téléphoner 4 fois par jour à Adeli, ils n'ont aucune obligation de t'indemniser.
Ca c'est ce qu'on va voir...
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: nenex le 04 décembre 2023 à 19:03:38
Imagine l'effet d'un tel "humour" sur les clients de Maxnod/Adeli qui ont tout perdu, et qui ne seront pas indemnisés...
On va dire que Lionel est "spécial" pour ne pas être vulgaire.
Oui c'est bien pourri comme humour.
Moi j'ai tout perdu dans cet incendie et effectivement j'apprécie que modérément l'humour dans ce cas là.
Pour l'indemnisation, faut voir. Rien n'est joué.
Et à ce propos si quelqu'un veut se joindre à notre recours commun, vous pouvez m'écrire en privé.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: Leon le 20 janvier 2024 à 10:56:42
Les Li-ion sont à risque d'incendie
Les LiFePO moins ou pas de risque, et 3x plus de cycles
Y a des nouvelles découvertes sur les batterie Fe (ou métal)-Air 5-10x moins chère que les batterie Li-based. Deux fois plus de densité énergétique et charge 3x plus rapide que les Li.
Est-ce qu'on sait de manière fiable quelle techno de batterie était utilisée pour l'installation photovoltaïque (auto-conso) de Maxnod?
Li-Ion? LFP?
Probablement LFP, c'est ce qui est le plus utilisé pour les installations "stationnaires".
Je pense que nous avons notre réponse dans le sujet d'à côté sur Maxnod 2.0.
Ce qui a cramé c'est un parc de batteries LiFePO4.

En théorie, on n'aurait plus  besoin de passer via d'autres onduleurs, si ce n'est que si on veut de la redondance, on ne peut pas s'en passer.
Ce sera donc en batterie au "plomb" (snif..) plus onduleurs dans l'autre bâtiment.
En théorie les batteries aux plombs ne sont pas censés partir en fumée aussi facilement que les llifepo4



Reste à savoir si la salle batterie LiFe était équipée de murs coupe feu 2h, comme semble le demander les normes. Lionel ne nous donne pas clairement l'information.
Au niveau timing et coupe-feu..
La vérité est la suivante à ce jour:
Le coupe feu 2h ne sert qu'à sauver les personnes. (Le matériel la législation s'en moque, il faut être (bien) assuré, et cela fait marcher le commerce  :'( )
Les pompiers n'arrivent pas à éteindre un incendie en 2h.
Les pompiers ne rentrent pas dans une structure métallique (à cause de l'effondrement potentiel d'une telle structure)
Tant qu'il subsiste de l'énergie, on ne peut rien faire.

Leon.
Titre: 28/03/2023 Incendie dans le datacenter Maxnod
Posté par: vivien le 20 janvier 2024 à 12:16:24
Les photos montrent l'absence de mur coupe-feu.

Le plafond du local batterie à OVG SBG2 n'était pas non plus mur coupe-feu (mais cela n'aurait pas changé le déroulé des événements vu l'onduleur qui est hors de la salle batterie)