Auteur Sujet: 28/03/2023 Incendie dans le datacenter Maxnod (Lu 67014 fois)

Nico · « **le:** 28 mars 2023 à 23:23:17 »

Incendie dans le datacenter Maxnod du 28 mars 2023

Reprise du thread d'Hugues à propos de l'incendie de Maxnod, complété avec de nouvelles photos :

https://x.com/huguesdelamure/status/1640643682071085057

Bon, le Datacenter Maxnod est en feu, incendie sur le local batterie des panneaux photovoltaïques. Feu pas maîtrisé. Bon courage à tous ceux impactés.

Pour info, @milkywan_net peu impacté, quelques abonnés FTTH coupés dans le secteur parce qu'un câble SIEA a été touché.

Ça commence à se calmer

Update : Électricité HS depuis 10h20

Des câbles de fibre ont brûlé dans le datacenter donc ça ne sent pas très bon

A priori salle machine pas/peu impactée, sans certitudes.

Pour l'instant on est en stand by en attendant de voir si et quand on pourra récupérer les machine

La coupure électrique du datacenter a eu lieu à 10h14 et 40 secondes

Sur ce graphique qui log les accès à LaFibre.info, hébergé à ce moment-là au Maxnod, le dernier point relevé est à 10h10. Celui de 10h15 est resté sans réponse.

10h14 : En regardant les logs du forum de manière plus précise, on voit des accès chaque seconde et cela s'arrête à 10h14 et 39 secondes.

11h02 :

11h04 :

11h06 :

11h07 :

11h15 :

11h17 :

11h22 :

11h54 :

12h01 :

12h39 : Intervention sur les fibres pour rétablir des clients SIEA coupés

Nico · « **Réponse #1 le:** 28 mars 2023 à 23:28:58 »

Le feu est maitrisé et les pompiers sont entrés dans le bâtiment

Le gérant du dc est entré avec les pompiers pour voir dans quel état sont les infras IT

Update : salle intacte, un peu de suie, désenfumage en cours

Réseau : mort
Elec : Mort

On reste en standby pour récupérer les machines

Je vais pas tarder à partir, on va revenir des qu'on a la confirmation qu'on peut récupérer les machines

13h16 :

13h28 :

13h29 :

13h37 :

13h47 :

16h26 :

Nico · « **Réponse #2 le:** 28 mars 2023 à 23:29:54 »

Tour extérieur du datacenter :

Des photos de l'extérieur du bâtiment, plus rien à sauver hélas.

Le parking, surplombé par des panneaux photovoltaïques, capable d'alimenter entièrement le datacenter + stocker de l'énergie dans des batteries pour la nuit :

L'entrée de Maxnod :

Les bureaux :

Nico · « **Réponse #3 le:** 28 mars 2023 à 23:30:18 »

La salle où étaient stockées plusieurs tonnes de batteries pour stocker l'énergie solaire : C'est de là qu'est partie l'incendie

Au fond les groupes froids pour les serveurs :

Cette porte donne dans le couloir principal : (avec à l'autre bout la porte d'entrée)

L'arrière de la salle serveur, avec la grille pour la sortie de l'air chaud du datacenter :

Sous les panneaux, on voit une centrale de traitement d'air, qui injecte l'air frais dans les couloirs froids, le datacenter étant refroidi par free-cooling direct (sauf en cas de température extérieur > 28°c) :

Vue de la face avant, on voit d'autres centrales de traitement de l'air et un bâtiment à droite qui contient les groupes électrogènes et la réserve de fioul :

Nico · « **Réponse #4 le:** 28 mars 2023 à 23:30:44 »

Je suis parti, retour vers 17h. On a laissé quelqu'un sur place pour avoir des infos

De retour sur site, on attend pour récupérer le matos

Update je suis dans le DC

Bon les baies vont bien. Matos un peu sale mais ça ira

Une dizaine de clients sont là pour de-racker, nous on attend du monde pour se lancer...

Allez ça dérack, bonne soirée à vous !

16h29 : Entrée du Maxnod. À droite, la porte de la salle serveur :

16h29 : Une des premières entrées dans la selle serveur :

19h45 : Beaucoup de matériel a été retiré des baies :

16h29 : Exploration de la salle serveur
À droite, les entrées des allées froides.
À gauche, les onduleurs pour la charge IT et leurs batteries (les batteries sont dans une armoire juste à côté de l'onduleur).

16h34 : On est dans un couloir froid. Au fond à droite, l'entrée d'air frais, venant de la centrale de traitement d'air extérieur :

16h35 : découverte de l'état du matériel (couloir froid)

Nico · « **Réponse #5 le:** 28 mars 2023 à 23:30:47 »

Visiblement, il a fait très chaud dans certaines parties de la salle serveur.

En bas à gauche, les onduleurs pour les serveurs, avec leurs batteries dans l'armoire : elles n'ont pas été impactées
En bas à droite, l'armoire avec les disjoncteurs + compteurs des arrivées électriques des baies.

Le plastique à fondu :

Les chemins de câble dans la salle IT
Des câbles dont l'enveloppe est abimée :

Baie NetSyst coté couloir froid : des traces sont visibles, notamment sur le routeur Cisco.

Baie NetSyst coté couloir chaud :

Hugues a récupéré le serveur qui héberge LaFibre.info :

Il y a trop de suie sur la carte mère pour espérer la faire redémarrer :

Nico · « **Réponse #6 le:** 28 mars 2023 à 23:31:04 »

La salle serveur est l'endroit le plus préservé du datacenter.

Hors de cette salle, la structure du bâtiment semble affectée et le toit (lui aussi recouvert de panneaux photovoltaïques) est partiellement effondré.

16h46 :

16h49 :

Des sprinkler étaient pourtant présents dans le bâtiment :

Le TGBT a entièrement brulé :

On distingue les endroits où étaient rackés les disjoncteurs et autres équipements électriques :

16h47 :

16h48 : Les batteries à l'origine du drame

Aunisien · « **Réponse #7 le:** 28 mars 2023 à 23:31:45 »

Bon courage !

alf084 · « **Réponse #8 le:** 28 mars 2023 à 23:34:41 »

Un DC faussement TIER4 😏

web7 · « **Réponse #9 le:** 28 mars 2023 à 23:34:59 »

On souhaites vraiment du courage aux clients et à l'entreprise Maxnod, c'est quand même un des pires scenarios pour un DC

Et je pense qu'il faut féliciter aussi les services de secours pour avoir réussi à épargner des flammes la partie IT même si celle ci est durement touchée.

Nico · « **Réponse #10 le:** 28 mars 2023 à 23:36:40 »

Citation de: alf084 le 28 mars 2023 à 23:34:41

Un DC faussement TIER4 😏

C'était une marque déposée, rien à voir avec l'uptime institute.

https://data.inpi.fr/marques/FR3839157?q=Tier%204#FR3839157

Hugues · « **Réponse #11 le:** 28 mars 2023 à 23:37:13 »

J'étais sur place de 10h45, 30 minutes après le début de l'incendie, jusqu'a 22h ce soir.

C'est un spectacle désolant, la structure du batiment est compromise, tous les serveurs/routeurs/switchs sont remplis de suie conductrice et corrosive.

On a pu rentrer au bout de 5h, contre l'avis des pompiers dans le DC pour récupérer notre matériel.

L'atmosphère était irrespirable, il faisait chaud, tout était recouvert d'une suie collante, du sol au plafond, aucune lumière, seules nos frontales pour nous éclairer.

Sans aucun doute une des expériences les plus étranges de ma carrière.

Tout mon soutien à Lionel dans cette étape difficile. On revient demain matin pour faire un point.