Auteur Sujet: 28/03/2023 Incendie dans le datacenter Maxnod (Lu 54552 fois)

Leon · « **Réponse #48 le:** 29 mars 2023 à 18:13:17 »

Citation de: caaptusss le 29 mars 2023 à 18:04:36

En l'état, les câbles ont du fondre, et les routeurs ne peuvent être rallumés sans nettoyage.
Il faut également pouvoir rallumer les équipements dans un environnement sécurisé, ce qui n'est pas le cas du batiment.
Dans l'ordre, il faut :
- Ramener un shelter/container
- Retirer les fibre qui sont HS
- Nettoyer les équipements réseaux
- Amener un groupe électrogène et/ou retirer un départ 400V depuis le transfo/comptage
- Rallumer les équipements

En théorie, ça peut se faire "rapidement" mais si les assureurs ont figé la scène d'incident, ils ne peuvent probablement pas trop toucher tant que les expertises ne sont pas réalisées.
Il y a des conditions d'exclusions qui permettent la continuité d'exploitation immédiate mais c'est souvent à négocier avec l'assureur dans le contrat, ou au moment du sinistre.

Bref, c'est pas simple et ça peut prendre quelques jours pour remonter une infra, ne serais-ce que pour faire "pinguer" les routeurs sur internet.

Une solution alternative peut être de remonter en urgence une infra minimale (routeurs) dans une baie d'un datacenter voisin/concurrent. Ca me semble crédible, et plus simple à mettre en oeuvre.
Mais c'est là aussi loin d'être simple. Si les opérateurs locaux sont solidaires, ça peut sans doute se faire.

Leon.

vivien · « **Réponse #49 le:** 29 mars 2023 à 18:32:24 »

Citation de: Leon le 29 mars 2023 à 07:22:06

C'était des batteries uniquement pour faire de l'auto-conso en photovoltaique?
Donc des batteries indépendante des onduleurs/UPS de secours?

Oui : les batteries pour les serveurs ainsi que les onduleurs sont dans la salle serveur en allée chaude et n'ont pas été impactées.

C'est une nouvelle installation qui devait permettre au datacenter de fonctionner en grande partie avec des panneaux photovoltaïques, même la nuit.

D'après ce que je comprends, c'est la mise en place de ce dispositif de stockage de l'énergie sur batterie qui a provoqué l'incendie.

Citation de: Hugues le 29 mars 2023 à 01:23:59

Pour info, l'incident a eu lieu pendant le raccordement du pack de batteries a un onduleur du circuit photovoltaïque du batiment (tout ce matériel était neuf et pas encore en prod)
Donc extinction manuelle a la seconde ou ça a pris feu, ils ont passé 5 extincteurs mais ça n'a pas suffi.

Leon · « **Réponse #50 le:** 29 mars 2023 à 18:38:29 »

Citation de: vivien le 29 mars 2023 à 18:32:24

D'après ce que je comprends, c'est la mise en place de ce dispositif de stockage de l'énergie sur batterie qui a provoqué l'incendie.

Ouch, dans ce cas, il va probablement y avoir une bataille d'experts en assurance, entre l'assurance d'Adeli, celle de l'installateur, et celle du constructeur de l'onduleur. Pas simple...

Leon.

vivien · « **Réponse #51 le:** 29 mars 2023 à 18:47:42 »

Je fais un premier point avec les éléments connus.

Dans les points positifs : (qui ont permis de ne pas détruire les données des serveurs)
- Pompiers intervenus rapidement ;
- Énergie électrique éteinte rapidement. Cela peut paraitre simple, mais pour rappel dans l'incendie d'OVH Strasbourg, cela a été mission impossible de couper le courant. Les pompiers ont attendu sur place sans pouvoir intervenir à cause du 20 000 volts n'a été coupé que 1h15 après le début de l'incendie (Arcs électriques de plus d'un mettre autour de la porte du local énergie, flash impressionnants et bruit assourdissants). Les onduleurs de la salle énergie de SBG2 non impactée par l'incendie ont continué de fournir du courant pendant près de 3h après le début de l'incendie - jusqu'à leur destruction totale. cf Rapport d’enquête BEA-RI sur l’incendie du datacenter OVH de Strasbourg en 2021 ;
- Les personnes sur place connaissaient bien les lieux et les équipements ;
- Grande place autour du datacenter pour les pompiers ;
- Réseau incendie fonctionnel pour alimenter en eau les pompiers ;
- Faible densité d'habitation autour du datacenter.

Dans les points négatifs :
- Pas de mur coupe-feu suffisant autour de la salle qui avait plusieurs tonnes de batteries pour les panneaux photovoltaïques ;
- Pas de clapets/registres aérauliques pour fermer hermétiquement les récupérations d'air chaud des serveurs qui servent à chauffer les bureaux (ce qui a fait rentrer la fumée et la chaleur dans la salle serveur) ;
- Mauvaise évaluation du danger des batteries utilisées.

Enfin, pour la remise en service du site, l'arrivée électrique du site, en face avant du datacenter, me semble ne pas avoir été impactée. Il serait donc possible de la réutiliser pour alimenter un conteneur provisoire.

vivien · « **Réponse #52 le:** 29 mars 2023 à 19:39:05 »

Je me demande si le nettoyage du matériel n'est pas une option possible ? (comme pour OVH)

Citation de: vivien le 26 mars 2021 à 09:45:47

pju91 · « **Réponse #53 le:** 29 mars 2023 à 19:56:39 »

Citation de: vivien le 29 mars 2023 à 19:39:05

Le nettoyage n'est pas une option possible ?

Il faudrait que tu demandes à Octave ce que sont devenus les serveurs nettoyés 2 ans après.
Ca permettrait de mettre en perspective avec :

Citation de: Hugues le 29 mars 2023 à 19:41:03

Nexeren interdit d'héberger dans leur DC du matos venant de maxnod, trop de risque.

En ce qui concerne :

Citation de: Leon le 29 mars 2023 à 18:38:29

Ouch, dans ce cas, il va probablement y avoir une bataille d'experts en assurance, entre l'assurance d'Adeli, celle de l'installateur, et celle du constructeur de l'onduleur. Pas simple...

Peut-être aussi en impliquant celui qui a validé l'ingéniérie de cette installation de batteries et en a mal estimé les risques ...

mattmatt73 · « **Réponse #54 le:** 29 mars 2023 à 20:04:02 »

Citation de: Hugues le 29 mars 2023 à 19:41:03

Nexeren interdit d'héberger dans leur DC du matos venant de maxnod, trop de risque.

Hostelyon a dit 15 jours ça doit être démonté ou ils coupent le jus.

Les machines venant de maxnod sont dans des baies les plus loins du reste, au cas où.

Hugues · « **Réponse #55 le:** 29 mars 2023 à 20:08:51 »

Et 15 jours c'est déja sympa...

renaud07 · « **Réponse #56 le:** 29 mars 2023 à 20:20:41 »

Ça me parait aussi assez sévère cette restriction, comme si du matos qui n'a jamais pris de suies était à l'abri d'une défaillance.

Sans compter que c'est pas du matos à 100 balles, mais plutôt à 4 chiffres... vous avez une assurance d'ailleurs ?

Nico · « **Réponse #57 le:** 29 mars 2023 à 20:26:55 »

Citation de: renaud07 le 29 mars 2023 à 20:20:41

Ça me parait aussi assez sévère cette restriction, comme si du matos qui n'a jamais pris de suies était à l'abri d'une défaillance.

C'est le contraire, ce matos présente un risque plus élevé de défaillance.

mattmatt73 · « **Réponse #58 le:** 29 mars 2023 à 20:38:50 »

Citation de: Hugues le 29 mars 2023 à 20:08:51

Et 15 jours c'est déja sympa...

Oui, il pourraient faire comme nexeren et ça serait compréhensible.

renaud07 · « **Réponse #59 le:** 29 mars 2023 à 20:50:41 »

Citation de: Nico le 29 mars 2023 à 20:26:55

C'est le contraire, ce matos présente un risque plus élevé de défaillance.

On s'est mal compris.

Ce que je voulais dire c'est : est-ce que leur plus forte probabilité de défaillance, justifie leur mise à l'écart ? Pour moi pas forcément.

Ils peuvent très bien juste cesser de fonctionner sans pour autant déclencher un autre incendie ou je ne sais quoi. Si tous les PC et autres routeurs prenaient feu quand il y a un défaut il faudrait un peu plus s’inquiéter, mais pour l'immense majorité ce n'est pas le cas et heureusement.