La Fibre
Hébergeurs et opérateurs pro / entreprises => Hébergeurs et opérateurs pro / entreprises => 
OVHcloud => Discussion démarrée par: vivien le 08 juin 2022 à 13:41:47
-
Rapport d’enquête du BEA-RI sur l’incendie du data center SBG2 OVH de Strasbourg du 10 mars 2021
Une fuite d'eau sur une carte électronique d'un onduleur pourrait être la cause du début du sinistre ?
Le rapport rapporte "une mesure hygrométrique singulière vers 23h15 et une nouvelle augmentation de celle-ci un peu après 0h30 [...] Il n’est pas possible, à ce stade, d’établir la cause de la défaillance au niveau de l’ASI qui pourrait s’expliquer par différentes hypothèses (présence de liquide ou d’humidité liée à la présence du système de refroidissement situé à proximité, dysfonctionnement lié à l’opération de maintenance réalisée le matin même, exploitation de l’onduleur en dehors des plages normales de fonctionnement, …)."
Le 10 mars 2021, a 0h35, départ de feu sur un onduleur de la salle d’énergie n°2 de SBG2 (source : image extraite de la vidéosurveillance OVH, publiée par le BEA-RI)
(https://lafibre.info/images/ovh/202205_bea-ri_rapport_enquete_incendie_datacenter_ovh_strasbourg_05.webp)
Deux photos du SDIS du Bas-Rhin, qui ont été publié dans le sujet Incendie OVH à Strasbourg: SBG2 complètement détruit. SBG1 détruit à 42% (https://lafibre.info/ovh-datacenter/incendie-sur-un-site-ovh-a-strasbourg/) :
(https://lafibre.info/images/ovh/202103_incendie_ovh_strasbourg_6.jpg)
(https://lafibre.info/images/ovh/202103_incendie_ovh_strasbourg_aerien_4.jpg)
-
Qui est le BEA-RI qui a réalisé l'enquête ?
(https://lafibre.info/images/logo/logo_bea-ri.jpg)
Le BEA-RI a ouvert une enquête technique sur l'incendie et a publié son rapport sur https://www.cgedd.developpement-durable.gouv.fr/ (https://www.cgedd.developpement-durable.gouv.fr/les-enquetes-techniques-a3022.html)
Le BEA-RI est le Bureau d'enquêtes et d'analyses sur les risques industriels.
C'est une instance française de compétence nationale, au sein de l'administration centrale, mais indépendant.
Les dispositions créées aux articles L. 501-1 à L. 501-19 du Code de l’Environnement en août 2021 donnent la possibilité aux enquêteurs du BEA-RI de prélever des matériels en vue de mener des expertises. Ces dispositions n’étant pas encore prises au moment du lancement de la présente enquête et des expertises diligentées par le collège d’experts judiciaires, il n’a donc pas été possible au BEA-RI d’opposer un droit de regard sur les expertises ou de lancer ses propres investigations.
Pour rappel, l’enquête du BEA-RI vise exclusivement à tirer des enseignements en vue de faire progresser la sécurité, en complément des autres enquêtes, qui ont pour objet de rechercher des fautes ou des responsabilités, d’évaluer l’importance des dégâts aux biens, aux personnes ou à l’environnement, et de formuler des recommandations, le cas échéant, sur les modalités de réparation, de dépollution ou de dédommagement des préjudices.
A la date de publication du présent rapport, les conclusions du collège d’experts sur les causes précises du départ de feu n’étaient pas encore connues. C’est la raison pour laquelle le BEA-RI ne se prononcera pas sur les raisons qui ont provoqué les départs de feu constatés. Il n’en reste pas moins que le lieu d’origine de l’incendie, les équipements impliqués dans les premiers instants de l’incendie et les conditions qui ont permis son développement sont suffisamment déterminées pour permettre la publication du présent rapport.
C’est la raison pour laquelle sans attendre les conclusions de la procédure civile, le BEA-RI a souhaité rendre ses propres conclusions et émettre ses recommandations. Le BEA-RI se réserve la possibilité d’émettre un rapport complémentaire si les conclusions de l’expertise civile apportent des éléments complémentaires permettant d’améliorer la sécurité.
Le rapport complet à gauche (43 pages) et la synthèse à droite (2 pages) : (cliquez sur les miniatures ci-dessous - les documents sont au format PDF)
(https://lafibre.info/images/ovh/202205_bea-ri_rapport_enquete_incendie_datacenter_ovh_strasbourg.webp) (https://lafibre.info/images/ovh/202205_bea-ri_rapport_enquete_incendie_datacenter_ovh_strasbourg.pdf) (https://lafibre.info/images/ovh/202205_bea-ri_rapport_enquete_incendie_datacenter_ovh_strasbourg_synthese.webp) (https://lafibre.info/images/ovh/202205_bea-ri_rapport_enquete_incendie_datacenter_ovh_strasbourg_synthese.pdf)
Plan de situation : Le data center OVH de SBG est situé dans la banlieue de Strasbourg, dans la zone industrielle du port, à proximité de la frontière allemande.
(https://lafibre.info/images/ovh/202205_bea-ri_rapport_enquete_incendie_datacenter_ovh_strasbourg_12.webp)
(https://lafibre.info/images/ovh/202205_bea-ri_rapport_enquete_incendie_datacenter_ovh_strasbourg_13.webp)
-
Le site est constitué de 5 bâtiments indépendants construits au fil de l’évolution de la société. Le dernier bâtiment appelé SBG5 n’était pas encore en exploitation au moment de l’incendie. Le sinistre s’est déclenché au niveau du rez-de-chaussée du bâtiment SBG2 et s’est rapidement propagé à tout le bâtiment, impactant également les bâtiments voisins SBG1 (détruisant partiellement 4 salles sur 12) et SBG3 (impactant l’inter-bâtiment entre SBG2 et SBG3).
(https://lafibre.info/images/ovh/202205_bea-ri_rapport_enquete_incendie_datacenter_ovh_strasbourg_10.webp)
Le premier bâtiment nommé SBG1 est construit par superposition sur trois niveaux de containers, chaque container abritant des équipements électriques et informatiques.
Pour le bâtiment SBG2, OVH a conservé l’idée de bâtiment modulaire, mais ici sur 6 niveaux, adossés à une structure acier. Dans cette configuration, les caissons sont constitués de parois béton préfabriquées adossés à une ossature acier qui assure la stabilité notamment en cas d’aléa sismique ou météorologique.
Les planchers sont réalisés en bois brut ayant subi un traitement intumescent et les parois extérieures en bardage simple peau ou en bardage en lame d’aluminium. L’objectif de cette construction est de favoriser les échanges thermiques avec l’extérieur et de réduire la consommation de l’énergie consacrée au refroidissement des équipements informatiques ou électriques.
En terme de protection contre l’incendie, les documents communiqués par OVH montrent que la structure interne a bénéficié d’un traitement assurant une stabilité au feu 1 heure et les planchers d’un traitement coupe-feu 1 heure par application de peinture intumescente ou de flocage.
La bâtiment SBG3 est d’une conception plus classique avec une structure béton en R+5.
Pour SBG4, en exploitation depuis 2013, OVH a opté pour des choix constructifs comparables à SBG1 en construisant un bâtiment sur un seul niveau.
Plus récemment pour SBG5, bâtiment toujours en construction au moment de l’incendie, OVH a adopté une structure béton sur un niveau, en rupture avec les constructions antérieures. Cette structure apporte d’autres garanties en terme de stabilité et de résistance au feu.
Autre vue aérienne, qui ne fait pas partie du rapport du BEA-RI : (c'est moi qui ait reporté les informations)
(https://lafibre.info/images/ovh/202103_ovh_strasbourg_plan.jpg)
-
La gestion de l’électricité
Les datacenters sont conçus pour garantir une conservation et une accessibilité de la donnée à son propriétaire à toute heure du jour et de la nuit, 7 jours sur 7.
Dans le cas du site OVH, la fourniture d’électricité est assurée par :
• Deux liaisons HTA 20 kV redondantes,
• Des groupes électrogènes fuel qui permettent de subvenir aux besoins électriques du site en cas d’interruption des liaisons HTA,
• Des salles de stockage d’énergie contenant une grande quantité de batteries au plomb.
(https://lafibre.info/images/ovh/202205_bea-ri_rapport_enquete_incendie_datacenter_ovh_strasbourg_01.webp)
La continuité d’alimentation est assurée, à partir de ces trois sources d’énergie, par le système d’alimentation sans interruption (ASI) qui est un équipement comprenant, de manière assez synthétique, un onduleur et des redresseurs.
Il existe plusieurs modes de fonctionnement de l’ASI :
• L’onduleur de l’ASI alimente les serveurs de manière continue. Le redresseur reçoit le courant alternatif du réseau et le transforme en courant continu pour l’onduleur et le chargeur de batterie maintient les batteries chargées. L’onduleur transforme le courant continu en courant alternatif régulé et propre pour alimenter les serveurs.
• Si la priorité a été donnée au réseau, l’ASI vérifie en continu les conditions de l’alimentation d’entrée, et décide d’alimenter les serveurs à travers la ligne directe ou la ligne conditionnée en fonction de la qualité du courant.
Il résulte de cette conception qu’un datacenter est autonome sur le plan énergétique et qu’une consignation électrique du site qui peut être nécessaire en cas d’intervention des services de secours nécessite l’arrêt de l’alimentation générale, la neutralisation des groupes électrogènes et la décharge des batteries de secours.
(https://lafibre.info/images/ovh/202205_bea-ri_rapport_enquete_incendie_datacenter_ovh_strasbourg_02.webp)
Dans le cadre de l’enquête, outre les entretiens qui ont eu lieu le jour du déplacement, le BEA-RI a échangé avec du personnel de la société OVH, l’équipementier qui a fourni les ASI, un des experts judiciaires et des représentants de Strasbourg Electricité Réseaux, qui est le distributeur d’électricité à Strasbourg.
-
Conclusions sur le scenario de l’événement
L’incident se produit, de manière quasi concomitante aux alentours de 0h35, dans deux salles "énergie" de SBG2 alors que le datacenter est dans un mode exploitation que nous qualifierons de normal.
Les équipements incriminés étaient régulièrement entretenus. Au cours des jours qui ont précédé l’événement, un des onduleurs de la salle d’énergie n°2, désigné dans ce rapport ASI2, avait fait l’objet d’opérations de maintenance en raison de problèmes récurrents de passage en mode by-pass inexpliqués. Ces interventions ont donné lieu à des comptes-rendus d’interventions et de contrôles de remise en service qui ne mentionnent aucun élément singulier.
Les batteries ne sont pas équipées de système de scrutation ou de supervision mais OVH nous a indiqué respecter les durées de vie préconisées par le fabricant de batteries.
Le système de vidéosurveillance, et le monitoring de la centrale incendie du site montrent qu’un défaut électrique se produit au niveau de l’ASI2 et au niveau des batteries qui lui sont reliées. L’onduleur et les batteries associées n’étaient pas dans la même salle.
Le 10 mars 2021, a 0h35, départ de feu dans le local à batteries (source : image extraite de la vidéosurveillance OVH, publiée par le BEA-RI)
(https://lafibre.info/images/ovh/202205_bea-ri_rapport_enquete_incendie_datacenter_ovh_strasbourg_04.webp)
Le 10 mars 2021, a 0h35, départ de feu sur un onduleur de la salle d’énergie n°2 de SBG2 (source : image extraite de la vidéosurveillance OVH, publiée par le BEA-RI)
(https://lafibre.info/images/ovh/202205_bea-ri_rapport_enquete_incendie_datacenter_ovh_strasbourg_05.webp)
Dés le 11 mars 2021, Octave évoquait dans une vidéo la piste de l'onduleur avant d'avoir accès aux images de vidéosurveillance qui confirmeront le point) :
https://lafibre.info/videos/datacenter/202103_ovhcloud_octave_klaba_situation_suite_incendie_strasbourg.mp4
-
Plan du R0 du bâtiment SBG2 (plan source OVH). La zone de départ incendie a été ajoutée par le BEA-RI dans le but d’améliorer la lisibilité du plan et la compréhension du texte.
(https://lafibre.info/images/ovh/202205_bea-ri_rapport_enquete_incendie_datacenter_ovh_strasbourg_03.webp)
Pour l'ensemble du datacenter OVH de Strasbourg, une déclaration en date du 5 août 2016 est archivée à la DREAL au titre de ces deux rubriques :
• 2910 A2 (groupes électrogènes): 12,5 MW,
• 2925-1 (installations de charge de batteries): 153 kW.
Toutefois, le site a évolué depuis cette date, la construction de nouveaux bâtiments ayant augmenté la puissance thermique totale des groupes électrogènes et la capacité de charge de batteries.
-
De l'humidité détectée avant le départ de l'incendie
Extrait du rapport BEA-RI :
(https://lafibre.info/images/ovh/202205_bea-ri_rapport_enquete_incendie_datacenter_ovh_strasbourg_06.webp)
(https://lafibre.info/images/ovh/202205_bea-ri_rapport_enquete_incendie_datacenter_ovh_strasbourg_07.webp)
-
Déroulement de l’évènement
Le 10 mars 2021, à 00h35, une alarme se déclenche dans le PC sécurité du site OVH de Strasbourg. À 00h37, le gardien atteint la salle énergie 2 au rez-de-chaussée du bâtiment SBG2 et constate la présence d’une épaisse fumée noire. Le bâtiment est évacué à 00h39.
Le service d’incendie et de secours du Bas-Rhin est appelé par OVH à 00h42. Ils arrivent sur les lieux à 00h59. Il y a alors d’importants dégagements de fumée au rez-de-chaussée et les secours constatent la présence d’arcs électriques dans le local énergie. Une lance à eau est déployée en attente de la coupure électrique du site. Les services de secours constatent assez vite que la conception du bâtiment ne permettra pas de circonscrire l’incendie. Le risque de propagation aux étages supérieurs est évalué comme important.
Strasbourg Électricité Réseaux (SER) est prévenu par le SIS 67 à 00h52. Leur équipe d’astreinte est mobilisée et arrive sur les lieux à 01h27. Préalablement à leur arrivée, SER a été interrogé pour savoir s’il était possible que leurs agents interviennent au niveau du poste secondaire qui alimente SBG2. SER a fait savoir que dans la mesure où ce poste appartient au client, une telle intervention n’était pas envisageable.
À leur arrivée sur les lieux, l’incendie s’est déjà développé. Une intervention sur le poste secondaire est exclue et SER n’obtient pas l’autorisation de couper l’alimentation électrique du site au niveau du poste client en raison des risques liés à l’incendie. La décision est donc prise de couper le courant au niveau du poste source amont. La coupure sera effectuée à distance et sera effective à 01h50.
Les énergies de secours des bâtiments sont coupées à 01h13 (pour SBG2) et 01h28 (pour SBG3, SBG1 et SBG4) par les équipes d’OVH. À 01h28, des moyens en eaux sont déployés en façade de SBG2. À 01h42, le feu s'est propagé à la totalité du 1er étage et la propagation aux étages supérieurs ne peut plus être enrayée. Il y a alors deux lances en manœuvre, une de plain-pied et une sur une échelle pivotante automatique (EPA). À 01h49, l’appui du bateau pompe EUROPA est demandé car les moyens en eau deviennent insuffisants.
À 01h50, l’alimentation du site est coupée au niveau du poste source amont par Strasbourg Électricité Réseaux. Mais à 02h14, il y a toujours du courant dans le bâtiment 2, maintenant totalement embrasé, et une importante propagation vers le bâtiment 1 est constatée.
EUROPA arrive sur place à 02h57. Du fait des déformations constatées en façade, un effondrement du bâtiment 2 sur lui-même est craint. L’incendie se propage vers le bâtiment 1 et le bâtiment 3. Deux secteurs d’attaque sont mis en place. Un troisième secteur est alimenté par EUROPA.
À partir de 03h28, il n’y a plus de courant sur le site.
À 06h45, le feu est maîtrisé, mais l’extinction des foyers résiduels est rendue difficile par l’impossibilité de pénétrer à l’intérieur des structures métalliques.
Le feu est éteint à 10h02 et l’intervention est considérée comme terminée à 18h13.
Près de 4000 litres d’émulseurs auront été utilisés.
(https://lafibre.info/images/ovh/202205_bea-ri_rapport_enquete_incendie_datacenter_ovh_strasbourg_08.webp)
-
Le rapport de BEA-RI liste les facteurs qui ont contribué à la propagation de l’incendie
Le premier point est la conception des bâtiments et leur proximité.
(https://lafibre.info/images/ovh/202205_bea-ri_rapport_enquete_incendie_datacenter_ovh_strasbourg_10.webp)
Les suivants :
(https://lafibre.info/images/ovh/202205_bea-ri_rapport_enquete_incendie_datacenter_ovh_strasbourg_09.webp)
Il indique également que le local batterie qui avec 2,4 tonnes de batteries auraient du être coupe-feu 2h. Maintenant l'incendie ayant démarré dans l'onduleur, le respect de cette obligation uniquement sur le local batterie n'aurait pas forcément changé le destin de SBG2.
(https://lafibre.info/images/ovh/202205_bea-ri_rapport_enquete_incendie_datacenter_ovh_strasbourg_15.webp)
Il y a aussi le manque d'eau pour éteindre l'incendie où OVH n'a pas respecté ses obligations :
L’arrêté du 29/05/00 relatif aux prescriptions générales applicables aux installations classées pour la protection de l'environnement soumises à déclaration sous la rubrique n° 2925 impose à son point 4.2 la présence d’au moins un poteau conforme aux normes en vigueur. L’arrêté du 08/12/11 relatif aux prescriptions générales applicables aux installations classées soumises à déclaration sous la rubrique n° 2910-C de la nomenclature des installations classées pour la protection de l’environnement (pour les groupes électrogènes) impose au point 4.2 la présence d’un poteau incendie permettant de fournir un débit minimal de 60 m3/h pendant une durée d’au moins deux heures.
SBG2 n'avait pas de poteau incendie permettant de fournir un débit minimal de 60 m3/h. Maintenant l’appui du bateau pompe EUROPA a permis de pallier au manque d'eau et donc avoir plus d'eau n'aurait peut-être pas changé grand chose, sauf peut-être pour SBG1.
-
Le rapport de BEA-RI liste les facteurs qui ont contribué à limiter les conséquences de l’accident et la propagation de l’incendie
- La détection incendie :
Ces derniers ont parfaitement joué leur rôle de détection et ont permis une alerte rapide des personnels présents sur site et des personnels d’astreinte.
- La présence de personnel sur site et la mobilisation du personnel d’astreinte
Les équipes d’OVH d’astreinte ont pu rapidement en interne ou en externe mobiliser des compétences techniques, notamment sur le volet électrique, pour assister les services de secours publics durant l’intervention. Cette collaboration technique s’est avérée d’autant plus nécessaire que l’industriel ne disposait pas de moyens simples de sécurisation électrique du site et, que du côté du SIS, le site ne bénéficiait pas de plan d’établissement répertorié.
- L’intervention de moyens en eaux supplémentaires
Les services d’incendie et de secours ont eu recours à EUROPA, le bateau pompe franco-allemand basé à Strasbourg. [...]
Doté d’une capacité de pompage importante (3 pompes à eau extincteur d’une capacité de 15 000 l/min et de 2 lances à incendie (mousse et eau) de 4500 l/min chacune), ce bateau a joué un rôle déterminant dans la gestion de l’incendie compte tenu de l’absence de moyens d’extinction propres de l’exploitant et de la capacité limitée du réseau incendie (DECI) sur la zone. En l’absence de tels moyens les conséquences de l’incendie auraient probablement été plus importantes sur les bâtiments adjacents.
- La présence de mur coupe-feu entre SBG2 et SBG3
SBG3, protégé de SBG2 par des murs coupe-feu 2 heures et par une séparation (zone inter bâtiment constituée de circulations), a été moins impacté que SBG1 qui ne disposait pas du même niveau de protection (4 salles détruites sur 12). Les services de secours nous ont toutefois rapporté que des portes coupe-feu avaient été maintenues ouvertes au moment de l’évacuation, ce qui a eu pour effet de dégrader l’efficacité de ce dispositif.
-
Enseignements de sécurité en matière de conception des bâtiments
Dans le domaine de la conception des bâtiments, nous retiendrons deux enseignements de sécurité.
Tout d’abord, les prescriptions applicables aux locaux de charges de batteries, lorsqu’ils sont situés à l’intérieur d’un bâtiment, nécessitent de présenter un degré de tenue au feu suffisant pour éviter sa propagation au reste du bâtiment. La réglementation existante nous semble déjà complète, et l’accident d’OHV ne remet pas en question sa pertinence technique.
Deux configurations, en l’état actuel de la réglementation, méritent toutefois une attention particulière :
-Lorsque les batteries utilisées ne sont pas susceptibles de générer de l’hydrogène lors de la charge (si les batteries plomb sont aujourd’hui majoritairement utilisées dans le stockage d’énergie dans les centres de données, la technologie lithium offre une alternative de plus en plus compétitive qui tend à se développer) ;
-Ou lorsque ces locaux de charges sont situés en extérieur.
Sur le premier point, le BEA-RI considère que la prescription relative aux dispositions constructives devrait également concerner les autres technologies de batteries pour lesquelles la défaillance électrique et l’emballement thermique ne peuvent être physiquement écartés. Ce type de défaillance peut conduire à des incendies importants et justifier des dispositions constructives spécifiques.
Sur le second point (locaux de charge en extérieur), le BEA-RI rappelle les recommandations émises dans son rapport MTE-BEARI-2021-004 sur l’incendie de container à batteries de Perles et Castelet (09)
Enfin le rapport pointe que protéger le local batterie n'est pas suffisant, vu le départ d'incendie au niveau de l'onduleur :
(https://lafibre.info/images/ovh/202205_bea-ri_rapport_enquete_incendie_datacenter_ovh_strasbourg_11.webp)
-
Vu que l'information m'est demandée : Il n'y avait pas de système d'extinction incendie automatique sur le datacenter OVH de Strasbourg en 2021
L'extinction incendie existait, si elle n'était pas automatique : C'était basé sur des hommes présents 24h/24 et des extincteurs.
Le rapport d’enquête BEA-RI confirme cette information qui était connue, cf le sujet OVH et la protection incendie (https://lafibre.info/ovh-datacenter/ovh-et-la-protection-incendie/) qui date de 2013, bien avant l'incendie.
Extrait du rapport d’enquête BEA-RI :
Ces salles appelées aussi "salles énergie" étaient équipées d’une détection incendie mais ne disposaient d’aucun système d’extinction automatique.
[...]
Malgré l’arrivée rapide des secours, la conception du bâtiment, l’absence de système d’extinction automatique, le délai de mise en sécurité électrique du site et les moyens en eau sur la zone n’ont pas permis d’éviter l’embrasement généralisé de SBG2 et la propagation de l’incendie à des bâtiments voisins.
[...]
En matière de prévention des incendies, le site est équipé d’un système de détection combiné à la présence permanente de personnel formé à la manipulation des extincteurs. Il n’est toutefois pas équipé de système d’extinction automatique. La défense incendie du secteur est assurée par le réseau public constitué d’une unique ligne d’alimentation et d’un poteau incendie.
[...]
OVH a choisi de n’équiper aucun des cinq bâtiments de son datacenter de Strasbourg de système de protection incendie automatique. Pour rappel, un système de protection incendie peut avoir plusieurs fonctions :
• L’extinction de l’incendie,
• Le contrôle ou la temporisation de l’incendie, ce qui permet de contenir sa progression et de donner du temps à l’organisation et l’intervention des secours.
De surcroît, dans le cas d’une installation telle qu’un datacenter, il permet de mettre en œuvre des moyens en eau très tôt dans la séquence accidentelle, sans même attendre l’arrêt de la fourniture d’électricité, et sans exposer de personnel à un risque d’électrocution.
[...]
Les services de secours publics ne disposaient pour cette intervention que d’un poteau incendie qui délivrait un débit insuffisant (inférieur à 60m3/h). L’exploitant ne disposait pas non plus de réserve d’eau d’extinction en propre ni de moyen de pompage dans le canal du Rhin. Compte tenu de l’évolution rapide et défavorable du sinistre, ils ont rapidement sollicité l’appui du bateau pompe EUROPA qui est arrivé sur la zone à 3h00. [...] ce bateau a joué un rôle déterminant dans la gestion de l’incendie compte tenu de l’absence de moyens d’extinction propres de l’exploitant et de la capacité limitée du réseau incendie (DECI) sur la zone. En l’absence de tels moyens les conséquences de l’incendie auraient probablement été plus importantes sur les bâtiments adjacents.
[...]
Un système de protection automatique et asservi à la détection est conçu en fonction de l’objectif recherché : l’extinction de l’incendie, la réduction de l’incendie ou le contrôle de l’incendie.
[...]
Un datacenter tel que celui d’OVH n’étant ni un ERP ni un IGH, les exigences réglementaires en matière de moyens en eau d’extinction sont essentiellement portées par la réglementation des ICPE au titre de la charge de batteries et de l’exploitation de groupes électrogènes. L’enquête a permis de constater que ces premières exigences n’étaient pas respectées.
Mais au-delà de cette question de conformité, le BEA-RI considère que ces moyens, même présents, n’auraient probablement pas permis d’éviter l’embrasement de SBG2, faute de mise en œuvre rapide par rapport à la cinétique d’incendie. Cet accident montre donc qu’en l’absence de recoupement suffisamment dimensionné, l’incendie généralisé est un scénario plausible auquel doit pouvoir faire face un exploitant de datacenter et, en cas de défaut de celui-ci, le service de secours publics local. Il est donc important d’anticiper cette situation en terme de stratégie d’intervention et de dimensionnement des moyens en eau.
La position d'OVH étaient quand on les interrogeait avant cet incendie qu'ils avaient sur chaque site un système de détection combiné à la présence permanente de personnel formé à la manipulation des extincteurs.
OVH avait bien un système de détection incendie efficace et du personnel 24h/24 sur site capable d’intervenir très rapidement. Cela a été démontré le 10 mars 2021.
Une extinction par extincteur est adapté au début de nombreux sinistres. Par exemple, un début d'incendie déclenché typiquement par une alimentation de PC défectueuse. Le personnel sera probablement sur place avant la moindre flamme et il n'y aura aucun impact autre que le serveur qui est a l'origine du sinistre. Le rapport d’enquête BEA-RI le montre, OVH n'était pas préparé pour un incendie de grande ampleur, un incendie qui devient très vite incontrôlable : Pas de procédure pour éteindre l'électricité des bâtiments, pas d’arrivée en eau suffisante (heureusement qu'il y avait ce bateau Franco-Allemand).
L'incendie d'OVH de Strasbourg du 10 mars 2021 semble avoir été rapide. On n'a pas la vidéo montrant la vitesse de propagation, mais devant un onduleur en folie, un extincteur semble dérisoire.
(https://lafibre.info/images/ovh/202205_bea-ri_rapport_enquete_incendie_datacenter_ovh_strasbourg_05.webp)
(la photo est prise au tout début, quand le personnel est arrivé dans la salle, deux minutes plus tard, la situation devait être déjà dégradée).
Pour donner une image (un peu exagérée je l'avoue), c'est comme si les ouvriers de ligne d'extrusion d'aluminium étaient formés à éteindre un début d'incendie avec un extincteur. On voit bien que pour certains types de feu avec une source d'énergie (énergie électrique pour OVH, huile + aluminium en fusion ci-dessous), c'est inutile.
Impressionnant !
Panne hydraulique sur une ligne d'extrusion d'aluminium de l'entreprise d'aluminium Alueuropa SA à Séville, en Espagne.
La situation se dégrade à une vitesse incroyable. Un plafond suspendu dans un endroit comme celui-ci (extrusion d'aluminium à plus de 1000 degrés) est clairement une mauvaise idée.
Je me demande si un arrêt d'urgence enfoncé aurait permis d'éviter que cela dégénère autant. Cela n'aurait permis que quelques secondes de pulvérisation par le haut, au lieu d'un flux constant.
https://lafibre.info/videos/bistro/202206_panne_ligne_extrusion_aluminium.mp4
Par chance, il n'y a aucun blessé.
Je pense que suite à l'incendie OVH s'est ou va équiper tous ses locaux d'une extinction incendie automatique et efficace.
D'autres exploitant de datacenter qui avaient eux aussi pas pris en compte un embrasement généralisés se sont équipés ou y réfléchissent.
Jusqu'à présent, pour de nombreux acteurs un incendie doit pouvoir se traiter sans couper les serveurs. Les moyens d'extinctions qui sont mis en place permettent d'éteindre des incendies de petit taille (alimentation de serveur) mais pas un onduleur en folie comme dans le cas d'OVH, alimenté par une puissante source d'énergie (qu'il aurait fallu couper rapidement pour pouvoir éteindre l'incendie).
Il y a une prise de conscience avec cet incendie qu'il faut se préparer à l'impensable, c'est à dire un incendie qui oblige d'éteindre le datacenter et de protéger le bâtiment pour éviter une propagation, quitte à ne pas permettre un redémarrage immédiat des serveurs.
-
Enfin, sans lien avec le BEA-RI, les sapeurs-pompiers du Bas-Rhin ont partagés leur retour d’expérience sur l'intervention de Strasbourg
(cliquer sur l'image pour zoomer)
(https://lafibre.info/images/ovh/202202_incendie_ovh_strasbourg_partage_experience_sdis67_1.jpg) (https://lafibre.info/images/ovh/202202_incendie_ovh_strasbourg_partage_experience_sdis67_1.jpg)
-
Retour d’expérience des sapeurs-pompiers du Bas-Rhin sur l'intervention OVH Strasbourg, page 2/4 :
(cliquer sur l'image pour zoomer)
(https://lafibre.info/images/ovh/202202_incendie_ovh_strasbourg_partage_experience_sdis67_2.jpg) (https://lafibre.info/images/ovh/202202_incendie_ovh_strasbourg_partage_experience_sdis67_2.jpg)
-
Retour d’expérience des sapeurs-pompiers du Bas-Rhin sur l'intervention OVH Strasbourg, page 3/4 :
(cliquer sur l'image pour zoomer)
(https://lafibre.info/images/ovh/202202_incendie_ovh_strasbourg_partage_experience_sdis67_3.png) (https://lafibre.info/images/ovh/202202_incendie_ovh_strasbourg_partage_experience_sdis67_3.png)
-
Retour d’expérience des sapeurs-pompiers du Bas-Rhin sur l'intervention OVH Strasbourg, page 4/4 :
(cliquer sur l'image pour zoomer)
(https://lafibre.info/images/ovh/202202_incendie_ovh_strasbourg_partage_experience_sdis67_4.png) (https://lafibre.info/images/ovh/202202_incendie_ovh_strasbourg_partage_experience_sdis67_4.png)
-
(https://lafibre.info/images/ovh/202103_incendie_ovh_strasbourg_6.jpg)
(crédit photo : SDIS du Bas-Rhin)
(https://lafibre.info/images/ovh/202103_incendie_ovh_strasbourg_aerien_4.jpg)
(crédit photo : SDIS du Bas-Rhin)
-
(https://lafibre.info/images/ovh/202103_incendie_ovh_strasbourg_aerien_3.jpg)
(crédit photo : SDIS du Bas-Rhin)
(https://lafibre.info/images/ovh/202103_incendie_ovh_strasbourg_aerien_1.jpg)
(crédit photo : SDIS du Bas-Rhin)
-
(https://lafibre.info/images/ovh/202103_incendie_ovh_strasbourg_aerien_5.jpg)
(crédit photo : SDIS du Bas-Rhin)
(https://lafibre.info/images/ovh/202103_incendie_ovh_strasbourg_aerien_2.jpg)
(crédit photo : SDIS du Bas-Rhin)
-
(https://lafibre.info/images/ovh/202103_incendie_ovh_strasbourg_1.jpg)
(https://lafibre.info/images/ovh/202103_incendie_ovh_strasbourg_5.jpg)
-
(https://lafibre.info/images/ovh/202103_incendie_ovh_strasbourg_7.jpg)
(https://lafibre.info/images/ovh/202103_incendie_ovh_strasbourg_8.jpg)
-
(https://lafibre.info/images/ovh/202103_incendie_ovh_strasbourg_9.webp)
(https://lafibre.info/images/ovh/202103_incendie_ovh_strasbourg_10.webp)
(https://lafibre.info/images/ovh/202103_incendie_ovh_strasbourg_3.jpg)
-
(https://lafibre.info/images/ovh/202103_ovh_strasbourg_apres_incendie_1.jpg)
(https://lafibre.info/images/ovh/202103_ovh_strasbourg_apres_incendie_3.jpg)
-
Construction du site SBG2 - Planchers en bois bénéficiant d’un traitement coupe-feu 1 heure par application de peinture intumescente ou de flocage :
#Ovh #SBG les échangeurs du watercooling de serveurs sont installés sur chaque étage.
(https://lafibre.info/images/ovh/201305_ovh_strasbourg_sgb2_construction.jpg)
Source : twitter OLES OVH (https://twitter.com/olesovhcom/status/335448359525552128)
Les autres éléments, notamment les communication d'OVH sont dans le sujet Incendie OVH à Strasbourg: SBG2 complètement détruit. SBG1 détruit à 42% (https://lafibre.info/ovh-datacenter/incendie-sur-un-site-ovh-a-strasbourg/)
-
Quelques vidéos tournées sur place :
https://lafibre.info/videos/datacenter/202103_incendie_ovh_strasbourg_1.mp4
https://lafibre.info/videos/datacenter/202103_incendie_ovh_strasbourg_2.mp4
-
https://lafibre.info/videos/datacenter/202103_incendie_ovh_strasbourg_3.mp4
Je ne vois aucun réponse, le sujet n'est pourtant pas verrouillé ;)
-
Disons qu'il va falloir un peu de temps pour digérer cette montagne d'information très intéressante! ;D
Merci!! ;)
-
C'est exactement ce que j'étais en train d'écrire ! ;D
-
Super dossier et très instructif.
Bon en bref le retardant et le bois , ce n'est pas l'idéal (mise à part sauver des gens???)
Empiler des boites : bon ce n'est pas non plus l'idéal.
Ne pas mettre de sécurité incendie , ce n'est pas une bonne idée!
La vraie question c'est quand même : quelle est la marque des onduleurs?, Est-ce qu'il y a des logs?
Les batteries des onduleurs peuvent être victimes d'emballement thermique (suite problème de clim?) et normalement les onduleurs savent gérer ce problème, cela n'aurai t pas du arriver.
Par contre sous l'eau effectivement ce n'est pas garantie! La question est donc est-ce l'eau qui a fait cramer les onduleurs ? ou est-ce l'incendie qui a fait fondre le système de refroidissement!?
Sans critiquer OVH (mais un peu quand même ;) ), on est quand même dans la vraie vie et les limites financières provoquent ce genre de situation.
-
On a plus qu'a attendre la fin de l'enquête pour savoir si c'est la poule ou l’œuf le responsable :D
-
Les pompiers mentionnent dans leur retour d'expérience : Arcs électriques de plus d'un mètre autour de la porte du local "énergie" => Flash impressionnants et bruits assourdissants.
Il semble donc que ces arcs électriques étaient formés par du 20 000 volts (impossible d'avoir de tels arcs avec du 400 volts).
Pour moi ce qu'il manque comme information dans ce rapport, ce sont les tensions utilisées dans ce que le rapport nomme l'ASI (le système d’alimentation sans interruption).
- L'arrivée du côté d’Électricité de Strasbourg Réseau (ESR) se fait en 20 000 volts
- Les groupes électrogènes de DC2 sont également en 20 000 volts (il y a un transformateur pour monter la tension dans le groupe)
En sortie de chaque groupe, un transformateur 400v vers 20 000v :
(https://lafibre.info/images/ovh/201105_rbx1_en_sortie_de_chaque_groupe_un_transformateur_400V_vers_20000V2.jpg)
(https://lafibre.info/images/ovh/201105_rbx1_en sortie_de_chaque_groupe_un_transformateur_400V_vers_20000V.jpg)
On ne sais pas où sont les transformateurs pour abaisser la tension.
Il y a des datacenter où la sortie de l'onduleur on a un transformateur pour remonter la tension en 20 000 volts (d’après ce que j'ai compris, cela permet des économies)
Ce serait le cas ici ?
Où les onduleurs alimenteraient directement les serveurs en 400 volts (soit du 230 volts entre le neutre et une des 3 phases)
Ces histoires de tensions ne sont pas anecdotiques, vu que l'on est sur un feu d'origine électrique.
Post moterm de l'incident de novembre 2017 :
Bonjour,
Voici le post-mortem de l'incident.
Le jeudi 9 novembre, à 7 h 04, le site de Strasbourg, hébergeant 4 datacentres, a été privé d’énergie. Malgré toutes les sécurisations mises en place, la coupure électrique s’est propagée dans les datacentres et a provoqué un arrêt électrique de 40 386 serveurs hébergés sur le site.
À 10 h 39 le site a été réalimenté, puis les services ont progressivement redémarré. A 18 h 00, 71 % des serveurs étaient fonctionnels, et le vendredi 10 novembre à 23 heures, 99 % des serveurs étaient fonctionnels. Une minorité de services a été affecté jusqu’au dimanche 12 novembre.
Déroulé de l’incident en temps réel (jeudi 9 novembre) :
----------------------------------------------------------
7h04:07 : disjonction du côté d’Électricité de Strasbourg Réseau (ESR) et perte de l’alimentation électrique des deux lignes.
7h04:17 : les groupes électrogènes haute tension (HT) ne démarrent pas.
7h12:48 : l’onduleur 6 (UPS) arrive en fin d’autonomie batterie.
7h15:48 : l’onduleur 5 arrive en fin d’autonomie batterie.
7h17:25 : l’onduleur 2 arrive en fin d’autonomie batterie.
7h18:00 : les premières tentatives manuelles de redémarrage des groupes HT ont échoué.
7h18:39 : l’onduleur 1 arrive en fin d’autonomie batterie.
7h19:19 : l’onduleur 4 arrive en fin d’autonomie batterie.
7h21:00 : l’onduleur 3 arrive lui aussi en fin d’autonomie batterie.
7h21:00 : les salles de routage ne sont plus alimentées électriquement.
7h21:03 : nouvelle tentative manuelles de démarrage du groupe HT numéro 1.
7h22:42 : nouvelle tentative manuelles de démarrage du groupe HT numéro 2.
7h30 : la cellule de crise locale est opérationnelle.
7h50 : la cellule de crise centrale au siège de Roubaix est opérationnelle.
Entre 7h50 et 10h39 : multiples tentatives manuelles de redémarrage des groupes électrogènes accompagnées par nos experts en génie électrique.
10h39 : ESR rétablit l’alimentation secteur.
10h58 : les routeurs sont de nouveau joignables.
11h : les interventions sur les serveurs le nécessitant sont en cours.
14h : arrivée d’une première équipe renfort
16h : des renforts venus de nos sites de Francfort (Allemagne) et de Roubaix arrivent.
17h30 : un camion de 38 tonnes rempli de pièces détachées arrive sur place.
22h : 97 % des serveurs fonctionnent, 91 % répondent au ping.
Quelle est la cause de la disjonction côté ESR ?
------------------------------------------------
L’ensemble du site est alimenté par 1 alimentation électrique de 20MVA réalisée avec 2 câbles de 20kV. La cause de la disjonction est liée à une altération d’un des 2 câbles souterrains, qu’ESR a réparé rapidement. Les causes de l’altération de ce câble ne sont pas encore déterminées à date. Des investigations sont en cours par ESR.
Pourquoi la perte d’un câble a entraîné une coupure d’alimentation ?
--------------------------------------------------------------------
Le site de Strasbourg est alimenté par deux câbles délivrant 20MVA et donc connectés sur le même disjoncteur. Le déclenchement du disjoncteur a entraîné la coupure des deux lignes.
Pourquoi les générateurs haute tension ne se sont-ils pas mis en route ?
------------------------------------------------------------------------
SBG1 et SBG4 sont alimentés par 2 groupes électrogènes (HT), de 2MVA chacun, qui prennent le relais en cas de coupure électrique. L’inverseur normal/secours motorisé n’a pas rempli sa fonction correctement et n’a pas démarré les groupes électrogènes.
Après investigation, nous avons constaté que l’ordre de démarrage des groupes haute tension (HT) n’avait pas été envoyé par l’automate pilotant l’inverseur.
Le fabriquant de cet automate est venu l’expertiser. Il s’avère qu’il était bloqué en défaut « automatisme verrouillé », ce qui explique l’absence de démarrage des groupes HT. Des investigations sont en cours pour comprendre l’origine de ce blocage.
L’équipe d’intervention du fabricant a remis l’automate en état de fonctionnement normal. Nous n’avons pour l’instant pas d’explication à cette erreur. En l’attente des conclusions, nous assurons la permanence en roulement d’une personne dédiée 24 heures/24 et 7 J/7 afin d’être en mesure de forcer la bascule manuellement pour parer à un éventuel nouveau défaut de l’automate.
Dans les prochains jours, nous allons réaliser le test en charge du site ce qui nous permettra de valider le bon fonctionnement de l’automate.
Pourquoi les tentatives de démarrage des groupes HT ont-elles échoué ?
----------------------------------------------------------------------
Le datacentre SBG2 est alimenté avec 2 groupes électrogènes BT de 1.4MVA chacun. L’un de ces 2 groupes BT était en « mode maintenance ». En « mode maintenance », dans le cas d’une coupure électrique, les 2 groupes électrogènes HT de SBG1 fournissent l’énergie à SBG2, à la place du groupe électrogènes BT en maintenance.
Jeudi le 9 novembre, lorsque que le site a été privé d’énergie, l’inverseur normal/secours motorisé n’a pas rempli sa fonction correctement et n’a pas donné l’ordre de démarrage aux groupes HT.
Nous avons donc procédé à des tentatives de démarrage manuelles.
Pour faire fonctionner la charge électrique de SBG1, SBG4 et SBG2 avec l’un des deux groupes BT en « mode maintenance », il faut absolument que les 2 groupes HT fonctionnent ensemble afin de fournir 4MVA. Comme les 2 groupes électrogènes HT ne sont pas parvenus à se synchroniser, nous avons alors découplé les 2 groupes électrogènes HT pour les faire fonctionner séparèment. Un groupe seul délivrant uniquement 2MVA ne peut tenir la charge demandée et il s’arrête. Nous avons effectué de multiples essais dans différentes configurations, sans succès.
Combien de temps a-t-il fallu pour rétablir les services ?
----------------------------------------------------------
Des moyens exceptionnels ont été mis en place afin de rétablir au plus vite les services.
État des lieux général :
------------------------
Jeudi à 22 heures, 97 % des serveurs (hardware) étaient de nouveau fonctionnels ainsi que 91 % des services (software). Vendredi à minuit, 99 % des serveurs étaient de nouveau opérationnels ainsi que 96,2 % des services.
Dans le détail :
Private Cloud :
----------------
Jeudi 9 novembre
· 23h : 78,59% des vCenters opérationnels
Vendredi 10 novembre
· 5h : 100% des vCenters opérationnels
Object Storage/Cloud Archive :
-------------------------------
Jeudi 9 novembre, 13h35 : 100 % opérationnel
PCS :
-----
Jeudi 9 novembre, 13h35 : PCS/PCA 100% opérationnel
PCI/VPS* : (*zoning PCI : les « régions PCI » ont une nomenclature différente de celle des datacenters)
------------------------
11h30 : API est UP sur le région SBG1/SBG2/SBG3
17h : 98% instances OK région SBG3
20h00 : 98% instances OK région SBG1
21h00 : 92% instances OK région SBG2
Vendredi 10/11
16h00 : 100% instances OK région SBG1
16h30 : 100% instances OK région SBG2
Samedi 11/11
18h : 100% instances OK région SBG3
SD :
----
Jeudi 9/11
21h : 93,05% des serveurs dédiés sont opérationnels
Vendredi 10/11
17h : 99,1% des serveurs dédiés sont opérationnels
Comment avez-vous géré la situation ?
--------------------------------------
Dès 7 h 50, une cellule de crise est activée à Roubaix afin de coordonner toutes les actions des équipes. Octave Klaba, le CEO et fondateur d’OVH, rend compte de l’évolution de la situation en temps réel, via les réseaux sociaux. Des explications détaillées sont aussi fournies sur la tâche travaux.
En parallèle, les équipes support françaises s’organisent avec leurs homologues québécoises pour répondre à un maximum de sollicitations. Les clients Grands Comptes concernés sont contactés afin de leur apporter des solutions rapides et concrètes.
À Strasbourg, les équipes datacentres sont vite renforcées par des techniciens venus de nos centres de données allemands (Francfort) et français (Roubaix). Un véritable pont routier et ferroviaire est mis en place. Vers 17 h 30, un camion de 38 tonnes provenant du centre logistique d’OVH en métropole lilloise, leur apporte toutes les ressources matérielles additionnelles nécessaires pour les heures à venir. Plusieurs camions arriveront les jours suivants, suite à la mise en place d’une astreinte logistique à Roubaix.
Ces équipes ont ainsi travaillé sans relâche, nuit et jour, pour rétablir les services de tous les clients, allant jusqu’à justifier l’organisation et la mise en place d’un pont aérien entre Lille et Strasbourg afin d’accélérer les rotations des équipes présentes sur place durant le week-end et toute la semaine.
Quel est le plan d’action mis en place suite à cet évènement ?
---------------------------------------------------------------
Comme évoqué précédemment, nous avons immédiatement pris des mesures pour proscrire ce type d’incident à Strasbourg (SBG) ainsi que sur l’ensemble de nos sites.
Ce plan d’actions va se déployer en 2 phases.
À court terme
-------------
Nous avons demandé un rapport détaillé au fournisseur de l’automate.
Puisque le basculement de l’automate normal/secours motorisé n’a pas fonctionné, nous avons une présence dédiée 24 heures sur 24 et 7 jours sur 7, afin de pouvoir réaliser manuellement la manœuvre en cas de non-fonctionnement de l’automatisme. Cette astreinte sécurise le site en attendant qu’un test en charge puisse confirmer le bon fonctionnement de l’automate.
Pour la partie inverseur normal/secours, nous allons rapidement remplacer la partie automatisme par un automate « maison », qui nous permettra d’en maîtriser complètement le fonctionnement et de le monitorer. Un système identique est déjà en production à Gravelines.
Nous avons demandé un rapport détaillé à ESR concernant l’origine de l’avarie.
Une étude de faisabilité concernant le raccord d’une deuxième arrivée électrique de 20MVA est également lancée. En attendant, nous avons lancé une 2eme étude : la mise en place de 2 disjoncteurs isolés, un par câble, ce qui permettrait de secourir un éventuel défaut sur l’un des 2 câbles.
Nous allons effectuer la séparation du réseau électrique de SBG2 vis-à-vis de SBG1/SBG4 ainsi que la séparation du futur SBG3, vis-à-vis de SBG2 et SBG1/SBG4. De cette manière, chaque datacentre disposera de son alimentation de secours indépendante.
Un audit électrique est également en cours pour l’ensemble de nos sites.
À noter : à l’heure actuelle, lorsqu’un serveur est commandé sur le site de Strasbourg, il apparaît par défaut au sein de l’espace client comme hébergé au sein de SBG1, même s’il est hébergé à SBG2 ou SBG4. C’est un bug d’affichage. Cette anomalie sera corrigée très rapidement afin de laisser apparaître le datacentre réel au sein duquel le serveur est hébergé.
À long terme
------------
La technologie basée sur les containers maritimes ne sera plus utilisée par OVH. En effet, elle n’a été utilisée que pour construire SBG1 et SBG4, et hérite des imperfections de design liées à la faible ambition initialement prévue pour le site. Aujourd’hui, nous réalisons qu’elle n’est plus adaptée aux exigences de notre métier et aux normes OVH. Nous allons donc démanteler SBG1 et SBG4.
Pour cela, une migration de l’ensemble des services de nos clients hébergés sur SBG1 et SBG4 sera opérée vers SBG2 et SBG3 ou sur d’autres datacentres OVH.
Nous sommes sincèrement désolés pour cette panne et nous faisons le nécessaire afin que ce type d'incident ne se reproduise plus.
Amicalement
Octave
-
Par contre sous l'eau effectivement ce n'est pas garantie! La question est donc est-ce l'eau qui a fait cramer les onduleurs ? ou est-ce l'incendie qui a fait fondre le système de refroidissement!?
La hausse de l'humidité, c'est 1h20 avant les départs de feu, c'est pour cela que c'est intrigant.
Peut-être que c'est une erreur de mesure, mais une fuite du circuit de refroidissement est un incident qui est possible. Après reste à comprendre si la fuite d'eau a pu avoir un impact sur l'automate de l'onduleur.
Les batteries des onduleurs peuvent être victimes d'emballement thermique (suite problème de clim?) et normalement les onduleurs savent gérer ce problème, cela n'aurai t pas du arriver.
L’emballement thermique peut provoquer une hausse de la tension de manière importante ?
J'ai pensé de mon coté que des défauts sur une batterie ne pourrait provoquer l'incendie de l'onduleur.
Je pense que l'inverse est plus plausible : L'incident sur l'onduleur ont fait que des tensions et intensités anormales ont été appliquées aux batteries et la plus faible du lot à pris feu.
Un incident logiciel peut-il être la cause d'un comportement suicidaire de l'onduleur ?
-
La vraie question c'est quand même : quelle est la marque des onduleurs?, Est-ce qu'il y a des logs?
L'onduleur en question est un onduleur PS7, qui a eu une maintenance le matin du drame avec de nombreuses pièces changées.
OVH avait partagé ces éléments dés le lendemain de l'incendie, avant même d'avoir accès aux images de vidéosurveillance qui ont confirmé la chose.
Extrait des conversation du lendemain de l'incendie :
Alors... les onduleurs standards, c'est des batteries au plomb, pas au Li-Ion.
De plus, dans la majorité des datacenters, les onduleurs sont dans le même bâtiment que les serveurs.
Mais pas localisés dans la même salle. Et les salles onduleur sont normalement suffisamment bien isolées avec des murs résistants au feu.
Dans le Datacenter OVH SBG2, les salles TGBT+ onduleurs étaient dans des salles au rez de chaussée, dans une construction "en dur". Les le reste du bâtiment, où sont hébergés les serveurs, c'est de la construction légère préfabriquée.
Mais est-ce que ces salles onduleur étaient avec des parois résistantes au feu? Et dispositifs d'extinction incendie actif à l'intérieur? Je crois que personne ici n'a l'information, et pas certain qu'on le sache un jour.
Leon.
Donc on le sais aujourd'hui, le plafond au-dessus de l'onduleur en feu était en bois brut ayant subi un traitement intumescent "traitement coupe-feu 1 heure par application de peinture intumescente ou de flocage" (cf schéma des pompiers). Cela explique la propagation rapide, sachant, que le départ de feu était à 0h35 et que Strasbourg Électricité Réseaux a coupé le 20 000 volt à 1h50 et que donc les pompiers n'ont pas pu intervenir les 75 premières minutes au moins (le rapport n'est pas clair sur le moment où les pompiers ont commencé à arroser le bâtiment, sachant que à 2h14, il y a toujours du courant dans le bâtiment SBG2, a cause des batteries + onduleurs de la salle d'énergie N°1 qui n'avait pas encore brûlée étant au rez-de-chaussé de l'autre coté de SBG2.
(cliquer sur l'image pour zoomer)
(https://lafibre.info/images/ovh/202202_incendie_ovh_strasbourg_partage_experience_sdis67_2.jpg) (https://lafibre.info/images/ovh/202202_incendie_ovh_strasbourg_partage_experience_sdis67_2.jpg)
-
On avait aussi alf084 qui avait identifié un technicien de Vertiv, société spécialisé dans les onduleurs, dans les vidéos postées par Octave suite à l'incendie :
Était-ce un onduleur VERTIV impliqué dans l'incendie ? Le technicien est bien identifiable avec une casquette du constructeur sur la tête. (Video d'Octave)
(https://lafibre.info/images/logo/logo_vertiv.webp)
(https://lafibre.info/images/ovh/202103_ovhcloud_octave_klaba_situation_suite_incendie_strasbourg_2.webp)
La vidéo en question, le technicien Vertif apparaît à la 28ème seconde de la vidéo :
Nouvelle vidéo d'Octave Klaba incluant quelques photos des travaux :
L'origine du sinistre se concentre sur l'onduleur et les batteries, une nouvelle vidéo avec plus de détails sur l'origine sera tournée vendredi prochain.
https://lafibre.info/videos/datacenter/202103_ovhcloud_octave_klaba_situation_suite_incendie_strasbourg_2.mp4
-
Empiler des boites : bon ce n'est pas non plus l'idéal.
En soit, le feu s'est propagé dans SBG1 par des portes coupes feu qui sont restés ouvertes de ce que j'en comprends ( CF P31 ) :
> Les services de secours nous ont toutefois rapporté que des portes coupe-feu avaient été maintenues ouvertes au moment de l’évacuation, ce qui a eu pour effet de dégrader l’efficacité de ce dispositif.
Bon par contre, pour moi dans un bâtiment qui n'est pas un ERP, une porte coupe feu est sensé être fermé tout le temps. A contrario d'un ERP où elle est collée à une ventouse qui se coupe en cas d'incendie.
-
Merci Vivien pour ce fil très intéressant qui m'a permis d'occuper une partie de mon insomnie 😁
-
En soit, le feu s'est propagé dans SBG1 par des portes coupes feu qui sont restés ouvertes de ce que j'en comprends ( CF P31 ) :
> Les services de secours nous ont toutefois rapporté que des portes coupe-feu avaient été maintenues ouvertes au moment de l’évacuation, ce qui a eu pour effet de dégrader l’efficacité de ce dispositif.
Non, les portes "coupe feu" sont entre SBG2 et SBG3, dans la construction en jaune dans l'image ci-dessous.
Cette construction en jaune comprend notamment les escaliers et un monte charge.
(https://lafibre.info/images/ovh/202205_bea-ri_rapport_enquete_incendie_datacenter_ovh_strasbourg_10.webp)
Photo de la construction de SBG2 en juin 2013, on voit :
- à gauche la construction de R+2 étages est SBG1, avec de larges ouvertures donnant sur SBG2 pour faire rentrer l'air frais.
- au centre la construction R+5 étages avec de large ouvertures et un plancher en bois est SBG2
- à droite la partie escalier / monte charge équipée de fenêtres. C'est cette partie qui contient les portes "coupe feu".
(https://lafibre.info/images/ovh/201306_ovh_strasbourg_sgb2_construction.jpg)
(crédit photo : Twitter Octave Klaba)
-
SBG2 et SBG3 sont constructions collés l'un a l'autre. SBG1 est séparé par quelques mètres de SBG2 et des bout de container sont très proches. Il y a probablement un couloir qui permet de passer de l'un à l'autre (avec probablement une porte coupe feu, ce n'est pas mentionné, car l'embrasement s'est fait par les étages supérieur et non par le couloir du rez-de-chaussée).
SBG1, que l'on voit à droite a été impacté par la proximité des grandes ouvertures des containers qu'il possède avec SBG2. Des particules enflammées de SBG2 sont donc rentrées directement dans SBG1 :
(https://lafibre.info/images/ovh/202103_incendie_ovh_strasbourg_aerien_1.jpg)
(crédit photo : SDIS du Bas-Rhin)
Le rapport d’enquête BEA-RI explique :
L’examen de la chronologie de déclenchement des détecteurs des bâtiments voisins montre qu’il faut entre une heure et une heure et quart pour que les détecteurs optiques et les détecteurs par aspiration déclenchent de manière significative dans les bâtiments SBG1 (1er étage) et SBG3.
De taille plus modeste, moins bien protégé des flux thermiques (conception de type container maritime), SBG1 sera d’ailleurs plus fortement impacté que SBG3 qui a bénéficié de la présence d’un dispositif coupe-feu (mur coupe-feu 2 heures et porte coupe-feu) et des moyens en eau mobilisés par les sapeurs-pompiers du Bas-Rhin.
-
Vidéo de 2012 d'OVH qui montre l'intérieur de SBG1. On voit les grandes ouvertures qui ont permis aux particules enflammées de SBG2 de rentrer.
https://lafibre.info/videos/datacenter/201202_ovh_datacenter_strasbourg_sbg1.mp4
Dans les plan initiaux, SBG3 (à droite sur le dessin) devait être construit de la même manière que SBG2, mais ce ne fut pas le cas :
(https://lafibre.info/images/ovh/201202_ovh_datacenter_strasbourg_sbg1.jpg)
-
Pour SBG3, le rapport du BEA-RI explique : Les services de secours nous ont toutefois rapporté que des portes coupe-feu avaient été maintenues ouvertes au moment de l’évacuation, ce qui a eu pour effet de dégrader l’efficacité de ce dispositif.
L'impact a été qu'il a fallu vérifier / nettoyer les serveurs des différentes salles de SBG3, la fumée ayant encrassée les composants des serveurs.
Octave Klaba avait partagé quelques photos sur le nettoyage des serveurs :
Le nettoyage prend du temps. Nous avons 80 personnes (SBG3) + 20 personnes (Croix).
Ci-dessous une carte mère avec la pollution par la fumée sur le socket du CPU.
C'est très corrosif! Si on se met sous tension, c'est mort.
Identique au disque.
(https://lafibre.info/images/ovh/202103_ovh_incendie_strasbourg_nettoyage_avant.jpg)
Ci-dessous, le même appareil 24h après le nettoyage
(https://lafibre.info/images/ovh/202103_ovh_incendie_strasbourg_nettoyage_apres.jpg)
-
Autre photos partagées par Octave Klaba sur le nettoyage des serveurs :
(https://lafibre.info/images/ovh/202103_ovh_incendie_strasbourg_nettoyage_sbg1_2.jpg)
(https://lafibre.info/images/ovh/202103_ovh_incendie_strasbourg_nettoyage_sbg1_3.jpg)
(https://lafibre.info/images/ovh/202103_ovh_incendie_strasbourg_nettoyage_sbg1_4.jpg)
-
Alexandre me dit sur twitter : Je suis certes pas expert mais je n'ai jamais vu des batteries au plomb prendre feu ?
Si, il me semble que c'est possible après un emballement thermique ou "Thermal Runaway".
L'emballement thermique se produit quand une batterie opère sous une température ambiante élevée alors qu'elle est en surcharge. La quantité de chaleur produit lors d'un dégazage intensif peut dépasser la quantité de chaleur qui s'échappe de la batterie. La température de la batterie s'élève alors, ce qui accélère encore la vitesse des réactions chimiques exothermiques : c'est l'emballement thermique et la batterie sera perdue.
Pour éviter les problèmes de température, les batteries doivent être placées dans un bâtiment thermiquement isolé ou doivent être associées à des radiateurs thermiques (dissipation de chaleurs).
Il me semble qu'il existe des conceptions de batteries (bien sur cela coûte plus cher) qui garanti l'absence d'emballement thermique ou au moins la propagation aux batteries voisines.
Vidéo de "feu de batterie" selon Arnaud de Bermingham, le CEO de Scaleway.
Scaleway nous montre encore une fois sa transparence
DC3 - Feu de batterie sur la chaine A (Onduleur A1, sur 5 disponibles) lors d'une maintenance annuelle planifiée.
Maitrisé, le désenfumage du local est en cours puis évaluation des dégâts.
Tous les onduleurs de la chaine sont en fonctionnement normal, pas d'impact
La vidéo :
https://lafibre.info/videos/datacenter/201909_scaleway_dc3_feu_batterie.mp4
puis quelques minutes après : Les deux chaines de batteries sont isolées, tout est en fonctionnement normal et nominal.
(https://lafibre.info/images/online/201909_scaleway_dc3_feu_batterie.png)
-
On avait aussi alf084 qui avait identifié un technicien de Vertiv, société spécialisé dans les onduleurs, dans les vidéos postées par Octave suite à l'incendie :
La vidéo en question, le technicien Vertif apparaît à la 28ème seconde de la vidéo :
A mon sens, au vu des photos, les onduleurs impliqués sont des 80NET, probablement en 500kW (Chloride, devenu Emerson et devenu VERTIV depuis). On croit voir au fond de la photo des onduleurs EATON également…
-
Réponse de Arnaud de Bermingham : Les batteries auto-protégées contre le risque d'incendie sont des batteries "V0" ou "Flame Retardant".
Il me semble que Scalway utilise maintenant ces batteries.
(https://lafibre.info/images/ovh/202206_emballement_thermique_de_batteries.webp)
-
A mon sens, au vu des photos, les onduleurs impliqués sont des 80NET, probablement en 500kW (Chloride, devenu Emerson et devenu VERTIV depuis). On croit voir au fond de la photo des onduleurs EATON également…
OVH avait communiqué à l'époque sur le fait que l'onduleur d'où l'incendie à démarré est un "PS7". Je n'ai pas trouvé a quoi cela correspondait.
C'est dans la vidéo suivante, tournée le lendemain de l'incendie. (Avancer la vidéo à la 5ème minutes de la vidéo pour la discussion sur l'onduleur en question) :
On apprend que l'origine de l'incendie pourrait avoir démarrer à 0h47min venir d'un onduleur PS7 qui a eu une maintenance le matin du drame avec de nombreuses pièces changées (en tout cas c'est une piste évoquée).
Deux personnes OVH + des gardiens étaient sur place et n'ont pas pu intervenir car la fumée était trop épaisse.
Ils ont 300 de caméras de vidéosurveillance à Strasbourg, les images seraient exploitables, on devrait en savoir plus dans quelques jours.
Les serveurs non affectés vont pouvoir redémarrer progressivement à partir de la semaine prochaine.
SBG2 date de 2011. 5 autres datacenter sont sur le même principe d'une tour auto-ventilée (exemple: Roubaix 4)
10 000 serveurs à Roubaix et à Gravelines vont être livrés. La production de serveurs neufs va tripler en passant à 2500 / 3000 serveurs par semaine.
https://lafibre.info/videos/datacenter/202103_ovhcloud_octave_klaba_situation_suite_incendie_strasbourg.mp4
-
Un point amélioration noté par le rapport d’enquête BEA-RI consiste à la capacité à pouvoir éteindre un datacenter en cas d'urgence : Les pompiers auraient pu intervenir plus rapidement et l'incendie aurait probablement été moins virulent si toutes les sources électriques avait pu être rapidement coupées, notamment sur l'onduleur défectueux.
Le bâtiment est évacué à 00h39.
[...]
À 01h50, l’alimentation du site est coupée au niveau du poste source amont par Strasbourg Électricité Réseaux. Mais à 02h14, il y a toujours du courant dans le bâtiment 2, maintenant totalement embrasé, et une importante propagation vers le bâtiment 1 est constatée.
Serveur qui remontait (dans un outils de monitoring situé sur un autre site) sa température :
(https://lafibre.info/images/ovh/202103_incendie_ovh_strasbourg_temperature.png)
-
Alexandre me dit sur twitter : Je suis certes pas expert mais je n'ai jamais vu des batteries au plomb prendre feu ?
Si, il me semble que c'est possible après un emballement thermique ou "Thermal Runaway".
Je ne suis pas expert non plus mais mes modestes connaissances sur les batteries PbAc me font dire que l'emballement thermique (qui est causé par une décharge interne rapide, typiquement un court-circuit entre plaques) à lui seul ne peut pas causer d'incendie (contrairement aux batteries LiPo par exemple, dont la densité énergétique est bien plus élevée). L'acide se met à bouillir, la batterie gonfle et se déforme et peut projeter de l'acide, mais la température n'est pas suffisante pour provoquer un départ de feu.
C'est d'ailleurs confirmé ici: https://www.power-sonic.com/blog/sla-thermal-runaway/
Will thermal runaway cause a fire?
While enough heat is generated to boil the acid, this temperature is far below any flash point that may cause fire. The temperatures are generally not even high enough to melt the case. The dangers of battery acid spillage are far higher than any fire or explosion risk.
En revanche le dégazage d'hydrogène d'une batterie en surcharge (au sens "apport excessif d'énergie", pas au sens "on tire trop dessus", qui provoque une électrolyse de l'eau contenue dans l'électrolyte) est lui très facilement inflammable, une étincelle dans ce gaz provoque immédiatement une explosion. C'est pour ça que la ventilation des locaux où des batteries sont chargées est essentielle.
Mes 2 sous
-
Post moterm de l'incident de novembre 2017 :
Donc en novembre 2017 il est question de démanteler SBG1 et SBG4, et 4 ans plus tard non seulement ils ne sont pas démantelés, mais il est question de les réparer et remettre en route après l'incendie? Petit problème de cohérence non? :P
-
En revanche le dégazage d'hydrogène d'une batterie en surcharge (au sens "apport excessif d'énergie", pas au sens "on tire trop dessus", qui provoque une électrolyse de l'eau contenue dans l'électrolyte) est lui très facilement inflammable, une étincelle dans ce gaz provoque immédiatement une explosion. C'est pour ça que la ventilation des locaux où des batteries sont chargées est essentielle.
Oui, un poste de charge batterie doit être identifié comme une zone ATEX...
-
[Il y a des datacenter où la sortie de l'onduleur on a un transformateur pour remonter la tension en 20 000 volts (d’après ce que j'ai compris, cela permet des économies)
Ça permet notamment de faire des économies sur la section des câbles électriques, c'est pour ça qu'on transporte le courant à très haute tension dans les lignes du même nom :)
-
Ça permet notamment de faire des économies sur la section des câbles électriques, c'est pour ça qu'on transporte le courant à très haute tension dans les lignes du même nom :)
Oui, mais on parle d'une ou deux centaine de mètres maximum entre les onduleurs du datacenter et les serveurs...
La vraie question c'est quand même : quelle est la marque des onduleurs?, Est-ce qu'il y a des logs?
Les batteries des onduleurs peuvent être victimes d'emballement thermique (suite problème de clim?) et normalement les onduleurs savent gérer ce problème, cela n'aurai t pas du arriver.
OVH ne gardait pas les log des onduleurs. Donc on ne sais pas si les batteries étaient en décharge rapide, en surcharge (apport d'énergie excessif) ou dans un état stable.
Extrait du rapport d’enquête BEA-RI :
Il est difficile de dire quel était le mode de fonctionnement des salles énergies au moment où s’est produit la défaillance. Le BEA-RI a sollicité OVH pour obtenir les paramètres d’exploitation des onduleurs
(tensions et intensités délivrées, mode de fonctionnement,…) au moment de la défaillance de l’équipement. OVH nous a indiqué ne pas en disposer.
Le rapport ne dit pas non plus si le départ de feu constaté au niveau des batteries s'est généralisé aux autres batteries du local.
Quel est le départ qui a permis au bâtiment de s'embraser ? Les batteries ? L'onduleur ? Les deux ? Les deux étant dans un local distinct, l'information est importante.
Ces deux photos extraite de la vidéosurveillance OVH, publiée par le BEA-RI sont très intéressantes, mais connaître l'état les minutes suivantes l'est tout autant.
Le 10 mars 2021, a 0h35, départ de feu dans le local à batteries
(https://lafibre.info/images/ovh/202205_bea-ri_rapport_enquete_incendie_datacenter_ovh_strasbourg_04.webp)
Le 10 mars 2021, a 0h35, départ de feu sur un onduleur de la salle d’énergie n°2 de SBG2 (source : image extraite de la vidéosurveillance OVH, publiée par le BEA-RI)
(https://lafibre.info/images/ovh/202205_bea-ri_rapport_enquete_incendie_datacenter_ovh_strasbourg_05.webp)
-
OVH ne gardait pas les log des onduleurs. Donc on ne sais pas si les batteries étaient en décharge rapide, en surcharge (apport d'énergie excessif) ou dans un état stable.
Ce qui témoigne encore d'un certain "amateurisme" et d'économies de bouts de chandelles, il me semble.
Le rapport ne dit pas non plus si le départ de feu constaté au niveau des batteries s'est généralisé aux autres batteries du local.
Quel est le départ qui a permis au bâtiment de s'embraser ? Les batteries ? L'onduleur ? Les deux ? Les deux étant dans un local distinct, l'information est importante.
Ces deux photos extraite de la vidéosurveillance OVH, publiée par le BEA-RI sont très intéressantes, mais connaître l'état les minutes suivantes l'est tout autant.
Oui, et je m'étonne d'ailleurs que seules ces 2 images ait été communiquées. D'autant qu'il y a une différence entre la formation d'un arc électrique et un départ de feu: s'il n'y a pas de matériaux combustibles à proximité, l'arc peut être relativement sans conséquences. Ceci dit, l'onduleur semble bien "on fire", lui ;P
La corrélation entre l'intervention sur l'onduleur, onduleur qui est ensuite victime d'un dysfonctionnement catastrophique, n'aura sans doute également échappé à personne. Le BEA doit avoir les informations sur les raisons de l'intervention et les éléments qui ont été remplacés.
-
C'est quand même étrange que les onduleurs n'aient pas de log en interne.. Les Riello en ont qui sont accessibles en web (pour le quidam) ou par les techniciens (en version plus détaillées)
06/03/22 12:19:39 start UPS Bypass bad
06/03/22 12:19:40 start UPS generic alarm
06/03/22 12:19:45 stop UPS Bypass bad
06/03/22 12:19:45 stop UPS generic alarm
-
C'est quand même étrange que les onduleurs n'aient pas de log en interne.. Les Riello en ont qui sont accessibles en web (pour le quidam) ou par les techniciens (en version plus détaillées)
06/03/22 12:19:39 start UPS Bypass bad
06/03/22 12:19:40 start UPS generic alarm
06/03/22 12:19:45 stop UPS Bypass bad
06/03/22 12:19:45 stop UPS generic alarm
J'ai des Riello aussi avec une netman 204 dedans pour le SNMP et ca supporte même le remote syslog... Mais malheureusement tout le monde ne le fait pas. J'ai aussi des Gamatronic, qui eux ne supportent que l'export USB des logs
-
Les onduleurs ont des logs en interne, mais si il ne sont pas remontés et sauvegardés à distance, il va être difficile de récupérer les log.
Je ne vois ça nul par, mais un outil (tournevis) laissé dans l'onduleur par mégarde par le technicien cela serait une piste plausible ?
Un bug logiciel c'est une piste plausible (sans problème matériel) ?
Dans ce type d'équipement (oliviermis évoquait 500kW ce qui semble plausible), la tension dépasse les 400 volts ?
-
Vu que l'information m'est demandée : Il n'y avait pas de système d'extinction incendie automatique sur le datacenter OVH de Strasbourg en 2021
L'extinction incendie existait, si elle n'était pas automatique : C'était basé sur des hommes présents 24h/24 et des extincteurs.
Le rapport d’enquête BEA-RI confirme cette information qui était connue, cf le sujet OVH et la protection incendie (https://lafibre.info/ovh-datacenter/ovh-et-la-protection-incendie/) qui date de 2013, bien avant l'incendie.
Extrait du rapport d’enquête BEA-RI :
Ces salles appelées aussi "salles énergie" étaient équipées d’une détection incendie mais ne disposaient d’aucun système d’extinction automatique.
[...]
Malgré l’arrivée rapide des secours, la conception du bâtiment, l’absence de système d’extinction automatique, le délai de mise en sécurité électrique du site et les moyens en eau sur la zone n’ont pas permis d’éviter l’embrasement généralisé de SBG2 et la propagation de l’incendie à des bâtiments voisins.
[...]
En matière de prévention des incendies, le site est équipé d’un système de détection combiné à la présence permanente de personnel formé à la manipulation des extincteurs. Il n’est toutefois pas équipé de système d’extinction automatique. La défense incendie du secteur est assurée par le réseau public constitué d’une unique ligne d’alimentation et d’un poteau incendie.
[...]
OVH a choisi de n’équiper aucun des cinq bâtiments de son datacenter de Strasbourg de système de protection incendie automatique. Pour rappel, un système de protection incendie peut avoir plusieurs fonctions :
• L’extinction de l’incendie,
• Le contrôle ou la temporisation de l’incendie, ce qui permet de contenir sa progression et de donner du temps à l’organisation et l’intervention des secours.
De surcroît, dans le cas d’une installation telle qu’un datacenter, il permet de mettre en œuvre des moyens en eau très tôt dans la séquence accidentelle, sans même attendre l’arrêt de la fourniture d’électricité, et sans exposer de personnel à un risque d’électrocution.
[...]
Les services de secours publics ne disposaient pour cette intervention que d’un poteau incendie qui délivrait un débit insuffisant (inférieur à 60m3/h). L’exploitant ne disposait pas non plus de réserve d’eau d’extinction en propre ni de moyen de pompage dans le canal du Rhin. Compte tenu de l’évolution rapide et défavorable du sinistre, ils ont rapidement sollicité l’appui du bateau pompe EUROPA qui est arrivé sur la zone à 3h00. [...] ce bateau a joué un rôle déterminant dans la gestion de l’incendie compte tenu de l’absence de moyens d’extinction propres de l’exploitant et de la capacité limitée du réseau incendie (DECI) sur la zone. En l’absence de tels moyens les conséquences de l’incendie auraient probablement été plus importantes sur les bâtiments adjacents.
[...]
Un système de protection automatique et asservi à la détection est conçu en fonction de l’objectif recherché : l’extinction de l’incendie, la réduction de l’incendie ou le contrôle de l’incendie.
[...]
Un datacenter tel que celui d’OVH n’étant ni un ERP ni un IGH, les exigences réglementaires en matière de moyens en eau d’extinction sont essentiellement portées par la réglementation des ICPE au titre de la charge de batteries et de l’exploitation de groupes électrogènes. L’enquête a permis de constater que ces premières exigences n’étaient pas respectées.
Mais au-delà de cette question de conformité, le BEA-RI considère que ces moyens, même présents, n’auraient probablement pas permis d’éviter l’embrasement de SBG2, faute de mise en œuvre rapide par rapport à la cinétique d’incendie. Cet accident montre donc qu’en l’absence de recoupement suffisamment dimensionné, l’incendie généralisé est un scénario plausible auquel doit pouvoir faire face un exploitant de datacenter et, en cas de défaut de celui-ci, le service de secours publics local. Il est donc important d’anticiper cette situation en terme de stratégie d’intervention et de dimensionnement des moyens en eau.
La position d'OVH étaient quand on les interrogeait avant cet incendie qu'ils avaient sur chaque site un système de détection combiné à la présence permanente de personnel formé à la manipulation des extincteurs.
OVH avait bien un système de détection incendie efficace et du personnel 24h/24 sur site capable d’intervenir très rapidement. Cela a été démontré le 10 mars 2021.
Une extinction par extincteur est adapté au début de nombreux sinistres. Par exemple, un début d'incendie déclenché typiquement par une alimentation de PC défectueuse. Le personnel sera probablement sur place avant la moindre flamme et il n'y aura aucun impact autre que le serveur qui est a l'origine du sinistre. Le rapport d’enquête BEA-RI le montre, OVH n'était pas préparé pour un incendie de grande ampleur, un incendie qui devient très vite incontrôlable : Pas de procédure pour éteindre l'électricité des bâtiments, pas d’arrivée en eau suffisante (heureusement qu'il y avait ce bateau Franco-Allemand).
L'incendie d'OVH de Strasbourg du 10 mars 2021 semble avoir été rapide. On n'a pas la vidéo montrant la vitesse de propagation, mais devant un onduleur en folie, un extincteur semble dérisoire.
(https://lafibre.info/images/ovh/202205_bea-ri_rapport_enquete_incendie_datacenter_ovh_strasbourg_05.webp)
(la photo est prise au tout début, quand le personnel est arrivé dans la salle, deux minutes plus tard, la situation devait être déjà dégradée).
Pour donner une image (un peu exagérée je l'avoue), c'est comme si les ouvriers de ligne d'extrusion d'aluminium étaient formés à éteindre un début d'incendie avec un extincteur. On voit bien que pour certains types de feu avec une source d'énergie (énergie électrique pour OVH, huile + aluminium en fusion ci-dessous), c'est inutile.
Impressionnant !
Panne hydraulique sur une ligne d'extrusion d'aluminium de l'entreprise d'aluminium Alueuropa SA à Séville, en Espagne.
La situation se dégrade à une vitesse incroyable. Un plafond suspendu dans un endroit comme celui-ci (extrusion d'aluminium à plus de 1000 degrés) est clairement une mauvaise idée.
Je me demande si un arrêt d'urgence enfoncé aurait permis d'éviter que cela dégénère autant. Cela n'aurait permis que quelques secondes de pulvérisation par le haut, au lieu d'un flux constant.
https://lafibre.info/videos/bistro/202206_panne_ligne_extrusion_aluminium.mp4
Par chance, il n'y a aucun blessé.
Je pense que suite à l'incendie OVH s'est ou va équiper tous ses locaux d'une extinction incendie automatique et efficace.
D'autres exploitant de datacenter qui avaient eux aussi pas pris en compte un embrasement généralisés se sont équipés ou y réfléchissent.
Jusqu'à présent, pour de nombreux acteurs un incendie doit pouvoir se traiter sans couper les serveurs. Les moyens d'extinctions qui sont mis en place permettent d'éteindre des incendies de petit taille (alimentation de serveur) mais pas un onduleur en folie comme dans le cas d'OVH, alimenté par une puissante source d'énergie (qu'il aurait fallu couper rapidement pour pouvoir éteindre l'incendie).
Il y a une prise de conscience avec cet incendie qu'il faut se préparer à l'impensable, c'est à dire un incendie qui oblige d'éteindre le datacenter et de protéger le bâtiment pour éviter une propagation, quitte à ne pas permettre un redémarrage immédiat des serveurs.
-
@Vivien, ta conclusion me semble assez évidente. Il serait absurde que OVH, et même d'autres datacenters, ne tirent aucune leçon de cet incendie.
Les services de secours aussi se sont probablement adaptés pour savoir comment agir dans ce type de locaux auxquels ils ne sont pas habitués.
Il était d'ailleurs probablement indispensable que ça arrive pour que les acteurs prennent conscience de ce qui est possible.
Pas de chance, ça tombe sur OVH.
-
Attention, je n'ai pas dit que tous les datacenter ne savent pas gérer un feu d'onduleur comme il y a eu sur SBG2, mais certains.
Et la question risque d'être posée par les clients.
D'autres datacenter ont isolés les onduleurs dans une pièce spécifique avec une résistance au feu > 1h et ce qui a manqué à OVH, la capacité de couper l’électricité sans entrer dans ce local.
Concernant OVH Strasbourg, je me demande pourquoi les techniciens OVH du site (ceux qui ont appelés les pompiers) n'ont pas pu couper l’électricité sur les deux postes haute tension 20 MW pour deux raisons : arrêter l'onduleur fou et les arcs électriques (retour des pompiers : "Arcs électriques de plus d'un mètre autour de la porte du local "énergie" => Flash impressionnants et bruits assourdissants") et pour permettre aux pompiers d'intervenir en balançant de l'eau sur le bâtiment.
Il a été dit (je ne sais pas si c'est vrai) que le point de coupure était dans la salle énergie de SBG2 où arrivait les deux lignes, mais je suis quand même étonné qu'il ne soit pas possible de couper l'énergie au niveau des deux postes.
(https://lafibre.info/images/ovh/202205_bea-ri_rapport_enquete_incendie_datacenter_ovh_strasbourg_14.webp)
Voici ce que dit le rapport :
L’intervention de Strasbourg Électricité Réseaux
Strasbourg Électricité Réseaux (SER) est prévenu par le SIS 67 à 00h52. Leur équipe d’astreinte est mobilisée et arrive sur les lieux à 01h27. Préalablement à leur arrivée, SER a été interrogé pour savoir s’il était possible que leurs agents interviennent au niveau du poste secondaire qui alimente SBG2. SER a fait savoir que dans la mesure où ce poste appartient au client, une telle intervention n’était pas envisageable.
À leur arrivée sur les lieux, l’incendie s’est déjà développé. Une intervention sur le poste secondaire est exclue et SER n’obtient pas l’autorisation de couper l’alimentation électrique du site au niveau du poste client en raison des risques liés à l’incendie. La décision est donc prise de couper le courant au niveau du poste source amont. La coupure sera effectuée à distance et sera effective à 01h50.
Pour finir, SER ne nous a signalé aucun évènement anormal sur le réseau d’alimentation électrique du secteur au cours de cette nuit.
A 2h00, 10 minutes après la coupure du 20 000 volts, les pompiers reportent l'embrasement généralisé de SBG2, mais que ce dernier a encore des éléments sous tension, probablement avec les batteries de la salles énergie 1 de SBG1.
Voici l'état du bâtiment à 2h50, soit 1 heure après la coupure de l'arrivée électrique 20 000 volts qui a eu lieu à 1h50 :
(https://lafibre.info/images/ovh/202205_bea-ri_rapport_enquete_incendie_datacenter_ovh_strasbourg_08.webp)
-
Ce soir (dimanche 12 juin), je serais à 21h00 sur la chaine Twitch de Yorzian pour discuter de l’incendie du datacenter OVH de Strasbourg de 2021 et du rapport du BEA-RI.
N'hésitez pas à venir discuter avec nous.
https://www.twitch.tv/yorzian
-
RDV pris ;)
-
Etttt zééépartiiii
-
Le replay :
https://www.twitch.tv/videos/1501959473
-
Le replay :
Argh. bon déjà il se passe rien pendant le 1er quart-d'heure (quelle patience Vivien).
Sur le refus d'intervention de SER sur les postes 20kV sur site, que tu dis ne pas comprendre, je pense pour ma part que l'explication est très simple vu du SER: "installation privée: ça ne nous concerne pas, on ne touche pas". En revanche effectivement que le personnel sur site n'ait pas pu procéder à cette coupure est un problème.
Pour l'intervention des pompiers sur un incendie électrique basse tension (240V mono / 400V tri): la coupure est systématique avant le recours à l'eau: en l'absence de sauvetage, il n'y a aucune intervention engagée avant que la coupure soit confirmée (cf PDF ci-dessous). Sur les effacements de réseaux en cours dans le domaine rural par exemple, l'enfouissement des lignes s'accompagne désormais systématiquement de la pose d'un CIBE sur rue précisément pour permettre la coupure pompiers. Précisons que sur un corps mouillé (ce qui diminue drastiquement la résistance de la peau et augmente donc l'intensité qui traverse le corps - loi d'ohm, I=U/R), le 250V est parfaitement léthal. Ce bon vieux Cloclo peut en témoigner :P
(cliquez sur la miniature ci-dessous - le document est au format PDF)
(https://lafibre.info/images/doc/202010_sdis_nord_risque_electrisation_sur_intervention.webp) (https://lafibre.info/images/doc/202010_sdis_nord_risque_electrisation_sur_intervention.pdf)
Sur les batteries V0: ça ne garantit pas qu'il n'y ait pas d'emballement (c'est impossible, c'est une réaction chimique). Ça garantit que l'enveloppe de la batterie est ignifugée et retardatrice de feu. D'une manière générale l'emballement thermique sur une batterie plomb est très peu susceptible de déclencher un départ de feu, comme je l'ai déjà expliqué.
https://www.batteries4pro.com/fr/content/31_lexique
Au bout d'1h de vid à 1.5x j'ai décroché :)
-
Sur le refus d'intervention de SER sur les postes 20kV sur site, que tu dis ne pas comprendre, je pense pour ma part que l'explication est très simple vu du SER: "installation privée: ça ne nous concerne pas, on ne touche pas". En revanche effectivement que le personnel sur site n'ait pas pu procéder à cette coupure est un problème.
Mais alors pourquoi Strasbourg Electricité Réseaux s'est déplacé sur le site du client si ce n'est pas pour couper ?
La coupure rapide de l'énergie est il me semble l'enseignement N°1 de cet incendie.
La rapport du BEA-RI n'indique pas à partir de quand les pompiers ont peu commencer à éteindre l'incendie. Probablement pas avant 1h50 quand l’alimentation du site est coupée au niveau du poste source amont par Strasbourg Électricité Réseaux.
L'absence de courant sur le site n'est constatée que à 03h28, c'est très tardif...
-
Mais alors pourquoi Strasbourg Electricité Réseaux s'est déplacé sur le site du client si ce n'est pas pour couper ?
La coupure rapide de l'énergie est il me semble l'enseignement N°1 de cet incendie.
Peut-être parce que les pompiers ont appelé par défaut la régie ? Sans savoir que finalement le transfo était au client.
-
L'absence de courant sur le site n'est constatée que à 03h28, c'est très tardif...
Oui, et c'est probablement exactement pour ça que tout a cramé. Il est possible (probable?) qu'avec une coupure plus rapide, l'intervention aurait pu démarrer plus vite et les dégâts auraient été plus limités.
Peut-être parce que les pompiers ont appelé par défaut la régie ? Sans savoir que finalement le transfo était au client.
C'est exactement ce que je pense.
-
Avec un peu de retard, merci bcp pour toutes ces informations et le partage, j'ai trouvé cela très intéressant.
Une des questions qui a peut être déjà été répondu et que je n'ai pas vu qui me vient, c'est pourquoi utiliser des plancher en bois même si ils sont traiter contre le feu dans ce genre de site ? est-ce pour le pouvoir d'isolation du bois ? le cout ?
Car malgré tout avec des installations électriques, haut voltage, batterie.... ça augmente le risque non ? surtout avec un traitement de "seulement" 1h quand on parle de risque incendie.
Mais il y a certainement des choses qui m'échappent.
-
SBG1, 2 et 4 sont basé sur une structuré légère et rapide à mettre en place. C'est plus rapide et moins coûteux qu'un bâtiment classique en béton.
-
Merci pour ce retour rapide.
Je pensais bien que c'était lié aux coûts mais je n'en étais pas sur.
Mais vu qu'à la base le site est construit de mémoire à base de container, pourquoi ne pas tester avec de la tôle dans ces cas là... mais c'est peut être plus cher aussi.
Dans tous les cas je pense que sur ce genre d'évènement il y a vraiment un gros retex de pris, il me semble que j'avais effectivement des communications là dessus, ce qui sera intéressant c'est de mettre en perspective cela par rapport au prochain datacenter construit par OVH.
-
ça n'est pas lié qu'aux coûts. ça assure une meilleure stabilité structurelle notamment au feu (le métal fond et se déforme, comme la façade de SGB2 le montre bien). Il y a également des considérations d'efficacité thermique.
-
pourquoi ne pas tester avec de la tôle dans ces cas là... mais c'est peut être plus cher aussi.
Le métal plie quand il chauffe, ce n'est pas mieux.
Tu peut regarder le collège Édouard-Pailleron contrit à la fin des années 1960 avec une structure métallique qui offrait une résistance au feu de 15 minutes.
Ainsi, l'article R11 autorisait pour l'ossature ou le gros œuvre des bâtiments d'externats des établissements d'enseignement du premier et du second degré, une durée de résistance au feu de 15 minutes, dès lors que l'établissement ne dépasse pas le R+2 et n'accueille pas plus de 700 élèves. Cette dérogation a pourtant été retenue pour le CES Pailleron, en R+4.
Après un feu de poubelle le 6 février 1973, le collège s'est effondré (20 morts parmi les 36 personnes présent au moment du sinistre, c'était le soir),
A la suite de cet incendie, 875 établissements scolaire du même type ont du être entièrement reconstruits ou réhabilités.
Maintenant c'est quand même une question de coût, on sait faire des bâtiments où le feu ne peut pas passer d'un étage à l'autre (je pense a des tour de grande hauteur où il est inutile d'évacuer toute la tour en cas d'incendie, seulement les 2 étages au-dessus du sinistre et celui en dessous). Si OVH avait souhaité mettre ses onduleurs dans une salle coupe-feu 3h c'était possible techniquement. il y a même des matériaux coupe-feu 4h.
-
Le métal plie quand il chauffe, ce n'est pas mieux.
Je suppose que ce ne m'est pas adressé car c'est exactement ce que j'ai dit?
Maintenant c'est quand même une question de coût, on sait faire des bâtiments où le feu ne peut pas passer d'un étage à l'autre (je pense a des tour de grande hauteur où il est inutile d'évacuer toute la tour en cas d'incendie, seulement les 2 étages au-dessus du sinistre et celui en dessous). Si OVH avait souhaité mettre ses onduleurs dans une salle coupe-feu 3h c'était possible techniquement. il y a même des matériaux coupe-feu 4h.
On sait faire des voitures pratiquement indestructibles, ce n'est pas pour autant que toutes les voitures le sont ou doivent l'être.
Les tours de grande hauteur ont des caractéristiques et des durées d'exploitation ("durée de vie") qui n'ont rien à voir et permettent de justifier des coûts de constructions bien plus élevés. Les datacenters quant à eux doivent répondre à des contraintes de charges de planchers qui sont très particulières et n'ont rien à voir avec celles de bâtiments d'habitation ou de bureau par ex.
Tout ça pour dire que la rhétorique qui voudrait qu'OVH ait choisi des planchers bois juste pour économiser trois sous paraît assez absurde (d'autant que le bois n'est pas donné et je ne serais pas complètement étonné que le prix de revient du plancher bois - forcément d'une forte épaisseur vu les contraintes - ait été supérieur à un plancher métal équivalent). Il y a en revanche bien d'autres choses sur lesquelles leurs choix sont discutables (e.g. absence de système automatique anti-incendie, etc)
Mes 2 sous
-
Avec un peu de retard, merci bcp pour toutes ces informations et le partage, j'ai trouvé cela très intéressant.
Une des questions qui a peut être déjà été répondu et que je n'ai pas vu qui me vient, c'est pourquoi utiliser des plancher en bois même si ils sont traiter contre le feu dans ce genre de site ? est-ce pour le pouvoir d'isolation du bois ? le cout ?
Car malgré tout avec des installations électriques, haut voltage, batterie.... ça augmente le risque non ? surtout avec un traitement de "seulement" 1h quand on parle de risque incendie.
Mais il y a certainement des choses qui m'échappent.
Je pense que "parce que c'est moins cher" est la seule réponse crédible, quand on connait un peu OVH.
OVH, les professionnels du bricolage amateur à l'échelle industrielle...
Sinon, ce bâtiment n'était pas construit avec des containers maritimes. C'était une structure légère custom, un bâtiment préfabriqué. Et la plupart des pré-fabriqués ou des containers maritimes ont un plancher... en bois.
Leon.
-
Difficile de comprendre le plancher utilisé dans SBG1 avec les 3 photos d'OVH.
En haut le container n'a pas encore son plancher.
En bas à gauche, cela semble du bois, mais en bas à droite ce ne serait pas un revêtement de sol PVC jaune ?
(https://lafibre.info/images/ovh/201105_strasbourg_containers_2.jpg)
Le container rempli :
(https://lafibre.info/images/ovh/201105_strasbourg_containers_3.jpg)
-
OVH, les professionnels du bricolage amateur à l'échelle industrielle...
t'es un peu dur la quand même
pour avoir visité un des datacenter récent c'est plus du tout la même chose. (et ils sont entrain de renforcer la sécurité incendie de partout)
-
Après on parle beaucoup du plancher en bois (c'est normal, beaucoup de média ont communiqués principalement sur ça, exemple ci-dessous de la couverture de l'hebdomadaire "Le 47ème virus informatique" d'avril 2021).
(https://lafibre.info/images/ovh/202104_virus_informatique_47_ovh.jpg)
A mon avis, c'est une erreur de se focaliser sur le plancher en bois (il est quand même coupe-feu 1h).
Le principal problème c'est l'absence de coupure électrique associé à une résistance au feu faible. Mettre un plancher résistant au feu pendant 4h n'est pas forcément utile quand le feu peut passer d'un étage à l'autre via les larges ouvertures dans les bâtiments pour le freecooling - quand ce n'est pas par les ouvertures pour faire passer les câbles d'une étage à l'autre.
(https://lafibre.info/images/ovh/201305_ovh_strasbourg_sgb2_construction.jpg)
Les pompiers parlent de "gaines techniques non isolées", c'est peut-être un facteur qui a aidé le feu à se propager plus vite que les planchers en bois et les ouvertures en façade.
Bref, je ne suis pas sur que le feu soit passé par la combustion du plancher en bois vu la vitesse pour l'embrasement complet du bâtiment.
(https://lafibre.info/images/ovh/202205_bea-ri_rapport_enquete_incendie_datacenter_ovh_strasbourg_08.webp)
-
A mon avis, c'est une erreur de se focaliser sur le plancher en bois (il est quand même coupe-feu 1h).
+1
Le bois fournit du carburant au feu lorsque l'incendie est bien démarré. Mais en début d'incendie il protège, et conserve sa structure bien plus longtemps que d'autres matériaux.
Par contre tout ce qui est plastique ça brûle vite.
-
A mon avis, c'est une erreur de se focaliser sur le plancher en bois (il est quand même coupe-feu 1h).
Le principal problème c'est l'absence de coupure électrique associé à une résistance au feu faible. Mettre un plancher résistant au feu pendant 4h n'est pas forcément utile quand le feu peut passer d'un étage à l'autre via les larges ouvertures dans les bâtiments pour le freecooling - quand ce n'est pas par les ouvertures pour faire passer les câbles d'une étage à l'autre.
Il n'y a pas qu'1 seul problème... et c'est bien ça le problème (SIC!). Le problème c'est pas uniquement le plancher en bois, pas uniquement l'absence de procédure de coupure/consignation électrique.
Le problème c'est le cumul d'un nombre incroyable de problèmes. Problèmes qui ont été pointés bien avant l'incendie d'OVH Strasbourg!
OVH (ou plutôt Octave) se ventait même de n'avoir qu'une protection incendie par Sprinkler à Beauharnois.
En vrac :
- structure légère (préfabriqué) à plusieurs étages assez inadaptée à ce type d'usage.
- Plancher en bois
- Pas de procédure pour isoler le "freecooling", en cas d'incendie localisé, à l'aide de volets aeroliques adaptés
- watercooling bricolé qui fuit parfois sur les équipements sensibles
- aucun dispositif d'extinction incendie automatique.
- pas de procédure de coupure/consignation électrique (ni 230V, ni 20000V)
- gaines techniques non isolées
En voyant tout ça, on comprend assez facilement qu'ils n'avaient aucune stratégie de protection/lutte incendie. Sans doute volontairement.
Bref, ils ont joué, ils ont perdu.
pour avoir visité un des datacenter récent c'est plus du tout la même chose. (et ils sont entrain de renforcer la sécurité incendie de partout)
On parle d'OVH Strasbourg ici.
Peut-être que ça s'est amélioré sur des datacenters récents. Mais OVH ne communique pas là dessus.
Donc les seuls communications techniques sur les infrastructures datacenter d'OVH qu'on a, c'est des trucs qui datent de cette conception bricolée/amateur comme à Strasbourg.
Si OVH veut changer cette image, qu'ils le fassent, pas de problème! Qu'ils montrent en quoi ils se sont améliorés.
Ou alors il ne fallait pas qu'ils communiquent à l'époque où ils faisaient du bricolage (s'ils ont vraiment arrêté d'en faire).
Mais le nombre d'incidents qu'OVH a sur ses infrastructures, et qui montrent du bricolage pas glorieux, c'est quand même assez incroyable. Un vrai feuilleton.
Leon.
-
Il y a d'autres points qui ne vont pas sur le site d'OVH Strasbourg, notamment le local batterie qui avec 2,4 tonnes de batteries auraient du être coupe-feu 2h. Maintenant l'incendie ayant démarré dans l'onduleur, le respect de cette obligation uniquement sur le local batterie n'aurait pas forcément changé le destin de SBG2.
(https://lafibre.info/images/ovh/202205_bea-ri_rapport_enquete_incendie_datacenter_ovh_strasbourg_15.webp)
Il y a aussi le manque d'eau pour éteindre l'incendie où OVH n'a pas respecté ses obligations :
L’arrêté du 29/05/00 relatif aux prescriptions générales applicables aux installations classées pour la protection de l'environnement soumises à déclaration sous la rubrique n° 2925 impose à son point 4.2 la présence d’au moins un poteau conforme aux normes en vigueur. L’arrêté du 08/12/11 relatif aux prescriptions générales applicables aux installations classées soumises à déclaration sous la rubrique n° 2910-C de la nomenclature des installations classées pour la protection de l’environnement (pour les groupes électrogènes) impose au point 4.2 la présence d’un poteau incendie permettant de fournir un débit minimal de 60 m3/h pendant une durée d’au moins deux heures.
SBG2 n'avait pas de poteau incendie permettant de fournir un débit minimal de 60 m3/h. Maintenant l’appui du bateau pompe EUROPA a permis de pallier au manque d'eau et donc avoir plus d'eau n'aurait peut-être pas changé grand chose, sauf peut-être pour SBG1.
-
Il y a aussi le manque d'eau pour éteindre l'incendie où OVH n'a pas respecté ses obligations :
L’arrêté du 29/05/00 relatif aux prescriptions générales applicables aux installations classées pour la protection de l'environnement soumises à déclaration sous la rubrique n° 2925 impose à son point 4.2 la présence d’au moins un poteau conforme aux normes en vigueur. L’arrêté du 08/12/11 relatif aux prescriptions générales applicables aux installations classées soumises à déclaration sous la rubrique n° 2910-C de la nomenclature des installations classées pour la protection de l’environnement (pour les groupes électrogènes) impose au point 4.2 la présence d’un poteau incendie permettant de fournir un débit minimal de 60 m3/h pendant une durée d’au moins deux heures.
SBG2 n'avait pas de poteau incendie permettant de fournir un débit minimal de 60 m3/h. Maintenant l’appui du bateau pompe EUROPA a permis de pallier au manque d'eau et donc avoir plus d'eau n'aurait peut-être pas changé grand chose, sauf peut-être pour SBG1.
J'ai pas lu la même chose, cf capture: la borne sur place délivrait 70m3/h.
(https://lafibre.info/images/ovh/202202_incendie_ovh_strasbourg_partage_experience_sdis67_3b.png)
Mais quand tu vois le débit max instantané pendant l'intervention, de 14,5m3/mn, soit 870m3/h, on était de toute façon très loin du compte.
Une fois que l'incendie a pris les proportions qu'on sait (embrasement généralisé), 1 ou 2 bornes sur site ça ne change plus rien. C'est pour ça qu'il est essentiel d'agir avant que l'incendie se généralise, ce qui n'a pas été fait dans le cas présent car la coupure électrique n'était pas possible. Et c'est probablement ça qui est le point essentiel parmi la succession de défaillances notées à juste titre par Leon, me semble-t-il.
Mes 2 sioux.
-
Le retour d'expérience des pompiers et le rapport d’enquête BEA-RI se contredisent sur ce point.
Extrait du rapport d’enquête BEA-RI dit que c'est < 60 m3/h :
(https://lafibre.info/images/ovh/202205_bea-ri_rapport_enquete_incendie_datacenter_ovh_strasbourg_09b.webp)
Cela ne change rien sur l'incendie, c'est plutôt dans la liste des points de non respect de la réglementation.
-
D'autres opérateurs de datacenter n'ont visiblement pas de dispositif d'extinction automatique.
Hetzner, qui a une clientèle très similaire à celle d'OVH.
Pourtant, il me semble qu'ils traitent le sujet avec un peu plus de sérieux qu'OVH Strasbourg. J'ai mis en gras les principaux éléments.
J'aime bien le concept de bâtiments espacés de 15m les uns des autres.
Et même s'ils font eux aussi du Freecooling (avec clim pour les périodes chaudes) ils ont de quoi fermer les volets de ventilation pour éviter la propagation de l'incendie, pour tenter d'étouffer le feu.
J'aime beaucoup cette entreprise Hetzner. Dommage qu'ils n'aient pas de datacenter en France.
Les offres sont claires et simples (contrairement à OVH).
Pas de blabla pipeau (contrairement à Scaleway).
Bon rapport qualité / prix.
https://www.hetzner.com/unternehmen/rechenzentrum/
Fire Protection
- Modern early warning fire system; covers all data center park facilities and includes an automatic fire alarm system that uses aspirating smoke detectors
- Direct connection of the data center's fire alarm system to the local fire and rescue coordination center; includes fault monitoring
- Fire detectors include alarms
- Separation of the various fire protection areas by fire proof doors
- Doors automatically shut when system detects smoke
- Handheld CO₂ fire extinguishers and portable wheeled CO₂ fire extinguishers in every data center unit
- DC units (buildings) separated from each other with a gap in between them to prevent fire from spreading (flashover) until fire departent arrives
- Gaps between DC units adhere to required minimum distances
- Designated fire-fighting spaces for every data center; spaces kept clear at all times
- Rooms for transformers, medium-voltage stations, and battery rooms built with firewalls and fireproof doors
- Cable ducts in firewalls are sealed for at least 90 minutes
- Ventilation ducts in the firewalls equipped with self-closing fire dampers
- Designated Hetzner staff members are fire protection officers and helpers; they communicate regularly with local fire departments
- Fire protection plans for every data center; these take into account any differences in structural design
Leon
-
Évolution de la rubrique" protection incendie" chez Hetzner :
Le 10 mars 2021, le jour de l'incendie d'OVH :
La rubrique ne comporte que deux petites lignes, dont la seconde n'est pas très compréhensible ("Special door locking systems" en anglais) : cela ne dit pas que les portes sont coupe-feu.
Le contenu de la rubrique le 10 mars 2021 :
- Système moderne d'alerte précoce en cas d'incendie avec connexion directe au service d'incendie local
- Systèmes de verrouillage de porte spéciaux
Le 10 avril 2021 : la rubrique a subitement été bien développée
- "Unités DC (bâtiments) séparées les unes des autres avec un espace entre elles pour empêcher le feu de se propager (flashover) jusqu'à l'arrivée des pompiers" fait clairement référence à l’incendie du datacenter OVH de Strasbourg.
- Aucune mention de la plus grosse faiblesse de SBG2 : La possibilité de couper rapidement l'énergie.
- Le site mentionne "Salles pour transformateurs, postes moyenne tension et salles de batteries construites avec des pare-feu et des portes coupe-feu" et cette liste ne mentionne pas les onduleurs.
Le contenu de la rubrique en avril 2021 (depuis la rubrique n'a pas évoluée) :
- Système moderne d'alerte précoce contre les incendies ; couvre toutes les installations du parc du centre de données et comprend un système d'alarme incendie automatique qui utilise des détecteurs de fumée à aspiration
- Connexion directe du système d'alarme incendie du centre de données au centre local de coordination d'incendie et de sauvetage ; comprend la surveillance des pannes
- Les détecteurs d'incendie comprennent des alarmes
- Séparation des différentes zones coupe-feu par des portes coupe-feu
- Les portes se ferment automatiquement lorsque le système détecte de la fumée
- Extincteurs portatifs au CO₂ et extincteurs portatifs au CO₂ sur roues dans chaque unité du centre de données
- Unités DC (bâtiments) séparées les unes des autres avec un espace entre elles pour empêcher le feu de se propager (flashover) jusqu'à l'arrivée des pompiers
- Les écarts entre les unités CC respectent les distances minimales requises
- Espaces de lutte contre les incendies désignés pour chaque centre de données ; espaces dégagés en tout temps
- Salles pour transformateurs, postes moyenne tension et salles de batteries construites avec des pare-feu et des portes coupe-feu
- Les conduits de câbles dans les pare-feu sont scellés pendant au moins 90 minutes
- Conduits de ventilation dans les pare-feux équipés de clapets coupe-feu à fermeture automatique
- Les membres du personnel Hetzner désignés sont les agents de protection contre les incendies et les aides; ils communiquent régulièrement avec les services d'incendie locaux
- Plans de protection contre les incendies pour chaque centre de données ; ceux-ci prennent en compte toutes les différences de conception structurelle
En raison des conditions locales, il peut y avoir des différences entre les différents parcs de centres de données.
-
Évolution de la rubrique" protection incendie" chez Hetzner :
Le 10 mars 2021, le jour de l'incendie d'OVH :
La rubrique ne comporte que deux petites lignes, dont la seconde n'est pas très compréhensible ("Special door locking systems" en anglais) : cela ne dit pas que les portes sont coupe-feu.
[...]
Le 10 avril 2021 : la rubrique a subitement été bien développée
Bien vu Vivien; Merci.
Leon.
-
Pour ceux qui se demandent ce qu'il y a dans un onduleur, voici la réponse :
Maintenance décennale de nos 28 onduleurs Eaton de DC2 et DC3, ici remplacement des condensateurs AC.
Ces opérations vont durer deux semaines.
Source : Arnaud de Bermingham (https://twitter.com/a_bermingham/status/1496440461841555461/), le 23 février 2022
(https://lafibre.info/images/online/202202_scaleway_maintenance_decennale_onduleurs_eaton_1.webp)
(https://lafibre.info/images/online/202202_scaleway_maintenance_decennale_onduleurs_eaton_2.webp)
(https://lafibre.info/images/online/202202_scaleway_maintenance_decennale_onduleurs_eaton_3.webp)
(https://lafibre.info/images/online/202202_scaleway_maintenance_decennale_onduleurs_eaton_4.webp)
-
Il y'a eu une énorme défaillance d'OVH au niveau extinction d'incendie sur les équipements électroniques (un comble pour un fournisseur de service en datacenter). Les systèmes a base d'eau sont a PROSCRIRE dans les environnements électroniques et stratégiques comme le sont les datacenters. OVH n'est pas une petite entreprise qui gère les données de 2 PME avec des CA de 200k.. Une telle négligence envers ses équipements, et donc les données de leurs clients, sont un symbole fort du soins qu'ils portent a la protection des données/stabilité des services qu'ils proposent.
L'Etat avec les autorités compétentes en matière de sécurité des systèmes d'information sensibles (que sont les datacenters) devraient mettre en place des normes de sécurité incendie du même type que ce que dispose les salles de marchés informatique (oui je pense que les datacenters sont aussi sensibles que les salles de marchés info): système automatique d'extinction CO2 qui sature l'air et donc éteint l'incendie sans affecter les équipements dans ladite salle.
Je ne comprends pas comment ce système n'est pas obligatoire. Dans le rapport du BEA-RI, ils parlent de systèmes à base d'eau (sacrement intelligent dans un datacenter ???) et de personnels "formés". En gros, c'est "on va juste prier pour qu'un incendie n'arrive pas". Bref si quelqu'un avait un doute sur le sérieux d'OVH en terme de fournisseur de service Data, là il est fixé. Préférez les société Française pour vos données they said.
-
Les systèmes a base d'eau sont a PROSCRIRE dans les environnements électroniques et stratégiques comme le sont les datacenters.
L'écrire en gras ne rend pas l'affirmation vraie.
système automatique d'extinction CO2 qui sature l'air et donc éteint l'incendie sans affecter les équipements dans ladite salle.
En flinguant les disques durs au passage ? On sent une fine connaissance du sujet :/
-
L'Etat avec les autorités compétentes en matière de sécurité des systèmes d'information sensibles (que sont les datacenters) devraient mettre en place des normes de sécurité incendie du même type que ce que dispose les salles de marchés informatique (oui je pense que les datacenters sont aussi sensibles que les salles de marchés info): système automatique d'extinction CO2 qui sature l'air et donc éteint l'incendie sans affecter les équipements dans ladite salle.
Ca n'est pas forcément le rôle de l'état (ou de l'Europe) de mettre en place ce genre de normes.
Le marché des cloud-provider peut très bien de lui même élaborer ses propres normes, que les opérateurs choisiraient de respecter ou non. Un peu comme le fait l'uptime institute, mais de manière plus élargie. Après, à chaque cloud-provider d'annoncer quelle norme il respecte, quel niveau de sécurité il propose.
Un peu comme les étoiles euro-NCAP des voitures.
L'objectif à mon avis serait surtout d'assurer une plus grande transparence sur ce qu'achète le client. Aujourd'hui, les offres techniques ne sont pas assez standardisées et pas assez claires.
Il y a un manque de transparence de la part de la majorité des cloud providers.
OVH ne communiquait pas sur la protection incendie, ni sur la localisation géographique de certaines offres de sauvegarde de données (de la majorité en fait).
Scaleway a également fait à plusieurs reprise les mêmes erreurs de manque de clarté sur la partie technique (certains serveurs virtuels étaient avec disques non redondants, le client n'était pas au courant au début).
Au final, ça ne me choque pas qu'un cloud provider construise un datacenter sans protection incendie, même si je trouve ça très couillu. Hetzner et Scaleway l'on fait aussi.
Par contre, ce qui me choque c'est que les clients ne sont pas au courant de ça. Ca n'est pas normal. Les clients doivent pouvoir estimer la probabilité de perte totale d'un datacenter entier.
Pour finir, nous sommes à l'époque du "multi cloud". De plus en plus de "SSII" sont capables de construire des systèmes informatiques hébergés de manière redondante chez plusieurs cloud provider, dans plusieurs datacenter. Ce genre d'architecture peut se contenter d'un niveau de sécurité incendie faible.
Leon.
-
Il est bien que les clients puissent choisir le niveau de sécurité de leur hébergement, car cela a un prix.
Au risque de me répéter, OVH n'est pas le seul acteur à ne pas avoir de système d'extinction incendie automatique.
Certains ont depuis l'incendie OVH rajouté une extinction incendie (Scaleway DC5), d'autre non (Hetzner).
Personnellement, je serais curieux de savoir ce qui a été fait sur les autres centres de données d'OVH, comme Roubaix 4, la copie / conforme de SBG2. Les assurances vont peut-être demander l'installation d'un système d'extinction incendie, un système de coupure du 20 000 volts et des murs (et plafond) coupe-feu 2 heures pour les batteries et les onduleurs.
-
Les systèmes a base d'eau sont a PROSCRIRE dans les environnements électroniques et stratégiques comme le sont les datacenters.
OVH n'est pas le seul, ni le premier à avoir une suppression incendie à base d'eau. A vrai dire, on voit de moins en moins de suppression incendie a base de gaz (la décharge des bouteilles a tendance à niquer les disques dur), et de plus en plus de suppression incendie à base de brouillard d'eau dans les DC modernes. Et bien évidemment, si ils sont nombreux à faire ça, c'est parce que ça à été testé, et qu'il est prouvé que c'est mieux que le gaz.
Concernant le risque vis à vis du matériel électronique. Il est en réalité très faible dans la mesure ou ces équipements ne sont pas sous tension. Le vrai problème des liquides c'est qu'en présence d'un courant électronique, ils provoquent une corrosion rapide. Sans courant, rien de bien méchant. Il suffit ensuite de correctement rincer et sècher les équipements avant la remise en service et pas de problème. Ceci est aussi vrai pour un ordi portable, ou un téléphone, d'ailleurs. Si on retire suffisamment vite toute source de courant (y compris la batterie, ce qui n'est malheureusement pas toujours possible), et qu'on s'abstient de le réalimenter tant qu'il n'est pas parfaitement sec (ce qui peut prendre plusieurs semaines si on ne le démonte pas, et inutile de le tremper dans du riz, ça ne sert à rien), alors la probabilité pour qu'il fonctionne à nouveau est très forte.
-
OVH n'est pas le seul, ni le premier à avoir une suppression incendie à base d'eau.
OVH n'avait PAS de système d'extinction automatique à base d'eau, à Strasbourg.
OVH n'avait AUCUN système d'extinction automatique à Strasbourg, et probablement dans la majorité de ses datacenters Français.
OVH avait montré des images de sprinkler à Beauharnois au Canada, c'est tout. Et on sait très bien que la quantité d'eau déversée par des sprinkler est capable de détruire les serveurs.
Les sprinklers servent dans ce cas à 2 choses : éviter la propagation de l'incendie au reste du bâtiment, et garantir l'intégrité du bâtiment, pour qu'il ne s'effondre pas par exemple.
Pour le reste, je te laisse tester avec ton PC : tu l'arroses et tu le redémarre 1 semaine après, et tu verra s'il en ressort vivant ou non.
Pour finir, il y a plusieurs type de système d'extinction automatique fonctionnant avec de l'eau. Les systèmes par brouillard d'eau (de l'eau sous haute pression) sont adaptés pour les salles informatiques, si on souhaite conserver l'intégrité des serveurs.
Leon.
-
Pour le reste, je te laisse tester avec ton PC : tu l'arroses et tu le redémarre 1 semaine après, et tu verra s'il en ressort vivant ou non.
Alors François est expert en réparation de PC qui ont pris des dommages liquides, j'ai tendance à lui faire confiance à ce sujet ;)
-
Pour le reste, je te laisse tester avec ton PC : tu l'arroses et tu le redémarre 1 semaine après, et tu verra s'il en ressort vivant ou non.
J'ai renversé une bouteille d'eau sur mon ordinateur portable (qui était en marche).
Il est toujours fonctionnel aujourd'hui.
-
Hugues, peut-être préciser que François = goudalf
-
OVH n'est pas le seul, ni le premier à avoir une suppression incendie à base d'eau. A vrai dire, on voit de moins en moins de suppression incendie a base de gaz (la décharge des bouteilles a tendance à niquer les disques dur), et de plus en plus de suppression incendie à base de brouillard d'eau dans les DC modernes. Et bien évidemment, si ils sont nombreux à faire ça, c'est parce que ça à été testé, et qu'il est prouvé que c'est mieux que le gaz.
L'extinction par brouillard d'eau est, avec notre expérience, la meilleure solution.
Les qualités sont nombreuses : pas de risque pour les disques durs, pas de risque de surpression explosive, pas de risques pour les humains, durée d'extinction quasi illimité, très peu de dégâts sur les matériels, pas de compartimentage très étanche à réaliser avec les risques qui vont avec (Clapets, DAS, etc...). Les assurances aiment moyennement car ne rentre pas dans la catégorie des systèmes d'extinction APSAD R13, des sombres histoires de lobbing
Nous avons déjà fait un test grandeur nature, il y a presque 10 ans, la vidéo est disponible sur YT : https://www.youtube.com/watch?v=0Ot4pby2D7o
Le 3M NOVEC 1230 est également très efficace et plein d'avantages (Sans rentrer dans les détails : pression de service plus faible, moins de bouteilles, agent extincteur comme le FM200 et non gaz neutre, 0 risque de destruction de disque etc...)
my2cents
-
Oui, j'avais déjà vu cette vidéo, et c'est assez impressionnant de voir les racks continuer à fonctionner au milieu de ce brouillard d'eau.
-
À noter le lancement de SBG5, à Strasbourg.
=> OVH Strasbourg 5 (https://lafibre.info/ovh-datacenter/ovh-strasbourg-5)
-
L'extinction par brouillard d'eau est, avec notre expérience, la meilleure solution.
Les qualités sont nombreuses : pas de risque pour les disques durs, pas de risque de surpression explosive, pas de risques pour les humains, durée d'extinction quasi illimité, très peu de dégâts sur les matériels, pas de compartimentage très étanche à réaliser avec les risques qui vont avec (Clapets, DAS, etc...). Les assurances aiment moyennement car ne rentre pas dans la catégorie des systèmes d'extinction APSAD R13, des sombres histoires de lobbing
Nous avons déjà fait un test grandeur nature, il y a presque 10 ans, la vidéo est disponible sur YT :
Intéressant cette expérience, mais 12mn pour éteindre un petit départ de feu de papiers/cartons ça paraît très long. Ça donne quoi pour éteindre un incendie électrique par exemple?
Autrement dit, question idiote sans doute mais est-ce que cette technique est capable d'éteindre des départs d'incendies plus "sérieux" avec des combustibles plus représentatifs de ce qu'on trouve en DC?
-
Dans un datacenter, le risque est limité dans les salles d'hébergement des serveurs : ce qui brule est limité et le brouillard d'eau semble adapté.
Le risque des batteries est depuis longtemps identifié et l'incendie d'OVH a fait ouvrir les yeux sur les risques possibles aux endroits où il y a de forts courants (ou du combustible).
Pour exagérer volontairement, on voit bien qu'ici le brouillard d'eau n'est pas adapté :
Impressionnant !
Panne hydraulique sur une ligne d'extrusion d'aluminium de l'entreprise d'aluminium Alueuropa SA à Séville, en Espagne.
La situation se dégrade à une vitesse incroyable. Un plafond suspendu dans un endroit comme celui-ci (extrusion d'aluminium à plus de 1000 degrés) est clairement une mauvaise idée.
Je me demande si un arrêt d'urgence enfoncé aurait permis d'éviter que cela dégénère autant. Cela n'aurait permis que quelques secondes de pulvérisation par le haut, au lieu d'un flux constant.
https://lafibre.info/videos/bistro/202206_panne_ligne_extrusion_aluminium.mp4
Par chance, il n'y a aucun blessé.
-
Dans un datacenter, le risque est limité dans les salles d'hébergement des serveurs : ce qui brule est limité et le brouillard d'eau semble adapté.
Selon qui, d'après quelles études?
J'ai déjà vu un départ d'incendie sur une alimentation dans un serveur 2U: les composants (notamment les condensateurs) qui brûlent ça ne s'éteint pas en soufflant dessus... Et je ne parle pas des gaines plastiques des câbles: sont-elles systématiquement FR-LS?
D'où ma surprise sur le test à base de quelques papiers qu'on crame dans un coin de la pièce (scénario dont on ne voit pas bien la transposition en situation réelle), et ma question (naïve sans doute).
-
Remarque en passant :
J'ai vu une seule fois en DC un serveur qui a (relativement) bien brûlé, ça s'est arrêté tout seul et ça n'a pas déclenché l'extinction, heureusement.
-
C'est un disque qui a brulé ?
-
Un ventilateur, par une cause inconnue.
Je m'étais amusé à tester les disques et une carte RAID et ils fonctionnaient parfaitement !
-
Un ventilateur, par une cause inconnue.
Une hypothèse: ventilo bloqué. Le courant augmente, la bobien chauffe, ça fond et hop. ça arrive.