Auteur Sujet: 28/03/2023 Incendie dans le datacenter Maxnod  (Lu 54703 fois)

0 Membres et 1 Invité sur ce sujet

vivien

  • Administrateur
  • *
  • Messages: 47 231
    • Twitter LaFibre.info
28/03/2023 Incendie dans le datacenter Maxnod
« Réponse #72 le: 30 mars 2023 à 09:55:27 »
Vue de mon monitoring:

Avec les explications :


Note : j'ai regardé les logs, c'est étonnant la coïncidence, on a 13h00 de down (et si on regarde au niveau des secondes, on est proche de 13h00:00)

simon

  • Abonné Orange Fibre
  • *
  • Messages: 935
28/03/2023 Incendie dans le datacenter Maxnod
« Réponse #73 le: 30 mars 2023 à 10:03:44 »
Ca dépend en effet de ton personnel et de ta configuration, mais tu as plusieurs options :
1) tu déclenches l'alarme qui va réveiller la ou les personnes d'astreinte (un gros DC en a forcément une)
2) cette personne a un certain temps pour réagir. Elle peut couper l'alimentation des baies en question, inspecter la vidéo pour avoir une idée de ce qui se passe, etc.
3) si cette personne ne réagit pas ou si ses actions ne suffisent pas, il peut se passer plusieurs choses : a) un deuxième détecteur déclenche car le feu se propage, dans ce cas on libère l'agent d'extinction b) le détecteur qui a déclenché se désactive car le souci est résolu c) un timer expire et l'agent d'extinction est libéré, etc.

Il y a plein de cas possibles. Quand je bossais dans le DC il y a 10 ans, c'était quelque chose comme ca qu'ils faisaient, mais effectivement il y avait toujours une équipe d'astreinte sur place.

L'accent était mis sur la rapidité d'intervention et la résolution du problème en minimisant l'impact sur les opérations. L'arrêt électrique total d'une salle et/ou (pire) la décharge de l'agent d'extinction était certes moins grave qu'un incendie pur et dur, mais était vu par la direction comme quelque chose de très grave et à éviter à tout prix, à raison selon moi.

On parle de DC de ~5-10MW, je ne sais pas quelle taille a Maxnod et si il avait une équipe d'astreinte.

AxelV

  • Abonné MilkyWan
  • *
  • Messages: 43
  • St Jean de Gonville (01)
28/03/2023 Incendie dans le datacenter Maxnod
« Réponse #74 le: 30 mars 2023 à 10:12:20 »
  • Les batteries Lithium Fer Phosphate (LFP) quant à elles sont nettement plus stables et s'emballent très difficilement, même lorsqu'elles sont malmenées.

Sans préjuger de quelles batteries il s'agissait dans ce cas, il faut tordre le cou à ce mauvais stéréotype sur les LFP.
Certes, elles sont plus stable en utilisation normale. Mais en cas d'incident, ça reste des batteries avec énormément d'énergie stocké. Les mêmes précautions s'imposent qu'avec toutes les autres formulations.

vivien

  • Administrateur
  • *
  • Messages: 47 231
    • Twitter LaFibre.info
28/03/2023 Incendie dans le datacenter Maxnod
« Réponse #75 le: 30 mars 2023 à 10:16:46 »
Maxnod est un petit datacenter (environ 60 baies), pas possible pour des datacenter de cette taille d'avoir une présence sur site H24.

2) cette personne a un certain temps pour réagir. Elle peut couper l'alimentation des baies en question, inspecter la vidéo pour avoir une idée de ce qui se passe, etc.
Ce que tu décris simon est proche de ce que faisait OVH.

En pleine nuit, le départ d'incendie de SBG2 à eu lieu à 0h35 (info de la vidéosurveillance). Quelques secondes plus tard, il y a l'alarme et 2 minutes plus tard une personne intervient dans la salle (c'est confirmé par la vidéosurveillance). C'est très rapide difficile d'imaginer plus rapide. Il n'a pas été possible de couper l'alimentation.

Déroulement de l’évènement

Le 10 mars 2021, à 00h35, une alarme se déclenche dans le PC sécurité du site OVH de Strasbourg. À 00h37, le gardien atteint la salle énergie 2 au rez-de-chaussée du bâtiment SBG2 et constate la présence d’une épaisse fumée noire. Le bâtiment est évacué à 00h39.

Le service d’incendie et de secours du Bas-Rhin est appelé par OVH à 00h42. Ils arrivent sur les lieux à 00h59.

[...]
Mais à 02h14, il y a toujours du courant dans le bâtiment 2, maintenant totalement embrasé, et une importante propagation vers le bâtiment 1 est constatée.

[...]
À partir de 03h28, il n’y a plus de courant sur le site.

Au moment où est prise la photo, le bâtiment a encore de l'énergie électrique :

simon

  • Abonné Orange Fibre
  • *
  • Messages: 935
28/03/2023 Incendie dans le datacenter Maxnod
« Réponse #76 le: 30 mars 2023 à 10:24:49 »
Oui, le fait que l'arrivée électrique ne puisse pas être coupée à distance (même hors du bâtiment, par les pompiers) est probablement ce qui a coûté le plus cher à OVH. (off-topic, mais d'ailleurs, ils ont expliqué pourquoi c'était impossible ?)

Effectivement Maxnod est tout petit :) Dans ces cas là, peut-être qu'avec de la vidéosurveillance tu peux avoir une astreinte distante, à minima.
La mise hors tension peut se faire baie par baie avec des équipements standard, et si ce n'est pas possible, il vaut toujours mieux éteindre une rangée de racks plutôt que la totalité du DC.

raph01

  • Réseau RESO-LIAin (01)
  • Abonné Adeli
  • *
  • Messages: 172
  • FTTH 100 Mb/s sur Béon (01)
28/03/2023 Incendie dans le datacenter Maxnod
« Réponse #77 le: 30 mars 2023 à 10:25:28 »
Avec les explications :


Note : j'ai regardé les logs, c'est étonnant la coïncidence, on a 13h00 de down (et si on regarde au niveau des secondes, on est proche de 13h00:00)
S'ils pouvaient faire pareil pour ma connexion internet, je leur en serais reconnaissant  :o

vivien

  • Administrateur
  • *
  • Messages: 47 231
    • Twitter LaFibre.info
28/03/2023 Incendie dans le datacenter Maxnod
« Réponse #78 le: 30 mars 2023 à 10:31:15 »
Oui, le fait que l'arrivée électrique ne puisse pas être coupée à distance (même hors du bâtiment, par les pompiers) est probablement ce qui a coûté le plus cher à OVH. (off-topic, mais d'ailleurs, ils ont expliqué pourquoi c'était impossible ?)
Il y a un sujet complet : Rapport d’enquête du BEA-RI sur l’incendie du data center SBG2 OVH de Strasbourg du 10 mars 2021.

Le 20 000 volts arrive pour l'ensemble du site de Strasbourg directement au rez-de-chaussé de SBG2, sans autre point de coupure à l'extérieur du bâtiment. L'intervention des techniciens a été rapide, mais il n'était pas possible d'éteindre l'incendie avec des extincteurs. Si la coupure du 20 000 vols était possible à ce moment-là, je ne pense pas que le personnel avait la procédure (où les compétences ?) pour le faire immédiatement. Après, c'était trop tard et la solution a été de couper au niveau du départ des lignes 20 000 volts, mais cela a pris du temps, car Électricité de Strasbourg s'est en premier déplacé sur le site d'OVH pour tenter de couper le 20 000 volt.

Optix

  • AS41114 - Expert OrneTHD
  • Abonné Orne THD
  • *
  • Messages: 4 680
  • WOOHOO !
    • OrneTHD
28/03/2023 Incendie dans le datacenter Maxnod
« Réponse #79 le: 30 mars 2023 à 10:37:36 »
Le communiqué posté il y a une heure.


fabtra31

  • Professionnel des télécoms
  • Abonné Orange Fibre
  • *
  • Messages: 2 505
  • ------ Espalion (12) ------- ↓300 Mbps ↑ 300 Mbps
    • Chaine Twitch
28/03/2023 Incendie dans le datacenter Maxnod
« Réponse #80 le: 30 mars 2023 à 11:00:01 »
Force a eux, ca doit etre un gros coup dur... J'ai eu ca chez un client l'autre jour, c'est compliqué....

raphaelp

  • Abonné Adeli
  • *
  • Messages: 1
28/03/2023 Incendie dans le datacenter Maxnod
« Réponse #81 le: 30 mars 2023 à 11:00:58 »
On croise les doigts et on espere bientot récupérer notre connectivité...

Hugues

  • AS2027 MilkyWan
  • Modérateur
  • *
  • Messages: 12 459
  • Lyon (69) / St-Bernard (01)
    • Twitter
28/03/2023 Incendie dans le datacenter Maxnod
« Réponse #82 le: 30 mars 2023 à 11:01:16 »
On croise les doigts et on espere bientot récupérer notre connectivité...
Ça ne devrait plus tarder maintenant

raph01

  • Réseau RESO-LIAin (01)
  • Abonné Adeli
  • *
  • Messages: 172
  • FTTH 100 Mb/s sur Béon (01)
28/03/2023 Incendie dans le datacenter Maxnod
« Réponse #83 le: 30 mars 2023 à 11:50:13 »
Aucun délai annoncé pour l'instant suite à la première communication, c'est pas rassurant sur la probabilité d'une résolution rapide ...