Auteur Sujet: Destruction de matériel en DC suite déclenchement accidentel système d'incident (Lu 2305 fois)

groulte · « **le:** 08 décembre 2022 à 13:44:24 »

Bonjour à tous,

une partie de notre infrastructure de stockage (baie SAN DELL) présente dans un DATACENTER en région Nantaise a été détruite suite à un déclenchement accidentel (sans départ de feu) du système de d'extinction d'incendie.

Ce système utilise du GAZ Inerte qui est diffusé à plus de 200 barres afin d'arrêter tout départ d'incendie.

Le problème est que la diffusion à très haute pression à crée une onde de choc dans la salle et elle a fait perturber très fortement les disques durs à plateaux (7.2k, 10, 15k, ...).

Par conséquence, nous avons eu plusieurs de dé-synchronisation de baie de stockage et ce fut le drame.

Grâce à nos sauvegardes et nos équipements de spare, tout est repartis mais c'est cela fait extrêmement peur.

Ce type d'incident est peux documenté mais il tristement connu par les clients expérmintés de DATACENTER.

Sans remettre en cause le choix de cette technologie, es'ce que certains membres du forum ont déjà entendus parlé OU confronté à cet incident.

De connaissance, je sais que ce type d'incident est arrivé dans un datacenter de BULL et le seul article trouvé est celui-ci -> https://www.journaldugeek.com/2016/09/14/le-bruit-dun-gaz-a-explose-un-data-center/ .

Merci de vos retours.

Leon · « **Réponse #1 le:** 08 décembre 2022 à 18:48:53 »

Peu documenté? Je ne dirais pas ça. Le problème est connu depuis plus de 10 ans.

https://www.google.fr/search?q=inert+gaz+datacenter+"HDD"+fire+suppression

Je ne suis pas expert, je ne travaille pas dans ces domaines, mais je sais que des solutions existent.
- Soit changer de gaz pour un gaz qui "absorbe" l'oxygène, avec des grosses contraintes sur la sécurité des personnes. Les réglementations sont beaucoup plus contraignantes qu'il y a 20 ans.
- Soit des systèmes qui embarquent des détendeurs, des canalisations de grosse section, des buses plus nombreuses et plus larges. L'objectif étant de réduire la pression, sans réduire le débit de gaz.
- dans le même genre, les fournisseurs ont créé des buses "acoustiques" qui limitent l'onde sonore dirigée vers les serveurs.
- Soit passer à un dispositif d'extinction par brouillard d'eau

Dans tous les cas, c'est une grosse remise en cause du système anti incendie, avec des investissements lourd. Du genre il faut quasiment tout changer.

Leon.

groulte · « **Réponse #2 le:** 08 décembre 2022 à 21:49:56 »

Merci LEON pour ce retour,

avec la bonne terminologie, les recherches est plus intéressante.

Je recherche surtout des retours d'expériences auprès de société qui ont connus des destructions de DDs !

Ma question est savoir si je dois tous les changer ? Je pense que oui mais j'aimerai des avis complémentaires.

alain_p · « **Réponse #3 le:** 08 décembre 2022 à 22:26:52 »

Je ne suis pas expert non plus, mais j'en ai entendu aussi parlé depuis un certain temps. Là où je travaille, dans nos salles serveur, c'est aussi du gaz inerte à 200 bars. Ce problème potentiel a été signalé, mais je crois qu'il n'est pas bien compris. J'ai eu aussi des échos d'un problème similaire dans un centre de calcul pas loin d'où je travaille.

Personnellement, je m'orienterais plutôt vers une solution à brouillard d'eau, mais il y a encore des incompréhensions sur le fait que l'eau pourrait entrainer des courts-circuits...

Leon · « **Réponse #4 le:** 08 décembre 2022 à 23:17:38 »

Citation de: groulte le 08 décembre 2022 à 21:49:56

Je recherche surtout des retours d'expériences auprès de société qui ont connus des destructions de DDs !

Ma question est savoir si je dois tous les changer ? Je pense que oui mais j'aimerai des avis complémentaires.

Toujours une réponse d'un gars qui n'est pas du métier (désolé) : il existe des logiciels qui testent de manière exhaustive les données d'un disque dur, et surtout son état de santé, bien au delà des données SMART. Ca me semble une première étape pour faire un état des lieux de la santé de tes disques dur. Il est fort possible que seule les données soient corrompues de manière irréversible, mais que les disques durs eux mêmes soient physiquement sains.
Après, est-ce que c'est raisonnable d'appliquer cette démarche, et remettre les mêmes disques durs, dans un environnement de production? Je ne sais pas.

Leon.

« **Réponse #5 le:** 08 décembre 2022 à 23:33:54 »

Citation de: Leon le 08 décembre 2022 à 23:17:38

Il est fort possible que seule les données soient corrompues de manière irréversible, mais que les disques durs eux mêmes soient physiquement sains.

Je pense plutôt exactement le contraire, même si je ne suis pas non plus spécialiste. Le problème c'est que l'impact en fonctionnement de l'onde de choc entraine des déformations brutales qui se répercutent en interne dans le disque et la probabilité de "crash de tête" (contact physique entre les têtes et les plateaux) ou d'un désalignement devient rapidement non-négligeable: aucun disque ne se remet de ça. La littérature qu'on peut trouver sur le net suggère d'ailleurs dans l'ensemble que les dommages sont irréversibles, surtout pour les disques qui se trouvent le plus près des buses.

Après, les données sensibles sont redondées sur plusieurs sites, non?

JeannotPlanche · « **Réponse #6 le:** 10 décembre 2022 à 18:11:53 »

C'est arrivé il y a quelques semaines dans la salle informatique d'une académie française, déclenchement par erreur lors de la maintenance du système.
Pas mal de disques durs en panne, m'a-t-on dit.

On m'a dit que les buses moins bruyantes sont très chères.

groulte · « **Réponse #7 le:** 11 décembre 2022 à 22:04:05 »

Je me suis peux mal exprimés dans mon premier topic, je reviens sur quelques points !

L'ensemble des données de certaines baies étaient corrompus car plus de disques durs étaient H.S que la protection RAID 60 pouvait couvrir (par ex. 6 disques H.S sur les 16 présent) .

Nous avons remplacé l'ensemble des disques H.S et reconstruits les volumes. Ensuite, nous avons restaurés les données sur ces volumes et tout est repartis.

Les données SMART des disques durs restants ne sont pas catastrophiques mais assez disparates (aux vus des remplacements passés de certains disques).

Nous pensons qu'il faut remplacer l'ensemble des disques durs et je cherchais des retours d'XP sur cette partie.

Maintenant, les assurances ne veulent prendre en compte que le matériel H.S et non, le matériel qui peux potentiellement tomber en panne sous un délai court !

Je recherche donc aussi des retours d'expériences sur la partie prise en charge d'incident par les assurances.

e-TE · « **Réponse #8 le:** 26 janvier 2023 à 23:34:45 »

intéressant, je viens justement de pouvoir visiter le datacenter utilisé au boulot, et c'est un systeme de gaz inerte a 200bar qui est utilisé, je n'avais pas en tête cette problématique, je demanderais à l'occaz au service infra ce qu'ils ont prévu la dessus

(je suis plus sur la partie data/logiciel, et pas infra...)

groulte · « **Réponse #9 le:** 27 janvier 2023 à 06:17:04 »

Il est important de leur demander si les têtes qui diffusent ce gaz sont équipés de silencieux dont le but serait de réduire l'onde de choc (préservant la durée de vie des disques durs mécaniques), tout en préservant l'efficacité du système.

vivien · « **Réponse #10 le:** 27 janvier 2023 à 08:44:10 »

À noter que d'autres systèmes d'extinction incendie comme le brouillard d'eau et extinction à eau localisée peuvent être plus pertinent.

On m'a parlé d'un système d'extinction automatique à eau (sprinkler) qui ne va pas impacter plus que 2 ou 3 baies.