Auteur Sujet: Arrêt du DC d'une filiale roumaine d'ING  (Lu 4896 fois)

0 Membres et 1 Invité sur ce sujet

BadMax

  • Client Free adsl
  • Expert
  • *
  • Messages: 3 481
  • Malissard (26)
Arrêt du DC d'une filiale roumaine d'ING
« le: 13 septembre 2016 à 09:09:57 »
Dans le cas d'une banque, je trouve que c'est de l'amateurisme car ce problème est connu depuis des années. On parle d'ING, pas d'une banque locale.

http://www.zdnet.fr/actualites/comment-un-simple-son-a-mis-un-datacenter-a-genoux-39841792.htm

Comment un simple son a mis un datacenter à genoux

Cloud Computing : Le fonctionnement d’un datacenter à Bucarest en Roumanie a été complètement stoppé pendant plus de 10 heures suite à un phénomène rarissime.

Une banque roumaine a fait face à un arrêt complet de ses systèmes de paiement ainsi que de ses distributeurs automatiques pendant environ 10 heures suite à un dysfonctionnement de son système d’alarme anti-incendie. L’événement est particulièrement rare et inhabituel : le son a été produit par la diffusion d’un gaz inerte au cours d’un test routinier du système d’alarme incendie.

Non seulement celui-ci a forcé le datacenter à passer hors ligne, mais il a également causé la destruction d’une douzaine de disques durs, ce qui a provoqué de sérieux dommages.

La semaine dernière, Daniel Llano, directeur de la banque ING a expliqué à ses clients que les dysfonctionnements avaient été causés par une propagation de gaz Inergen.

L’Inergen est utilisé pour éteindre des incendies sans avoir besoin de passer par un liquide ou de la mousse, les méthodes plus traditionnelles. Utile dans les espaces clos, le gaz Inergen est conservé sous forme compressé dans des cylindres et celui-ci est dispersé via le système de canalisation pour empêcher la propagation d’incendies.

En temps normal, cette technique est idéale pour les datacenters. Les liquides ou la mousse pourraient en effet facilement endommager les équipements les plus sensibles. Mais dans ce cas précis, quelque chose est allé de travers.

Lorsque le gaz a été propulsé dans le système de ventilation, la pression de celui-ci était bien trop forte, ce qui a produit un son incroyablement fort lors de la libération du gaz Inergen.

Un porte-parole d’ING a expliqué à nos confrères de Motherboard que « l’exercice s’est déroulé comme prévu, mais nous devons faire face à des dommages collatéraux. »

Une autre source citée par la publication précise que le son produit par le système s’est révélé bien plus fort qu’escompté. Évalué à plus de 130Db, celui-ci a largement dépassé l’échelle des outils de mesure du son mis en place par la banque. Malheureusement, le son provoque des vibrations, qui se sont propagées aux boîtiers des disques durs et ont endommagé les composants internes.

Motherboard relate que la situation pouvait être comparée au fait « de placer une baie de stockage à côté d’un moteur d’avion à réaction. »

Les serveurs de stockages des données ont été affectés, ainsi que les systèmes de paiement via carte bleue, les distributeurs de billes, les services de banque en ligne, les mails ainsi que le site web de la banque. Ces services sont aujourd’hui à nouveau disponibles, mais la banque s’est vue contrainte de rapatrier ses services vers un datacenter de secours.

« J’ai activé les procédures d’urgences prévues pour ce type de situation » explique Daniel Llano « Malheureusement, le temps nécessaire à la restauration des sauvegardes a été plus long que ce à quoi nous étions habitués lors de nos tests. »

La banque a été contrainte de procéder à une réinitialisation de ses services et, ING ne voulant prendre aucun risque, a également pris le temps de créer une copie additionnelle des bases de données de la société. Une enquête a également été lancée afin d’empêcher que ce scénario catastrophe, qui va sûrement coûter cher à la banque en réparations, ne se reproduise dans le futur.

Cet article est une traduction de http://www.zdnet.com/article/how-a-loud-noise-brought-a-data-center-to-its-knees/


La solution est super-simple: on installe une tête spéciale en sortie des bonbonnes de gaz inerte pour diminuer la pression de sortie. Il n'y a pas que les disques durs à protéger, même les tympans de personnes présentes peuvent être endommagés.

Pour info, les bouteilles de gaz inertes type FM200 ont une pression interne d'environ 40 à 45 bars (ça doit être proche pour Inergen).


Leon

  • Client SFR sur réseau Numericable
  • Modérateur
  • *
  • Messages: 5 971
Arrêt du DC d'une filiale roumaine d'ING
« Réponse #1 le: 13 septembre 2016 à 09:23:58 »
Effectivement, la solution est de rajouter un détendeur en sortie des bouteilles, plus des tuyaux de diffusion de plus grande section, et plus de buses de diffusion.
Tout cela a un cout, mais un cout bien inférieur à ce qu'est en train de vivre ce datacenter.

Leon.

eruditus

  • Client Orange adsl
  • Modérateur
  • *
  • Messages: 11 015
Arrêt du DC d'une filiale roumaine d'ING
« Réponse #2 le: 13 septembre 2016 à 09:30:36 »
C'est quand même assez dingue que, ce qui semble relever d'une "bonne pratique" connue, ait été complètement zappée par la société propriétaire de ce data center ?....
« Modifié: 13 septembre 2016 à 10:26:55 par eruditus »

underground78

  • Expert
  • Abonné Free fibre
  • *
  • Messages: 7 434
  • Orsay (91)
    • FreePON : suivi géographique du déploiement fibre EPON chez Free
Arrêt du DC d'une filiale roumaine d'ING
« Réponse #3 le: 13 septembre 2016 à 09:54:00 »
Là où je travaille un mur de la salle machine a été soufflé par la libération du gaz d'extinction incendie il y a quelques années. A la construction les trappes qui servent à équilibrer la pression avaient été oubliées...

Leon

  • Client SFR sur réseau Numericable
  • Modérateur
  • *
  • Messages: 5 971
Arrêt du DC d'une filiale roumaine d'ING
« Réponse #4 le: 13 septembre 2016 à 18:37:51 »
C'est quand même assez dingue que, ce qui semble relever d'une "bonne pratique" connue, ait été complètement zappée par la société propriétaire de ce data center ?....
Sauf que les recommandations sur la mauvaise utilisation de ces matérielles sont "assez récentes" à ma connaissance : 10 ans?
Si l'installation date de plus longtemps, et n'a jamais été mis au gout du jour, ça peut expliquer des choses.

Il faut bien voir que c'est souvent tout le système qui est à modifier, pour installer des détendeurs, des canalisations (beaucoup) plus grosses, et des buses plus nombreuses.
En partant d'une installation foireuse, juste installer des buses plus larges et des détendeurs est en général très insuffisant.
Donc je ne suis pas trop d'accord avec ça:
La solution est super-simple: on installe une tête spéciale en sortie des bonbonnes de gaz inerte pour diminuer la pression de sortie. Il n'y a pas que les disques durs à protéger, même les tympans de personnes présentes peuvent être endommagés.

Leon.

BadMax

  • Client Free adsl
  • Expert
  • *
  • Messages: 3 481
  • Malissard (26)
Arrêt du DC d'une filiale roumaine d'ING
« Réponse #5 le: 13 septembre 2016 à 21:07:30 »
L'installation est récente puisqu'elle utilise du gaz Inergen: https://fr.wikipedia.org/wiki/Inergen

Par contre, d'après Wikipédia, la pression est de 200 bars en Inergen ce qui est gigantesque et pose un gros problème pour gérer la décompression. Sur le FM200 que j'ai connu (on ne peut plus en installer en neuf depuis quelques années), les 45 bars se contrôlaient avec une tête en sortie somme toute basique, car là où j'étais le FM était injecté en ambiance, pas de canalisation nécessaire.

A mon avis, le  système de décompression n'était pas calibré correctement ou alors calé sur un ancien système s'il s'agissait d'une rénovation.

Sauf que les recommandations sur la mauvaise utilisation de ces matérielles sont "assez récentes" à ma connaissance : 10 ans?

Même pas sûr, je dirais 5-6 ans : la première fois que j'ai entendu parler de ce problème, c'était un tech EMC qui était intervenu dans un autre DC (tiens d'ailleurs c'était une banque aussi) qui avait eu pleins de disques crashés à cause d'un test FM200. Les directives sont assez récentes mais tout le monde dans la profession (et un peu sérieux) est au courant du problème.