Salut Synack, Est-ce que tu as eu un rapport d'incident? Est-ce que tu as le droit de le partager?
J'ai trouvé ça: https://x.com/manu_thy/status/443417131875454976 , mais ça n'est pas le rapport officiel.
S'il y a 1 seul circuit d'eau glacée, c'est incompréhensible! C'est un gros SPoF!
Il y a quelques années, on avait vu (sur je ne sais plus quel datacenter) un site avec clim redondées, mais effectivement avec 1 seul circuit d'eau glacée : 1 seule fuite, et c'est mort!
C'était Level3?
http://www.lemagit.fr/actualites/2240193555/Plusieurs-sites-internet-francais-paralyses-par-une-panne-dun-datacenter-de-Level3
Leon.
Pour le rapport : Vu que j'ai reçu le rapport via une espèce d'emailing "Hi! Blog" de Telehouse et vu la forme, pour moi pas de problème de confidentialité :
"Dear Fr�d�ric,
Voici le rapport concernant l'élévation de température survenue ce dimanche 9
mars à TH2.
LOCALISATION : Site TH2 – 137 Boulevard Voltaire
DUREE DE LA PERTURBATION : De 18h à minuit
ZONES IMPACTEES PAR LA MONTEE EN TEMPERATURE :Tout le site Voltaire
CHRONOLOGIE :
- Dès 18h00, le système GTC du site ainsi que notre système indépendant de
mesure des
températures en salle client èmettent des alertes de défaut.
- Intervention de l'équipe maintenance présente sur site pour vérification des
installations
- Arrivée sur site d'une équipe technique complèmentaire
- Vérification des positions de vannes et pressions du réseau d'eau glacée. Les
investigations
révèlent qu'une vanne normalement fermée et sécurisée située en pied de
colonne avait été
ouverte par erreur provoquant une forte baisse de pression du réseau d'eau
glacée.
- Rétablissement de la pression du réseau. Cette opération a nécessité environ
deux heures.
- Remise en service des premiers groupes froids vers 22h30.
- L'ensemble des groupes froids a été remis en service vers 23h30. Les
températures en salle
redescendent
- Vérification globale des installations de climatisation. Les températures
dans les salles clients
ont retrouvé les valeurs habituelles vers minuit.
Une étude approfondie est en cours pour déterminer la cause précise de cette
erreur humaine et
améliorer nos procédures en conséquence. Nous vous en communiquerons les
résultats très
prochainement.
Nous vous prions d'accepter toutes nos excuses pour la gêne occasionnée. Votre
interlocuteur
commercial se tient à votre disposition pour répondre à vos éventuelles
questions.
Sincères salutations,
L'équipe Telehouse
--
Pour vous désabonner, visitez :"
Sinon, Level 3 en 2011 avait eu un problème bien plus important aux conséquences plus douloureuses : C'était également un problème sur l'unique circuit d'eau de refroidissement, mais c'était une rupture de canalisation sous le faux plancher.
Résultat : Faux plancher inondé par endroit (l'électricité étant amené sur des rails au sol pour ce site, je vous laisse imaginer le stress). La clim a été coupée dans la nuit et n'est revenue qu'en début d'après midi. La température était montée aux limites des équipements réseaux, entrainant des shutdown, le CDN de Level 3 avait particulièrement souffert, j'avais fait acheter d'énormes ventilos pour créer un flux d'air sur les points chauds de nos baies à l'époque, ils avaient pu ouvrir les fenêtres sur l'extérieur mais sur une salle de 300 baies de serveurs c'était très compliqué, surtout que le climat était plutôt doux à ce moment là en journée.
Mais bon Level 3 est champion du pas de bol aussi, plusieurs années avant, il y avait eu une rupture de canalisation dans des WC de l'étage du dessus, qui avait provoqué une inondation par le plafond dans les mêmes salles. J'ai ce souvenir marquant de l'eau qui ruisselait comme de la pluie dans les salles, des mecs de Level 3 en train de mettre des déflecteurs pour diriger l'eau ailleurs que sur les batteries et les routeurs. On s'en était sortis bien avec très peu de dégâts de notre côté, aussi parce qu'on y était allés très très vite à la première anomalie. D'autres ont trouvé des serveurs en mode aquarium au petit matin.
Et Level 3 Braham Street à Londres pareil, rupture de canalisation au dessus, grosse inondation il y a plusieurs années également.
L'eau c'est parfois compliqué...
Telehouse