http://up2v.nl/2016/08/16/a-reconstruction-of-the-delta-airlines-datacenter-outage/

Le décor:

Delta Airlines computer systems responsible for  online check-in, kiosks, flight dispatching, crew scheduling, , airport-departure information displays, ticket sales, frequent-flier programs and flight info displays are all located in a single datacenter located in Atlanta, Georgia. Most likely for cost reasons Delta Airlines decided not to operate a twin datacenter concept. Atlanta in the past has not been hit by any serious earthquakes nor floodings. There has been tornado’s but not at a scale which can damage a datacenter. So probably the financial resposible management of Delta believed a single datacenter was the best option.

Acte 1

At August 8 at around 2:30 AM IT staff of Delta performed a routine scheduled switch to the backup generator.

Acte 2

This resulted in a spike which  caused a fire in a  Automatic Transfer Switch (ATS). The firebrigade was called.  Firefighters took a while to extinguish the fire.

Fin

About 500 servers were shutdown because there was no power anymore.

Si, le datacenter Delta Airlines est redondant :


Est-il nécessaire de couper entièrement tout le datacenter suite à un incendie sur une seule voie ?

Si a TH2 il y a un incendie et qu'on coupe les deux voies sur l'ensemble du site, vous imaginez l'impact ? Non je préfère même pas y penser.

L'impact pour Delta :
Des dizaines de milliers de passagers étaient bloqués dans les aéroports à travers le monde, lundi matin, après qu'une panne informatique a cloué au sol tous les vols de Delta Airlines. Les télévisions américaines montraient de longues files d'attente aux comptoirs de la compagnie dans les aéroports américains. À l'aéroport de Los Angeles par exemple les passagers d'un vol pour New York, qui avaient déjà embarqué, ont dû ressortir de l'avion et retourner patienter dans le terminal. D'autres ont passé la nuit près de leur porte d'embarquement à Las Vegas.

[...]

Delta a annulé environ 1000 vols le lundi et un autre 775 mardi car il a travaillé pour obtenir à nouveau ses systèmes pleinement opérationnels. Il a également annulé plus de 300 vols le mercredi et une poignée jeudi.

Note pour les non-connaisseurs: ATS = Automatic Transfer Switch. Dispositif permettant de passer d'une source (fournisseur d'électricité) à une autre (groupe électrogène). En HT, ce n'est pas transparent (quelques secondes max de coupure) alors qu'en BT (230V) c'est presque transparent. En BT, on utilise des ATS (ou STS) pour les équipements n'ayant qu'une seule alimentation comme les petits switch ou routeurs, en le connectant aux deux alimentations du rack.

Exemple de contrainte à gérer : les deux chaines d'onduleurs sont souvent synchronisées entre elles (soi-disant obligatoire chez Dell pour les double-alims) ce qui nécessite que les chaines d'onduleurs soient à proximité de l'une de l'autre -> par facilité/commodité, on va mettre ces onduleurs dans la même salle. En cas d'incendie dans la salle, on peut perdre les deux chaines.

Içi le problème de Delta semble être lié au fait que 300 serveurs n'étaient connecté que sur une seule voie et que les pompiers ont exigé la coupure complète de cette voie pour pouvoir intervenir et/ou que le déclenchement de l'arrêt d'urgence a provoqué la coupure de toute la chaine (alim HT+ATS+Onduleur(1)).

(1) Il est demandé de couper l'alimentation d'un onduleur avant de pouvoir travailler en amont afin d'éviter tout retour de courant, provoquant ainsi son passage sur batterie

Comme le dit l'article, c'est quand même pas de bol que l'ATS prenne feu. C'est plus courant que ça tombe en panne (blocage sur une position ou "entre deux").

Je penche pour une erreur de cablage :
 - les deux PDU de chaque rack ont été cablés sur la même voie
 - ou les serveurs ont été cablés sur des PDU de la même voie (ça peut arriver si on ne pense pas à marquer avec une couleur le cable de la voie 1 pour l'alim 1 et le cable de la voie 2 pour l'alim 2)

Ou une salle "tiers-II like" avec une seule voie d'alimentation mais double PDU (une armoire avec plusieurs départs).

Sinon pour l'ATS en haute tension, je pensais a un jeu de barre, donc cela ne devrait pas pouvoir prendre feu ?

En cas de défaut, les courants peuvent être si fort que ça peut "souder" deux contacts entre eux -> un (très gros) fusible doit normalement empêcher cela sinon les barres rougissent et provoquent un incendie.

Demande à Arnaud d'Online: il a de jolies photos de départ d'incendie sur de simples raccords 16A sous boite plexo.

Je me pose les mêmes questions que toi. Les seules réponses que j'ai déjà eu "c'est comme ça qu'il faut faire" ne m'ont jamais satisfait et je n'ai jamais trouvé d'explication logique.

C'est pourquoi je pense que c'est fait par commodité : le cable est facile et rapide à mettre en place, pas de risque de coupure, etc.
A moins d'une contrainte d'horloge avec la distance ?

Pour les double-alims c'est irrationnel aussi, d'autant qu'il existe des PDU triphasés qui sortent en C13/C14 ou C19/C20 : qu'est-ce qu'il t'empêche de mettre ton serveur sur deux phases distinctes ? Même si les onduleurs sont synchronisés, les 3 phases restent décalées quoi qu'il arrive. Ca n'a pas de sens.

C'était pas du low-cost là où j'ai vu ça...

C'était vendu pour du tiers 3...

Je connais aussi une salle avec les onduleurs (APC) en rack 19" au milieu des serveurs. Avec les batteries dedans. Installation validée et tamponnée par les assureurs.