Auteur Sujet: 28/03/2023 Incendie dans le datacenter Maxnod (Lu 66047 fois)

buddy · « **Réponse #228 le:** 17 mai 2023 à 10:51:41 »

Citation de: vivien le 17 mai 2023 à 07:51:38

Une fois le courant coupé, le flux d'air s'est inversé : les fumées sont entrées par les allées chaudes de la salle, via les conduits permettant d'utiliser l'air chaud pour chauffer le bâtiment. L'air trouvant son chemin vers les entrées d'air frais, via un passage par les serveurs.

Je n'arrive pas à comprendre pourquoi le flux s'est inversé au point de traverser les serveurs quand le courant s'est coupé mais bon soit.. (les quelques datacenters / centre de calculs dans lesquels je suis allé les allés froides ne sont pas en "dur" mais plutôt en plastique souple, donc si il y a des courants d'air un peu fort et une coupure d'électricité je ne pense pas que l'on arrive à inverser le sens de circulation de l'air dans les serveurs)

Leon · « **Réponse #229 le:** 17 mai 2023 à 10:52:03 »

Citation de: vivien le 17 mai 2023 à 07:51:38

Quand le TGBT a été attaqué par les flammes, l'électricité a été coupée. Les onduleurs situés dans la salle n'étaient pas connectés directement au serveur, cela passait par un by-pass dans le TGBT pour permettre d'alimenter les serveurs en cas de changement d'onduleur. Les onduleurs n'ont donc pas pu prendre le relais et les groupes électrogènes qui ont démarré ont disjoncté. À ce moment-là, on a perdu toute l'alimentation, celle des serveurs, mais surtout celle des ventilateurs qui maintenait la salle en surpression.

J'ai rien compris... C'est possible de savoir d'où vient cette description de l'incident? D'une discussion entre Lionel Drevon et toi?
- Pourquoi les onduleurs de la salle étaient en Bypass, alors qu'ils étaient justement en train d'intervenir sur le réseau électrique? (donc avec un risque de mauvaise manipulation).
- Un datacenter Tier-4 maintient sa résilience/redondance en cas de maintenance, c'est la définition même. Tout doit être conçu autour de ce principe dès le début, pour permettre l'évolution du datacenter, de son réseau électrique, en conservant la résilience/redondance en permanence.
- On est d'accord que l'intervention qui a déclenché l'incendie, sur les batteries Li-Ion, c'était sur d'autres onduleurs que les onduleurs "UPS" de la salle? Donc probablement en amont des onduleurs-UPS.
- Ca ne m'étonne pas que les groupes aient disjoncté s'ils ont tenté de redémarrer la salle avec les onduleurs-UPS en bypass... Les onduleurs intègrent volontairement une fonction de "montée en charge progressive" pour éviter ce genre de problème.

Citation de: buddy le 17 mai 2023 à 10:51:41

Je n'arrive pas à comprendre pourquoi le flux s'est inversé au point de traverser les serveurs quand le courant s'est coupé mais bon soit.. (les quelques datacenters / centre de calculs dans lesquels je suis allé les allés froides ne sont pas en "dur" mais plutôt en plastique souple, donc si il y a des courants d'air un peu fort et une coupure d'électricité je ne pense pas que l'on arrive à inverser le sens de circulation de l'air dans les serveurs)

Un incendie, surtout de grande ampleur, génère des mouvements d'air dans tous les sens.

Leon.

vivien · « **Réponse #230 le:** 17 mai 2023 à 11:08:51 »

Oui, c'est un échange avec Lionel. Je pensais que les onduleurs étaient connectés directement au serveur (sans que les câbles sortent de la salle), ce qui aurait permis de maintenir la ventilation mettant en surpression la salle IT plusieurs heures, pour éviter l'entrée de la suie dans la salle IT (les ventilateurs du free-cooling sont connectés aux onduleurs).

Ce qu'il m'a expliqué c'est un bypass des onduleurs a été rajouté sur conseil du constructeur et ce bypass est sur le TGBT.

TGBT => Onduleurs => by-pass => Armoires avec les disjoncteurs des baies => Baies

Le by-pass étant situé physiquement sur le TGBT, quand le TGBT à brûlé, il n'a pas été possible pour les onduleurs d'alimenter les baies (les onduleurs et les armoires avec les disjoncteurs des baies sont dans la salle IT, alors que le TGBT et le by-pass des onduleurs est hors de la salle IT, à proximité de la salle photovoltaïque). Le by-pass n'a jamais été utilisé (il devait servir en cas de remplacement de l'onduleur), mais le by-pass brule, tout est terminé.

L'incendie est bien sûr la partie photovoltaïque du site et les batteries au Lithium. Les onduleurs de la salle IT et leurs batteries au plomb n'ont pas rencontré de problèmes.

Les groupes doivent être connectés a proximité du TGBT donc, il est normal qu'ils disjonctent quand le TGBT est en feu.

xp25 · « **Réponse #231 le:** 17 mai 2023 à 11:45:38 »

Citation de: kgersen le 17 mai 2023 à 10:47:27

Je ne sais si c'est volontaire, niveau design cela me fait pensé a un BSOD Windows...

Oui ça y ressemble, j'ai pensé la même

Il y a un générateur Online -> https://www.ravbug.com/bsod/

Ci-joint exemple avec Windows 10/11 et le nouveau GSOD

Leon · « **Réponse #232 le:** 17 mai 2023 à 11:57:28 »

Citation de: vivien le 17 mai 2023 à 11:08:51

Oui, c'est un échange avec Lionel. Je pensais que les onduleurs étaient connectés directement au serveur (sans que les câbles sortent de la salle), ce qui aurait permis de maintenir la ventilation mettant en surpression la salle IT plusieurs heures, pour éviter l'entrée de la suie dans la salle IT (les ventilateurs du free-cooling sont connectés aux onduleurs).

Ce qu'il m'a expliqué c'est un bypass des onduleurs a été rajouté sur conseil du constructeur et ce bypass est sur le TGBT.

TGBT => Onduleurs => by-pass => Armoires avec les disjoncteurs des baies => Baies

Le by-pass étant situé physiquement sur le TGBT, quand le TGBT à brûlé, il n'a pas été possible pour les onduleurs d'alimenter les baies (les onduleurs et les armoires avec les disjoncteurs des baies sont dans la salle IT, alors que le TGBT et le by-pass des onduleurs est hors de la salle IT, à proximité de la salle photovoltaïque). Le by-pass n'a jamais été utilisé (il devait servir en cas de remplacement de l'onduleur), mais le by-pass brule, tout est terminé.

Merci Vivien, j'avais mal interprété ta description, je pensait qu'on était en mode bypass.

Tu parles de ventilation qui aurait été maintenue par les onduleurs, mais les "chaines de traitement d'air" ne sont jamais sur les mêmes circuits que les serveurs, ca serait trop risqué: par exemple un gros moto-ventilateur qui grille, perturbant le réseau électrique pendant quelques secondes. On les mets donc souvent en amont des onduleurs. Sur un circuit "auxiliaires".

Pour le TGBT, tu parles d'un unique TGBT, mais dans un datacenter Tier-4, il y a forcément redondance de TGBT (en mode 2N+1, donc minimum 3), les TGBT étant évidemment localisés dans des endroits différents, donc je ne comprends pas trop.

Citation de: kgersen le 17 mai 2023 à 10:47:27

Je ne sais si c'est volontaire, niveau design cela me fait pensé a un BSOD Windows...

C'est clairement de l'humour bien "discutable" de notre ami Lionel Drevon.
Dans le même style d'humour "discutable", mais en largement pire, tu as l'organisation par Maxnod/Adeli (=Lionel Drevon) du GIGA BARBECUE MAXNOD pour conjurer le sort..., sur le site de MaxNod...
https://www.linkedin.com/feed/update/urn:li:activity:7057656534658379779/
Et comme dit l'adage, il faut "Battre le fer quand il est chaud".
Alors LyoNAP a l'immense plaisir de vous inviter à sa troisième et dernière édition de la saison au Gigabarbecue organisé par Maxnod le Jeudi 15 Juin 2023 à partir de 18h30.
[...]
Rassemblés avec l'équipe de Maxnod, venez conjurer le sort, moquer la loi de Murphy et partager un moment de convivialité.

Imagine l'effet d'un tel "humour" sur les clients de Maxnod/Adeli qui ont tout perdu, et qui ne seront pas indemnisés...
On va dire que Lionel est "spécial" pour ne pas être vulgaire.

Leon.

Hugues · « **Réponse #233 le:** 17 mai 2023 à 11:58:37 »

Citation de: Leon le 17 mai 2023 à 11:57:28

Dans le même style, mais en largement pire, tu as l'organisation par Maxnod/Adeli du GIGA BARBECUE MAXNOD pour conjurer le sort..., sur le site de MaxNod...
https://www.linkedin.com/feed/update/urn:li:activity:7057656534658379779/
Alors LyoNAP a l'immense plaisir de vous inviter à sa troisième et dernière édition de la saison au Gigabarbecue organisé par Maxnod le Jeudi 15 Juin 2023 à partir de 18h30.
[...]Rassemblés avec l'équipe de Maxnod, venez conjurer le sort, moquer la loi de Murphy et partager un moment de convivialité.

Imagine l'effet d'un tel "humour" sur les clients qui ont tout perdu, et qui ne seront pas indemnisés...
On va dire que Lionel est "spécial" pour ne pas être vulgaire.

Et l'organisateur supprime les commentaires qui disent que c'est quand même assez limite... Ça donne une bonne idée en effet

buddy · « **Réponse #234 le:** 17 mai 2023 à 12:00:02 »

Citation de: Leon le 17 mai 2023 à 10:52:03

Un incendie, surtout de grande ampleur, génère des mouvements d'air dans tous les sens.

Leon.

Oui, mais je pensais que les allés froides/chaudes n'étaient pas si étanches et que ça passerait autour des serveurs plutôt que dans les serveurs pour traverser.
Après j'avais aussi l'impression que l'incendie était à 20m mais ce n'est peut être pas le cas...

buddy · « **Réponse #235 le:** 17 mai 2023 à 12:01:07 »

Citation de: Leon le 17 mai 2023 à 11:57:28

Pour le TGBT, tu parles d'un unique TGBT, mais dans un datacenter Tier-4, il y a forcément redondance de TGBT, les TGBT étant évidemment localisés dans des endroits différents, donc je ne comprends pas trop.

Leon.

Il est Tier4 By adeli (il s'est auto-certifié). Il n'est pas Tier4 au sens de l'uptime institute.

F-GAHX · « **Réponse #236 le:** 17 mai 2023 à 12:17:21 »

Donc il est aller jusqu'a déposer la marque Tier4 avec comme certificateur lui même.
Il y a clairement une volonté de se faire passer pour une chose qui n'est pas (c'est attaquable en justice ?) c'est limite a max.

vivien · « **Réponse #237 le:** 17 mai 2023 à 12:55:24 »

Je ne reviendrai pas sur le "Tier-4" qui n'est pas le "Tier-4" de l'uptime institute (ce dernier est très contraignant, surtout pour un petit datacenter, les équipements de secours devant être dans des salles différentes, alors que la Maxnox met ses deux onduleurs dans la salle IT).

Citation de: buddy le 17 mai 2023 à 12:00:02

Oui, mais je pensais que les allés froides/chaudes n'étaient pas si étanches et que ça passerait autour des serveurs plutôt que dans les serveurs pour traverser.
Après j'avais aussi l'impression que l'incendie était à 20m mais ce n'est peut être pas le cas...

Les allées froides sont plutôt bien étanches au maxnod (obligation de mettre des caches sur les U non utilisés par exemple).

Citation de: Leon le 17 mai 2023 à 11:57:28

Tu parles de ventilation qui aurait été maintenue par les onduleurs, mais les "chaines de traitement d'air" ne sont jamais sur les mêmes circuits que les serveurs, ca serait trop risqué: par exemple un gros moto-ventilateur qui grille, perturbant le réseau électrique pendant quelques secondes. On les mets donc souvent en amont des onduleurs. Sur un circuit "auxiliaires".

Il me semble que lors de ma première visite, il m'avait dit que la ventilation est sur onduleur de façon à ne jamais avoir de coupure.

Ne pas oublier qu'un datacenter tiens seulement quelques minutes sans ventilation (cela dépend du volume d'air de la salle et en combien de minutes on atteint la température critique).

Je n'ai pas posé la question à Scaleway, mais selon toi, il ne faudrait pas connecter ces ventilateurs au circuit ondulé ?

Citation de: vivien le 10 janvier 2019 à 22:25:02

Leon · « **Réponse #238 le:** 17 mai 2023 à 14:15:24 »

Citation de: vivien le 17 mai 2023 à 12:55:24

Je ne reviendrai pas sur le "Tier-4" qui n'est pas le "Tier-4" de l'uptime institute (ce dernier est très contraignant, surtout pour un petit datacenter, les équipements de secours devant être dans des salles différentes, alors que la Maxnox met ses deux onduleurs dans la salle IT).

C'est vraiment ça l'explication de l'histoire "Tier-4 Certified by Adeli"? C'est du vrai premier degré? Sérieusement?
J'ai du poser la question 4 ou 5 fois sur le forum sans jamais avoir de réponse sur les ~10 dernières années.

Si c'est le cas, je me permet un gros WHAT THE FUCK???

Genre "faire un champagne AOP/AOC c'est trop contraignant, donc je vais produire un champagne certified by Leon (C)".
Si c'est du vrai premier degré (je n'y ai jamais cru tellement c'était gros), et que Maxnod-Adeli maintient devant ses clients que Maxnod était Tier-4, alors ça veut dire que Adeli-Maxnod ment ouvertement à tous ses clients, et se ment à lui même depuis 10 ans.

Effectivement, ça pourrait sans doute être attaquable en justice, pour tromperie. Mais ils ne seront probablement jamais inquiétés :
- ni par l'Uptime Institute, qui n'a jamais été très virulent, et qui se moque pas mal d'un petit Datacenter de 60 baies, ce qui n'est rien à l'échelle de la planète, tant que ça ne fait pas d'émules.
- ni par les clients, dont la plupart sont certainement trop petits pour supporter un procès qui risque de durer TRES longtemps.

Sinon, il existe un bon nombre de PETITS datacenter, de l'ordre de la centaine de baies, qui sont réellement certifiés Tier-4. Donc l'argument "mais c'est trop contraignant pour un petit datacenter" n'en n'est pas un.
Comme dirait Francis Cabrel : "Faut pas dire à qui je ressemble, faut dire qui je suis".

Leon.

Hugues · « **Réponse #239 le:** 17 mai 2023 à 14:18:27 »

Citation de: Leon le 17 mai 2023 à 14:15:24

Si c'est du vrai premier degré (je n'y ai jamais cru tellement c'était gros), et que Maxnod-Adeli maintient devant ses clients que Maxnod était Tier-4, alors ça veut dire que Adeli-Maxnod ment ouvertement à tous ses clients, et se ment à lui même depuis 10 ans.

Je t’invite à parcourir le site de Maxnod, lire le nombre d’occurences du mot « tier 4 » et d’en déduire si a ton avis c’est une petite blague ou si c’était très sérieux