Auteur Sujet: Un Masterpact FirstHeberg explose suite à une erreur humaine  (Lu 13751 fois)

0 Membres et 1 Invité sur ce sujet

dada44

  • Abonné RED by SFR fibre FttH
  • *
  • Messages: 289
  • Vertou 44
Sale Nuit pour FirstHeberg..  :-\

Thread de @caaptusss : https://twitter.com/caaptusss/status/958608274777169920
« Modifié: 17 avril 2018 à 21:43:12 par Nico »

Hugues

  • AS2027 MilkyWan
  • Modérateur
  • *
  • Messages: 12 424
  • Lyon (69) / St-Bernard (01)
    • Twitter
masterPack Firstheberg
« Réponse #1 le: 31 janvier 2018 à 12:55:25 »
Apparemment, cela viendrait d'un gros courant de fuite dans le datacenter, je n'ai pas assez de connaissances en électricité pour voir comment cela a pu induire un tel accident, mais j'aimerais bien en savoir plus, si quelqu'un passe par là.. :)

En tout cas, gros soutien aux équipes, c'est jamais facile ce genre d'accident, surtout qu'il y'a eu un blessé à cause de l'explosion du masterpack.

mattmatt73

  • Expert.
  • Abonné Bbox fibre
  • *
  • Messages: 7 340
  • vancia (69)
masterPack Firstheberg
« Réponse #2 le: 31 janvier 2018 à 13:51:09 »
il faut que l'on m'explique comment un courant de fuite remonte un masterpack ouvert et comment un démontage de neutre provoque ça.

le batiment est sous quel régime de neutre ? un TN ?

caaptusss

  • AS197922 Officiel Techcréa
  • Expert
  • *
  • Messages: 115
  • Valenciennes (59)
    • FirstHeberg
masterPack Firstheberg
« Réponse #3 le: 05 février 2018 à 20:56:17 »
il faut que l'on m'explique comment un courant de fuite remonte un masterpack ouvert et comment un démontage de neutre provoque ça.

le batiment est sous quel régime de neutre ? un TN ?

Bonjour,

Oui, on est en TN. L'enquête permettant de déterminer les causes de cet incident sont en cours. Les assurances font leur job.
Il y a plusieurs pistes, dont ce courant de fuite. On n'exclut pas également une erreur humaine (mauvaise isolation de l'armoire depuis le transfo, celle ci était toujours alimenté et la création d'un arc sur le jeu de barre et détruit le masterpack), ou encore un défaut dans le masterpack en lui même.

La situation est stabilisée, on est revenu en fonctionnement normal. Heureusement, l'autre armoire qui nous alimente n'a pas été touchée par l'explosion et elle a pu être isolée du reste de l'installation, branchée directement sur le transformateur. Les équipes du sous-traitant peuvent ainsi travailler en tout sécurité sur l'armoire qui a explosée, elle a été débranchée directement depuis le transformateur.

Reste qu'il faut terminer ce qui a été commencé. Il faut changer ce transformateur qui est âgé et qui ne supportera probablement pas un second incident. On a aussi eu beaucoup de chance à ce niveau là. Le masterpack a un courant de destruction à 22 kA, c'est juste hallucinant l'énergie qui est passée par là. Etant à quelques mètres du TGBT au moment de l'explosion, je peux vous assurer que j'en ai eu mal au crane, et m'endormir rapidement est encore difficile...
La suite dans les jours à venir...

vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
Un masterPack FirstHeberg explose suite à une erreur humaine
« Réponse #4 le: 05 avril 2018 à 13:30:59 »
Jérémy Martin a donné l’histoire complétè sur twitter, après analyse des experts. (j'ai changé le titre du sujet, vu que c'est une erreur humaine du sous-traitant)



Le 30 janvier au soir :

On a démarré le 30 janvier dans l'espoir de pouvoir basculer notre datacenter sur les groupes du ss traitant.
Dommage, DDR impossible a désactiver, avec un courant de fuite trop fort, le groupe n'est pas utilisable.



On commandera un autre groupe a 4h du mat mais les techniciens ont préparés le TGBT pour la suite des opérations et en attendant le groupe.

Mais c’était sans compter une erreur qui semble humaine.
Un arc est créé entre 2 barres (neutres et phase 1) et sous tension.
Un flash de 5000A apparait et projette l'ouvrier au sol.

Cela génère une explosion et une boule de métal en fusion qui arrose toute la pièce. L'onduleur en garde quelques traces et l'armoire est en partie détruite.
L'ouvrier s'en sort miraculeusement et l'incendie est immédiatement maîtrisé.

Tous les tableaux sont tombés.
Blackout.






Activation du plan "blackout"

Tous les départs sont tombés, les onduleurs sont en train de se vider pendant que mon équipe active le plan blackout.
Je suis en train de m'occuper du blessé en attendant les secours.

Une fois pris en charge par le samu, me vient la prise de conscience "Putain, merde ! Le dc !"

Les infras vitales ont étés éteintes le plus vite possible. On est en pleine nuit, l'impact est grand mais on va le gérer.

Se pose la question de comment et QUAND on va pouvoir redémarrer. Il est 2h du mat. La longue attente et réflexion commence...

Une nouvelle équipe du sous traitant ne pourras démarrer qu'a 5h du mat. Pas le choix, il faut les attendre car impossible d'analyser les dégâts car sous le choc.

Le groupe sans ddr est arrivé 1h avant, on décide 1h de down en plus plutôt que devoir perdre de l'énergie à câbler.

Le sous traitant est là. Le jour se lève. Il pense à recâbler le TGBT sain depuis le transformateur qui n'a du coup pas bougé. Bingo, a 5h30 l'armoire HS est déconnectée, on a du jus au datacenter.


Maintenant il faut tout rallumer...

On a 24h de taf dans les pattes mais on y va ensemble ! Le datacenter sera rétablit a 90% vers 8h le matin. Soit 2h pour tout rallumer. Maintenant, il faut traiter la casse matérielle.

Côté casse, on a quelques dizaines de disques, d'alimentation, et 4 ou 5 serveurs complets. Un onduleur a aussi rendu l'âme.

On a perdu une centaine de VPS dont les backups étaient inexploitables. C'est dur. Ça met le moral a zéro.

Y a 150 tickets en attente (+40/heure)




Le temps de faire le point

Que s'est il passé ? Pourquoi ? Qu'à t'on fait de mal ?
Il faut se redonner du moral dans ces moment très sombre.

Viendra le temps de l'enquête qui a déjà démarré, les assurances, et... la fin de ce remplacement de transfo avorté !

Quelques jours plus tard, il faut remplacer le master pack qui a explosé. L'armoire qui a explosé est alimenté par un groupe électrogène (notre datacenter est lui sur le secteur).
Pas le choix, il faut tout éteindre. On fait le choix d'éteindre volontairement le DC a 00h.

Chose amusante, l'expertise contradictoire avait lieux le matin même du 28 mars.





Il est conclu entre les parties que l'erreur semble humaine.
Le sous traitant reconnait sa faute.
Enquête terminée après 4h de débats houleux.


Morale de l'histoire :

Quand vous faites un chantier de cette ampleur, il y a un mot indispensable , ANTICIPATION ! C'est là que le sous traitant a pêché. Ils ont fait de leur mieux je pense. Désormais tout ça est derrière nous. Au final, on va prendre une grande décision bientôt.

La suite se passe très bien hormis un peu de retard, le transfo est mis sous tension le vendredi 29 mars matin.

La bascule sur sa source est prévue vendredi soir a 00h.
Celle ci se passe bien sans impact (sauf cette baie vps mal ondulé).



Mais je resterais sur ce teasing et vous laisse pour ce soir, merci pour votre lecture. Je vous répond dans le fil :) bonne soirée !

miky01

  • Expert. Réseau RESO-LIAin (01)
  • Abonné K-Net
  • *
  • Messages: 3 829
  • Farges (01)
Un masterPack FirstHeberg explose suite à une erreur humaine
« Réponse #5 le: 05 avril 2018 à 23:53:40 »
Ben c'est de truc qui arrive, j'ai eu ca dans un DC ou l'onduduleur a cramé, une capa ou les un litre d'huile a pris feux en pleine nuit, le gardien de nuit c'est redu dans la salle suite a l'alarme incendie qui s'est déclanchée mais a pas pu y entrer, trop de fumée, les pompiers sont arrivés 10 minutes apres, heureusement pas trop de dégatat, juste une gaine de cables lan et fibre sur le plafond cramée.

La chance est que les sprinklair se sont pas déclenché, sinon c'etait des millier de litres de flottes sur les 300 serveurs.

Ca c'est bien terminé apres le remplacement de tous les fitres a air et un nettoyage de la salle.

gillejeu

  • Invité
Un masterPack FirstHeberg explose suite à une erreur humaine
« Réponse #6 le: 06 avril 2018 à 00:00:09 »
La chance est que les sprinklair se sont pas déclenché, sinon c'etait des millier de litres de flottes sur les 300 serveurs.

De la flotte pour éteindre des armoire élec!!??

Ils connaissent pas le FM200 chez vous?

172sp

  • Abonné Orange Fibre
  • *
  • Messages: 322
  • Le Cannet (06)
Un masterPack FirstHeberg explose suite à une erreur humaine
« Réponse #7 le: 06 avril 2018 à 00:14:19 »
Les sprinklers sont beaucoup moins onéreux qu'un système à gaz.

gillejeu

  • Invité
Un masterPack FirstHeberg explose suite à une erreur humaine
« Réponse #8 le: 06 avril 2018 à 18:07:13 »
Les sprinklers sont beaucoup moins onéreux qu'un système à gaz.

C'est vrai qu'en ayant l'habitude de travailler dans le nucléaire, les système d'extinction ont toujours été à gaz. D'abord le halon et maintenant le FM200.

aem38

  • Abonné Bbox fibre
  • *
  • Messages: 36
  • GRENOBLE 38
    • AEM Informatique
Un masterPack FirstHeberg explose suite à une erreur humaine
« Réponse #9 le: 09 avril 2018 à 10:56:58 »
impressionnant, et merci pour ce retour !

J'ai été témoin d'un tel incident également !
Court circuit entre deux jeux de barre sous 450 A par contre. Entre le flash, les bruits ça marque une personne à vie tellement c'est violent !

Alors avec 5000 A …

Avec un tel court circuit, le réseau en aval a du prendre un sérieux cout …

Des équipements ont été détruits ou pas ? Des protections sont elles existantes contre ce genre de phénomène ?
« Modifié: 09 avril 2018 à 16:01:33 par aem38 »

mattmatt73

  • Expert.
  • Abonné Bbox fibre
  • *
  • Messages: 7 340
  • vancia (69)
Un masterPack FirstHeberg explose suite à une erreur humaine
« Réponse #10 le: 09 avril 2018 à 11:36:10 »
Les sprinklers sont beaucoup moins onéreux qu'un système à gaz.

mais si l'eau fait plus de dégâts que le feux, c'est rentable...

Jojo78

  • Abonné Free fibre
  • *
  • Messages: 4 133
  • Nord 14
Un masterPack FirstHeberg explose suite à une erreur humaine
« Réponse #11 le: 09 avril 2018 à 12:10:13 »
mais si l'eau fait plus de dégâts que le feux, c'est rentable...
Sans aucune connaissance du domaine, j'avais un peu la même pensée.