Auteur Sujet: Incendie Global Switch Clichy du 26 avril 2023 et ses impacts sur Google Cloud  (Lu 38812 fois)

0 Membres et 1 Invité sur ce sujet

bertrandep

  • Abonné Blue Networks Technologies
  • *
  • Messages: 48
  • Vendémian (34230)
il semble y avoir eu un incendie ce matin (26/04/2023) dans le data center de Global Switch à Clichy qui a été maitrisé par les pompiers.

Les pompiers ont tout de même demandé à couper l'alim du batiment.

Voici la communication reçu de notre partenaire hébergeur (je ne pourrai pas donner plus de détails..) :

Citer
Chers clients,
 
Ce matin, vers 5h, un départ d’incendie a eu lieu au sous-sol du bâtiment de global switch, rue Petit à Clichy.
Les pompiers sont intervenus et l’incendie a été maitrisé vers 7h.
Aucun des équipements de notre salle qui se trouve au [...] étage ne semble impacté.

Par mesure de sécurité, les pompiers ont demandé à ce que le courant du bâtiment soit intégralement interrompu à 8h30.
[...]

vivien

  • Administrateur
  • *
  • Messages: 47 216
    • Twitter LaFibre.info
Incendie (maitrisé) Globalswitch Clichy
« Réponse #1 le: 26 avril 2023 à 09:55:14 »
Édit Vivien 22h00 : Déroulé des événements, on remercie les experts du FRnOG pour le partage d'information



Voici les informations diffusées. L'heure est celle de la diffusion de l'information. L'incident sur le circuit de refroidissement se serait déclenché à 3h00, en pleine nuit.

10h21 :
Problème de pompe d'eau du circuit de refroidissement, ce qui a généré une accumulation de d'eau et qui a déclenché la fuite.
L'eau de la fuite est descendue sur le local batterie et a provoqué un incendie.
Le directeur du site de GS est toujours en discussion avec les pompiers pour savoir si ils coupent completement le courant du batiment concerné pour l'intervention des pompiers.
Pas de fummée dans les autres salles, c'est confiné à la salle technique où se trouvent les batterie.
Les pompiers sont obligés de laisser bruler les batteries avant d'intervenir.
Prochain point à 11h


11h38 :
La climatisation est revenue et la température dans les salle sont à nouveau OK.
Le local batteries du niveau 1 au sous-sol n'est pas accessible par les pompiers. Ils refroidissent les parois pour contenir le feu mais l'incendie n'est toujours pas maîtrisé.
La coupure électrique est toujours envisagée.


13h : Communication officielle sur Linkedin
Information Suite A L’incident Survenu sur Notre Site de Paris
Un départ d’incendie s'est déclaré ce matin dans une salle de l’un des deux centres de données de notre site parisien. Les pompiers sont intervenus rapidement et l'incendie est désormais maitrisé. Les dispositifs anti-incendie du bâtiment ont parfaitement fonctionné, personne n'a été blessé. Le service de certains de nos clients a été temporairement affecté et notre équipe sur site travaille à le rétablir le plus rapidement possible.


15h15 :
Il semblerait que certaines équipes techniques puissent rentrer dans des salles du L5. Je vous tiens au courant si l'accès redevient possible pour tout le monde.

15h19 :
L’incendie est éteint.
Les pompiers ne peuvent pas encore accéder à la salle des onduleurs/batteries du niveau 1 car la température à l’intérieur était à plus de 65°C (il y a 1h).
Au niveau des impacts, la MRR étant accolée à la salle qui a bien chauffé, l'opérateur Zayo aurait été touché.
Les onduleurs/batteries qui ont brulés sont dédiés au niveau 1 donc les autres niveaux ne sont pas concernés par d'éventuels problèmes de power.


17h22 :
Meeting de crise de 17h00 anticipé à 16h30 suite GO de Global Switch :
Pas de coupure planifiée sur PAR E (cooling/électricité)
L’infrastructure technique est opérationnelle (clim, électricité, sparkshield, …)
Tous les clients de Clichy 1 peuvent donc redémarrer leurs serveurs
Les niveaux L4, L5 et L6 sont accessibles pour les clients MAIS avec un accompagnant GS
Les bureaux sont accessibles à tous
Le L1 (onduleurs et MMR1) reste sous surveillance, seuls les Sapeurs-Pompiers sont autorisés à y pénétrer -> attente de leur validation

vivien

  • Administrateur
  • *
  • Messages: 47 216
    • Twitter LaFibre.info
Incendie Globalswitch Clichy le 26 avril 2023
« Réponse #2 le: 26 avril 2023 à 10:00:04 »
Incendie déclaré à 5h, mais apparemment la température a bien monté cette nuit avant 5h du matin, dans (au moins une des) salles d'hébergement de GlobalSwitch.



Ca sent la coupure de clim suite à l'incident initial. Espérons que ça tienne le coup !



Source : Twitter Clément Cavadore


Selon Guillaume Genty, c'est un incendie sur le TGBT cette nuit, qui aurait coupé une partie des voies électriques et cela pourrait expliquer l'arrêt d'une partie des clims.

Il faudrait donc élucider l'heure du départ, car le graphique mentionne clairement 4h et non 5h pour la coupure de climatisation

Photo d'illustration de Globalswitch Clichy :


(source: Globalswitch)

Nico

  • Modérateur
  • *
  • Messages: 44 486
  • FTTH 1000/500 sur Paris 15ème (75)
    • @_GaLaK_
Incendie Globalswitch Clichy le 26 avril 2023
« Réponse #3 le: 26 avril 2023 à 10:06:37 »
🔴 [Info] Indisponibilité de notre site Internet Cybermalveillance.gouv.fr➡️ Incendie désormais maîtrisé dans un centre de données où nos serveurs sont hébergés. Le courant a été interrompu à 8h30 par mesure de sécurité. Nous avons déclenché notre plan de reprise d’activité.


https://twitter.com/cybervictimes/status/1651129543812345857

Nico

  • Modérateur
  • *
  • Messages: 44 486
  • FTTH 1000/500 sur Paris 15ème (75)
    • @_GaLaK_
Incendie Globalswitch Clichy le 26 avril 2023
« Réponse #4 le: 26 avril 2023 à 10:13:09 »
19:00 PDT = 04H du matin.

26 Apr 2023   00:35 PDT   
Summary: Multiple Google Cloud services in the europe-west9 region are impacted.

Description: Water intrusion in europe-west9-a has caused a multi-cluster failure and has led to an emergency shutdown of multiple zones. We expect general unavailability of the europe-west9 region. There is no current ETA for recovery of operations in the europe-west9 region at this time, but it is expected to be an extended outage. Customers are advised to failover to other regions if they are impacted.

We will provide an update by Wednesday, 2023-04-26 02:00 US/Pacific with current details.

We apologize to all who are affected by the disruption.

Diagnosis: Customers may be unable to access Cloud resources in europe-west9 region

Workaround: Customers can failover to zones in other regions



25 Apr 2023   23:05 PDT   
Summary: Multiple Google Cloud services in the europe-west9 region are impacted

Description: Water intrusion in europe-west9-a has caused a multi-cluster failure and has led to an emergency shutdown of multiple zones. We expect general unavailability of the europe-west9 region. There is no current ETA for recovery of operations in the europe-west9 region at this time, but it is expected to be an extended outage. Customers are advised to failover to other regions if they are impacted.

We will provide an update by Wednesday, 2023-04-26 00:30 US/Pacific with current details.

We apologize to all who are affected by the disruption.

Diagnosis: Customers may be unable to access Cloud resources in europe-west9 region

Workaround: Customers can failover to zones in other regions



25 Apr 2023   22:21 PDT   
Summary: We are investigating an issue affecting multiple Cloud services in the europe-west9-a zone

Description: Water intrusion in europe-west9-a led to an emergency shutdown of some hardware in that zone. There is no current ETA for recovery of operations in europe-west9-a, but it is expected to be an extended outage. Customers are advised to fail over to other zones if they are impacted.

We will provide an update by Wednesday, 2023-04-26 00:30 US/Pacific with current details.

We apologize to all who are affected by the disruption.

Diagnosis: Customers may be unable to access Cloud resources in europe-west9-a

Workaround: Customers can fail over to other zones



25 Apr 2023   22:18 PDT   
Summary: We are investigating an issue affecting multiple Cloud services in the europe-west9-a zone

Description: Water intrusion in europe-west9-a led to an emergency shutdown of some hardware in that zone. There is no current ETA for recovery of operations in europe-west9-a, but it is expected to be an extended outage. Customers are advised to fail over to other zones in europe-west9 if they are impacted.

We will provide an update by Wednesday, 2023-04-26 00:30 US/Pacific with current details.

We apologize to all who are affected by the disruption.

Diagnosis: Customers may be unable to access Cloud resources in europe-west9-a

Workaround: Customers can fail over to other zones within europe-west9



25 Apr 2023   22:16 PDT   
Summary: We are investigating an issue affecting multiple Cloud services in the europe-west9-a zone

Description: Water intrusion in europe-west9-a led to an emergency shutdown of some hardware in that zone. There is no current ETA for recovery of operations in europe-west9-a, but it is expected to be an extended outage. Customers are advised to fail over to other zones in europe-west9 if they are impacted.

We will provide an update by Wednesday, 2023-04-26 00:30 US/Pacific with current details.

We apologize to all who are affected by the disruption.

Diagnosis: Customers may be unable to access Cloud resources in europe-west9-a

Workaround: Customers can fail over to other available zones



25 Apr 2023   20:51 PDT   
Summary: We are investigating an issue affecting multiple Cloud services in the europe-west9-a zone

Description: Water intrusion in europe-west9-a led to an emergency shutdown of some hardware in that zone. There is no current ETA for recovery of operations in europe-west9-a, but it is expected to be an extended outage. Customers are advised to fail over to other zones in europe-west9 if they are impacted.

We will provide an update by Tuesday, 2023-04-25 22:30 US/Pacific with current details.

We apologize to all who are affected by the disruption.

Diagnosis: Customers may be unable to access Cloud resources in europe-west9-a

Workaround: Customers can fail over to other zones within europe-west9



25 Apr 2023   19:56 PDT   
Summary: We are investigating an issue affecting multiple Cloud services in the europe-west9-a zone

Description: We are investigating an issue affecting multiple Cloud services in the europe-west9-a zone Our engineering team continues to investigate the issue.

We will provide an update by Tuesday, 2023-04-25 21:00 US/Pacific with current details.

Diagnosis: Customers may be unable to access Cloud resources in europe-west9-a

Workaround: Customers can fail over to other zones within europe-west9



25 Apr 2023   19:25 PDT   
Summary: We are investigating an issue affecting multiple Cloud services in the europe-west9-a zone

Description: We are investigating an issue affecting multiple Cloud services in the europe-west9-a zone

Our engineering team continues to investigate the issue.

We will provide an update by Tuesday, 2023-04-25 20:00 US/Pacific with current details.

We apologize to all who are affected by the disruption.

Diagnosis: Customers may be unable to access Cloud resources in europe-west9-a

Workaround: Customers can fail over to other zones within europe-west9



25 Apr 2023   19:00 PDT   
Summary: We are investigating an issue affecting multiple Cloud services in the europe-west9-a zone

Description: We are investigating an issue affecting multiple Cloud services in the europe-west9-a zone

Our engineering team continues to investigate the issue.

We will provide an update by Tuesday, 2023-04-25 19:30 US/Pacific with current details.

We apologize to all who are affected by the disruption.

Diagnosis: Customers may be unable to access Cloud resources in europe-west9-a

Workaround: Customers can fail over to other zones within europe-west9


https://status.cloud.google.com/incidents/dS9ps52MUnxQfyDGPfkY#73mBtVKKfeJGJ1yaY7hV

vivien

  • Administrateur
  • *
  • Messages: 47 216
    • Twitter LaFibre.info
Incendie Globalswitch Clichy le 26 avril 2023
« Réponse #5 le: 26 avril 2023 à 10:33:57 »
Point à 9h51
Une solution de contournement est en cours entre Global Switch et les pompiers.
La température de notre salle est stable. L’électricité n’a pas été coupée à cette heure.
Les bascules PRA ont néanmoins été activées quand c’était possible.
Prochain point à 10h30



Source : twitter Audrey Louail

vivien

  • Administrateur
  • *
  • Messages: 47 216
    • Twitter LaFibre.info
Incendie Globalswitch Clichy le 26 avril 2023
« Réponse #6 le: 26 avril 2023 à 10:43:18 »
10h30
Clim rallumée et température en cours de baisse. Pas de coupure élec de la salle envisagée pour le moment. Certains équipements se sont mis en sécurité suite à la hausse des températures.
Nous n’avons pour le moment pas l’autorisation d’y accéder. Prochaine com à 11h15



Aunisien

  • Abonné SFR fibre FttH
  • *
  • Messages: 108
Incendie Globalswitch Clichy le 26 avril 2023
« Réponse #7 le: 26 avril 2023 à 11:28:13 »
Apparemment Mailo est impacté, plus de mails et leur site ne répond pas...pas de secours dans d'autres datacenters  :o

romualdt

  • Abonné Bbox fibre
  • *
  • Messages: 207
  • Neauphle-Le-Vieux (78)
Incendie Globalswitch Clichy le 26 avril 2023
« Réponse #8 le: 26 avril 2023 à 11:33:44 »
Hello,

Les premiers incidents de température trop hautes sont arrivés vers 3h ici..

bertrandep

  • Abonné Blue Networks Technologies
  • *
  • Messages: 48
  • Vendémian (34230)
Incendie Globalswitch Clichy le 26 avril 2023
« Réponse #9 le: 26 avril 2023 à 11:38:20 »
19:00 PDT = 04H du matin.

https://status.cloud.google.com/incidents/dS9ps52MUnxQfyDGPfkY#73mBtVKKfeJGJ1yaY7hV

Petit effet dominos sur les autres régions d'Europe et du monde chez Google cloud ?
 :o

Antoinel

  • Abonné Bbox fibre
  • *
  • Messages: 363
  • Bbox Fit FTTH
Incendie Globalswitch Clichy le 26 avril 2023
« Réponse #10 le: 26 avril 2023 à 11:56:08 »
Problème de scope sur le dashboard, ca impacte toutes les régions à cause de la console web qui est down, la CLI marche toujours. Ils ont rectifié a priori.

vivien

  • Administrateur
  • *
  • Messages: 47 216
    • Twitter LaFibre.info
Incendie Globalswitch Clichy le 26 avril 2023
« Réponse #11 le: 26 avril 2023 à 12:43:46 »
11h15 Température toujours en cours de baisse. Pas de coupure élec de la salle envisagée. Aucun dommage sur les équipements IT et élec. Nous n’avons toujours pas l’autorisation d’accéder à la salle pour les redémarrer les équipements en sécurité. Prochaine com à 12h


On voit bien une baisse de la température :


Source: Twitter @jaxxdotred