Auteur Sujet: Incendie OVH à Strasbourg: SBG2 complètement détruit. SBG1 détruit à 42%.  (Lu 284500 fois)

0 Membres et 1 Invité sur ce sujet

vivien

  • Administrateur
  • *
  • Messages: 47 170
    • Twitter LaFibre.info
Point journalier.

La remisse en route des serveurs de SBG1 décale encore...
- Communication du 22 mars 2021 : ETA 24 mars
- Communication du 23 mars 2021 et 24 mars 2021: ETA à partir du 24 mars
- Communication du 25 mars 2021 : ETA 29 mars
- Communication du 26 mars 2021 : ETA début de la semaine du 29 Mars.
- Communication du 27 mars 2021 et 28 mars 2021 : "SBG1 : salles A à D : Transfert des serveurs dans des baies à SBG4 et remise en service planifiée partir de mercredi 30/03." Problématique: le mercredi 30/03 n'existe pas. C'est soit mardi 30/03, soit mercredi 31/03 !



Les bulletins précédents :
- 27 mars 2021
- 26 mars 2021
- 25 mars 2021
- 24 mars 2021
- 23 mars 2021
- 22 mars 2021
- 21 mars 2021
- 20 mars 2021
- 19 mars 2021
- 18 mars 2021
- 17 mars 2021
- 16 mars 2021
- 15 mars 2021
- 14 mars 2021
- 13 mars 2021
- 12 mars 2021
- 11 mars 2021
- 10 mars 2021

Vidéos :
- Vidéo du 11 mars 2021
- Vidéo du 16 mars 2021
- Vidéo du 22 mars 2021

py92

  • Abonné Free fibre
  • *
  • Messages: 62
  • Connected city
la remise en route de l'ensemble des serveurs non encore en route que ce soit SBG3 et SBG1 décale et n'avance que très doucement.

toute ces opérations de derackage, nettoyage, rerackage sont complexe à gerer ...... le REX sera intéressant aussi :)


Je comprends entre les lignes des tweet d'Octave que pour les serveurs de SBG1 61A et D, il ne rajoute pas de racks sur SBG4 mais il insèrerai les serveurs dans des racks de SBG4 avec de la place.
au début je pensais qu'il voulait "simplement" déplacer les 4 containers de SBG1 au niveau de SBG4 ... mais ce n'est pas l'option choisi.

C'est intéressant cela tend à indiquer que sur les 4 containers de 20 baies de SBG4, il y a bcp de place pour y mettre les serveurs de SBG1 provenant aussi de 4x20 baies.... il n'avait que des baie à moitié rempli sur SBG1 et SBG4 pour faire ce swap ?

ou alors, il retire tous les serveurs en "stand-by/non loué" et y laisse uniquement les serveurs actuellement sous contrat de location ?  dans l'optique de phase-out réellement SBG4 dans qq mois/trimestres au four est à mesure que les clients libèrent des serveurs.


vivien

  • Administrateur
  • *
  • Messages: 47 170
    • Twitter LaFibre.info
Point journalier.

SBG3 on a des nouvelles du 5ème étage, l'étage le plus affecté de SBG3 par l'incendie :  Ce sont de nouveaux serveurs pour un lancement de nouveau produit qu'OVH avait prévu dans .. 10 jours. Il n'y a donc aucun client sur ces serveurs. OVH dit travailler sur ce nouveau produit "depuis 18 mois et maintenant tout doit être nettoyé".

Pour la remise en services des baies de SBG1 arrêtées après le second incendie, on ne sais toujours pas si c'est planifié mardi ou mercredi.



Les bulletins précédents :
- 28 mars 2021
- 27 mars 2021
- 26 mars 2021
- 25 mars 2021
- 24 mars 2021
- 23 mars 2021
- 22 mars 2021
- 21 mars 2021
- 20 mars 2021
- 19 mars 2021
- 18 mars 2021
- 17 mars 2021
- 16 mars 2021
- 15 mars 2021
- 14 mars 2021
- 13 mars 2021
- 12 mars 2021
- 11 mars 2021
- 10 mars 2021

Vidéos :
- Vidéo du 11 mars 2021
- Vidéo du 16 mars 2021
- Vidéo du 22 mars 2021

py92

  • Abonné Free fibre
  • *
  • Messages: 62
  • Connected city
Point journalier.

SBG3 on a des nouvelles du 3ème étage, l'étage le plus affecté de SBG3 par l'incendie :  Ce sont de nouveaux serveurs pour un lancement de nouveau produit qu'OVH avait pévu dans .. 10 jours. Il n'y a donc aucun client sur ces serveurs. OVH dit travailler sur ce nouveau produit "depuis 18 mois et maintenant tout doit être nettoyé".

L'étage 5  pas le 3.

On notera aussi ce soir que le VMS (http://status.ovh.com/vms/index_sbg3.html) a fait disparaitre bcp de baie au 5ème mais aussi au 3ème étage.
plus conforme avec la réalité ? ou pour afficher uniquement les baies clients "prod" ???

on notera une petite évolution de la stratégie pour les serveurs de SBG1 ne vont plus à SBG4 + GRA+ RBX  mais à SBG3 et SBG4

et enfin que les 90% de VPS et 85% de BM était annoncé Samedi pour Dimanche soir selon Octave hors c'est le chiffre atteint uniquement le Lundi soir.
La fin du nettoyage annoncé Mardi sera probablement repoussée encore ....

c'est dur dur dur de nettoyer/remettre en service un DC pourtant épargné par le feu mais finalement quand même bien bien impacté par les fumées/particules ......

py92

  • Abonné Free fibre
  • *
  • Messages: 62
  • Connected city
et un complément

Informations complémentaires sur le déroulement des opérations (1) et (2) :

• SBG1 : salles A à D :
o Transfert des serveurs dans des baies à SBG4 et remise en service planifiée partir de mercredi 30/03.

• SBG1 : salle 61E et 62E :
o Le nettoyage de tous les serveurs localisés dans ces salles continue en 2x8 avec des équipes en rotation et sera terminé pour le mardi 30/03 sur notre site de production à Croix.
o 1212 serveurs ont été réceptionnés au total à Croix :
 805 ont été nettoyés lundi 29/03 à 15H.
 216 ont été retouchés (changement d’alimentation et de boîtier) : 87 sont testés et opérationnels, 107 sont en cours de test (le reste est hors d'usage ou à réparer).
 Les serveurs nettoyés et testés seront ensuite progressivement renvoyés déjà remis en baie.
 Transfert des serveurs sur notre site de Strasbourg (SBG3) : 48h entre le transfert et redémarrage sur site.
Le redémarrage progressif des services est planifié entre le jeudi 01/04 et les derniers serveurs entre le 07/04 et le 08/04.

• SBG3 :
• Le nettoyage de tous les serveurs Bare Metal sera finalisé probablement pour mercredi 31/03 au soir.
• Les serveurs nettoyés et testés sont ensuite renvoyés remis en baie et connectés.
• 347 serveurs et 59 switches de l'étage 5 de SBG3 reviennent sur notre site de Croix (CRX) mercredi afin d'être nettoyés.
• Le transfert des baies s’effectue ensuite vers notre site de Strasbourg (SBG).
• Le redémarrage progressif des services est planifié entre le jeudi 01/04 et vendredi 02/04.


et  "We are facing lot of blockers and the unpredictable issues that should have been fixed but are not yet. Exemple: the elevator in SBG3 is not fixed yet. Consequence: we have to use the stairway for all servers coming from Croix 1by1."


J'espère que personne ne va se vautrer dans l'escalier avec un serveur sous le bras .......
« Modifié: 29 mars 2021 à 22:53:57 par py92 »

hwti

  • Abonné Orange Fibre
  • *
  • Messages: 2 237
  • Chambly (60)
SBG3 on a des nouvelles du 3ème étage, l'étage le plus affecté de SBG3 par l'incendie :  Ce sont de nouveaux serveurs pour un lancement de nouveau produit qu'OVH avait pévu dans .. 10 jours. Il n'y a donc aucun client sur ces serveurs. OVH dit travailler sur ce nouveau produit "depuis 18 mois et maintenant tout doit être nettoyé".
Ça confirme indirectement qu'ils veulent conserver les serveurs nettoyés en prod, et pas uniquement pour que les clients récupèrent leurs données ou un service au plus vite.
Je suppose que l'assurance préfère payer le nettoyage que le remplacement (enfin, si OVH est bien couvert), mais en cas de problème de fiabilité par la suite ce sera délicat...

mmickael

  • Abonné FAI autre
  • *
  • Messages: 35
  • Liège (Belgique)
Problématique: le mercredi 30/03 n'existe pas. C'est soit mardi 30/03, soit mercredi 31/03 !

C'est par-ce qu'il y a un Mercredi 30/03 en 2022.  ;D

alf084

  • Abonné Starlink
  • *
  • Messages: 379
  • Paris 75

vivien

  • Administrateur
  • *
  • Messages: 47 170
    • Twitter LaFibre.info
L'étage 5  pas le 3.
J'ai corrigé mon message. C'est bien sur l'étage le plus haut de SBG3 qui est le plus touché par l'incendie.

Pour résumer l'article de Journal du net https://www.journaldunet.com/web-tech/cloud/1499203-six-choses-qu-ovh-ne-dit-pas-sur-l-incendie-de-ses-datacenters-a-strasbourg/, voici le "Six choses qu'OVH ne dit pas sur l'incendie de Strasbourg" avec les citations en liens avec sur ce forum, les informations ayant déjà été discutées ici :

1/ SBG1 et SBG4 devaient être fermés (annonce de novembre 2017 qui n'a pas été réalisée)

2/ SBG4 n'était pas indépendant énergétiquement (annonce en novembre 2017 du fait que cela serait corrigé, ce qui n'a pas été fait)

Saluons le message d'Octave, qui donne une partie des piéces du puzzle pour comprendre comment l'impossible est arrivé.

Je le reprend ici pour mémoire :
[...] Même si l’incident de ce matin a été causé par un automate tiers, nous ne pouvons nous dédouaner de la responsabilité de la panne. A cause du déploiement initial basé sur les containers maritimes, nous avons un historique à rattraper sur SBG pour atteindre le même niveau de normes que sur les autres sites d’OVH.

Cet après-midi, nous avons décidé du plan d’actions suivant :
1) la mise en place de la 2ème arrivée électrique, totalement séparée, de 20MVA ;
2) la séparation du réseau électrique de SBG2 vis-à-vis de SBG1/SBG4, ainsi que la séparation du futur SBG3 vis-à-vis de SBG2 et SBG1/SBG4;
3) la migration des clients de SBG1/SBG4 vers SBG3 ;
4) la fermeture de SBG1/SBG4 et la désinstallation des containers maritimes.

Il s’agit d’un plan d’investissement de 4-5 millions d’euros, que nous mettons en route dès demain, et qui, nous l’espérons, nous permettra de restaurer la confiance de nos clients envers SBG et plus largement OVH.

3/ SBG3 n'avait pas sa propre salle réseau (Je suis étonné que JDN ne parle pas de SBG4, qui n'a pas non plus de salle réseau: il y avait deux salles réseaux avant l'incendie : SBG1 et SBG2. Aujourd'hui une nouvelle salle réseau a été construite dans le futur SBG5 pour SBG3 et SBG4)

4/ Des backups étaient réalisés sur le même datacenter (Il faut partir de la base que si un hébergeur ne précise pas que c'est sur un second site, c'est que c'est sur le même site. OVH n'est pas le seul pour le coup à faire ça)

5/ Les planchers du datacenter SBG2 étaient en bois. "Les planchers (du datacenter SBG2, ndlr) sont en bois", a indiqué à l'AFP dans la nuit du sinistre Damien Harroué, commandant des opérations de secours et adjoint au chef de la sous-direction opérations-prévention au Service Départemental d'Incendie et de Secours 67.

Le sol est bien en bois :

#Ovh #SBG les échangeurs du watercooling de serveurs sont installés sur chaque étage.


Source : twitter OLES OVH

6/ absence de système d'extinction automatisé sur SBG2
Voici la façon dont OVH protège les serveurs contre des incendies au Canada. C'est la première fois que l'on voit OVH parler de protection incendie, donc il est probable que les autres datacenters ne soient pas encore équipés.

vivien

  • Administrateur
  • *
  • Messages: 47 170
    • Twitter LaFibre.info
Rappelons que SBG2 est la tour jumelle de Roubaix 4 :

Annonce d'Octave sur twitter le 28 mars 2013 :
#Ovh #SBG #SBG2 will look like #RBX4


Construction de Roubaix 4 :

Dans le cas de Roubaix 4, le Datacenter est fait avec beaucoup de bois :

Il serait intéressant de savoir les évolutions qui seront apportées à Roubaix 4 et d'autres data center OVH sur :
- La possibilité de couper le 20 000 volts sans entrer dans le bâtiment (pour rappel, c'est ce qui a fortement retardé les pompiers, car il ne peuvent éteindre un incendie avec des équipements encore alimentés en 20 000 volts)
- Un système de détection incendie précoce pour pouvoir intervenir avant que la situation soit dégradée
- Un système d’extinction automatique d'incendie, si possible qui ne détruise pas les serveurs

vivien

  • Administrateur
  • *
  • Messages: 47 170
    • Twitter LaFibre.info
Point journalier.

Pour la remise en services des baies de SBG1 arrêtées après le second incendie, c'est finalement planifié mercredi 31.



Les bulletins précédents :
- 29 mars 2021
- 28 mars 2021
- 27 mars 2021
- 26 mars 2021
- 25 mars 2021
- 24 mars 2021
- 23 mars 2021
- 22 mars 2021
- 21 mars 2021
- 20 mars 2021
- 19 mars 2021
- 18 mars 2021
- 17 mars 2021
- 16 mars 2021
- 15 mars 2021
- 14 mars 2021
- 13 mars 2021
- 12 mars 2021
- 11 mars 2021
- 10 mars 2021

Vidéos :
- Vidéo du 11 mars 2021
- Vidéo du 16 mars 2021
- Vidéo du 22 mars 2021

dj54

  • Abonné Free fibre
  • *
  • Messages: 921
  • Nancy (54)
    • La passion des ondes
Du neuf sur la gratuité de 3 ou 6mois