Auteur Sujet: Incendie OVH à Strasbourg: SBG2 complètement détruit. SBG1 détruit à 42%.  (Lu 312818 fois)

0 Membres et 1 Invité sur ce sujet

Leon

  • Client SFR sur réseau Numericable
  • Modérateur
  • *
  • Messages: 6 141
ah ok, je ne pensais pas que c'était si long pour une si grosse boite d'avoir de nouveaux serveurs, pour repartir "à neuf".
C'est juste le volume qui est ingérable. On parle ici certainement de plus de 10 000 serveurs à réparer/nettoyer. C'est gigantesque!
Si ça avait été seulement quelques centaines de serveurs, OVH les aurait remplacés rapidement, je pense.

Je rappelle aussi qu'on est dans une crise mondiale d'approvisionnement de composants pour PC et serveurs... Il y a des ruptures de stock partout.

Leon.

Benoit31

  • Abonné Orange Fibre
  • *
  • Messages: 1
Juste se donner un ordre de grandeur, le nombre de baies indisponibles n'a pas bougé à SBG-3 selon la page de Visual Monitoring System depuis hier 14h55 (313 baies marquées comme complètement indisponibles). Ce chiffre n'a pas du tout bougé sur la période, mais par contre le nombre de baies totalement up est passé de 286 à 295.

Peut-être que la page ne traduit pas se qui passe en réalité et l'outil n'est pas synchronisé en temps-réel, mais à ce rythme là il y en a au moins pour de bons mois si ce n'est des années !

q05

  • Abonné Proximus (Belgique)
  • *
  • Messages: 330
Si la cm a morflé je ne vois pas comment par quel miracle le dd aurait été lui épargné.
Une idée: mettre à disposition des clients les images de leur dd.

kazyor

  • Expert des Télécoms
  • Expert
  • *
  • Messages: 1 354
  • Lyon 7ème (69)
En tout cas, depuis 24h, j'ai reçu qqs mails dans mes différentes BAL "poubelles" de commerçants indiquant que leurs sites étaient à nouveaux UP.
Ça sent le SBG3. On va voir si ils organisent des maintenances pour les backups maintenant :)

Phach

  • Abonné Orange Fibre
  • *
  • Messages: 1 031
  • Hérault (34) - Occitanie
Salut,
je me permets de copier/coller un bout de FAQ car la communication à ce sujet n'est pas très clair et j'ai mis un moment avant de trouver l'info (ou avant qu'elle soit publiée peut être), mais concernant l'object storage, ils rallument à partir d'aujourd'hui en lecture seule et le service sera rétabli en écriture à partir du 5 avril.


Citer
Les services Object Storage localisés à Strasbourg seront progressivement disponibles à partir du jeudi 25 mars en lecture seule.
Vous pourrez ainsi accéder à vos Instance Snapshot, Volume Backup, ou Automated Backup réalisés avant l’évènement survenu à Strasbourg à partir de cette date.

.....

Nous prévoyons que les services Object Storage localisés à Strasbourg seront disponibles en écriture à partir du lundi 5 avril 2021.

Enfin, Le service Cloud Archive PCA ne sera pas fonctionnel sur la localisation du datacentre de Strasbourg. Nous vous recommandons d’utiliser le service Public Cloud Archive d’un de nos autres datacentres.
source : https://help.ovhcloud.com/fr/faq/strasbourg-incident/how-will-restart-public-cloud/

mirtouf

  • Abonné Bbox fibre
  • *
  • Messages: 1 314
  • Chelles (77)
    • L'antre de la bête

vivien

  • Administrateur
  • *
  • Messages: 47 834
    • Twitter LaFibre.info
Point journalier.

La remisse en route des serveurs de SBG1 glisse du 24 mars au 29 mars (+5 jours par rapport à la prévision donnée il y a 3 jours)
- Communication du 22 mars 2021 : ETA 24 mars
- Communication du 23 mars 2021 et 24 mars 2021: ETA à partir du 24 mars
- Communication du 25 mars 2021 : ETA 29 mars

Je rappelle que les serveurs de SBG1 étaient up le 19 mars avant un arrêt par précaution à cause de la fumée dans un local inutilisé. Précaution qui entraîne un arrêt de 10 jours supplémentaire des serveurs.

Sinon 95% des serveurs de SBG4 sont enfin accessibles.



Les bulletins précédents :
- 24 mars 2021
- 23 mars 2021
- 22 mars 2021
- 21 mars 2021
- 20 mars 2021
- 19 mars 2021
- 18 mars 2021
- 17 mars 2021
- 16 mars 2021
- 15 mars 2021
- 14 mars 2021
- 13 mars 2021
- 12 mars 2021
- 11 mars 2021
- 10 mars 2021

Vidéos :
- Vidéo du 11 mars 2021
- Vidéo du 16 mars 2021
- Vidéo du 22 mars 2021

vivien

  • Administrateur
  • *
  • Messages: 47 834
    • Twitter LaFibre.info
Octave a publié le nettoyage des serveurs de SBG1.

Les serveurs SBG1 61E / 62E sont en cours de nettoyage. La vitesse est de 3 racks par jour. Nous avons 32 racks. Nous cherchons comment l'accélérer. Certains racks ont déjà été renvoyés à DC.

La dernière étape du processus est la détection des restes de «chlorure».









chtitux

  • Abonné Orange Fibre
  • *
  • Messages: 8
  • La Possession (974)
Je suis curieux de connaître la fiabilité des serveurs après un tel nettoyage. Que ce soit pour les composants actifs ou passifs.

Les serveurs vont redémarrer, mais doit-on s'attendre à une avalanche de pannes dans 1 semaine, 1 mois, 1 an ? Je pense que si j'avais un serveur dans ce cas, je me dépêcherai de migrer toutes les données vers un "neuf".

Ça me fait penser à Scaleway qui avait testé grandeur nature le brouillard d'eau. Aucun serveur n'est tombé en panne pendant le test, mais est-ce que leur durée de vie a été réduite ? Et est-ce que ça n'est pas cette peur qui fait que Scaleway n'a jamais réussi à convaincre ses clients de l'utiliser ? En ayant en tête que des gouttelettes d'eau, ça reste très différent de la suie et d'un nettoyage au pinceau.

Question bonus : comment OVH va gérer le retrofit de ces serveurs ? Est-ce qu'on doit s'attendre, si on loue un serveur chez OVH dans les prochains 6 mois, à avoir une pièce (RAM, CPU, disque, etc.) qui était présente lors de l'incendie ?

netswitch

  • Abonné Proximus (Belgique)
  • *
  • Messages: 21
  • Jodoigne - Wallonie - Belgique
    • Behostings.com - Hébergement de Sites Internet
Je suppose que si l'assurance couvre le sinistre, ils vont tout mettre au container et que là ils se font chier à nettoyer pour pouvoir remettre en service le plus vite possible sans attendre la cie d'assurance ni être contraint par l'approvisionnement qui est difficile pour le moment.

Par contre le nettoyage est bien efficace, ça ressort nickel :D

Douks

  • Abonné Orange Fibre
  • *
  • Messages: 190
Je suis curieux de connaître la fiabilité des serveurs après un tel nettoyage. Que ce soit pour les composants actifs ou passifs.

Les serveurs vont redémarrer, mais doit-on s'attendre à une avalanche de pannes dans 1 semaine, 1 mois, 1 an ? Je pense que si j'avais un serveur dans ce cas, je me dépêcherai de migrer toutes les données vers un "neuf".

Ça me fait penser à Scaleway qui avait testé grandeur nature le brouillard d'eau. Aucun serveur n'est tombé en panne pendant le test, mais est-ce que leur durée de vie a été réduite ? Et est-ce que ça n'est pas cette peur qui fait que Scaleway n'a jamais réussi à convaincre ses clients de l'utiliser ? En ayant en tête que des gouttelettes d'eau, ça reste très différent de la suie et d'un nettoyage au pinceau.

Question bonus : comment OVH va gérer le retrofit de ces serveurs ? Est-ce qu'on doit s'attendre, si on loue un serveur chez OVH dans les prochains 6 mois, à avoir une pièce (RAM, CPU, disque, etc.) qui était présente lors de l'incendie ?
Pas de problèmes, ils vont mettre ces serveurs quelques jours dans un container avec du riz  ;D

C'est parfait, ça fera du stock de Kimsufi dans les semaines à venir 👍🏻👍🏻

La technique de nettoyage ne m'étonne pas, mais le fait que ça soit un séchage à la soufflette, c'est étrange ...D'autant plus si la RAM et tout le reste resté dans leur emplacement

Leon

  • Client SFR sur réseau Numericable
  • Modérateur
  • *
  • Messages: 6 141
Je suppose que si l'assurance couvre le sinistre, ils vont tout mettre au container et que là ils se font chier à nettoyer pour pouvoir remettre en service le plus vite possible sans attendre la cie d'assurance ni être contraint par l'approvisionnement qui est difficile pour le moment.
Ils remettent en route l'existant "le plus vite possible" surtout pour que les clients puissent accéder de nouveau à leurs données. C'est clairement la raison principale.
Même si évidemment ça évite de devoir réapprovisionner des dizaines de milliers de serveurs.
Donc ça n'est pas qu'une histoire d'assurance qui prend en charge des frais ou non.

La technique de nettoyage ne m'étonne pas, mais le fait que ça soit un séchage à la soufflette, c'est étrange ...D'autant plus si la RAM et tout le reste resté dans leur emplacement
Le séchage approximatif à la soufflette, ça ne me choque pas du tout.
Pour avoir vécu un après-incendie dans un laboratoire d'électronique, les cartes électroniques des racks étaient nettoyées, séchées rapidement à la soufflette, puis passée dans une étuve à 50 ou 60°C (je sais plus) pour séchage complet.

Par contre, ils déconnectaient évidemment tous les connecteurs. Là, comme toi, ça me surprend.

Leon.