Auteur Sujet: Incendie OVH à Strasbourg: SBG2 complètement détruit. SBG1 détruit à 42%.  (Lu 282292 fois)

0 Membres et 1 Invité sur ce sujet

seb30

  • Abonné Free fibre
  • *
  • Messages: 243
  • Nîmes (30)
Incendie OVH à Strasbourg: SBG2 complétement détruit. SBG1 détruit à 50%.
« Réponse #948 le: 13 avril 2021 à 15:30:52 »
3bikes.fr a tout perdu, site et les deux sauvegardes payantes. Triste...
Tout cela me fait penser à un parallèle (peut-être hasardeux) : quand on fait installer une télésurveillance chez sois, c’est surtout pour se rassurer, car si on n’a pas aussi mis des barreaux aux fenêtres...
En tous cas bon courage à eux!



edit modération : retrait de l'image de la citation
« Modifié: 13 avril 2021 à 15:43:32 par butler_fr »

vivien

  • Administrateur
  • *
  • Messages: 47 075
    • Twitter LaFibre.info
Incendie OVH à Strasbourg: SBG2 complétement détruit. SBG1 détruit à 50%.
« Réponse #949 le: 13 avril 2021 à 15:39:48 »
C'est un manquement à revoir côté pompiers de ne pas avoir de procédure de coupure rapide du réseau électrique.
Il n'y a pas de bouton rouge d'arrêt complet ?

Le "bouton" étant dans SBG2.

OVH n'avait pas prévu de système de coupure à l'extérieur du bâtiment, ce qui est assez étonnant.

Le fournisseur d'électricité local (électricité de Strasbourg) n'a pas été réactif en pleine nuit pour couper le 20 000 volt au départ et donc cela a brulé longtemps avant de pouvoir balancer de l'eau.

q05

  • Abonné Proximus (Belgique)
  • *
  • Messages: 322
Incendie OVH à Strasbourg: SBG2 complétement détruit. SBG1 détruit à 50%.
« Réponse #950 le: 13 avril 2021 à 16:15:18 »
Tout se tient: dans un monde parfait rien ne brûle et on n'a pas besoin de pompiers. Dans la vraie vie ça brûle et les procédures sont foireuses à tous les étages.

Symbol

  • AS52075 Wifirst
  • Expert
  • *
  • Messages: 349
Incendie OVH à Strasbourg: SBG2 complétement détruit. SBG1 détruit à 50%.
« Réponse #951 le: 13 avril 2021 à 17:49:07 »
Le fournisseur d'électricité local (électricité de Strasbourg) n'a pas été réactif en pleine nuit pour couper le 20 000 volt au départ et donc cela a brulé longtemps avant de pouvoir balancer de l'eau.
C'est d'autant plus inquiétant que la zone est pleine de sites industriels Seveso. Électricité de Strasbourg (qui appartient grosso modo à EDF) est-elle vraiment apte à desservir cette zone?

vivien

  • Administrateur
  • *
  • Messages: 47 075
    • Twitter LaFibre.info
Incendie OVH à Strasbourg: SBG2 complétement détruit. SBG1 détruit à 50%.
« Réponse #952 le: 13 avril 2021 à 18:55:10 »
Comme pour les accidents d'avion / nucléaire, il y aura de nombreux retours de cette incendie et des adaptations à faire, pas que chez OVH ou électricité de Strasbourg.

Il y a eu un enchainement de circonstances pour arriver à un tel désastre.

Leon

  • Client SFR sur réseau Numericable
  • Modérateur
  • *
  • Messages: 5 971
Incendie OVH à Strasbourg: SBG2 complétement détruit. SBG1 détruit à 50%.
« Réponse #953 le: 14 avril 2021 à 20:09:20 »
Comme pour les accidents d'avion / nucléaire, il y aura de nombreux retours de cet incendie et des adaptations à faire, pas que chez OVH ou électricité de Strasbourg.
Pour moi, il y a une ENORME différence entre l'incendie d'un datacenter 100% privé et les accidents nucléaires ou accidents d'avion. Je m'explique:

Les accidents nucléaires et d'avions sont analysés par des entités neutres : BEA, IRSN. Il y a également toute une législation à laquelle les compagnies aériennes, les constructeurs d'avions, les exploitants de centrales nucléaires publics et privés doivent se plier, pour garantir la transparence des informations partagées.
Et c'est bien normal, on parle quand même de matériel et de procédures qui peuvent mettre en danger la vie de centaines/milliers de personnes, si ils ne sont pas bien conçus.

En comparaison, OVH-Cloud Strasbourg, c'est un datacenter 100% privé, fermé, aucun client n'y mets les pieds. Si OVH a envie de ne rien dire, ou de ne raconter en public que 50% de l'histoire de l'incendie (ce qui est très très probable), alors il est libre de le faire.
OVH et les assurances garderont en interne, en privé, une grosse quantité d'informations essentielles sur cet incendie, c'est certain.
L’opacité, sur les incidents d'un tel datacenter 100% privé, c'est encore pire que sur un datacenter ouvert/neutre (si TH2 cramait par exemple, ou s'il y avait une rupture d'alimentation majeure à Scaleway-Online DC2).

Bref, l'incendie d'OVH fera progresser OVH en interne, c'est certain.
Il aidera également les autres acteurs à se reposer des questions en interne. Mais c'est tout!

Je ne suis vraiment pas certain que des standards évoluent suite à l'analyse d'OVH. Je ne pense pas non plus qu'OVH-Cloud partage une analyse suffisamment détaillée pour qu'elle puisse être utile à d'autres acteurs!
Il ne faut pas confondre un communiqué soit-disant détaillé, mais fortement biaisé, de 2 pages (ce que fera OVH), et un rapport de dizaines/centaines de pages hyper détaillé, neutre, précis et utile, comme peut le faire le BEA pour l'aviation.

Leon.

willemijns

  • Abonné FreeMobile
  • *
  • Messages: 2 680
Incendie OVH à Strasbourg: SBG2 complétement détruit. SBG1 détruit à 50%.
« Réponse #954 le: 14 avril 2021 à 20:21:33 »
Bref, l'incendie d'OVH fera progresser OVH en interne, c'est certain.

Comme en 2017 ou 2018 ? ^^

doctorrock

  • Abonné Orange Fibre
  • *
  • Messages: 931
  • Draguignan 83
Incendie OVH à Strasbourg: SBG2 complétement détruit. SBG1 détruit à 50%.
« Réponse #955 le: 14 avril 2021 à 23:19:55 »
C'est très clair. La data (ainsi que son traitement), tu peux la répartir, et la redonder. Enfin tu peux t'arranger pour que si le lieu A crame entièrement, le lieu B (et C, et D ...) prend le relai, ça s'appelle du déploiement dans l'Internet tout simplement.


vivien

  • Administrateur
  • *
  • Messages: 47 075
    • Twitter LaFibre.info
Incendie OVH à Strasbourg: SBG2 complétement détruit. SBG1 détruit à 50%.
« Réponse #957 le: 15 avril 2021 à 14:03:56 »
Mise à jour le 15 avril 14h

SBG1 /Salle E > Croix > SBG3

Les premiers serveurs sont rendus aux clients. Désolé pour le retard. C'est un vrai cauchemar. Ce n'est pas terminé, encore une longue journée, mais le process fonctionne. Maintenant, nous pourrons accélérer :)

chtitux

  • Abonné Orange Fibre
  • *
  • Messages: 8
  • La Possession (974)
Incendie OVH à Strasbourg: SBG2 complétement détruit. SBG1 détruit à 50%.
« Réponse #958 le: 16 avril 2021 à 07:59:15 »
Nouveau message d'Oles sur LinkedIn.
Citer
SBG1/E > Croix > SBG3

Update April,14 9pm
new 200 servers were shipped to Floor 5 which is now full. Tomorrow, we start filling Floor 3. Step by step. Yes, it’s slow. Real nightmare.

Update April,14 10pm
5 racks are UP (using internal-rescue). We are coding all the scripts to detect and (re)setup the servers in the racks / vRacks. Example: sometimes eth0 is eth1, and eth1 is eth0, depends on the motherboard, the cables. Nightmare.

Update April,15 2pm
First servers are given back to custs. Sorry for delay. It’s a real nightmare. It’s not done, still long journey but the code works. Now, we will be able to speed up :)

Si les noms des interfaces réseau changent, c'est que les cartes mères ont été remplacées. Je soupçonne que dans ces cas là, seul le disque dur a été conservé. Parce que quand on change la CM, on doit aussi souvent changer le CPU et la RAM.

C'est également intéressant de voir OVH s'occuper de « (re)setup the servers, sometimes eth0 is eth1 ». Quand je lis ça, je comprends qu'OVH s'occupe de booter le serveur sur le disque, et que si le réseau ne monte pas (si le vrack & Internet sont inversés, c'est attendu), décide de repasser en rescue, monter le système de fichier, changer le nom des interfaces dans /etc/network/interfaces (par exemple pour Debian), puis relancer le serveur sur disque. Au vu de la quantité de serveurs, je comprends qu'ils aient pris le temps d'automatiser ce process. Je me demande si le client doit donner son accord ou si OVH le fait « dans tous les cas ». Monter le système de fichier du client, c'est très intrusif (même si OVH a accès physiquement au disque dur).

Ça donne à réfléchir sur ce que loue OVH (et les autres hébergeurs) aux clients. Finalement, OVH ne donne pas vraiment de "garantie" sur le modèle de CPU/CM/RAM. Et l'élément le plus critique pour le client, c'est son disque dur. On voit ici la force d'AWS, qui a décidé de résoudre le problème :
- la seule « garantie » du matériel, c'est un nombre de cœurs CPU, de fréquence minimale et de Go de RAM
- pour les données à persister, c'est disque dur réseau uniquement (EBS)
- pour les données « locales », il y a parfois un disque physique attaché, mais aucune garantie de récupérer les données (en cas de reboot, les données sont conservées, mais pas en cas d'hibernation de l'instance par exemple).

D'ailleurs, en cas d'incendie/perte partielle d'une Availability Zone chez AWS, le process de « restauration » aurait été beaucoup plus simple:
- les disques distants (EBS) sont répliqués à l'intérieur d'une même AZ. Avec de la chance, les réplicas sont éloignés « physiquement », mais c'est peu probable, AWS indique que la réplication est faite « en cas de problème sur un disque ». Donc des EBS auraient été perdus.
- les snapshots des EBS sont stockés sur S3, donc répliqués sur d'autres AZ. Aucune perte des snapshots
- le matériel est disposable et les images disques et l'émulation/virtualisation hardware sont faites pour supporter un changement du hardware physique (modulo sur le nouveau matériel environ une fois par an). AWS aurait donc dû racker du matériel fonctionnel, mais sans se soucier de la configuration du client (sur quoi bute OVH en ce moment).

Le prix des instances « à la demande » aurait été très élevé, pour forcer les clients à ne plus utiliser l'AZ impactée, mais une fois le nouveau hardware en place, les clients auraient été autonomes.

J'espère que ça permettra à OVH d'explorer cette voie du matériel disposable. Leur offre OpenStack aka /cloud était un pas dans cette direction, mais manifestement, tout le monde n'y est pas encore passé.

vivien

  • Administrateur
  • *
  • Messages: 47 075
    • Twitter LaFibre.info
Incendie OVH à Strasbourg: SBG2 complétement détruit. SBG1 détruit à 50%.
« Réponse #959 le: 16 avril 2021 à 08:19:08 »
J'ai déjà eu sur un dédié OVH un changement de CPU forcé par OVH (je ne connais pas la raison) il y a un paquet d'année et j’étais perdant avec le nouveau CPU (de mémoire j'étais à l'origine sur un serveur Celeron 2.0 Ghz et + mais j'avais eu bien plus que 2 Ghz - architecture NetBurst 64bits - et le nouveau CPU était un CPU de plus faible consommation mais aussi moins puissant).