Auteur Sujet: OVH - incident majeur du au watercooling  (Lu 22448 fois)

0 Membres et 2 Invités sur ce sujet

Leon

  • Client SFR sur réseau Numericable
  • Modérateur
  • *
  • Messages: 5 971
OVH - incident majeur du au watercooling
« le: 02 juillet 2017 à 07:24:01 »
Bonjour à tous,

L'hébergement mutualisé d'OVH a subi un incident majeur vendredi, avec une indisponibilité de nombreux sites pendant plus de 24h.

C'est un gros filer (serveur de fichiers) EMC qui est tombé, alors que ce genre d'équipement est normalement intrinsèquement très redondé.

Sur twitter, un utilisateur a capturé un suivi des travaux qui parle de fuite d'eau! Je ne pense pas que c'est un fake, puisque cet utilisateur n'est pas anonyme.
De là à penser qu'il s'agit d'une fuite d'eau liée au watercooling made by OVH, il n'y a qu'un pas, que je franchis volontairement. Ce suivi a été modifié depuis et il parle désormais uniquement d'incident électrique.
https://twitter.com/tcardonne/status/881161596902535168
Le datacenter a subi une fuite d'eau importante, entrainant la panne des composants de stockage
nécessaire au bon fonctionnement du système. Les techniciens sont dessus.




OVH a même du mettre un commentaire dans le suivi pour dédouaner EMC (fabriquant du filer).
http://travaux.ovh.net/?do=details&id=25709
La technologie d'EMC n'est pas à l'origine de l'incident.
Nos datacentres ne sont pas adaptés pour héberger ce type
d'infrastructure. Seules certaines salles sont spécialement
préparées pour ce genre d'hébergement, mais cette baie de
stockage n'y a pas été hébergé ce qui est l'origine du
problème. Nous remercions EMC de nous aider à résoudre cet
incident.


Si c'est vraiment vrai, c'est du grand n'importe quoi. Héberger un équipement aussi sensible dans un endroit exposé aux fuites d'eau... Entre ça et les serveurs HS suite à la canicule (absence totale de clim), je me fais une idée très claire de la qualité selon OVH.
OK, OVH est une entreprise impressionnante par sa croissance. Mais elle fait des économies de bout de chandelle, et elle n'a pas la culture de la qualité/disponibilité.

Leon.
« Modifié: 02 juillet 2017 à 07:49:36 par Leon »

vivien

  • Administrateur
  • *
  • Messages: 47 076
    • Twitter LaFibre.info
OVH - incident majeur du au watercooling
« Réponse #1 le: 02 juillet 2017 à 08:14:14 »
Cet incident a été très important (les clients ont été prévenu dans le manager). C'est la première fois que je voyais un incident dans mon manager.

La fuite d'eau est tout à fait crédible.

Sur un serveur dédié OVH, j'ai déjà eu un changement de carte mère, sans m'avertir.
Mon système n'a pas apprécié et il ne démarrait plus. J'ai démarré en ressue et là j'ai vu que le CPU n'était plus le même et qu'il était un peu moins puissant qu'avant.

J'ai pensé à une fuite d'eau dans ma baie, mais je ne saurais jamais. OVH ne m'a donné aucune explication pour la changement de carte mère.

buddy

  • Expert
  • Abonné Free fibre
  • *
  • Messages: 15 094
  • Alpes Maritimes (06)
OVH - incident majeur du au watercooling
« Réponse #2 le: 02 juillet 2017 à 13:07:49 »
Pour la fuite d'eau, je confirme, je l'ai lu et "copier coller" (car un site que je gère a été touché) et j'ai partagé le ticket avec les autres personnes qui gèrent le site avec moi.

Après, oui, c'est OVH ... çà reste du low-cost... Ce qui m'étonne c'est que cette "baie" qui a l'air dans son état "constructeur" ait été impactée par une fuite de water cooling. Je pensais que c'était quand même un minimum séparé. Pas que les tuyaux passaient juste au dessus d'une baie sans watercooling.

tcardonne

  • Abonné Bbox fibre
  • *
  • Messages: 6
    • @tcardonne
OVH - incident majeur du au watercooling
« Réponse #3 le: 02 juillet 2017 à 15:45:57 »
Je connais pas l'architecture des datacenters de OVH, notamment P19, mais il n'est pas impossible que cette prétendue fuite provienne de l'étage supérieur (ie des toilettes) ? Cela dit, si c'est le cas c'est peut-être encore plus triste.

@Leon : Je crois que je ne suis pas un fake  ;D

Hugues

  • AS2027 MilkyWan
  • Modérateur
  • *
  • Messages: 12 423
  • Lyon (69) / St-Bernard (01)
    • Twitter
OVH - incident majeur du au watercooling
« Réponse #4 le: 02 juillet 2017 à 19:39:10 »
J'ai eu des bruits de couloir qui confirment que c'est le watercooling  ::)

Leon

  • Client SFR sur réseau Numericable
  • Modérateur
  • *
  • Messages: 5 971
OVH - incident majeur du au watercooling
« Réponse #5 le: 02 juillet 2017 à 20:22:18 »
Je connais pas l'architecture des datacenters de OVH, notamment P19, mais il n'est pas impossible que cette prétendue fuite provienne de l'étage supérieur (ie des toilettes) ? Cela dit, si c'est le cas c'est peut-être encore plus triste.
Vu comment c'est formulé, je n'ai pas trop de doute que c'est le watercooling. "Nos datacenter ne sont pas adaptés" = "on fait du watercooling et on transporte de l'eau dans des tuyaux non sécurisés".

Nos datacentres ne sont pas adaptés pour héberger ce type
d'infrastructure. Seules certaines salles sont spécialement
préparées pour ce genre d'hébergement, mais cette baie de
stockage n'y a pas été hébergé ce qui est l'origine du
problème.


Je rappelle que les photos de watercooling d'OVH montrent des montages artisanaux qui n'inspirent pas vraiment confiance.
Les raccords sont apparemment de simples flexibles emboités et serrés avec un collier! Il n'y a même pas de raccord stop! C'est incompréhensible de faire l'économie de quelques dizaines d'euros par baie, sachant qu'une baie génère un chiffre d'affaire qui se compte en dizaines de milliers d'euros par an!
Des raccords stop industriels qui garantissent aucune goute d'eau lors de la connexion/déconnexion, ça existe!

En cadeau bonux, quelques photos des raccordement en eau des baies chez OVH.

Leon.


Phach

  • Abonné Orange Fibre
  • *
  • Messages: 1 031
  • Hérault (34) - Occitanie
OVH - incident majeur du au watercooling
« Réponse #6 le: 02 juillet 2017 à 20:23:35 »
C'est pas la première (apparemment) et ca sera certainement pas la dernière fois que ca arrive.
La rançon du succès ? C'est dur de faire du bricolage quand on est presque le 1er hébergeur du monde.

Tiens, ca me fait penser que l'autre jour lors de l'inauguration de station f, Niel parlait de Octave Klaba. Je ne savais pas que Niel (Iliad) l'avait hébergé pendant plusieurs mois au début.


vivien

  • Administrateur
  • *
  • Messages: 47 076
    • Twitter LaFibre.info
OVH - incident majeur du au watercooling
« Réponse #7 le: 02 juillet 2017 à 20:25:58 »
OVH était sur le réseau Free, quand Orange a voulu faire payer le peering de Free, cela a pesé dans la balance.

Le peering entre Orange et Free / OVH était a cette époque de 1 Gb/s :

Message du dimanche 19 janvier 2003 17:22:
Comme vous pouvez constater le peering avec wanadoo est régulièrement saturé dans la journée. Dans la semaine, on essaie en arrêtant les miroirs (free/ovh) et newsgroups (free) faire de sorte que le trafic reste inférieur à 1Gbs mais c'est de plus en plus difficile.

De notre côté nous avons mis tout en place depuis plusieurs semaines mais rien n'est fait de côté de wanadoo puisqu'ils n'ont pas de feu vert de leur direction !

En effet, nous avons eu la confirmation que le problème d'upgrade du peering est un problème de _politique_ et wanadoo ne souhaite pas l'upgrader !

Il ne nous reste plus qu'à vous demander de faire les actions au près de wanadoo pour faire la pression sur la direction afin qu'elle donne le feu vert à leur équipe technique pour l'upgrade. Téléphonez à leur support, envoyez l'email à leur support, faites savoir l'information au près des journalistes, affichez l'information sur votre site, faites passer l'information aux autres sur les pratiques que France Telecom vis à vis de leurs concurrents !


Il faut préciser qu'à l'époque, l'ADSL commençait à s'envoler chez Orange. Free était FAI presque exclusivement 56k, mais il avait des "pages persos" populaires et OVH sur son réseau :

Un article de journal où Octave Klaba est interviewé :

Mercredi 22 janvier 2003

Des semaines que Free voit grossir le mur : entre les deux poids lourds de l'Internet Français, il n'y a qu'un seul et unique câble, qui n'a pas été remplacé depuis deux ans. Problème : l'Internet a bien grossi entre temps, et le calibre du tuyau - 1 Gbit/s - n'est plus à la hauteur. Résultat : entre Free et France Telecom, les débits chutent spectaculairement et la qualité de service se dégrade.

"Free a bien tenté de prévenir France Telecom il y a deux mois, mais sans succès : FT n'a pas réagi, et les temps d'accès vers certains sites ont fini par devenir intolérables pour les internautes de Wanadoo et de Free" - affirme Octave Klaba, DT de l'hébergeur OVH.

La conséquence ? Pour peu qu'un site se trouve de l'autre côté du tuyau - et c'est souvent le cas -, les informations circulent aussi vite qu'une voiture dans un embouteillage. Sur les forums de discussion, on peut trouver des phrases de ce genre émanant d'internautes mécontents: "J'ai l'impression d'être en 14,4 Kbit/s" - faisant référence à la vitesse anémique à laquelle plafonnaient les tous premiers modems.

Coupure pure et simple
Mais c'est surtout du côté des propriétaires de sites commerciaux hébergés par Free ou FT que l'inquiétude est la plus vive : impossible d'accéder à leurs pages dans de bonnes conditions depuis l'autre côté du tuyau qui relie FT à Free.

Pourtant, le pire reste à venir : hier matin, Free coupe tout simplement l'accès à ses serveurs pour tous les internautes de Wanadoo : ils sont privés d'une partie du Web et de certains services mail. Officiellement, Free n'a pas voulu mettre le couteau sous la gorge de France Telecom : il s'agissait simplement de soulager ses serveurs, qui croulaient sous le temps d'accès, et qui dégradaient la qualité de service de ses abonnés. Mais de là à dire que Free a voulu réveiller (brutalement) Wanadoo, qu'il tentait - rappelons-le - de prévenir depuis des mois, il n'y a qu'un pas.

Un pas que ne franchira pas Free : "C'est un petit problème qui se règlera bien vite, nous faisons confiance à France Telecom". A n'en pas douter, Free ne souhaite pas froisser le géant des télécoms.

Service rétabli mercredi soir ?
Dans tous les cas, l'électrochoc a fait son effet : dans la soirée de mardi, FT et Free parviennent à un accord : "d'ici mercredi à 17h, le calibre du tuyau sera multiplié par 2,5, et Free rendra aux "Wanadiens" leur liberté" - communique France Telecom.

Mais la bataille n'est pas terminée : FT précise que "les négocations commerciales n'ont pas encore abouti, et que le service sera - à titre exceptionnel - rétabli avant même que les conditions soient clarifiées". En clair : Free va sans doute devoir bourse délier.

La pilule sera difficile à avaler pour Free : "Il y a deux ans, lorsque le FAI développe son propre 'point de peering' - la porte d'accès à son réseau privé -, FT l'autorise à se connecter à son propre point de peering gratuitement. Aujourd'hui, FT souhaite faire payer Free. Pour quelle raison ? Il y a autant de traffic dans un sens que dans l'autre, et FT a autant besoin de Free que Free a besoin de FT" explique Octave Klaba, DT d'OVH. FT reconnait ces faits, mais l'opérateur laisse entendre que Free va devoir payer.

vivien

  • Administrateur
  • *
  • Messages: 47 076
    • Twitter LaFibre.info
OVH - incident majeur du au watercooling
« Réponse #8 le: 02 juillet 2017 à 20:30:06 »
D'autres photos :

Encore quelques photos inédites des serveurs d'OVH, avec du watercooling, par zdnet.co.uk (lien HS)















Leon.

vivien

  • Administrateur
  • *
  • Messages: 47 076
    • Twitter LaFibre.info
OVH - incident majeur du au watercooling
« Réponse #9 le: 02 juillet 2017 à 20:32:59 »
Les amis de chez PCImpact ont mis fait un reportage sur ce datacenter d'OVH (Roubaix 4).
[Lien HS supprimé]

Le plus intéressant c'est les images du watercooling. Ce sont des images assez rares. OVH a volontairement restreint sa communication (et les photos) sur le sujet depuis des années!







Leon.

cali

  • Officiel Ukrainian Resilient Data Network
  • Fédération FDN
  • *
  • Messages: 2 401
    • Ukrainian Resilient Data Network
OVH - incident majeur du au watercooling
« Réponse #10 le: 02 juillet 2017 à 20:35:26 »
Vous êtes sûr que c'est de l'eau et pas du gaz dans les tuyaux ? :p

vivien

  • Administrateur
  • *
  • Messages: 47 076
    • Twitter LaFibre.info
OVH - incident majeur du au watercooling
« Réponse #11 le: 02 juillet 2017 à 20:43:29 »
Oui, c'est de l'eau, voici le réservoir :

Génération 3 de watercooling. La piscine de stockage temporaire d'eau qui sert à refroidir les serveurs du private Cloud Computing: 20KW/baie !