Auteur Sujet: Ptit coup de chaud à Telehouse 2  (Lu 36787 fois)

0 Membres et 1 Invité sur ce sujet

Synack

  • AS16080 Rentabiliweb Telecom
  • Expert
  • *
  • Messages: 689
Ptit coup de chaud à Telehouse 2
« Réponse #24 le: 12 mars 2014 à 12:43:04 »
Salut Synack, Est-ce que tu as eu un rapport d'incident? Est-ce que tu as le droit de le partager?

J'ai trouvé ça: https://twitter.com/manu_thy/status/443417131875454976 , mais ça n'est pas le rapport officiel.
S'il y a 1 seul circuit d'eau glacée, c'est incompréhensible! C'est un gros SPoF!


Il y a quelques années, on avait vu (sur je ne sais plus quel datacenter) un site avec clim redondées, mais effectivement avec 1 seul circuit d'eau glacée : 1 seule fuite, et c'est mort!
C'était Level3?
http://www.lemagit.fr/actualites/2240193555/Plusieurs-sites-internet-francais-paralyses-par-une-panne-dun-datacenter-de-Level3

Leon.

Pour le rapport : Vu que j'ai reçu le rapport via une espèce d'emailing "Hi! Blog" de Telehouse et vu la forme, pour moi pas de problème de confidentialité :

"Dear Fr�d�ric,

Voici le rapport concernant l'élévation de température survenue ce dimanche 9
mars à TH2.

LOCALISATION : Site TH2 – 137 Boulevard Voltaire

DUREE DE LA PERTURBATION : De 18h à minuit
                                                                               
                                                                               
     
ZONES IMPACTEES PAR LA MONTEE EN TEMPERATURE :Tout le site Voltaire

CHRONOLOGIE :
-   Dès 18h00, le système GTC du site ainsi que notre système indépendant  de
mesure des
 températures en salle    client èmettent des alertes de défaut.
-   Intervention de l'équipe maintenance présente sur site pour vérification des
installations
-   Arrivée sur site d'une équipe technique complèmentaire
-   Vérification des positions de vannes et pressions du réseau d'eau glacée. Les
investigations
 révèlent qu'une vanne normalement fermée et sécurisée située en pied de
colonne avait été
 ouverte par erreur provoquant une forte baisse de pression  du réseau d'eau
glacée.
-   Rétablissement de la pression du réseau. Cette opération a nécessité environ
deux heures.
-   Remise en service des premiers groupes froids vers 22h30.
-   L'ensemble des groupes froids a été remis en service vers 23h30. Les
températures en salle
redescendent
-   Vérification globale des installations de climatisation. Les températures
dans les salles clients
 ont retrouvé les valeurs habituelles  vers minuit.         
Une étude approfondie est en cours pour déterminer la cause précise de cette
erreur humaine et
 améliorer nos procédures en conséquence. Nous vous en communiquerons les
résultats très
prochainement.

Nous vous prions d'accepter toutes nos excuses pour la gêne occasionnée. Votre
interlocuteur
commercial se tient à votre disposition pour répondre à vos éventuelles
questions.

Sincères salutations,

L'équipe Telehouse




--

Pour vous désabonner, visitez :"


Sinon, Level 3 en 2011 avait eu un problème bien plus important aux conséquences plus douloureuses : C'était également un problème sur l'unique circuit d'eau de refroidissement, mais c'était une rupture de canalisation sous le faux plancher.

Résultat : Faux plancher inondé par endroit (l'électricité étant amené sur des rails au sol pour ce site, je vous laisse imaginer le stress). La clim a été coupée dans la nuit et n'est revenue qu'en début d'après midi. La température était montée aux limites des équipements réseaux, entrainant des shutdown, le CDN de Level 3 avait particulièrement souffert, j'avais fait acheter d'énormes ventilos pour créer un flux d'air sur les points chauds de nos baies à l'époque, ils avaient pu ouvrir les fenêtres sur l'extérieur mais sur une salle de 300 baies de serveurs c'était très compliqué, surtout que le climat était plutôt doux à ce moment là en journée.

Mais bon Level 3 est champion du pas de bol aussi, plusieurs années avant, il y avait eu une rupture de canalisation dans des WC de l'étage du dessus, qui avait provoqué une inondation par le plafond dans les mêmes salles. J'ai ce souvenir marquant de l'eau qui ruisselait comme de la pluie dans les salles, des mecs de Level 3 en train de mettre des déflecteurs pour diriger l'eau ailleurs que sur les batteries et les routeurs. On s'en était sortis bien avec très peu de dégâts de notre côté, aussi parce qu'on y était allés très très vite à la première anomalie. D'autres ont trouvé des serveurs en mode aquarium au petit matin.

Et Level 3 Braham Street à Londres pareil, rupture de canalisation au dessus, grosse inondation il y a plusieurs années également.

L'eau c'est parfois compliqué...

Leon

  • Client SFR sur réseau Numericable
  • Modérateur
  • *
  • Messages: 5 971
Ptit coup de chaud à Telehouse 2
« Réponse #25 le: 12 mars 2014 à 13:35:56 »
OK, donc dans les 2 cas (Level3 Capitole à Nanterre et Telehouse 2) le circuit d'eau glacée n'est pas redondant, avec pourtant des clims redondantes. C'est quand même complètement anormal dans des datacenters qui se prétendent au moins N+1! Il ne devrait y avoir aucun SPOF!

Ne pas se prémunir contre des fuites du circuit d'eau glacée, c'est complètement anormal.

Leon.

Optrolight

  • Client Orange Fibre
  • Modérateur
  • *
  • Messages: 4 673
  • Grenoble (38) @Optrolight
    • Optroastro
Ptit coup de chaud à Telehouse 2
« Réponse #26 le: 12 mars 2014 à 13:48:24 »
ça jette un froid !!

Synack

  • AS16080 Rentabiliweb Telecom
  • Expert
  • *
  • Messages: 689
Ptit coup de chaud à Telehouse 2
« Réponse #27 le: 12 mars 2014 à 15:05:01 »
OK, donc dans les 2 cas (Level3 Capitole à Nanterre et Telehouse 2) le circuit d'eau glacée n'est pas redondant, avec pourtant des clims redondantes. C'est quand même complètement anormal dans des datacenters qui se prétendent au moins N+1! Il ne devrait y avoir aucun SPOF!

Ne pas se prémunir contre des fuites du circuit d'eau glacée, c'est complètement anormal.

Leon.

On est d'accord sur ce point. J'attends d'avoir un peu plus d'infos concernant TH2 sur l'impact exact, mais si toutes les clims étaient concernées, c'est moche.

Le minimum logique étant d'avoir 2 circuits d'eau avec une clim sur 2 sur chaque circuit...

BadMax

  • Client Free adsl
  • Expert
  • *
  • Messages: 3 481
  • Malissard (26)
Ptit coup de chaud à Telehouse 2
« Réponse #28 le: 12 mars 2014 à 18:35:52 »
TH2 ils ont quoi comme certification Tiers ? 1, 2 ou 3 ? aucune ???

Nico

  • Modérateur
  • *
  • Messages: 44 449
  • FTTH 1000/500 sur Paris 15ème (75)
    • @_GaLaK_
Ptit coup de chaud à Telehouse 2
« Réponse #29 le: 12 mars 2014 à 18:40:43 »
Un seul DC certifié par l'Uptime Institute en France, DC3 qui est TIER III.

vivien

  • Administrateur
  • *
  • Messages: 47 086
    • Twitter LaFibre.info
Ptit coup de chaud à Telehouse 2
« Réponse #30 le: 12 mars 2014 à 18:44:39 »
Pas besoin de certification pour TH2 pour avoir des clients.

Je me demande si cela existe dans les autres pays, une telle concentration.

Tous les opérateurs disent vouloir s'interconnecter en priorité hors de TH2 mais dans de nombreux cas, le seul site commun, c'est TH2.

BadMax

  • Client Free adsl
  • Expert
  • *
  • Messages: 3 481
  • Malissard (26)
Ptit coup de chaud à Telehouse 2
« Réponse #31 le: 12 mars 2014 à 18:47:25 »
Surtout quand on connais l'exigence de certains clients en terme de sécurisation Datacenter, c'est étonnant que tout le monde continue de s'appuyer sur TH2.

Nico

  • Modérateur
  • *
  • Messages: 44 449
  • FTTH 1000/500 sur Paris 15ème (75)
    • @_GaLaK_
Ptit coup de chaud à Telehouse 2
« Réponse #32 le: 12 mars 2014 à 18:47:58 »
C'est simple et économique. C'est tout.

Synack

  • AS16080 Rentabiliweb Telecom
  • Expert
  • *
  • Messages: 689
Ptit coup de chaud à Telehouse 2
« Réponse #33 le: 12 mars 2014 à 19:27:32 »
Pas besoin de certification pour TH2 pour avoir des clients.

Je me demande si cela existe dans les autres pays, une telle concentration.

Tous les opérateurs disent vouloir s'interconnecter en priorité hors de TH2 mais dans de nombreux cas, le seul site commun, c'est TH2.

Telecity 2 à Amsterdam est également un bon exemple de très forte concentration d'interconnexions, un peu comme TH2 à Paris. A New York, TELX au 60 Hudson ou 111 8th sont des sites également incontournables pour le réseau, à Hong Kong c'est tout simplement la misère totale pour avoir un lien international qui ne passe pas par Mega IAdvantage. A Londres c'est un peu moins violent parce qu'il y a énormèment de DC, mais Telehouse North et East sont tout de même très stratégiques.

Je pense qu'on n'est pas si mal lotis à Paris, il y a SFR pour les historiques en redondance, il y a Equinix PA3/PA4 qui deviennent des très gros points, InterXion 5&7 sont pas mal non plus (InterXion 2 a aussi de l'historique pas mal), Iliad DC3 va accueillir des gros coeurs de réseaux aussi, ça s'améliore petit à petit.

Sinon ils ont tous des certifications, qu'ils vantent ou pas, qui sont de différents organismes.

En France on parle souvent de Tier3+ d'ailleurs pour les DC.

Synack

  • AS16080 Rentabiliweb Telecom
  • Expert
  • *
  • Messages: 689
Ptit coup de chaud à Telehouse 2
« Réponse #34 le: 12 mars 2014 à 19:29:30 »
Surtout quand on connais l'exigence de certains clients en terme de sécurisation Datacenter, c'est étonnant que tout le monde continue de s'appuyer sur TH2.

Tu y trouves tout le monde et le 3eme étage était jusqu'à il y a quelques jours d'une fiabilité parfaite. Va faire livrer du réseau ou des liens sur des sites plus exotiques :/


vivien

  • Administrateur
  • *
  • Messages: 47 086
    • Twitter LaFibre.info
Ptit coup de chaud à Telehouse 2
« Réponse #35 le: 12 mars 2014 à 19:38:44 »
Oui, TH2 est plutôt fiable (par chance ou car Telehouse est conscient de la publicité négative que lui apporterais un incident majeur ?).

Chaque petit incident est monté en épingle vu les conséquence sur l'Internet Français. Des datacenter qui ont une panne de clim de quelques heures, c'est quand même pas si exceptionnel.

Mais si TH2 devait être coupé plusieurs jours, voir détruit, je n'imagine pas l'impact sur le PIB Français.

Sinon pour ma première question, les fenêtres sont condamnées.