Auteur Sujet: Ptit coup de chaud à Telehouse 2  (Lu 42008 fois)

0 Membres et 1 Invité sur ce sujet

BadMax

  • Client Free adsl
  • Expert
  • *
  • Messages: 3 479
  • Malissard (26)
Ptit coup de chaud à Telehouse 2
« Réponse #72 le: 05 avril 2014 à 21:21:34 »
Plus de détails sur l'incident :
Citer
Une erreur humaine

"La procédure prévue n'a pas été respectée : le technicien a relié les deux réseaux d'eau glacée entre eux, alors qu'il aurait dû ne rien faire : le réseau secondaire prenait le relais !" ajoute-t-il. Sur la photo ci-dessus, la vanne malencontreusement actionnée est la petite poignée rouge en bas à gauche, partiellement cachée par une étiquette portant le chiffre 9. Conséquence : la pression a chuté dans les deux réseaux d'eau glacée et le refroidissement n'était plus possible. "On a dû ouvrir les fenêtres pour évacuer une partie de la chaleur", nous confie Patrick Boudec, responsable technique chez Telehouse. "Il nous a fallu deux heures pour reremplir les 150 mètres cubes des deux réseaux d'eau glacée", poursuit Paul Martins. "Le technicien en cause ne fait plus partie du site Telehouse 2", précise le cadre de Dalkia. "Nous ne l'avons pas licencié, il pensait bien faire", ajoute-t-il.


Source : http://www.lepoint.fr/chroniqueurs-du-point/guerric-poncet/panique-sur-l-internet-francais-ce-qui-s-est-vraiment-passe-chez-th2-04-04-2014-1809182_506.php

Sinon j'adore la dernière partie qui explique que l'accès est vachement sécurisé, toussa... Ca va finir qu'on va classer TH2 en ZRR :) (https://fr.wikipedia.org/wiki/Zone_%C3%A0_r%C3%A9gime_restrictif)

vivien

  • Administrateur
  • *
  • Messages: 47 888
    • Twitter LaFibre.info
Ptit coup de chaud à Telehouse 2
« Réponse #73 le: 05 avril 2014 à 22:40:14 »
Superbe reportage du point.fr, avec des photos très rares sur les zones techniques de TH2.


Panique sur l'Internet français : ce qui s'est vraiment passé chez TH2

Le centre de données Telehouse Paris Voltaire avait subi un incident majeur le 9 mars. Le Point.fr a reconstitué l'enchaînement des événements.

La polémique avait été vive après l'incident majeur dans l'un des "coeurs" de l'Internet français le 9 mars. Le centre de données Telehouse 2 (TH2, dit "Paris Voltaire") avait subi une élévation anormale des températures, causée par une panne de climatisation, provoquant une panique sur les réseaux sociaux. "On n'est pas passé loin" d'un grave incident, avait alors jugé Mathieu Weill, le patron de l'Afnic, qui gère l'extension .fr sur Internet. Trois semaines après l'incident, Le Point.fr a rencontré l'équipe dirigeante de Telehouse 2 pour en éclaircir les circonstances.

Une alarme "mineure"

"Dimanche 9 mars, nous avons eu une alarme mineure en fin d'après-midi sur un réseau de climatisation", explique Paul Martins, directeur de centre opérationnel chez Dalkia (groupe EDF), qui gère le site TH2. "Une vanne d'eau glacée fuyait, mais grâce au second réseau de refroidissement, aucune intervention n'était nécessaire", poursuit-il. Malheureusement pour TH2, le technicien, seul le dimanche, "a probablement paniqué" lorsqu'il a reçu la cinquantaine d'alertes déclenchées par l'incident, encore mineur à ce stade.

Une erreur humaine



"La procédure prévue n'a pas été respectée : le technicien a relié les deux réseaux d'eau glacée entre eux, alors qu'il aurait dû ne rien faire : le réseau secondaire prenait le relais !" ajoute-t-il. Sur la photo ci-dessus, la vanne malencontreusement actionnée est la petite poignée rouge en bas à gauche, partiellement cachée par une étiquette portant le chiffre 9. Conséquence : la pression a chuté dans les deux réseaux d'eau glacée et le refroidissement n'était plus possible. "On a dû ouvrir les fenêtres pour évacuer une partie de la chaleur", nous confie Patrick Boudec, responsable technique chez Telehouse. "Il nous a fallu deux heures pour reremplir les 150 mètres cubes des deux réseaux d'eau glacée", poursuit Paul Martins. "Le technicien en cause ne fait plus partie du site Telehouse 2", précise le cadre de Dalkia. "Nous ne l'avons pas licencié, il pensait bien faire", ajoute-t-il.

Les leçons tirées de l'incident

Le retour d'expérience a permis à Telehouse 2 de modifier quelques procédures. En premier lieu, le diamètre des tuyaux de remplissage du système de climatisation a été triplé, afin de réduire le temps d'intervention en cas de nouvel incident de ce type. De plus, les renforts seront désormais envoyés automatiquement par le centre d'appels après des alarmes anormales et n'attendront pas une demande express du technicien de permanence.

Plusieurs niveaux de sécurité



Mis en service en 2001 et hébergeant 300 clients, TH2 est un site de 14 000 mètres carrés (dont 12 000 mètres carrés de salles serveurs) très protégé. Le bâtiment, dont l'entrée est située boulevard Voltaire à Paris, ne donne pas directement sur le boulevard, ce qui le protège partiellement d'une attaque frontale. Deux alimentations EDF distinctes permettent de maintenir l'activité en cas de coupure sur un câble, ce qui arrive régulièrement, en particulier lorsque des pelleteuses s'activent dans la rue voisine...







En plus, les six groupes électrogènes et leurs dizaines de milliers de litres de fioul permettent de tenir entre 72 heures et 10 jours, selon la charge des serveurs. Enfin, des onduleurs reliés à des centaines de batteries permettent de tenir une heure en cas de défaillance des alimentations d'EDF et via les six générateurs. La puissance installée est supérieure à ce qui est nécessaire : seule une alimentation EDF ou seuls trois générateurs suffiraient à alimenter le site.





Idem pour les arrivées de fibres optiques : trois passages de trente fourreaux sont prévus, dont un communique avec le métro, pour faire arriver les fibres des opérateurs. Depuis 2001, 80 millions d'euros ont été investis par le propriétaire japonais KDDI pour la modernisation continue de TH2.

La menace terroriste

Cet incident inquiète, car il montre qu'une simple erreur humaine peut déclencher une cascade de défaillances et finalement un incident très grave. Si le centre de données avait subi légèrement plus de dégâts, l'Internet français aurait pu mettre plusieurs jours à s'en remettre, avec les conséquences non seulement techniques mais aussi économiques que cela implique. Aujourd'hui, une entreprise privée d'Internet est souvent une entreprise privée de chiffre d'affaires... Alors, comment se protéger d'un acte malveillant, venant par exemple d'un expert qui connaîtrait parfaitement les failles ? La réponse n'est pas claire.

"L'acte de malveillance est pris en compte dans les procédures", assure Gilles Pecqueron, directeur marketing de Telehouse. Il faut dire que les menaces sont régulières. L'accès au site est protégé par divers systèmes dont la vérification des pièces d'identité avec le même système que les aéroports (en revanche, pas de rayons X ou de détecteur d'explosifs). En outre, l'accès au parking est très restreint et contrôlé, et le stockage des colis et du matériel des clients est effectué dans un autre bâtiment. "Chez Dalkia, nous gérons plus de 180 000 mètres carrés de centres de données", rassure Paul Martins.

Un talon d'Achille du Net français ?

Quoi qu'il en soit, le fait qu'une part importante du trafic internet français passe par Telehouse 2 reste un talon d'Achille pour le pays. Une solution ne serait-elle pas de répartir les serveurs dans plusieurs centres ? "Cela ne dépend pas que de nous, se défend Gilles Pecqueron, car ce sont les opérateurs qui décident de leur localisation". Par ailleurs, cela impliquerait de faire passer de nouvelles fibres optiques dans Paris, ce qui nécessite toujours des mois, voire des années, de procédures pour les travaux.

Et puis, économiquement, "les opérateurs ont intérêt à se concentrer ici à TH2", poursuit le responsable marketing, qui précise toutefois qu'il lui arrive de proposer des contrats conjoints avec ses concurrents, afin de permettre aux opérateurs de répartir leurs infrastructures sur plusieurs sites.


Source : Le Point, le 4 avril 2014 par Guerric Poncet.

Nico

  • Modérateur
  • *
  • Messages: 44 512
  • FTTH 1000/500 sur Paris 15ème (75)
    • @_GaLaK_
Ptit coup de chaud à Telehouse 2
« Réponse #74 le: 05 avril 2014 à 22:43:25 »
Tiens je n'avais pas vu qu'il y avait une photo du sous-sol, c'est assez impressionnant et rare.

vivien

  • Administrateur
  • *
  • Messages: 47 888
    • Twitter LaFibre.info
Ptit coup de chaud à Telehouse 2
« Réponse #75 le: 05 avril 2014 à 22:49:05 »
Pour ceux qui ne connaissent pas TH2, la photo ci-dessous, c'est l'entrée, mais il faut déjà avoir donné sa carte d'identité (enfin maintenant il la scan) pour arriver là.

Pas besoin d'autorisation, c'est au 2ème point de contrôle à l’intérieur que c'est vérifié. Il est donc possible de faire une sortie technophile et d'aller regarder cet entrée de TH2 puis ressortir  :D



Les routeurs / serveurs sont dans les 3 étages supérieurs.

Il y a un 4ème étage technique.

Nico

  • Modérateur
  • *
  • Messages: 44 512
  • FTTH 1000/500 sur Paris 15ème (75)
    • @_GaLaK_
Ptit coup de chaud à Telehouse 2
« Réponse #76 le: 05 avril 2014 à 22:54:01 »
Il y a aussi du matos au RDC maintenant, sur la droite de l'accueil.

BadMax

  • Client Free adsl
  • Expert
  • *
  • Messages: 3 479
  • Malissard (26)
Ptit coup de chaud à Telehouse 2
« Réponse #77 le: 05 avril 2014 à 23:16:27 »
Tiens en regardant bien, on voit un Windows XP dans la salle avec les armoires bleues (cellules HT et/ou automates groupes ?).

La prochaine panne c'est la bascule sur groupe qui foire ? ;)

Synack

  • AS16080 Rentabiliweb Telecom
  • Expert
  • *
  • Messages: 689
Ptit coup de chaud à Telehouse 2
« Réponse #78 le: 06 avril 2014 à 02:44:11 »
Dire que TH2 est un point majeur d'Internet je suis d'accord, dire que sa coupure entrainerait une coupure d'une bonne partie d'Internet en France c'est de la science fiction pour moi.

TH2 est un PoP réseau où se donnent rdv de très nombreux opérateurs pour s'interconnecter, mais s'il a l'avantage d'être le principal point commun de tous, il n'est pas le seul et rares sont les gens qui n'ont pas un backup par un autre site. Quelqu'un qui ne sécurise pas son réseau par un autre site ne me semble pas sérieux et tous les gens un peu sérieux ont forcèment au moins un 2eme site raccordé à différents opérateurs pour basculer.

De plus, peu d'hébergement serveur se fait sur ce site, donc les données sont en général ailleurs (Equinix, InterXion, Telecity) et TH2 n'est qu'un point d'interconnexion réseau pour avoir accès à des transits (une partie) et aux points d'échange (une partie). Donc avec une redondance normale, la coupure de TH2 entrainerait pas mal de reroutages certainement mais peu de coupures pour les opérateurs importants/sérieux. Surtout qu'il est plus facile de basculer automatiquement un réseau d'un site à un autre qu'une archi de serveurs (surtout les DB)

A mon avis perdre Equinix PA3 par exemple aurait plus d'impact visible sur Internet que TH2 au final.

Bref, pour moi le problème TH2 n'est qu'un problème économique (payer cher pour être sûr d'avoir un point où tous les autres sont présents systématiquement), car on peut trouver une majorité d'opérateurs connus sur les autres sites connus à Paris.

Le plus impactant par contre sur TH2 ce serait surement toutes les collectes, là où ça ferait mal.

Leon

  • Client SFR sur réseau Numericable
  • Modérateur
  • *
  • Messages: 6 166
Ptit coup de chaud à Telehouse 2
« Réponse #79 le: 06 avril 2014 à 07:41:31 »
Même si on ne connait pas tous les détails, je trouve ça bien que le technicien n'ait pas été licencié. TH2 reconnait sans doute ses torts également : procédure perfectible, remplissage du circuit de refroidissement trop lent.

Je suis vraiment surpris que on laisse 1 seul et unique technicien sur un site aussi sensible, et qui génère autant de chiffre d'affaire. La solitude dans une telle situation de crise, c'est une source de stress énorme! A deux, on se rassure, se surveille.

Il existe également des installations industrielles où les techniciens de garde sur place sont guidés par des experts à distance, qui eux recoivent également toutes les informations de monitoring. Je ne sais pas si c'est le cas pour TH2, mais ça aurait peut-être aidé le technicien pour éviter de paniquer.

Leon.

vivien

  • Administrateur
  • *
  • Messages: 47 888
    • Twitter LaFibre.info
Ptit coup de chaud à Telehouse 2
« Réponse #80 le: 06 avril 2014 à 07:51:47 »
La grande majorité des réseaux d'initiative public et des opérateurs alternatifs ne sont connectés que à TH2.

Une petite liste :
- Cœur Côte Fleurie (14)
- Le Jura (39)
- Grand Nancy (54)
- le SIVU (59)
- Europe Essonne (91)
- Seine-Essonne (91)
- Limeil-Brévannes (94)
et probablement de nombreux autre.

J'ai été étonné sur le fait que le Jura choisies une collecte unique sur TH2 alors qu'il a pris exemple sur son voisin l'Ain qui est lui interconnecté sur deux points (Lyon et Genève)

Maintenant tu prend France-IX TH2, tu perds 80% des membres ! (Google, Dailymotion, OVH, NeoTelecoms, Numericable, Colt, Limelight Networks, M6web...)
Voici la liste des membres de janvier 2013, la liste actuelle n'indique plus le site.
Ne pas oublier que France-IX et Equinix-IX ne sont interconnecté à Lyon-IX que par TH2 donc tu perd aussi les membres qui sont vu via Lyon-IX.


Membres de France-IX connecté à Iliad-vitry uniquement : 7 membres
Cusae   58308
DotSmart   52143
Fotolia   50032
Keyade   59689
Les Nouveaux Constructeurs (Lncsa)   49463
Lixium   39600
Octopuce   39389

Membres de France-IX connecté à Interxion 1 uniquement : 3 membres
AFNIC   2484
Witbe   15436
ZeOP Reunicable   37002

Membres de France-IX connecté à Interxion 2 uniquement : 5 membres
EDPnet   9031
EPT Luxembourg    6661
Hexatom   51269
Hurricane Electric   6939
Over-Link   48426

Membres de France-IX connecté à Interxion 5 uniquement : 10 membres
CDNetworks   36408
Integra   8723
Interxion France   34002
Microsoft   8075
Prodware   57928
Runiso   44099
Schneider Electric   31328
Waycom   30889
Akamai   20940

Membres de France-IX connecté à Telecity-Condorcet uniquement : 2 membres
Amazon   16509
Diademys   51754

Membres de France-IX connecté à Telecity-Courbevoie uniquement : 21 membres
1&1   8560
AS112   112
Alionis   34997
Belcenter   31449
BlueGIX   8565
Burstfire Networks   9153
CELESTE   34177
Clever Network   50796
DRI   6738
Emailvision   39905
Eurocenter   29639
Hivane Network   34019
Infoclip    24776
Lambdanet   13237
Le Figaro   43436
OpenCarrier   41692
Optilian   29246
Oxeva   39104
RMI   16347
Rentabiliweb Telecom   34913
TelecityGroup   15830

Membres de France-IX connecté à Telehouse-1 uniquement : 0 membre

Membres de France-IX connecté à Telehouse-2 uniquement : 80 membres
AFNIC   2486
ASDASD Srl   28929
Acropolis Telecom   29513
Adenis   51985
Airspeed Telecom Ltd   29644
Altitude Infrastructure Exploitation   49594
AtratoIP   5580
AvenirTelematique   35625
Axione   31167
BSO Network Solutions   31216
Belnet   2611
Bull PI   16128
Colt Technology Services   8220
Covage   44902
Criteo   44788
Dailymotion   41690
Digicube   196689
E4A   34695
EBSD   43573
Etisalat   8966
EuroWeb   35393
Evolink AD   8262
Facebook    32934
Goscomb Technologies   39326
Hexaglobe   31564
Hexanet   34863
Hotnet   12849
I3b   39912
IELO   29075
IP Directions   198111
ISC   30126
IX Reach   43531
Iguane Solutions   39605
Infosat Telecom   33835
IntermediaSud   20900
JasTel Network   45629
Keyyo   34659
L'odyssée interactive jeuxvideo.com   35717
Lasotel   39180
LeaseWeb   16265
Limelight Networks   22822
M6web   30972
Meanie   31019
Mediactive   197133
Mediamath   30419
Metrolink   8816
Naitways   57119
Numericable   21502
OVH   16276
OWS   39072
PCH   3856
PCH   42
PPR   15422
Phibee Telecom   8487
Ping Networks   47264
RENATER   2200
ReTN   9002
Risc Group   8399
Root   5577
SIG Telecom   20932
Serverel    50245
Skylogic   29286
Solutions Informatiques   50858
Splio   31688
Stella Telecom   16211
Telma    37054
Tetaneutral   197422
Top-IX DP   41364
Transatel   198335
Trunk Networks   49375
Typhon   34948
Veepee   34006
Wan2many   29608
Warwicknet   48961
WebEX   13445
Websense   44444
Widevoip   42456
Wifirst   52075
Google   15169
NeoTelecoms   8218

Membres de France-IX connecté à Telehouse-2 uniquement via Lyon-IX : 15 membres
AIC Network   47332
Accelance   16073
Adeli   43142
CCC Lyon   51458
Cirtil   48140
Dreamlead   198180
ELB Netissime   32274
Eolas   15401
Equation   41090
Francelink   197114
IPGarde   41765
IPLine   197036
KNet   24904
LDLC   12565
Silvernet   197337

Membres de France-IX connecté à plusieurs POP : 7 membres
Intrinsec   33930   Interxion-5 / Telecity-Condorcet
Intercloud   197981   Interxion-5 / Telecity-Courbevoie
Claranet   8426   Telehouse-1 / Telehouse-2
Jaguar Network   30781   Telehouse-2 / Interxion-2
SmartJog   43646   Telehouse-2 / Interxion-2
Bouygues Telecom   5410   Telehouse-2 / Interxion-2
Vodafone   3209   Telehouse-2 / Interxion-2


Maintenant l'autre GIX parisien, Equinix Internet Exchange Paris, n'est connecté que à TH2 hors des datacenter Equinix => La quasi-totalité des membres sont sur TH2

Nico

  • Modérateur
  • *
  • Messages: 44 512
  • FTTH 1000/500 sur Paris 15ème (75)
    • @_GaLaK_
Ptit coup de chaud à Telehouse 2
« Réponse #81 le: 06 avril 2014 à 08:18:19 »
Google est censé être présent aussi à Marseille sur le France-IX, tu n'as regardé que Paris ?

Nico

  • Modérateur
  • *
  • Messages: 44 512
  • FTTH 1000/500 sur Paris 15ème (75)
    • @_GaLaK_
Ptit coup de chaud à Telehouse 2
« Réponse #82 le: 06 avril 2014 à 08:19:24 »
A mon avis perdre Equinix PA3 par exemple aurait plus d'impact visible sur Internet que TH2 au final.
Autant je suis d'accord sur le fait que beaucoup sont présents sur 2 PoPs, autant je ne suis pas certain que tant de monde que ça ait de la capacité pour écouler le trafic proprement en perdant TH2. Si ça tombait on serait en mode dégradé pour moi.

Leon

  • Client SFR sur réseau Numericable
  • Modérateur
  • *
  • Messages: 6 166
Ptit coup de chaud à Telehouse 2
« Réponse #83 le: 06 avril 2014 à 08:35:58 »
Ne pas oublier que France-IX et Equinix-IX ne sont interconnecté à Lyon-IX que par TH2 donc tu perd aussi les membres qui sont vu via Lyon-IX.
C'est vrai, ça? Comment ça se fait? Comment un GIX sérieux peut-il ouvrir un site dont le raccordement avec le reste de son réseau n'est pas sécurisé?

Leon.