La Fibre
Hébergeurs et opérateurs pro / entreprises => Hébergeurs et opérateurs pro / entreprises => 
OVHcloud => Discussion démarrée par: Leon le 28 octobre 2016 à 23:03:58
-
Salut à tous.
On parle beaucoup du réseau d'Online, mais pas beaucoup du réseau d'OVH.
Voici 2 belles photos du POP de Newark, donc sur la côte est-américaine.
Je trouve ça vraiment beau, cette densité de ports 100Gbps, ces couleurs. Et puis, cette méthode d'OVH d'associer un systématiquement 1 routeur avec 1 switch, c'est assez élégant, ils doivent économiser de l'argent.
Mais il y a un truc qui me chiffonne.
On voit ici, en 3 baies seulement, le plus gros POP d'OVH aux US. Tout le trafic transatlantique interne à OVH passe par là (2 x 3 x 100Gbps).
La majorité du trafic issu du gros datacenter de Beauharnois passe également par ce point (2 x 4 x 100Gbps).
Ce POP n'est visiblement pas redondé géographiquement.
Est-ce que ça ne ressemble pas à un bon gros "Single Point of Failure" (=point de défaillance unique)?
Pour un réseau d'une telle ampleur, et d'une telle importance (on parle de 800Gbps bien remplis), ça me semble vraiment très très étonnant.
Si c'est bien le cas, c'est du jamais vu pour moi.
Imaginez la panique si cet unique POP tombe...
http://weathermap.ovh.net/#usa
Leon.
-
OVH a aussi un point de présence à Miami et à Chicago:
http://weathermap.ovh.net/#newark_newyork
http://weathermap.ovh.net/#miami
http://weathermap.ovh.net/#chicago
-
OVH a aussi un point de présence à Miami et à Chicago:
http://weathermap.ovh.net/#newark_newyork
http://weathermap.ovh.net/#miami
http://weathermap.ovh.net/#chicago
Oui, j'ai bien conscience de ça.
Sauf que si le POP de Newark tombe, ça se passera à priori très mal:
* le POP de Chicago a une capacité très inférieure à celui de Newark, et ne pourrait pas reprendre le trafic
* le trafic depuis Beauharnois vers le POP de Miami passe visiblement par... le POP de Newark! (à moins que ça ait changé)
Newark, c'est visiblement LE point central d'OVH aux US, il est le plus proche de Beauharnois. Et cout ça concentré en seulement 3 petites baies...
Leon.
-
C'est vrai que c'est pas très fiable cette histoire...
Après si je dis pas de bêtises, je crois qu'OVH a des liens avec certains opérateurs américains a Beauharnois.
-
Bonjour,
Pour le réseau OVH, il est en cours d'upgrade vers un peu partout, donc çà sera probablement mieux redonder d'ici peu.
Après, est-ce grave si les liens transatlantiques tombent tous ? (les serveurs Europe perdent les PNIs Nord Américain et inversement ) mais est-ce très grave ? tant que çà passe de manière satisfaisante par d'autres transitaires ?
le réseau se comportent peut être très bien en 2 réseaux isolés.
Pour la liaison BHS => NWK il me semble qu'elle est déjà tombé plusieurs fois à cause de travaux / sabotages sur la fibre les reliant et qu'au final çà s'écouler quand même correctement via les autres liens. (c'était un point faible il y a 1.5 ans, ils devaient travailler dessus, je suppose donc que çà va mieux.)
OVH est toujours "limite" sur ce sujet là.
Je me souviens d'un mercredi de début des soldes où 1 des 2 liens RBX <=> Paris avait été coupé par une pelleteuse, il y avait de nombreuses pertes de paquets un 1er jour des soldes ... (et en pleine soirée). http://travaux.ovh.net/?do=details&id=7874
-
le réseau se comportent peut être très bien en 2 réseaux isolés.
Ooooooh que non. le réseau Americain est trop souvent employé, même.
-
Pour le réseau OVH, il est en cours d'upgrade vers un peu partout, donc çà sera probablement mieux redonder d'ici peu.
Tu veux dire que c'est une constante chez OVH : c'est en cours de résolution / d'upgrade / ça ira mieux demain / on travaille sur le sujet / c'est encore une beta, ça sera stable dans 1 mois / promis on va résoudre les problèmes d'hubic une fois pour toutes...
Qui a dit "Demain on rase gratis"?
Désolé pour le troll... :-[
Leon.
-
Newark n'est pas un POP... c'est une vile :)
http://www.datacentermap.com/usa/new-jersey/newark/
Vu les peering, je parie que nwk-1-n7 est chez Level3 et nwk-5-n7 est à Equinix.
Les liaisons nwk-1-n7 <-> ldn-1-n7 et nwk-5-n7 <-> ldn-5-n7 sont donc très certainement sur des chemins différents.
Donc pas de SPOF, enfin s'il y en a un, il ne saute pas aux yeux :)
-
Newark n'est pas un POP... c'est une vile :)
Vu les peering, je parie que nwk-1-n7 est chez Level3 et nwk-5-n7 est à Equinix.
Les liaisons nwk-1-n7 <-> ldn-1-n7 et nwk-5-n7 <-> ldn-5-n7 sont donc très certainement sur des chemins différents.
BadMax, regarde les photos!
Les 2 Nexus 7000 sont dans 2 baies à côté l'une de l'autre.
Il n'y a aucun doute là dessus: on voit bien 2 Nexus 7xxx, avec un gros nombre de ports 100G et 10G. Le nombre de ports utilisés coïncide parfaitement avec la Weathermap.
Et on voit les copains ASR 9004 juste au dessus avec leurs 16 ports 100G chacun. Aucun doute, ça coïncide parfaitement avec la Weathermap.
Donc clairement, je suis persuadé qu'OVH n'a qu'un seul POP à Newark!
Si la Weathermap est à jour, c'est clairement un bon gros SPOF!
Le genre de truc qui ne devrait pas exister. Et si ça existe, pourquoi le montrer en public?
Les 2 photos sont très récentes, postées par Octave il y a quelques jours.
Leon.
-
Ca ne veut rien dire, les deux n7 que tu vois doivent être en VPC (liens agrégés inter-chassis) -> la vue weathermap est certainement une vue de synthèse des 2 chassis. Le routage est de toutes façons porté par les ASR, on voit les 100G en MPO24 (cables violets) partir des deux côtés. Certains vont jusque sur les chassis optiques Cisco tout à gauche. Les ASR sont configurés en 2x 100G mais impossible de voir si les cables sont croisés vers un seul N7 ou 2. Bref, difficile de retrouver la photo sur la WM.
D'après peeringdb c'est sûr qu'on parle au moins d'Equinix: https://www.peeringdb.com/fac/9
-> Il y manque Cogent.
Les autres DC sont incomplets donc impossible de savoir si ça colle avec Level 3.
-
La weathermap est soit incomplète, soit pas à jour. Depuis mon VPS à Strasbourg, je passe par BHS pour arriver à Equinix New York sans passer par Newark:
admin@vps-sbg:~$ mtr -rwc 10 198.32.118.106
Start: Sat Oct 29 20:28:55 2016
HOST: vps-sbg Loss% Snt Last Avg Best Wrst StDev
1.|-- 1.ip-167-114-224.eu 0.0% 10 0.1 0.1 0.1 0.2 0.0
2.|-- 222.ip-92-222-54.eu 0.0% 10 0.2 0.2 0.2 0.3 0.0
3.|-- sbg-z2b5-a70.fr.eu 0.0% 10 0.3 0.3 0.2 0.7 0.0
4.|-- po105.sbg-z2g1-a75.fr.eu 0.0% 10 0.3 0.3 0.3 0.5 0.0
5.|-- 10.21.57.19 0.0% 10 0.3 0.3 0.3 0.4 0.0
6.|-- vl1309.bhs-g2-a75.qc.ca 0.0% 10 89.9 90.0 89.9 90.0 0.0
7.|-- be100-1279.chi-5-a9.il.us 0.0% 10 111.8 111.8 111.7 112.2 0.0
8.|-- be10-1313.bhs-g2-a9.qc.ca 0.0% 10 115.7 111.0 109.2 115.7 2.1
9.|-- eqx.ny.ovh.net 0.0% 10 109.5 109.7 109.4 109.8 0.0
-
Ca ne veut rien dire, les deux n7 que tu vois doivent être en VPC (liens agrégés inter-chassis) -> la vue weathermap est certainement une vue de synthèse des 2 chassis. Le routage est de toutes façons porté par les ASR, on voit les 100G en MPO24 (cables violets) partir des deux côtés. Certains vont jusque sur les chassis optiques Cisco tout à gauche. Les ASR sont configurés en 2x 100G mais impossible de voir si les cables sont croisés vers un seul N7 ou 2. Bref, difficile de retrouver la photo sur la WM.
Je ne te comprends pas du tout.
Je précise une nouvelle fois : le nombre de ports que l'on voit sur les 4 chassis (les 2 Nexus 7xxx et les 2 ASR 9000) est totalement cohérent avec la weathermap. On arrive très bien à compter le nombre de liens 100G entre chassis (les violets) et les liens 100G distants (les jaunes). Et tout ça est très cohérent, pour chacun des 4 chassis, avec la weathermap.
Il n'y a que 4 grosses machines à Newark, et elles apparaissent à la fois sur la weathermap, et sur les 2 baies des photos.
Comment peux-tu imaginer qu'il y a un 2ieme POP à Newark??
De mon côté, je persiste à penser qu'il y a un SPOF sur le réseau d'OVH est-Américain.
Qui oserai demander une explication à Octave pour en avoir le coeur net?? ::)
Leon.
-
La weathermap est soit incomplète, soit pas à jour. Depuis mon VPS à Strasbourg, je passe par BHS pour arriver à Equinix New York sans passer par Newark
Ou alors tu passe juste en L2/tunnel/MPLS/truc ? Pour moi, OVH n'a que 600Gb/s entre ldn et les us.
-
@Leon
Explique-moi les MPO24 sur les chassis optiques à gauche ? Du local ? certainement pas.
On en voit aussi remonter tout à droite et re-descendre par le rack en haut à gauche.
@Hugues
Ca n'a aucun sens ce que tu dis. On remplirait BHS<->NY juste pour faire un aller-retour pour rien.
-
Traceroute depuis Strasbourg vers une @IP dans le NJ -> on passe en direct par NW sans passer par BHS.
admin@vps-sbg:~$ mtr -rwc 10 209.222.18.222
Start: Sat Oct 29 20:51:15 2016
HOST: vps-sbg Loss% Snt Last Avg Best Wrst StDev
1.|-- 1.ip-167-114-224.eu 0.0% 10 0.3 0.2 0.1 0.4 0.0
2.|-- 222.ip-92-222-54.eu 0.0% 10 0.2 0.2 0.2 0.3 0.0
3.|-- sbg-z2b5-a70.fr.eu 0.0% 10 0.4 0.3 0.3 0.4 0.0
4.|-- po105.sbg-z2g2-a75.fr.eu 0.0% 10 0.3 0.3 0.3 0.4 0.0
5.|-- be1-121.sbg-g2-a9.fr.eu 0.0% 10 0.7 0.9 0.7 1.1 0.0
6.|-- be100-1171.fra-5-a9.de.eu 0.0% 10 3.7 3.5 3.2 3.7 0.0
7.|-- be10-1120.rbx-g2-a9.fr.eu 0.0% 10 16.3 17.6 15.0 37.4 6.9
8.|-- be100-1188.ldn-5-a9.uk.eu 0.0% 10 18.9 18.7 18.4 19.9 0.3
9.|-- be100-1298.nwk-5-a9.nj.us 0.0% 10 88.0 88.2 88.0 88.5 0.0
10.|-- ??? 100.0 10 0.0 0.0 0.0 0.0 0.0
11.|-- po6.nyk-5-6k.ny.us 0.0% 10 87.5 126.2 87.5 302.2 78.0
12.|-- nyiix.gi3-6.cr1.nyc1.choopa.net 0.0% 10 95.1 90.4 87.2 97.7 4.3
13.|-- vl50-br1.pnj1.choopa.net 0.0% 10 92.9 91.3 87.3 97.6 3.9
14.|-- ethernet1-2-1-c10-11-b4-1.pnj1.choopa.net 0.0% 10 87.8 88.8 87.7 97.7 3.1
15.|-- resolver1.privateinternetaccess.com 10.0% 10 87.3 87.3 87.2 87.4 0.0
-
@Leon
Explique-moi les MPO24 sur les chassis optiques à gauche ? Du local ? certainement pas.
OK, je me suis trompé sur ce point, mais ça reste cohérent.
Ce sont des liens distants, certainement vers Beauharnois ou autre.
Je compte 8x MPO24 sur la baie "transport optique".
En regardant de plus près, je compte 24 x MPO24 sur le chassis Nexus 7000 en gros plan de la 2ieme photo. Donc 20 pour les connexions locales (avec l'autre Nexus 7000 et l'ASR9000), et 4 pour le transport optique longue distance. Ca colle encore une fois avec la Weathermap.
Le reste des ports 100G (jaunes) doit aller vers d'autres opérateurs, y compris pour du "transport longue distance".
Encore une fois, ça reste très cohérent. 4 chassis sur la weathermap et sur la photo qui correspondent parfaitement. Comment peux-tu imaginer autre chose?
On a toujours selon moi le SPOF à Newark...
Pose la question à Octave, si tu veux...
Dans le suivi des travaux de la mise à jour du POP de Newark, il y a 1 semaine, c'est indiqué
Les ports sont bougés, la weathermap est à jour. Nous avons désormais une capacité de 3,2Tbps de routage sur le POP de Newark
http://travaux.ovh.net/?do=details&id=20853
3.2Tbps, c'est exactement les 2 x 16 x 100Gbps que l'on voit sur les 2 ASR9000. Et ce compte rendu parle bien d'un seul et unique POP!
Toutes ces informations coïncident parfaitement.
Leon.
-
Ooooooh que non. le réseau Americain est trop souvent employé, même.
Pour accéder aux sites américains ?
Vu la capacité des transitaires en Europe ovh doit pouvoir tout pousser par level 3 cogent et etc.. Ca ne sera plus direct (OVH- réseau américain des hebergeurs) mais via des transitaires.
-
Pour accéder en asie par exemple. Et ça défonce le ping.
-
Europe Asie passe par Marseille maintenant il me semble.
Après oui une coupure transatlantique réduirait la qualité du réseau mais bon la majorité du réseau resterait très correct.. Surtout comparé aux autres hebergeurs européens qui n'ont pas forcèment un réseau aussi étendu de part le monde.
-
Alors ça dépend des dests mais j'ai des routes retour par Telia aux US.
Je suis entrain de faire une synthèse pour le boulot, je parsagerai p-e ça si ça intéresse du monde :)
-
çà a été annoncé au OVH summit (vers le 10-15 Octobre) de ce que j'ai vu sur le net. (le réseau OVH fait le tour de hémisphère nord depuis l'activation de Marseille <=> Singapour )
Donc peut être que ce n'est pas encore officiellement en service. Ils doivent aussi proposer des serveurs là bas, mais ce n'est peut être pas encore fait.
Je n'ai pas suivi çà d'assez près.
-
On voit ici le lien mis en service.
http://rbx.smokeping.ovh.net/smokeping?target=OVH.DCs.SGP
Par contre ce qui est dommage c'est que l'on ait pas le traceroute/ping avant la mise en service de ce lien..
-
Voir également les cartes publiées par Octave sur Twitter.
On voit toujours que Newark est le point central du réseau d'OVH aux US sur la côte EST. Et vu qu'il n'est pas redondé (contrairement à Paris par exemple avec TH2 et GlobalSwitch), ça me semble très couillu.
Leon.
-
d'après la carte on dirait qu'il y a un POP à whashington non ? (que l'on ne retrouve pas sur la weahthermap)
Je ne pense pas que toute la weathermap soit à jour ...
Si l'on regarde miami depuis le backbone USA : http://weathermap.ovh.net/#usa çà semble venir de Chicago et Ashburn.
Si l'on regarde le Zoom, çà vient de Newark ... http://weathermap.ovh.net/#miami
-
d'après la carte on dirait qu'il y a un POP à whashington non ? (que l'on ne retrouve pas sur la weahthermap)
Oui, c'est le POP d'Ashburn, dans la banlieue proche de Washington, à 10km seulement de Washington.
Beaucoup de datacenters se regroupent là apparemment. Un peu comme Aubervilliers pour Paris.
Et le POP d'Ashburn apparait clairement sur la weathermap.
Leon.
-
L'importance (sans doute vitale) de ce POP non redondé se confirme en regardant la nouvelle carte sur la page suivante.
Regardez tout ce qui converge vers l'unique POP de Newark...
C'est 800Gbps bien remplis en provenance de Beauharnois. Le 2ieme POP d'OVH aux US (Cicago) a 2 fois moins de capacité depuis Beauharnois.
Sur les 900Gbps de liaisons transatlantiques, 600Gbps passent par cet unique POP, ces 3 petites baies.
Les interconnexions "locales" de Beauharnois se font à Montreal, avec une capacité ridiculement faible par rapport à Newark.
Imaginez ce que ça donnerai si ces 3 petites baies non redondées venaient à défaillir... Une panne de clim ou une coupure totale d'alim par exemple.
De même, j'espère que le chemin Beauharnois-Newark est redondé, contrairement à ce qu'indique la carte. Car aucun autre chemin ne permet de reprendre le trafic qui emprunte aujourd'hui les 800Gbps bien remplis aux heures de pointe.
https://www.ovh.com/fr/discover/
Leon.
-
Donc clairement, je suis persuadé qu'OVH n'a qu'un seul POP à Newark!
D'ailleurs, connait-on la localisation précise du POP ?
Le DECIX-NYC est présent dans pas mal de batiments de New-York, mais également à Newark, c'est assez dingue. Donc avoir une FON entre 2 buildings pour redonder ça doit pas casser 3 pattes à un canard pour OVH.
-
Equinix Ashburn, après lequel, aucune idée.
-
Equinix Ashburn, après lequel, aucune idée.
Hugues, essayes de suivre, stp... ;)
On ne parle pas du POP d'Ashburn (banlieue de Washington), mais du POP de Newark (à 10km de New York).
Si le POP OVH de Newark est bien localisé dans Equinix Newark, alors c'est ici.
Admirez le nombre d'équipements sur le toit. Je compte une douzaine de groupes électrogènes, tout ça sur un bâtiment de belle taille.
https://www.google.fr/maps/@40.7338731,-74.1738089,400a,20y,41.62t/data=!3m1!1e3
Leon.
-
Oula oui, en effet, je suis totalement à coté de la plaque.. :-[
-
Et voici la photo d'Equinix Newark que je voulais poster hier soir.
Je me suis trompé en comptant les groupes électrogènes, il y en a une vingtaine.
(https://lafibre.info/images/datacenter/201611_datacenter_equinix_newark.jpg)
En fait, le datacenter est énorme, et n'appartient pas qu'à Equinix. Voir toute la doc ici:
http://www.165halsey.com/
On parle de 100 000m² (sans doute infrastructures comprises), 80MW. Bref, c'est du lourd!
C'est 7000m² x 8 étages + 3000m² x 6 étages
Leon.
-
C'est un bâtiment qui été construit spécifiquement pour ça, non ?
C'est énorme le poids de ce qui a été rajouté sur le toit.
Un effondrement d'un bâtiment à cause d'une sur-charge, c'est possible :
https://www.youtube.com/watch?v=qCPq6XPFAag
-
Non, ça n'est pas un bâtiment conçu pour ça. C'est un vieux bâtiment qui date de plus d'un siècle, créé en 1912!
C'était un bâtiment qui hébergeait visiblement un (très) grand magasins, et tous les bureaux et la logistique associée.
https://en.wikipedia.org/wiki/Bamberger%27s
http://www.thedepartmentstoremuseum.org/2010/09/l-bamberger-co-newark-new-jersey.html
http://www.165halsey.com/company/history/
Mais je pense qu'ils savent ce qu'ils font. C'est un bâtiment américain qui ne fait pas dans la dentelle.
Donc je n'ai aucune inquiétude sur la solidité.
Ils ont forcèment réalisés de sérieuses études pour sa reconversion en datacenter.
Leon.
-
Il y a pas mal de bâtiments américains du même genre, des années 20/30, convertis au moins partiellement en datacenters (et dans le même ordre de taille, tous avec plusieurs hébergeurs dedans), par exemple:
- Chicago: 350 East Cermak, une ancienne imprimerie https://www.digitalrealty.com/data-centers/chicago/#goto-585 (https://www.digitalrealty.com/data-centers/chicago/#goto-585) , http://www.datacenterknowledge.com/special-report-the-worlds-largest-data-centers/worlds-largest-data-center-350-e-cermak/ (http://www.datacenterknowledge.com/special-report-the-worlds-largest-data-centers/worlds-largest-data-center-350-e-cermak/)
- NYC: 111 8th Avenue (ancien siège de la Port Authority of New York, bâtiment racheté par Google il y a quelques années) http://cromwell-intl.com/travel/usa/new-york-internet/#eighth (http://cromwell-intl.com/travel/usa/new-york-internet/#eighth) , https://en.wikipedia.org/wiki/111_Eighth_Avenue
- NYC: 60 Hudson Street, ancien siège de Western Union https://en.wikipedia.org/wiki/60_Hudson_Street (https://en.wikipedia.org/wiki/60_Hudson_Street)
Quelques infos par ici aussi:
http://www.datacenterknowledge.com/special-report-the-worlds-largest-data-centers/largest-data-centers-worthy-contenders/ (http://www.datacenterknowledge.com/special-report-the-worlds-largest-data-centers/largest-data-centers-worthy-contenders/)
http://www.datacenterknowledge.com/special-report-the-worlds-largest-data-centers/
(http://www.datacenterknowledge.com/special-report-the-worlds-largest-data-centers/)
Et une visite guidée des bâtiments telco les plus connus à Manhattan http://cromwell-intl.com/travel/usa/new-york-internet/ (http://cromwell-intl.com/travel/usa/new-york-internet/)
-
Merci Symbol!
Je n'avais pas conscience qu'il y avait autant de très gros datacenters de colocation aux US. C'est vraiment le gigantisme américain. On investit grandement, on sur-dimensionne, on ne fait pas dans la dentelle.
Au moins, il ne doit pas y avoir de limitation de la "croissance internet" par une limitation de la place disponible (contrairement à la France), vu qu'il reste encore des surfaces inexploitées dans ces très gros datacenters. Il doit être possible d'acheter de la surface informatique avec une excellente connectivité, dans des délais très très courts.
Et ça fait des datacenters qui durent plus longtemps à priori. 165 Halsey a ouvert (en tant que Datacenter) en l'an 2000, dans les années folles des télécom et d'Internet, peu avant l'éclatement de la bulle des télécoms. 16 ans de vie pour un datacenter qui a encore la capacité de croitre, c'est très bien.
Nous n'avons, à ma connaissance, aucun équivalent en Europe. Les plus gros datacenters de co-location en Europe font 20 000m².
Telehouse 2 parait d'un seul coup ridiculement petit avec ses 7 000m² de surface informatique (à comparer aux 80 000m² du seul datacenter 165 Halsey).
En Europe, on fait plutôt les choses "au juste nécessaire", donc l'état d'esprit est très différent.
Au final, difficile de dire quelle est la meilleure stratégie.
Je n'ai aucun élèment de comparaison du prix de la colocation entre un datacenter européen et un datacenter américain.
Leon.
-
Nous n'avons, à ma connaissance, aucun équivalent en Europe.
Il me semble que Telehouse North à ouvert à Londres en 1990 et est toujours en activité.
-
Il me semble que Telehouse North à ouvert à Londres en 1990 et est toujours en activité.
Oui, tu as raison pour l'ancienneté de certains datacenters européens.
Mais je parlais surtout pour la taille : Telehouse London North, c'est 1000 10 000 m² de surface informatique, c'est tout petit. A comparer aux 80 000m² de 165 Halsey à Newark.
A ma connaissance, nous n'avons aucun datacenter de colocation qui s'approche d'une telle taille, en Europe.
Et comme ce datacenter de colocation gigantesque n'est pas un cas isolé aux US, comme nous l'a montré Symbol, ça veut bien dire qu'il y a une différence de stratégie entre Europe et US sur le marché des datacenters.
En cadeau Bonux, le "plan d'occupation" de 165 Halsey. Pour rappel sur les ordres de grandeur des surfaces : 1m² ~= 10 sq_feet
http://www.165halsey.com/building-information/stacking-plan/
Oui, chacun des 7 premiers étage est aussi grand qu'Iliad DC3.
Leon.
-
Oui, tu as raison pour l'ancienneté de certains datacenters européens.
Mais je parlais surtout pour la taille : Telehouse London North, c'est 1000 m² de surface informatique, c'est tout petit. A comparer aux 80 000m² de 165 Halsey à Newark.
Un peu moins de 10000 m² en fait, pour TH North.
Ceci-dit il y a quelques différences: ces bâtiments énormes aux US contiennent plusieurs DC (gérés par plusieurs hébergeurs différents, donc), et c'est de la récupération, les bâtiments existaient avant leur conversion. Sinon bien entendu il y a les besoins et la clientèle, qui sont plus importants aux US qu'en Europe.
Il faut préciser la différence entre l'espace "informatique" et la surface totale, qui sont évidemment différents. Par exemple à 165 Halsey Street, Equinix au 8e étage (Equinix NY1) occupe 46400 sf (environ 4300 m², et ça n'inclut pas la surface sur le toit et les terrasses), mais il n'y a qu'un peu moins de 22000 sf en salle informatique (ce qui est déjà gros d'ailleurs: 2000 m²), si on en croit http://cloudandcolocation.com/datacenters/equinix-new-york-newark-data-center-ny1/ (http://cloudandcolocation.com/datacenters/equinix-new-york-newark-data-center-ny1/) .
Si on regarde les 4 bâtiments (côte à côte, et construits pour cet usage) de Telehouse Docklands à Londres, ça ferait environ 28000 m² au total de salle informatique en prenant les valeurs de http://www.telehouse.net/london-data-centres (http://www.telehouse.net/london-data-centres) pour une surface de bâtiment bien plus importante (environ 73000 m² si j'en crois http://www.telehouse.net/about-us/news/kddi-to-invests-a-further-%C2%A3135m-into-telehouse%E2%80%99s-l (http://www.telehouse.net/about-us/news/kddi-to-invests-a-further-%C2%A3135m-into-telehouse%E2%80%99s-l)).
Mais ce sont 4 bâtiments principaux construits au fur et à mesure (et d'autres annexes) sur un campus plutôt qu'un gros immeuble énorme.
Et ça reste loin des monstres américains :)
Autre exemple à Chicago: Equinix CH1/CH2/CH4, tous dans 350E Cermak (qui fait 1,2M de sqf, 111000 m²), occupent 300000 sqf (28000 m²) et proposent 129000 sqf (12000 m²) d'hébergement (https://baxtel.com/sites/equinix-chicago-ch1-ch2-ch4 (https://baxtel.com/sites/equinix-chicago-ch1-ch2-ch4)).
-
Un peu moins de 10000 m² en fait, pour TH North.
Oups, je me suis emmêlé les pinceaux avec les m² est sq_feet... Merci de m'avoir corrigé. Je corrige dans le post d'en haut.
Leon.
-
Pour TH3 la doc parle de 66.000 m² tout de même. A voir ce qu'ils comptent dedans bien sur (la course au plus gros chiffres semblant être la norme).
-
Pour TH3 la doc parle de 66.000 m² tout de même. A voir ce qu'ils comptent dedans bien sur (la course au plus gros chiffres semblant être la norme).
TH3 on sait que c'est de la récup (site militaire puis EADS), donc ils ont pris ce qu'il y avait, mais ils n'ont ouvert qu'une tranche (120 à 150 dam² selon les sources) pour 40 dam² de surface utile (selon http://www.telehouse.fr/a-propos-de-telehouse/communiques-de-presse/en-2014,-telehouse-celebre-les-5-ans-de-son-datacenter-yvelinois (http://www.telehouse.fr/a-propos-de-telehouse/communiques-de-presse/en-2014,-telehouse-celebre-les-5-ans-de-son-datacenter-yvelinois)).
-
Ah oui, bien vu.
-
Oui, c'est bien ça, sur TH3, on a
* 60 000m² de terrain (mais ça on s'en fout un peu)
* 15 000m² de locaux
* 12 000m² de surface informatique potentielle
* 4 000m² de surface informatique actuellement ouverte
Du coup, entre les 60 000m² de la brochure et les 4000m² actuellement ouverts, il y a un gouffre!
On croirait comparer les chiffres du nombre de manifestants selon la police et selon les organisateurs...
Téléhouse met en avant les 60 000m² de terrain pour dire : "regardez, on peut agrandir, on a du terrain", si jamais l'activité le demande. Du coup, ça pourrait devenir un vrai campus. Mais on n'en est pas là. Peut-être dans 10 ans?
Leon.
-
Il faudrait aussi voir l'occupation réelle de la surface informatique disponible actuellement parce que bon à ce qui se dit TH3 n'attire pas forcèment beaucoup les foules.
-
C'est sur, après ça peut aussi être des clients qui prennent un peu plus que 3-4 baies comme à TH2 (j'en ai au moins un en tête qui a un paquet de baies).
-
Téléhouse met en avant les 60 000m² de terrain pour dire : "regardez, on peut agrandir, on a du terrain", si jamais l'activité le demande. Du coup, ça pourrait devenir un vrai campus. Mais on n'en est pas là. Peut-être dans 10 ans?
Tant qu'il y aura des nouveaux DCs proches de Paris qui ouvriront, on peut penser que TH3 restera peu fréquenté.
Dans 10 ans ils ouvriront peut-être quelques milliers de m² en plus, ou bien d'ici là ils auront ouvert un TH4 bien plus proche de Paris.
-
En Europe pour nos DCs ont dit "C'est pas la taille qui compte" ; mais dans le marché global des DCs ça joue a "celui qui a la plus grosse"... superficie :-)
-
Vrai, ou la taille de bite est proportionnelle au nombre de DC ;)
Quitte à numéroter les DC à la même adresse au fur et à mesure de chaque extensions ;)
-
Roh, c'est bas ::)
-
Vrai, ou la taille de bite est proportionnelle au nombre de DC ;)
Quitte à numéroter les DC à la même adresse au fur et à mesure de chaque extensions ;)
Même si je suis parfaitement d'accord avec toi sur la pratique d'OVH... (https://www.ovh.com/fr/apropos/datacentres.xml)
Je ne trouve ça vraiment pas terrible de poster de telles attaques vers un concurrent, en plus dans la section du concurrent sur le forum.
Il faudra qu'on réfléchisse sérieusement à mettre une règle interdisant ce genre de pratique dans notre charte (https://lafibre.info/forum/charte/). On a déjà vu quelques dérapages.
Leon.
-
Leon, heureusement que tu fais pas de politique aux USA ;)
je trouve la remarque légitime dans la mesure où ce sont des chiffres repris partout dans la com' d'ovh et ils ne sont pas exacts !
-
Même si je suis parfaitement d'accord avec toi sur la pratique d'OVH... (https://www.ovh.com/fr/apropos/datacentres.xml)
Je ne trouve ça vraiment pas terrible de poster de telles attaques vers un concurrent, en plus dans la section du concurrent sur le forum.
Il faudra qu'on réfléchisse sérieusement à mettre une règle interdisant ce genre de pratique dans notre charte (https://lafibre.info/forum/charte/). On a déjà vu quelques dérapages.
Leon.
Des déparages ? NOONN? Jamais entendu parler... (https://lafibre.info/comcable/enfin-un-operateur-au-top/)
-
Visiblement, OVH utilise la même architecture sur un seul et unique POP à Londres.
Les équipements sont redondés, mais tout est dans le même datacenter, dans la même salle.
Tout tient dans 3 ou 4 baies voisines les unes des autres.
J'appelle ça encore une fois un Single Point of Failure.
C'est vraiment couillu, et ça ne me rassure pas du tout. Quel est l'intérêt de faire des économies sur une partie aussi importante du réseau? Franchement?
Même des réseaux beaucoup plus petits arrivent à avoir de la redondance d'interconnexion sur plusieurs lieux.
Est-ce qu'ils comptent sur les transitaires internationaux pour reprendre le trafic depuis un autre POP, si jamais un très gros POP (Londres ou Newark) tombe? Si c'est le cas, ça ne sera pas sans impact client, on est bien d'accord, vu la capacité du réseau d'OVH par rapport à l'utilisation réelle.
https://twitter.com/olesovhcom/status/807132345644044288
Leon.
-
En même temps tu pourrais dire que Online a un Single Point of Failure, avec tout son réseau sur DC3 (dans deux salles différentes, mais on a tous déjà vu des datacenter avoir des pannes complètes d'énergie ou de clim ce qui revient au même si les équipes ne rétablissement pas rapidement la situation)
Exemple de communication de Ikoula quand ils étaient client Redbus :
- Le bâtiement fonctionne sur deux générateurs (le 3e est apparement cassé)
- Les onduleurs sont vides
- Le dijoncteur principal (EDF) est cassé, rendant la bascule sur le courant EDF impossible
- Une bascule sur le courant EDF engendrera une nouvelle coupure
- La situation est extrêment instable
Fukushima est là pour nous rappeler que la sécurité à 100% n’existe pas. Fukushima a résisté au tremblement de terre, mais le tsunami a noyé les installations électriques rendant impossible le refroidissement du combustible.
(https://lafibre.info/images/datacenter/200603_redbus_humour1.jpg)
-
(https://lafibre.info/images/datacenter/200603_redbus_humour1.jpg)
Il suffisait d'y penser, ouvrir un datacenter à côté d'une salle de fitness, afin que tous ceux qui pédalent,ne pédalent pas en vain,et puissent alimenter le datacenter. :-)
-
En même temps tu pourrais dire que Online a un Single Point of Failure, avec tout son réseau sur DC3 (dans deux salles différentes, mais on a tous déjà vu des datacenter avoir des pannes complètes d'énergie ou de clim ce qui revient au même si les équipes ne rétablissement pas rapidement la situation)
Vivien, il faut bien comprendre la situation d'Online. Elle est très différente de la situation d'OVH.
Le réseau d'Online ne sert quasiment qu'à desservir le datacenter 3 d'Online (et le 2 aussi je te l'accorde). Du coup, si tout DC3 d'Online tombe, la majorité des "clients" de ce réseau est déjà dans le noir...
Chez OVH, la situation est très différente. On 2 gros datacenters (Gravelines et Roubaix) reliés par de tout petits POPs (quelques baies) au reste du monde.
De plus, comme tu l'as dit, les équipements de coeur de réseau d'Online sont répartis dans 2 salles différentes de DC3. Donc c'est quand même mieux redondé qu'OVH où tout est dans la même salle à Londres et Newark.
Leon.
-
Je déterre ce topic.
4 ans après, la situation ne semble pas avoir changée d'un iota.
Les routeurs et switches d'OVH Newark sont toujours les mêmes si on regarde la weathermap. OVH a toujours 1 seul et unique POP à Newark (voir peeringDB). A priori tout dans 1 seule et unique salle (celle d'Equinix Newark).
Ce POP est archi central dans le réseau d'OVH USA
* plus de 75% de la capacité de transport USA-France d'OVH : 1.4Tb/s atterrissent à Newark, et seulement 400Gb/s à Ashburn.
* la majorité du trafic issu de Beauharnois (de très loin le plus gros datacenter d'OVH en Amérique) s'écoule via ce POP. OVH a 2Tb/s entre Beauharnois et Newark, et ils sont bien remplis (+ de 50%) aux heures de pointe.
Imaginez, une panne de clim, un incendie, ou un autre incident dans cette salle... Le réseau d'OVH en souffrirait grandement, c'est évident.
Pour moi, OVH n'a toujours pas la culture "haute disponibilité". C'est assez incompréhensible vu la taille et l'importance de ce réseau.
http://weathermap.ovh.net/#usa
https://www.peeringdb.com/net/1264
Leon.
-
Je déterre ce topic.
4 ans après, la situation ne semble pas avoir changée d'un iota.
Les routeurs et switches d'OVH Newark sont toujours les mêmes si on regarde la weathermap. OVH a toujours 1 seul et unique POP à Newark (voir peeringDB). A priori tout dans 1 seule et unique salle (celle d'Equinix Newark).
Ce POP est archi central dans le réseau d'OVH USA
* plus de 75% de la capacité de transport USA-France d'OVH : 1.4Tb/s atterrissent à Newark, et seulement 400Gb/s à Ashburn.
* la majorité du trafic issu de Beauharnois (de très loin le plus gros datacenter d'OVH en Amérique) s'écoule via ce POP. OVH a 2Tb/s entre Beauharnois et Newark, et ils sont bien remplis (+ de 50%) aux heures de pointe.
Imaginez, une panne de clim, un incendie, ou un autre incident dans cette salle... Le réseau d'OVH en souffrirait grandement, c'est évident.
Pour moi, OVH n'a toujours pas la culture "haute disponibilité". C'est assez incompréhensible vu la taille et l'importance de ce réseau.
http://weathermap.ovh.net/#usa
https://www.peeringdb.com/net/1264
Leon.
ca sert à rien, en 4 ans aucun soucis o: o: o:
-
En cas de panne d'un POP OVH, pourquoi le trafic ne pourrait pas passer par les opérateurs de transit d'OVH ?
Sur chaque POP, OVH est relié au moins à Cogent et Level3, non ?
Les tuyaux ne sont pas assez gros ?
Typiquement, si le POP de Newark tombe, à priori BHS ne sera pas très bien, mais ça ne devrait pas empêcher les serveurs Européens de joindre des clients Américains, dans le pire des cas par des opérateurs de transit ?
Le service serait ralentie, mais de toute façon si un POP comme Newark tombe totalement pendant plusieurs heures, OVH ne serait pas le seul impacté...
-
Oui c'est possible sans souci.
Par contre le réseau d'OVH serait "split brain" et si les annonces ne sont pas bien régionalisées, les IP Européennes pourraient continuer d'être annoncées aux US et le trafic serait blackholé.
Mais si c'est bien fait, aucun souci (hormis la communication entre clients OVH, mais a la rigueur c'est pas le pire)