Auteur Sujet: Les data centers de Googles  (Lu 180174 fois)

0 Membres et 1 Invité sur ce sujet

ruchard5

  • Expert
  • Abonné Free adsl
  • *
  • Messages: 116
    • Le blog du Ruchard
Les data centers de Googles
« Réponse #60 le: 04 juin 2013 à 22:24:13 »
Tiens ils ont du Sun pour le robot de sauvegarde. Doit y en avoir d'autres car il me parait bien "petit" vu la taille de Google. Ou alors ils sont très optimistes sur les sauvegardes et font de la dedup à fond.

Va voir a Lenoir - il y a 6 ou 7 robots - derrière la salle réseau. Pour 55,200 machines. Ca fait combien d'archivage sur un robots?

https://www.google.com/about/datacenters/inside/streetview/

ruchard5

  • Expert
  • Abonné Free adsl
  • *
  • Messages: 116
    • Le blog du Ruchard
Les data centers de Googles
« Réponse #61 le: 04 juin 2013 à 22:28:19 »
Moi, il y a un truc que je ne comprends pas.

Pourquoi ils mettent des faux planchers?
...
Circulation d'eau? Si oui, c'est vraiment étrange. s'embêter à mettre des faux planchers juste pour ça, ça ne me parait pas logique.

Leon.

Ca parait pas logique, je suis d'accord, mais on ne connais pas la taille des faux plancher. Donc circulation d'eau, oui, plus isolation du sol en béton.

Ce qui permet certainement un nettoyage plus efficace, parce que la propretés est super important (dixit un des responsables du DC de St Ghislain).

vivien

  • Administrateur
  • *
  • Messages: 47 079
    • Twitter LaFibre.info
Les data centers de Googles
« Réponse #62 le: 04 juin 2013 à 22:49:47 »
C'est pas facile de nettoyer dans un faux plancher...

Par contre en cas de fuite d'eau, il y a moins de pb que si cela passe en hauteur.

ruchard5

  • Expert
  • Abonné Free adsl
  • *
  • Messages: 116
    • Le blog du Ruchard
Les data centers de Googles
« Réponse #63 le: 04 juin 2013 à 22:56:01 »
Oui mais c'est plus facile d'entretenir la surface d'un faux plancher qu'un sol en béton, non?

ruchard5

  • Expert
  • Abonné Free adsl
  • *
  • Messages: 116
    • Le blog du Ruchard
Les data centers de Googles
« Réponse #64 le: 04 juin 2013 à 22:56:43 »
Mayes County, Oklahoma

Un deuxième Data centre est prévu pour Pryor. Les cuves visible sur l'image 1 sont la pour l'extension, ou comme stock pour le data centre existant?


ruchard5

  • Expert
  • Abonné Free adsl
  • *
  • Messages: 116
    • Le blog du Ruchard
Les data centers de Googles
« Réponse #65 le: 04 juin 2013 à 23:18:15 »
Bon, pour en finir un peu avec les data centres Google, voici quelques éléments concernant le réseau distant:
  • La présentation de Urs Hoezle ou il présente l’implèmentation d'open flow chez Google, dont la vidéo est accessible ci-dessous.
  • Une image (extrait de la présentation) montrant le liens entre data centres (avec Paris sur la cartes :D - avec un gros PoP s'entends)
  • Une image du Google Switch -> 8 line cards de 8 x 10 GE.
Au sujet des Google switchs, je ne pense pas que Google ait développer un switch pour déployer quelques boxes par data centre (les salles réseau sont très petites pour la tailles des data floors) - donc je pense qu'ils les utilisent comme cluster switch, pour connecter les TORs et former _the_ interconnect fabric (et avec 128x10GE on peut faire de jolie flattened butterflies ou dragon flies).






(cliquez sur la miniature ci-dessous - le document est au format PDF)

Leon

  • Client SFR sur réseau Numericable
  • Modérateur
  • *
  • Messages: 5 971
Les data centers de Googles
« Réponse #66 le: 05 juin 2013 à 06:53:00 »
Oui mais c'est plus facile d'entretenir la surface d'un faux plancher qu'un sol en béton, non?
Il y a béton et béton. Il existe à la fois des bétons avec un surfaçage très lisses, et il existe aussi des revêtements  que l'on mets sur le béton, et qui sont très lisses et très résistants. C'est souvent ce qu'il y a dans les usines, ateliers. Ca coute beaucoup moins cher et c'est beaucoup moins complexe à gérer que du faux plancher. Encore une fois, plusieurs acteurs de datacenter ont abandonné les faux planchers : Facebook, OVH, etc...

L'explication de Vivien (sensibilité aux fuites d'eau) est peut-être la bonne, mais ça reste surprenant.

Leon.

vivien

  • Administrateur
  • *
  • Messages: 47 079
    • Twitter LaFibre.info
Les data centers de Googles
« Réponse #67 le: 05 juin 2013 à 07:28:45 »
A noter un nouveau point de présence en France pour Google pour monter des PNI :

Après :
- SFR Netcenter Paris (Courbevoie 92)
- Telehouse 2 Voltaire (Paris 75)

2011 :
- SFR Netcenter (Marseille 13)
Google a pour ambition que Marseille soit le point de peering pour l’Afrique du nord (les problèmes politiques font qu'il est difficile de mettre un GIX international en Afrique)

2013 :
- Interxion Paris 2 (Aubervilliers 93)

Je me demande dans quels POP ils ont des serveurs de cache et dans quels pop ils ont uniquement de la trans.
TH2 par exemple cela semble être uniquement de la trans.

ruchard5

  • Expert
  • Abonné Free adsl
  • *
  • Messages: 116
    • Le blog du Ruchard
Les data centers de Googles
« Réponse #68 le: 06 juin 2013 à 09:26:55 »
Je me demande dans quels POP ils ont des serveurs de cache et dans quels pop ils ont uniquement de la trans.
TH2 par exemple cela semble être uniquement de la trans.
Je pense qu'ils mettent des gros PoP en place est qu'ensuite ils rajoutent d'autre PoP en formant un topology en étoile (hub and spoke). Pour la France je parierais que le NetCenter LDCom SFR de CBV et que TH2, Marseille et ne sont que des point de routages.

D'autant que Paris est un point du cœur de réseau Google interne, ou ils ont de la transmission vers Dublin, Hamina, Lenoir et St Ghislain.

Sinon, d'u point de vue factuel je viens de me brancher sur Youtube pour regarder la derniere video de Psy et IPvFoo me permet de voir une pair nom/adresse qui sortent de l'ordinaire:

www.youtube.com2a00:1450:400c:c06::5d
apis.google.com2a00:1450:4007:809::1005
csi.gstatic.com2404:6800:4006:804::100f
gp3.googleusercontent.com2a00:1450:4007:809::100a
i2.ytimg.com2a00:1450:4007:809::1001
i3.ytimg.com2a00:1450:4007:809::1005
i4.ytimg.com2a00:1450:4007:809::100e
lh3.googleusercontent.com2a00:1450:4007:806::100b
plus.google.com2a00:1450:4007:809::1009
r11---sn-25ge7n7l.c.youtube.com2a00:1450:4007:11::10
s.youtube.com2a00:1450:4007:809::1005
s.ytimg.com2a00:1450:4007:809::1006
s2.youtube.com2a00:1450:4007:809::1000
ssl.gstatic.com2a00:1450:4007:806::100f
www.youtube-nocookie.com2a00:1450:400c:c06::5b

Un petit traceroute nous donne (example vers www.youtube.com):

 3  th2-crs16-1.intf.routers.proxad.net (2a01:e00:2:e::1)  16.205 ms  16.548 ms  16.503 ms
 4  cbv-9k-1-be1000.intf.routers.proxad.net (2a01:e00:2:c::2)  16.257 ms  15.991 ms  15.748 ms
 5  2001:4860:1:1:0:3022:0:5 (2001:4860:1:1:0:3022:0:5)  84.043 ms  74.871 ms  74.142 ms
 6  2001:4860::1:0:4a3a (2001:4860::1:0:4a3a)  23.878 ms  16.456 ms  15.755 ms
 7  2001:4860::8:0:3df5 (2001:4860::8:0:3df5)  16.993 ms  17.483 ms  18.901 ms
 8  2001:4860::8:0:507c (2001:4860::8:0:507c)  21.414 ms  21.878 ms  21.171 ms
 9  2001:4860::2:0:87d (2001:4860::2:0:87d)  22.371 ms  22.023 ms  22.037 ms
10  * * *
11  wb-in-x5d.1e100.net (2a00:1450:400c:c06::5d)  21.433 ms  21.87 ms  21.401 ms

alors que r11--... donne:

 3  th2-crs16-1.intf.routers.proxad.net (2a01:e00:2:e::1)  16.858 ms  16.244 ms  16.688 ms
 4  cbv-9k-1-be1000.intf.routers.proxad.net (2a01:e00:2:c::2)  15.641 ms  16.727 ms  16.961 ms
 5  google-pni-3.intf.routers.proxad.net (2a01:e00:4:5::2)  78.369 ms  83.502 ms  79.512 ms
 6  2001:4860:0:1::722 (2001:4860:0:1::722)  16.465 ms  16.466 ms  16.749 ms
 7  2a00:1450:4007:11::10 (2a00:1450:4007:11::10)  16.495 ms  16.653 ms  17.062 ms

Donc depuis le PNI Google a CBV il n'y a qu'un autre router avant la vidéo - un serveur de cache.

A noter que j'ai un resultat similaire en Ipv4 (via le PNI a CBV):

13  cbv-9k-1-be1001.intf.routers.proxad.net (212.27.59.5)  25.145 ms  16.107 ms  15.741 ms
14  google-pni-3.routers.proxad.net (212.27.40.102)  58.375 ms 74.125.50.116 (74.125.50.116)  71.913 ms 72.14.216.98 (72.14.216.98)  76.809 ms
15  209.85.250.208 (209.85.250.208)  18.109 ms  16.942 ms  17.453 ms
16  173.194.0.48 (173.194.0.48)  16.500 ms  17.732 ms  17.912 ms

Il seraient intéressant de voir pour ou ca passe pour d'autres ISP vers ce serveur de cache.

Finalement, je me demande si je devrais pas remplir le formulaire suivant pour Free SAS: https://peering.google.com/about/getting_ggc.html parce que Youtube chez Free - c'est minable. Tellement minable que je passe par un serveur que j'ai chez OVH quand je veux une vidéo le soir (j'utilise ssh comme proxy sock).

vivien

  • Administrateur
  • *
  • Messages: 47 079
    • Twitter LaFibre.info
Les data centers de Googles
« Réponse #69 le: 06 juin 2013 à 09:43:49 »
Il y a forcèment des serveurs sur Paris quand tu arrives a pinger les serveurs de contenu en moins de 1ms :

$ mtr -rwc100 google.fr
                                                    Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- 89.84.127.61                                 0.0%   100    1.1   0.4   0.3   1.1   0.2
  2.|-- v113.tengec5-10g.core04-t2.club-internet.fr  7.0%   100    0.3   2.2   0.2 145.8  15.2
  3.|-- ae5.tcore01-m.net.bbox.fr                    0.0%   100    0.7  46.0   0.6 130.7  39.3
  4.|-- po109.core02-c.net.bbox.fr                   0.0%   100   44.5  22.5   0.8 206.7  50.7
  5.|-- 72.14.217.60                                 1.0%   100    0.8   1.4   0.7  40.8   4.1
  6.|-- 72.14.238.228                                0.0%   100    1.2   1.7   1.1   7.2   1.3
  7.|-- 209.85.243.47                                0.0%   100    1.4   1.4   1.3   4.8   0.3
  8.|-- par10s10-in-f31.1e100.net                    0.0%   100    1.0   1.1   0.9   1.5   0.1


le nom du serveur qui commence par "PAR" ce ne doit pas être un hasard.

ruchard5

  • Expert
  • Abonné Free adsl
  • *
  • Messages: 116
    • Le blog du Ruchard
Les data centers de Googles
« Réponse #70 le: 06 juin 2013 à 10:03:09 »
Complèment d'accord.

Cependant ça fait un moment que j'ai pas vu de "par" dans IPvFoo. C'est certainement que mes usages de Google ne sont pas main stream ;).

Petit check: par10s10-in-f31.1e100.net n'as pas de AAAA, est chez free est routé via Cogent (et Londre!):

10  bzn-crs16-2-be2000.intf.routers.proxad.net (78.254.250.125)  15.690 ms  19.586 ms  19.780 ms
11  te0-1-0-7.369.mag21.par01.atlas.cogentco.com (149.6.161.29)  19.836 ms te0-1-0-4.377.mag21.par01.atlas.cogentco.com (149.6.115.25)  20.538 ms te0-1-0-3.363.mag21.par01.atlas.cogentco.com (149.6.160.97)  20.781 ms
12  te0-7-0-10.mpd21.par01.atlas.cogentco.com (154.54.74.157)  21.741 ms te0-0-0-10.mpd21.par01.atlas.cogentco.com (154.54.74.141)  16.126 ms te0-7-0-7.mpd21.par01.atlas.cogentco.com (154.54.60.29)  16.853 ms
13  te0-0-0-1.mpd22.lon13.atlas.cogentco.com (130.117.50.13)  25.713 ms te0-2-0-1.ccr22.lon13.atlas.cogentco.com (130.117.50.197)  26.921 ms te0-4-0-6.mpd21.lon13.atlas.cogentco.com (154.54.37.157)  27.172 ms
14  te0-4-0-1.ccr22.lon01.atlas.cogentco.com (130.117.0.245)  29.133 ms te0-1-0-0.ccr21.lon01.atlas.cogentco.com (130.117.1.1)  29.332 ms te0-4-0-1.ccr22.lon01.atlas.cogentco.com (130.117.0.245)  31.534 ms
15  te2-2.ccr01.lon18.atlas.cogentco.com (154.54.61.218)  31.268 ms te1-2.ccr01.lon18.atlas.cogentco.com (154.54.61.150)  32.509 ms te2-1.ccr01.lon18.atlas.cogentco.com (154.54.61.214)  33.048 ms
16  149.6.146.30 (149.6.146.30)  33.747 ms  35.188 ms  35.928 ms
17  209.85.255.78 (209.85.255.78)  24.294 ms 209.85.255.76 (209.85.255.76)  85.192 ms 209.85.255.78 (209.85.255.78)  27.896 ms
18  209.85.253.90 (209.85.253.90)  24.423 ms 209.85.253.92 (209.85.253.92)  25.712 ms 209.85.253.196 (209.85.253.196)  24.494 ms
19  209.85.242.79 (209.85.242.79)  24.734 ms 72.14.232.210 (72.14.232.210)  24.362 ms  24.862 ms
20  72.14.235.172 (72.14.235.172)  25.218 ms  25.449 ms  26.035 ms
21  209.85.243.47 (209.85.243.47)  25.366 ms  26.035 ms  24.832 ms
22  par10s10-in-f31.1e100.net (173.194.40.159)  24.022 ms  24.500 ms  24.201 ms

Chez OVH c'est beaucoup mieux:

 2  rbx-g1-a9.fr.eu (178.33.100.33)  1.014 ms  1.185 ms  1.232 ms
 3  th2-g1-a9.fr.eu (91.121.215.132)  4.598 ms  4.441 ms th2-g1-a9.fr.eu (91.121.131.210)  4.417 ms
 4  th2-1-6k.fr.eu (91.121.128.163)  4.154 ms * *
 5  google.as15169.fr.eu (91.121.131.2)  4.669 ms  4.660 ms  4.700 ms
 6  72.14.238.228 (72.14.238.228)  4.665 ms  4.649 ms  4.633 ms
 7  209.85.243.47 (209.85.243.47)  4.960 ms  5.054 ms  5.143 ms
 8  par10s10-in-f31.1e100.net (173.194.40.159)  4.680 ms  4.720 ms  4.647 ms

Même si cela diffère de ce que Youtube me donne:

 2  rbx-g2-a9.fr.eu (178.33.100.121)  0.909 ms  1.104 ms  1.142 ms
 3  gsw-g1-a9.fr.eu (91.121.131.214)  4.273 ms  4.296 ms  4.320 ms
 4  th2-1-6k.fr.eu (91.121.128.165)  4.421 ms * *
 5  google.as15169.fr.eu (91.121.131.2)  4.413 ms  4.402 ms  4.378 ms
 6  209.85.250.208 (209.85.250.208)  5.078 ms  5.048 ms  5.264 ms
 7  173.194.0.48 (173.194.0.48)  4.679 ms  4.648 ms  4.654 ms


ruchard5

  • Expert
  • Abonné Free adsl
  • *
  • Messages: 116
    • Le blog du Ruchard
Les data centers de Googles
« Réponse #71 le: 06 juin 2013 à 10:06:15 »
Petit check: par10s10-in-f31.1e100.net n'as pas de AAAA, est chez free est routé via Cogent (et Londre!):

10  bzn-crs16-2-be2000.intf.routers.proxad.net (78.254.250.125)  15.690 ms  19.586 ms  19.780 ms
11  te0-1-0-7.369.mag21.par01.atlas.cogentco.com (149.6.161.29)  19.836 ms te0-1-0-4.377.mag21.par01.atlas.cogentco.com (149.6.115.25)  20.538 ms te0-1-0-3.363.mag21.par01.atlas.cogentco.com (149.6.160.97)  20.781 ms
12  te0-7-0-10.mpd21.par01.atlas.cogentco.com (154.54.74.157)  21.741 ms te0-0-0-10.mpd21.par01.atlas.cogentco.com (154.54.74.141)  16.126 ms te0-7-0-7.mpd21.par01.atlas.cogentco.com (154.54.60.29)  16.853 ms
13  te0-0-0-1.mpd22.lon13.atlas.cogentco.com (130.117.50.13)  25.713 ms te0-2-0-1.ccr22.lon13.atlas.cogentco.com (130.117.50.197)  26.921 ms te0-4-0-6.mpd21.lon13.atlas.cogentco.com (154.54.37.157)  27.172 ms
14  te0-4-0-1.ccr22.lon01.atlas.cogentco.com (130.117.0.245)  29.133 ms te0-1-0-0.ccr21.lon01.atlas.cogentco.com (130.117.1.1)  29.332 ms te0-4-0-1.ccr22.lon01.atlas.cogentco.com (130.117.0.245)  31.534 ms
15  te2-2.ccr01.lon18.atlas.cogentco.com (154.54.61.218)  31.268 ms te1-2.ccr01.lon18.atlas.cogentco.com (154.54.61.150)  32.509 ms te2-1.ccr01.lon18.atlas.cogentco.com (154.54.61.214)  33.048 ms
16  149.6.146.30 (149.6.146.30)  33.747 ms  35.188 ms  35.928 ms
17  209.85.255.78 (209.85.255.78)  24.294 ms 209.85.255.76 (209.85.255.76)  85.192 ms 209.85.255.78 (209.85.255.78)  27.896 ms
18  209.85.253.90 (209.85.253.90)  24.423 ms 209.85.253.92 (209.85.253.92)  25.712 ms 209.85.253.196 (209.85.253.196)  24.494 ms
19  209.85.242.79 (209.85.242.79)  24.734 ms 72.14.232.210 (72.14.232.210)  24.362 ms  24.862 ms
20  72.14.235.172 (72.14.235.172)  25.218 ms  25.449 ms  26.035 ms
21  209.85.243.47 (209.85.243.47)  25.366 ms  26.035 ms  24.832 ms
22  par10s10-in-f31.1e100.net (173.194.40.159)  24.022 ms  24.500 ms  24.201 ms


Alors que Tata (qui fournit du transit a free) a une connection vers Google beaucoup plus proche:

http://lg.as6453.net/lg/
Tracing the route to par10s10-in-f31.1e100.net (173.194.40.159)

  1 if-8-2.tcore1.PVU-Paris.as6453.net (80.231.153.37) 4 msec 0 msec 0 msec
  2 72.14.212.77 [AS 15169] 0 msec 44 msec 0 msec
  3 72.14.239.205 [AS 15169] 0 msec 4 msec 0 msec
  4 209.85.243.47 [AS 15169] 0 msec 4 msec 0 msec
  5 par10s10-in-f31.1e100.net (173.194.40.159) [AS 15169] 0 msec 0 msec 0 msec

Autant dire encore un fois que Free ne fait aucun effort pour rendre l’expérience Google agréable a ses clients.