Auteur Sujet: Les data centers de Googles  (Lu 231727 fois)

0 Membres et 1 Invité sur ce sujet

bedou974

  • Abonné SFR fibre FttH
  • *
  • Messages: 73
Les data centers de Googles
« Réponse #12 le: 29 mai 2013 à 23:47:12 »
J'aime bien les disques dur HS qui sont quand meme percé au milieu pour etre sur qu'aucunes donnée ne puisse être récup  :)

ZmK

  • Abonné SFR THD (câble)
  • *
  • Messages: 5
  • FTTH 300/50 Nancy (54)
Les data centers de Googles
« Réponse #13 le: 30 mai 2013 à 09:17:30 »
dommage de ne pas avoir les légendes sous les photos ;-)
https://www.google.com/about/datacenters/gallery/ ^^

le "streetview": https://www.google.com/about/datacenters/inside/streetview/ ;-)

ruchard5

  • Expert
  • Abonné Free adsl
  • *
  • Messages: 115
Les data centers de Googles
« Réponse #14 le: 30 mai 2013 à 10:42:07 »
Ça peut se faire . Mais je dois avouer que comme introduction j'ai préféré mettre en valeur la matière première: de très jolies images :D.

En attendant, voici une petite aide pour décrypter les photos par url (qui contiennent les codes des datacentres):

CBF:: Council Bluffs, IOWA
DLS:: The Dalles, OREGON
GBL:: St Ghislain, BELGIUM
IDI:: Douglas County, GEORGIA
LNR:: Lenoir, NORTH-CAROLINA
LPP:: Hamina, FINLAND
MNK:: Berkeley County, SOUTH-CAROLINA
PRY:: Mayes County, OKLAHOMA

ruchard5

  • Expert
  • Abonné Free adsl
  • *
  • Messages: 115
Les data centers de Googles
« Réponse #15 le: 30 mai 2013 à 12:15:41 »
Coucil Bluffs, Iowa

Les arrivées vidéo satellites pour les offres Google Fibre (Gigabit + TV) se font sur se site ou elle sont ensuite router vers les PoP Google Fibre (Kansas City Mo / Ks pour l'instant):
 

Ce data centre d'approximativement 350 x 60 mètre est le troisième plus large, derrière Douglas County et St Ghislain (~380x60m). On peut se rendre compte de la longueur du site ici.
 

Dans le data centre les serveurs sont mis dans des baies utilisant des "hot huts" - une hot aisle avec les équipement de refroidissement au plus pres des serveurs qui retourne un air rafraîchit directement dans le halle:
   

Une salle de routage. On semble distinguer des équipements Infinera (DWDM) et Juniper, même si Google utilise ses propres switch router (128 x 10GE) depuis 2010 pour ses réseaux distant (et certainement pour les réseaux interne au data centres):


Un Googler au travail: avec toute l'infrastructure hors IT (réseau électrique et humide) la maintenance ou les ameliorations / amenagements sont très importants:

« Modifié: 30 mai 2013 à 17:58:22 par ruchard5 »

ruchard5

  • Expert
  • Abonné Free adsl
  • *
  • Messages: 115
Les data centers de Googles
« Réponse #16 le: 30 mai 2013 à 16:45:40 »
The Dalles, Oregon

Ceci est le premier data centre construit par Google, en 2008. On peux voir que la hauteur des bâtiments limites de volume d'air a l’intérieur des data halls, alors que les tours de refroidissement sont plus hautes, donnant l'impression de voir deux "pétrolier" échouer sur les berges de la rivière Columbia.

La plomberie sous les tours de refroidissement suit un code de couleur qui rends l'ensemble très jolie: Rouge pour les circuits chaud, Bleue pour les circuits froid, Vert et Jaune pour les échangeurs thermique et groupes de refroidissement.




ruchard5

  • Expert
  • Abonné Free adsl
  • *
  • Messages: 115
Les data centers de Googles
« Réponse #17 le: 30 mai 2013 à 17:21:45 »
St Ghislain, Belgique

Google a investit sur le site de St Ghislain à partir de 2007 (250 million d'euro) et construit en ce moment même une extension pour 300 millions de plus:

http://www.rtbf.be/video/detail_di-rupo-visite-le-datacenter-de-google-a-saint-ghislain?id=1814191

St Ghislain est un site sans refroidisseurs (chillers) grâce aux faibles variations de température (qui ne sont pas souvent trop chaude). De plus Google se fournit en eau dans un canal a proximité, ce qui leur permet de ne pas dépendre du système d'eau publique (potable)  grace a leur usine de traitement des eaux:



« Modifié: 30 mai 2013 à 17:56:44 par ruchard5 »

kgersen

  • Modérateur
  • Abonné Orange Fibre
  • *
  • Messages: 9 687
  • Paris (75)
Les data centers de Googles
« Réponse #18 le: 30 mai 2013 à 18:55:53 »
J'ai 'maper' les batiments des DC sur MapsEngine ici: http://mapsengine.google.com/map/view?mid=zUFNNGDtrepc.kreW74DOiigg avec mesures faites avec l'outils de mesure de Google Maps. (zoomer a fond sur un puis passer de l'un a l'autre dans la liste, changer le fond de carte au besoin).
Les emplacements des DC de Berkeley County et Hamina ne sont pas officiels Google mais un recoupement très probable d’après des infos et des photos.

Les mesures en mètres (la feuille de calcul en live):


Ce sont des mesures approximatives de la surface de chaque batiment. Ce n'est pas la surface intérieure réellement disponible mais un plafond probable. Le DC de Douglas est vraiment gros ...
« Modifié: 30 mai 2013 à 22:11:04 par kgersen »

ruchard5

  • Expert
  • Abonné Free adsl
  • *
  • Messages: 115
Les data centers de Googles
« Réponse #19 le: 30 mai 2013 à 22:38:36 »
Les emplacements des DC de Berkeley County et Hamina ne sont pas officiels Google mais un recoupement très probable d’après des infos et des photos.

Le recoupement est bon, il n'y a pas de doute à avoir ;).

Pour le total, tu peux rajouter le deuxième data centre a Lenoir, qui fait aussi approximativement 250 x 70 mètre, soit 17,500 mètre carre de plus. Même si on ne peux pas savoir comment l'espace est utilise il ne fait _aucun_ doute que Google maximise son immobilier informatique (pour l'informatique).

ruchard5

  • Expert
  • Abonné Free adsl
  • *
  • Messages: 115
Les data centers de Googles
« Réponse #20 le: 30 mai 2013 à 23:36:14 »
Douglas County, Géorgie

Comme kgersen disais plus haut, Douglas County (IDI) est très impressionnant, avec plus de 40,000 m2 de surface extérieur.

La preuve par l'image: les tours de refroidissement, que l'on a en gros plan sur l' images 2, sont au fond en tout petit sur la première, alors que le premier plan ne dévoile qu'une partie de la largeur du bâtiments - puisqu'il y a trois tours de refroidissement a chaque extrémité.

Pour finir sur le coté mastodonte, image 4, nous avons une vu intérieur sur la _largeur_ du centre.

Au niveau des équipements informatique, on peut voir précisèment sur l'image 9, outre le faut plancher, les détails des serveurs de stockage (GFS, Colossus ou autre) a gauche:
  • 1 baie pour l’unité central
  • une baie pour les disque
  • 2 cables SATA orange pour la connectique
Ce qui nous donne 14 serveurs par rack. Sachant qu'un serveur standard a 2 disque de 1 TO, combien de disque peuvent ils mettre sur une baie? Puisqu'un cable SATA peut connecter 5 disques (comme sur les storage pods de Backblaze cela nous fait donc 10 TO de disponible (Google utilisant des replicas sur plusieurs serveurs plutôt qu'une redondance par RAID) ou plus (si ils utilisent des disque de 2 ou 4 TO).

Sur un rack, on arrive quand même a un total de 140 TO, soit un peu plus de 7 rack pour 1 Peta-octet.


vivien

  • Administrateur
  • *
  • Messages: 52 506
    • Bluesky LaFibre.info
Les data centers de Googles
« Réponse #21 le: 31 mai 2013 à 00:07:00 »
Merci pour toutes ces infos.

Comment relier 5 disques SATA sur un même connecteur ?

Il ne faut pas des disques spécifiques ?

ruchard5

  • Expert
  • Abonné Free adsl
  • *
  • Messages: 115
Les data centers de Googles
« Réponse #22 le: 31 mai 2013 à 00:33:16 »
Voici un extrait de la documentation Backblaze précédemment référencé [1] (a noter que leur storage pods sont a 180 TO avec la version 3.0 [2]):

The SATA wiring diagram is seen below.



The Intel Motherboard has four SATA cards plugged into it: three SYBA two-port SATA cards and one Addonics four-port card. The nine SATA cables connect to the top of the SATA cards and run in tandem with the power cables. All nine SATA cables measure 36 inches and use locking 90-degree connectors on the backplane end and non-locking straight connectors into the SATA cards.

A note about SATA chipsets:

Each of the port multiplier backplanes has a Silicon Image SiI3726 chip so that five drives can be attached to one SATA port.

Each of the SYBA two-port PCIe SATA cards has a Silicon Image SiI3132, and the four-port PCI Addonics card has a Silicon Image SiI3124 chip. We use only three of the four available ports on the Addonics card because we have only nine backplanes. We don’t use the SATA ports on the motherboard because, despite Intel’s claims of port multiplier support in their ICH10 south bridge, we noticed strange results in our performance tests. Silicon Image pioneered port multiplier technology, and their chips work best together.

[1] http://blog.backblaze.com/2009/09/01/petabytes-on-a-budget-how-to-build-cheap-cloud-storage/
[2] http://blog.backblaze.com/2013/02/20/180tb-of-good-vibrations-storage-pod-3-0/

ruchard5

  • Expert
  • Abonné Free adsl
  • *
  • Messages: 115
Les data centers de Googles
« Réponse #23 le: 31 mai 2013 à 00:55:07 »
Lenoir, Georgie

La salle réseau, image 1, nous offre une bonne vue sur les équipements actifs, avec 8 switch-routeurs au premier plan, dont 4 sont en attente. Ceci est tout a fait compréhensible, vu que les coûts d’équipements réseau chez Google se situe principalement au niveau des cartes d'interface et des transmetteurs optique (étant donnes que leurs switch router sont fait "maison"). Au milieu de l'image on voit les répartiteurs de fibres, le coeur du réseau Google.

Pour information, le premier data centre Google (un hangar en location avec 45 containers) en 2005 contenait ~45,000 serveurs [1].

Donc la question du soir: comment feriez vous un réseau pour connecter tout cela au monde?
Et comment faire un réseau moderne avec des data centre pouvant acceuillir plusieurs centaines de milliers de machine?

 

[1]