Auteur Sujet: Les data centers de Googles (Lu 188183 fois)

kgersen · « **Réponse #36 le:** 31 mai 2013 à 20:55:34 »

Citation de: vivien le 31 mai 2013 à 19:54:32

Pour pouvoir agréger les ports et ne faire qu'un lien de 4 Gb/s, il faut mettre tous les câbles sur le même switch. Si on va plusieurs switch, c'est pour faire de la tolérance aux panne, pas du partage de charge.

oui pour du NIC bonding classique car c'est fait au niveau Ethernet.

Mais on peut tres bien faire les 2 (tolérance et partage) au niveau plus haut (style IP failover).
J'aurais cru qu'ils faisaient ca la mais a priori c'est juste de l'aggregation Ethernet classique, ce qui a du sens si cette rangée de baies (voir tout le DC) est la que pour faire du GFS par exemple.

kgersen · « **Réponse #37 le:** 31 mai 2013 à 21:45:11 »

Citation de: leon_m le 31 mai 2013 à 19:30:25

Uplink des switches : certains switch ont leur connexion d'uplink à l'arrière, à côté de l'alimentation.

Je savais pas que ca existait des switches avec ports a l'arriere ... ca pose pas des problemes d'interferences avec l'alim et la ventil ?! et c'est pas trop pratique a brasser non plus.

Sinon l'uplink est peut-etre fait par de l'aggrégation de ports normaux.

Y'a un document de 120 pages (ouch) du VP infra de Google qui explique pas mal de chose. Lecture tres interesante, ca parle aussi de clims, d'alims, de ROI, etc.

(cliquez sur la miniature ci-dessous - le document est au format PDF)

Pour le faux plancher y'a pas de cable dedans c'est juste pour l'air frais du cooling (cf page 54).

ruchard5 · « **Réponse #38 le:** 31 mai 2013 à 21:54:58 »

Citation de: kgersen le 31 mai 2013 à 20:55:34

Mais on peut tres bien faire les 2 (tolérance et partage) au niveau plus haut (style IP failover).
J'aurais cru qu'ils faisaient ca la mais a priori c'est juste de l'aggregation Ethernet classique, ce qui a du sens si cette rangée de baies (voir tout le DC) est la que pour faire du GFS par exemple.

Les clusters GFS / Colossus (la version GFS + 1) sont l’infrastructure de stockage, mais ils faut des cluster client pour lire , ecrire ou analyser les données.

Voici des stats de Google sur GFS en Octobre 2009 (il y a 4 ans!!!)

• 200+ clusters
• Many clusters of 1000s of machines
• Pools of 1000s of clients
• 4+ PB Filesystems
• 40 GB/s read/write load – (in the presence of frequent HW failures)

BadMax · « **Réponse #39 le:** 02 juin 2013 à 10:22:21 »

Citation de: leon_m le 31 mai 2013 à 19:30:25

Uplink des switches : certains switch ont leur connexion d'uplink à l'arrière, à côté de l'alimentation. Ici, on voit aussi de simples onduleurs certainement pour les switches.

Leurs switches sont de la marque Quantas. Il n'y a pas de connexion réseau à l'arrière (j'y ai pensé aussi en plus d'un éventuel cable de stack).

D'ailleurs ce modèle ne se fait plus.

ruchard5 · « **Réponse #40 le:** 02 juin 2013 à 10:54:18 »

Hamina, Finland

Donc voici deux video Youtube:

ruchard5 · « **Réponse #41 le:** 02 juin 2013 à 12:13:06 »

Citation de: BadMax le 02 juin 2013 à 10:22:21

Leurs switches sont de la marque Quantas. Il n'y a pas de connexion réseau à l'arrière (j'y ai pensé aussi en plus d'un éventuel cable de stack).

D'ailleurs ce modèle ne se fait plus.

Quel qu’eut été les offres public de Quantas il ne fait _aucun_ doute que Google n'utilise pas 4 x 48 GE switches pour interconnecter 3 x 4 x 14 servers uniquement entre eux.

En faits on peut plutôt penser que les switchs sont connecter vers les cluster switch via 2 x 10GE ou 4 x 10GE, puisqu'il y a clairement un besoin de haute capacité réseau à partir de ses serveurs.

Leon · « **Réponse #42 le:** 02 juin 2013 à 14:07:10 »

Citation de: BadMax le 02 juin 2013 à 10:22:21

Leurs switches sont de la marque Quantas. Il n'y a pas de connexion réseau à l'arrière (j'y ai pensé aussi en plus d'un éventuel cable de stack).

D'ailleurs ce modèle ne se fait plus.

Tu es certain qu'il n'y a pas d'uplink à l'arrière?
Regarde par exemple ce switch de la marque Quanta (que tu nous as donné), il a 4 ports SFP+ 10Gb/s à l'arrière.
http://www.quantaqct.com/en/01_product/02_detail.php?mid=30&sid=114&id=115&qs=61

Leon.

Leon · « **Réponse #43 le:** 02 juin 2013 à 16:38:36 »

Bon, je me répond à moi même. Sur ces 2 photos, on voit des switch de baie placés verticalement, avec les connexion d'uplink à l'arrière du switch, donc orienté vers le haut.

C'est extrait de cette photo:
https://lafibre.info/images/datacenter/201305_datacenter_google_DLS_019.jpg

Leon.

BadMax · « **Réponse #44 le:** 02 juin 2013 à 19:05:15 »

Citation de: leon_m le 02 juin 2013 à 14:07:10

Tu es certain qu'il n'y a pas d'uplink à l'arrière?
Regarde par exemple ce switch de la marque Quanta (que tu nous as donné), il a 4 ports SFP+ 10Gb/s à l'arrière.
http://www.quantaqct.com/en/01_product/02_detail.php?mid=30&sid=114&id=115&qs=61

Leon.

En effet, c'est toi qui as raison. Je m'étais basé sur un autre modèle de Quanta en 48x 1Gb qui n'avait pas d'uplinks à l'arrière mais deux alims.

Le modèle exact serait le Quanta LB4 :
http://cgi.ebay.fr/HP-Model-LB4-Quanta-48-Port-1-Gbps-Gigabit-Ethernet-Switch-100-240V-w-Rack-Ears-/261135956519?pt=US_Network_Switches&hash=item3cccea7a27

BadMax · « **Réponse #45 le:** 02 juin 2013 à 19:10:49 »

Citation de: leon_m le 02 juin 2013 à 16:38:36

Bon, je me répond à moi même. Sur ces 2 photos, on voit des switch de baie placés verticalement, avec les connexion d'uplink à l'arrière du switch, donc orienté vers le haut.

Du coup, il n'y a que 2 uplinks 10Gb par switch. Par rapport au nombre de ports, ça fait pas beaucoup ce qui laisse supposer qu'il n'y a donc pas tant de trafic que cela.

Leon · « **Réponse #46 le:** 02 juin 2013 à 19:48:34 »

Citation de: BadMax le 02 juin 2013 à 19:10:49

Du coup, il n'y a que 2 uplinks 10Gb par switch. Par rapport au nombre de ports, ça fait pas beaucoup ce qui laisse supposer qu'il n'y a donc pas tant de trafic que cela.

J'ai l'impression que ça dépend des baies et des types de serveurs dans la baie.
On dirait que sur la première photo, chaque switch a 2 uplink, alors que sur la 2ieme, chaque switch en a 4. Mais les photos ne sont pas nettes...
Mais ce n'est qu'une impression. Ceci dit, 20Gb/s c'est déjà beaucoup!

Leon.

vivien · « **Réponse #47 le:** 02 juin 2013 à 19:53:24 »

Effectivement, on dirait que c'est 4 x 10 Gb/s sur ces switchs :