Auteur Sujet: Les data centers de Googles  (Lu 180190 fois)

0 Membres et 1 Invité sur ce sujet

kgersen

  • Modérateur
  • Abonné Bbox fibre
  • *
  • Messages: 9 078
  • Paris (75)
Les data centers de Googles
« Réponse #96 le: 18 juin 2015 à 07:05:28 »
Apres B4, leur Software Defined WAN publié en 2013 qui donnait quelques infos sur le "mega WAN" reliant les DC de Google,

Apres Andromeda en 2014,  la "network virtualization stack" utilisée dans leur DC,

Hier, lors de la conférence Open Networking Sumit 2015, Google a dévoilé encore un élèment important de l'architecture utilisée dans leur DC: Jupiter Super Block, leur 5eme génération de SDN qui est le 'LAN' interne de leur DC.

Basé sur un réseau de Clos, utilisant  des composants bas niveau plutôt que des produits d’équipementiers, fonctionnant avec des nouveaux protocoles inventés pour DC plutôt que les standards d'Internet, leur SDN arrive a fournir un total de  1 Petabit/sec de "bisection bandwidth" permettant a 100 000 serveurs d'échanger des informations a 10 Gbps chacun ....  :o

Une publication plus détaillée sera faite lors du SIGCOMM 2015 en août, en attendant voila la keynote de l'Open Networking Sumit 2015:


kgersen

  • Modérateur
  • Abonné Bbox fibre
  • *
  • Messages: 9 078
  • Paris (75)
Les data centers de Googles
« Réponse #97 le: 24 juin 2015 à 22:12:21 »
Le 14eme DC de Google va être implanté en Alabama a Jackson County.

Celui sera différent: au lieu de construire les bâtiments sur une zone vide, il vont réaménager le site d'une centrale a charbon abandonnée.
L'idée est de réutiliser au maximum les installations et le réseau électrique existants mais dans l'autre sens. Des énergies renouvelables seront utilisées (a terme 100%) pour alimenter ce DC:



Les bâtiments paraissent petits mais ils sont énormes en fait, c'est la grande cheminée qui "trompe" car c'est l'une des plus grandes au monde (>300m):


source : https://googleblog.blogspot.fr/2015/06/a-power-plant-for-internet-our-newest.html

Par ailleurs, 4 autres DC sont en cours d'agrandissement, notamment celui en Belgique qui nous concerne directement.

Il va quasiment doubler (le nouveau bâtiment est a l’arrière plan):

miky01

  • Expert. Réseau RESO-LIAin (01)
  • Abonné K-Net
  • *
  • Messages: 3 829
  • Farges (01)
Les data centers de Googles
« Réponse #98 le: 24 juin 2015 à 23:42:14 »
Une toute petite livraison de 2 racks de servers pour Google a Genève.


ruchard5

  • Expert
  • Abonné Free adsl
  • *
  • Messages: 116
    • Le blog du Ruchard
Les data centers de Googles
« Réponse #99 le: 07 juillet 2015 à 10:27:34 »
Apres B4, leur Software Defined WAN publié en 2013 qui donnait quelques infos sur le "mega WAN" reliant les DC de Google,

Apres Andromeda en 2014,  la "network virtualization stack" utilisée dans leur DC,

Hier, lors de la conférence Open Networking Sumit 2015, Google a dévoilé encore un élèment important de l'architecture utilisée dans leur DC: Jupiter Super Block, leur 5eme génération de SDN qui est le 'LAN' interne de leur DC.

Basé sur un réseau de Clos, utilisant  des composants bas niveau plutôt que des produits d’équipementiers, fonctionnant avec des nouveaux protocoles inventés pour DC plutôt que les standards d'Internet, leur SDN arrive a fournir un total de  1 Petabit/sec de "bisection bandwidth" permettant a 100 000 serveurs d'échanger des informations a 10 Gbps chacun ....  :o

Une publication plus détaillée sera faite lors du SIGCOMM 2015 en août, en attendant voila la keynote de l'Open Networking Sumit 2015:



D’après le slide tiré de la vidéo / présentation d'Amin Vadhat a ONS, qui nous présente l'architecture Jupiter, la fabrique réseau de Google a les propriété suivante (au maximum):

Aggregation block upstream (up to 256 spine blocks!) capacity:
  • Switch centauri = 64 port @ 40Gbps
  • Aggregation block = 32 centauri * 64 blocks * 512 upstream ports @ 40Gbps
  • Aggregation block = 32 centauri * 64 * 512 * 40Gbps
  • Aggregation block = 32 centauri * 32 768 @ 40Gbps
  • Aggregation block = 32 centauri * 1 310 720 Gbps = 1 311 Tbps = 1.3 Pbps
Aggregation block downstream capacity (down to 32 centauri Top-of-rack switches per aggregation blocks)
  • Aggregation block = 32 centauri * 64 blocks * 8 middleblocks * 256 downstream ports @ 10Gbps
  • Aggregation block = 32 centauri * 64 * 8 * 256 @ 10Gbps
  • Aggregation block = 32 centauri * 1 310 72 * 10 Gbps = 1 311 Tbps = 1.3 Pbps
Pour ce qui est du compte de serveur, le calcule est plus simple:
  • 64 blocks * 32 switch * 32 ports * 4 * 10 Gbps
  • 64 blocks * 32 * 32 * 4 * 10 Gbps
  • 64 blocks * 4 096 * 10 Gbps
  • 262 144 * 10 Gbps
Et pour clore le tout, le nombre de port dans la configuration maximum:
  • Spine ports = 256 blocks * 6 centauri * 64 ports @ 40G = 98 304 ports @ 40G
  • Aggregation ports = 64 blocks * 32 centauri * 64 ports @ 40G = 131 072 ports @40G
  • Top-of-rack ports = 64 blocks * 32 centauri * 64 ports @ 40G = 131 072 ports @40G

Donc, on est bien au delà des 100,000 serveurs annoncer, ou me suis-je tromper quelque par?

En même temps, en partant sur 100k serveurs par fabrique Jupiter, cela laisse de la marge pour migrer vers une version ultérieur de la plateforme (upgrade in-place), et avec 20Tbps de bissectional bandwidth par bloque d'aggregation, on peut avoir 4 ou 8 bloquent pour le super WAN (oui, cela fait 80 a 160 Tbps de WAN - mais on parle de Google après tout)


ruchard5

  • Expert
  • Abonné Free adsl
  • *
  • Messages: 116
    • Le blog du Ruchard
Les data centers de Googles
« Réponse #100 le: 07 juillet 2015 à 10:32:12 »
Just to blow my own trumpet :D.

Bon, pour en finir un peu avec les data centres Google, voici quelques éléments concernant le réseau distant:
  • La présentation de Urs Hoezle ou il présente l’implèmentation d'open flow chez Google, dont la vidéo est accessible ci-dessous.
  • Une image (extrait de la présentation) montrant le liens entre data centres (avec Paris sur la cartes :D - avec un gros PoP s'entends)
  • Une image du Google Switch -> 8 line cards de 8 x 10 GE.
Au sujet des Google switchs, je ne pense pas que Google ait développer un switch pour déployer quelques boxes par data centre (les salles réseau sont très petites pour la tailles des data floors) - donc je pense qu'ils les utilisent comme cluster switch, pour connecter les TORs et former _the_ interconnect fabric (et avec 128x10GE on peut faire de jolie flattened butterflies ou dragon flies).

kgersen

  • Modérateur
  • Abonné Bbox fibre
  • *
  • Messages: 9 078
  • Paris (75)
Les data centers de Googles
« Réponse #101 le: 07 juillet 2015 à 12:12:56 »
Donc, on est bien au delà des 100,000 serveurs annoncer, ou me suis-je tromper quelque par?

Les 100k serveurs mentionnés ne sont pas le nombre de serveurs effectifs mais juste la division de  la capacité de Jupiter (1 Petabit/sec) par 10 Gbps (connectique de base d'un serveur). C'était juste pour illustré l'un ordre de grandeur de ce que représente 1 Petabit/sec .

Il va de soi qu'ils ne provisionnent probablement pas leur serveurs a 10Gbps chacun mais probablement beaucoup moins donc en pratique ca supporte nettement plus de serveurs. Apres effectivement ils se laissent peut-être aussi de la marge pour évoluer.

vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
Les data centers de Googles
« Réponse #102 le: 07 juillet 2015 à 13:12:56 »
Google semble connecter ses serveurs en 4 Gb/s (4 x 1 Gb/s).

Le 10 Gb/s serait réservé à la toute dernière génération et je ne sais pas si c'est généralisé sur les nouveaux déploiements de serveurs.

Regardez sur la photo ci-dessous en zoomant : on voit bien la présence de 4 ports 1 Gb/s cuivre par serveur :



ruchard5

  • Expert
  • Abonné Free adsl
  • *
  • Messages: 116
    • Le blog du Ruchard
Les data centers de Googles
« Réponse #103 le: 07 juillet 2015 à 14:43:13 »
Google semble connecter ses serveurs en 4 Gb/s (4 x 1 Gb/s).

Le 10 Gb/s serait réservé a la toute dernière génération et je ne sais pas si c'est généralisé sur les nouveaux déploiements de serveurs.

La réponse est dans un autre slide d'Amin Vadhat!

Jupiter devait être en plein déploiement lorsque Google a "ouvert" (a seulement une photographe) ses data-centres. Et il est claire que le photographe n'as pas été autoriser près d’éléments encore top-secret a ce moment (n'oublions pas que Jupiter est la 5th génération - donc la plateforme en production a l’époque - Saturn (avec des TOR basées sur des puces en 24x10G).

Donc les 4 * 1G que l'on voit dates de la 3rd génération: Watchtower (2008).


ruchard5

  • Expert
  • Abonné Free adsl
  • *
  • Messages: 116
    • Le blog du Ruchard
Les data centers de Googles
« Réponse #104 le: 07 juillet 2015 à 14:50:19 »
Dans le post ci-dessous je n'ai garder qu'une images (sur huit) qui contiens 1 rack avec 2 switches - apparament de la generation Watchtower" (a comparer avec un autre slide d'Amin Vadhat).

The Dalles, Oregon

Ceci est le premier data centre construit par Google, en 2008. On peux voir que la hauteur des bâtiments limites de volume d'air a l’intérieur des data halls, alors que les tours de refroidissement sont plus hautes, donnant l'impression de voir deux "pétrolier" échouer sur les berges de la rivière Columbia.

La plomberie sous les tours de refroidissement suit un code de couleur qui rends l'ensemble très jolie: Rouge pour les circuits chaud, Bleue pour les circuits froid, Vert et Jaune pour les échangeurs thermique et groupes de refroidissement.



ruchard5

  • Expert
  • Abonné Free adsl
  • *
  • Messages: 116
    • Le blog du Ruchard
Les data centers de Googles
« Réponse #105 le: 07 juillet 2015 à 16:35:25 »
En fait l'erreur est dans le blog poste de Google:

"Our current generation — Jupiter fabrics — can deliver more than 1 Petabit/sec of total bisection bandwidth. To put this in perspective, such capacity would be enough for 100,000 servers to exchange information at 10Gb/s each, enough to read the entire scanned contents of the Library of Congress in less than 1/10th of a second."

Bisection bandwidth veut dire que le "switch" (virtuel) a une capacité a connect 1 Petabit/sec au nord / upstream a 1 Petabit/sec au sud / downstream. [1]

Donc, avec 1,310,720 Gbps disponibles au Nord nous pouvons y connecter 131,072 serveurs et aussi 131,072 serveurs au Sud, ce qui fait que 262,144 serveurs pourrait - en théorie - échanger 10Gbps de trafic de manière non bloquante (si le trafic est parfaitement balancé).

Les 100k serveurs mentionnés ne sont pas le nombre de serveurs effectifs mais juste la division de  la capacité de Jupiter (1 Petabit/sec) par 10 Gbps (connectique de base d'un serveur). C'était juste pour illustré l'un ordre de grandeur de ce que représente 1 Petabit/sec .

Il va de soi qu'ils ne provisionnent probablement pas leur serveurs a 10Gbps chacun mais probablement beaucoup moins donc en pratique ca supporte nettement plus de serveurs. Apres effectivement ils se laissent peut-être aussi de la marge pour évoluer.

[1] https://en.wikipedia.org/wiki/Bisection_bandwidth

kgersen

  • Modérateur
  • Abonné Bbox fibre
  • *
  • Messages: 9 078
  • Paris (75)
Les data centers de Googles
« Réponse #106 le: 07 juillet 2015 à 19:34:07 »
erreur ?

C'est juste des maths pour illustrer ce que 1 Petabit/sec répresente, a savoir 100k serveurs (comprendre 100k "flux") de 10Gbps ou "Library of Congress in less than 1/10th of a second"

La bisection bandwidth (BW) est un total, on sait juste qu'elle vaut 1 Petabit/sec. Ca ne donne aucune info sur le nombre de serveurs ou de ports.

Citer
bisection bandwidth = bandwidth across smallest cut that divides network into two equal halves

Citer
For a given topology, bisection bandwidth, is calculated by dividing
the network into two roughly equal parts—each with half the nodes—and
summing the bandwidth of the links crossing the imaginary dividing line
(tiré d'une lecture conseillée: Computer Architecture: A Quantitative Approach )

Mais la on  n'est pas dans un cas d'école simple (anneau, bus, mesh, tree, etc) ou tout les liens sont de la même taille et ou à  partir de la valeur de BW et de la vitesse d'un lien d'un nœud (présumé a 10Gbps) on peut déduire le nombre de nœuds en fonction d'une formule (anneau=2, bus=1, 2dmesh=racine(N), etc). On ne sait meme pas s'il parle de BW  bi-directionnelle ou mono-directionnelle.

Prenons des liens a 10Gbps (L=10 Gpbs). Une BW de 1 Petabit/sec ca fait:
BW =  1000 Terabit/sec = 100 000 x 10 Gbits/sec = 100 000 liens (100k x L donc).
Le cas extreme haut: un réseau de N noeuds (serveurs) 'fully meshed' (complètement interconnecté) a un BW de (N/2)2.
Donc pour 100k ca fait 100k = (N/2)2 donc N = sqrt(100k)*2 ~= 632 serveurs.
A comprendre donc: un switch non bloquant de 632 ports 10Gbps a une BW de 1 Petabit/sec
Le cas extreme bas (ou BW dépend de N): un réseau de N noeuds (serveurs) '2d mesh' (une grille) a un BW de sqrt(N).
Donc pour 100k ca fait 100k = sqrt(N) donc N = 100k*100k = 10 000 000 000 serveurs (10 milliards de serveurs)
A comprendre donc: un 2d mesh de 10 milliards de serveurs a 10Gbps a une BW de 1 Petabit/sec
(slides sur le BW: http://www.mat.unimi.it/users/pavarino/par_comp/3networks.ppt )

Le Jupiter se situe entre les 2 mais tout les liens ne sont pas identiques et pas tous a 10Gbps (les liens ToR sont a 40G et plus bas aussi, les hosts (serveurs) sont a 40G ou 10G). Les serveurs sont probablement multi-links (4x10Gbps par exemple) pour certains aussi bref pas simple de déduire le nombre de serveurs ou même de ports de l'information donnée.
On en saura plus en août.

ruchard5

  • Expert
  • Abonné Free adsl
  • *
  • Messages: 116
    • Le blog du Ruchard
Les data centers de Googles
« Réponse #107 le: 07 juillet 2015 à 21:30:28 »
L'architecture est détaillé tel que je l'ai poste précédemment (je remet l'image extraite de la vidéo ici)... donc ceci n'est pas une vue de l'esprit ou une théorie :D.

On peux donc calculer le maximum possible en pratique pour cet fabrique réseau non-blocking.

Evidemment l'architecture et les valeur de bandes passante sont full-duplex. Les serveurs sont en 10 ou 40G (pas de précision sur le multi-link).