Auteur Sujet: Datacenter Facebook  (Lu 16978 fois)

0 Membres et 1 Invité sur ce sujet

Leon

  • Client SFR sur réseau Numericable
  • Modérateur
  • *
  • Messages: 5 971
Datacenter Facebook
« le: 12 juillet 2011 à 22:29:49 »
Je suis assez impressionné par cette vidéo:



Facebook a développé, et nous montre beaucoup d'innovations dont beaucoup de gens parlent, mais que l'on voit rarement!
* Suppression des onduleurs "en ligne" qui sont une aberration, mais qui sont encore largement utilisés. Les serveurs sont ici directement alimentés par le réseau électrique (ou par les groupes), sans aucune transformation. La seule conversion électrique, c'est l'alimentation du serveur, qui convertit le 270V alternatif en 12V continu, avec un très bon rendement. Le système de secours est un 2ieme réseau parallèle en 48V continu, donc avec un rendement merdique, mais peu importe, il n'est actif que pour quelques dizaines de secondes.
* augmentation de la tension jusqu'à 270V... Seulement, j'ai envie de dire.
* serveurs 1.5u (!) optimisés: carte mère disposant du stricte minimum. Pas de contrôleur graphique, pas de port inutile
* Du vrai freecooling, régulé, avec "atomisation" d'eau sous pression pour le refroidissement. Rien à voir avec l'installation d'OVH!
* Serveurs avec accès sur le devant seulement. Du coup, ils peuvent mettre des allées chaudes de taille réduite.
* Absence de faux plancher ou de faux plafond

Bref, c'est une vraie installation industrielle, simple, crédible.
Facebook a aussi mis en place un petit site pour décrire son hardware soit disant open source (je n'y crois pas).
http://opencompute.org/

Leon.

vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
Datacenter Facebook
« Réponse #1 le: 13 juillet 2011 à 07:55:01 »
Merci Leon, c'est assez impressionnant comme installation.

Maintenant je comprends la position d'OVH : si son FreeCooling simple fonctionne, pourquoi faire compliqué ?

OVH à également utilisé le principe de ne pas mettre de ventilateur par serveur mais de mettre des plus gros ventilateurs, avec un meilleur rendement, pour plusieurs serveurs.

Dedibox / Online avait aussi conçu leur propre carte mère pour leur premier serveur (là où OVH achète des cartes mètres du commerce, on voit même les connecteurs de la carte audio) mais ils avait fait beaucoup d’erreurs. Par exemple, avec les premiers serveurs Dedibox, il était impossible d'extraire un serveur. En cas de panne il était condamné jusqu'à la mise HS de toute la baie.

Quand je regarde les installations d'OVH je me demande toujours comment il font pour recycler une partie des serveurs : Certains clients gardent 4 ans des vieux serveurs (cas du serveur dédié citéFibre qui Free a continué a renouveler après le départ de l'équipe) et d'autres en changent tous les ans. Or les composants RAM et disque évolue chaque année pour les serveurs. J'ai compris que les vieux disques était revendus, mais il faut déconnecter la carte mère et débrancher les circuit de refroidissement par eau pour récupérer le serveur, non ?

corrector

  • Invité
Datacenter Facebook
« Réponse #2 le: 13 juillet 2011 à 13:03:12 »
OVH à également utilisé le principe de ne pas mettre de ventilateur par serveur mais de mettre des plus gros ventilateurs, avec un meilleur rendement, pour plusieurs serveurs.
Est-ce que les concepteurs de serveurs modélisent la circulation de l'air entre les composants?

Dedibox / Online avait aussi conçu leur propre carte mère pour leur premier serveur (là où OVH achète des cartes mètres du commerce, on voit même les connecteurs de la carte audio) mais ils avait fait beaucoup d’erreurs. Par exemple, avec les premiers serveurs Dedibox, il était impossible d'extraire un serveur. En cas de panne il était condamné jusqu'à la mise HS de toute la baie.
C'est fréquent?

Leon

  • Client SFR sur réseau Numericable
  • Modérateur
  • *
  • Messages: 5 971
Datacenter Facebook
« Réponse #3 le: 13 juillet 2011 à 18:39:50 »
Dedibox / Online avait aussi conçu leur propre carte mère pour leur premier serveur (là où OVH achète des cartes mètres du commerce, on voit même les connecteurs de la carte audio) mais ils avait fait beaucoup d’erreurs. Par exemple, avec les premiers serveurs Dedibox, il était impossible d'extraire un serveur. En cas de panne il était condamné jusqu'à la mise HS de toute la baie.
Ca me surprend, ce que tu dis. En regardant la vidéo de Online, je ne vois que des serveur qui peuvent être démontés.

Citer
Quand je regarde les installations d'OVH je me demande toujours comment il font pour recycler une partie des serveurs : Certains clients gardent 4 ans des vieux serveurs (cas du serveur dédié citéFibre qui Free a continué a renouveler après le départ de l'équipe) et d'autres en changent tous les ans. Or les composants RAM et disque évolue chaque année pour les serveurs. J'ai compris que les vieux disques était revendus, mais il faut déconnecter la carte mère et débrancher les circuit de refroidissement par eau pour récupérer le serveur, non ?
Pourquoi OVH ne pourrait-il pas enlever un vieux serveur? Leur système de watercooling permet d'enlever les serveurs 1 par 1 à chaud. Si tu fais référence à ce que je montrais qui me choquait dans l'installation de watercooling d'OVH, je parlais du gros raccord de toute la baie, qui, lui, ne permet pas une intervention à chaud. Pour les serveurs, il y a des petits raccords stop au milieu des tuyaux transparents.

Leon.

vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
Datacenter Facebook
« Réponse #4 le: 13 juillet 2011 à 18:54:41 »
Je parlais de la première génération de dedibox, avec cpu basse consommation Via C7 2GH et le problème à été corrigé 6 mois après pour les nouvelles baies.

Mieszko

  • Expert.
  • Abonné Bbox fibre
  • *
  • Messages: 244
  • Wambrechies 59
Datacenter Facebook
« Réponse #5 le: 14 juillet 2011 à 10:22:36 »
Grâce a mon boulot, je visite de très nombreux datacenters (encore 2 cette nuit), je peux vous assurer que sur Paris/région parisienne du moins, je n'ai pas encore vu de DC freecooling, watercooling, sans faux plancher. Ce n'est pas encore prêt d'arriver en France.
l'ensemble des DC que je fréquente sont construit a "l'ancienne", de grandes salles avec une tornade d'air frais.
En revanche, je constate l'installation plus fréquente de 'couloirs' frais, ou l'air frais sort du sol a défaut de changer toute l'infrastructure du DC.

ça permet de focaliser l'air frais sur une zone précise plutôt que refroidir toute la pièce.

vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
Datacenter Facebook
« Réponse #6 le: 14 juillet 2011 à 10:37:20 »
Il me semble que le but est de récupérer l'air le plus chaud car cela coute moins cher d'enlever des calorie sur un air chaud plutot que sur un air froid.

Quand il n'y a pas d'allée froide / allée chaude, l'aire sort du faux plancher à 15°c et rentre dans la clim à 22°c (la température de la pièce).

Avec des allées froides / allées chaudes, l'air sort des faux planche à 20°c (la température de la pièce) et rentre à 35°c, l'air est récupéré a l’arrière des serveurs, comme le montre ta photo.

Le problème, c'est que certains équipements réseau (je pense a des équipements Atrica, des routeurs Cisco, ...) ne respectent pas la règle de prendre l'air frais en façade et de le rejeter chaud à l’arrière : ils prennent l'air frais sur la droite de l'équipement et le rejette sur la gauche.

Voici une vidéo du modeste DataCenter (avec FreeCooling) où est hébergé LaFibre.info près de Lyon, le Maxnod 1 :

Mieszko

  • Expert.
  • Abonné Bbox fibre
  • *
  • Messages: 244
  • Wambrechies 59
Datacenter Facebook
« Réponse #7 le: 14 juillet 2011 à 10:50:35 »
les machines sur lesquelles je bosse sont des baies de stockage EMC, fut un temps, les machines aspiraient l'air frais par le bas et expulsaient l'air chaud par le haut, grace a de puissants ventilateurs places sur le haut de la machine, puis sur les generations suivantes, l'air frais est aspire en facade par les powersupply situe au dos des baies, et expulse par l'arriere.
vu la quantite de disques dans les machines (jusqu'a 2400 disques - http://france.emc.com/collateral/hardware/specification-sheet/h6176-symmetrix-vmax-storage-system.pdf ), je peux vous assurer que ca chauffe. si je peux je shooterais une photo du graphique des temperatures des baies de disques.
Parmis les machines qui chauffent le plus, on trouve les gros systemes IBM et HP.

Leon

  • Client SFR sur réseau Numericable
  • Modérateur
  • *
  • Messages: 5 971
Datacenter Facebook
« Réponse #8 le: 14 juillet 2011 à 13:28:48 »
Il me semble que le but est de récupérer l'air le plus chaud car cela coute moins cher d'enlever des calorie sur un air chaud plutot que sur un air froid.

Quand il n'y a pas d'allée froide / allée chaude, l'aire sort du faux plancher à 15°c et rentre dans la clim à 22°c (la température de la pièce).

Avec des allées froides / allées chaudes, l'air sort des faux planche à 20°c (la température de la pièce) et rentre à 35°c, l'air est récupéré a l’arrière des serveurs, comme le montre ta photo.
Vivien, en fait, les 2 systèmes existent: confinement des couloirs froids, et confinement des couloirs chauds. Et les 2 systèmes peuvent être réalisés avec ou sans faux plancher.
Le plus simple, dans un datacenter "traditionnel" à faux plancher, c'est de faire un système de confinement par allées froides. En effet, il suffit d'installer le confinement. Le faux plancher délivre directement son air frais dans le couloir. Le couloir froid ne fait que prolonger le confinement du faux plancher.
Pour confiner l'air chaud et le ramener aux clims, c'est plus compliqué.

Pour les questions de température, il n'est pas plus "difficile" de refroidir un système plutôt qu'un autre, tant que c'est confiné. Dans les 2 systèmes (allées chaudes ou allées froides confinées), tu peux très bien régler la zone chaude à une température donnée (30°C par exemple). Et si tu règles à la même température dans les 2 systèmes, tu auras la même "efficacité" globale. Le système de confinement par allées chaudes a un léger avantage: il offre une réserve d'air "frais" plus grande.

Enfin, quand on fait du confinement, il faut impérativement placer des masques dans les emplacements de baie non utilisés. Malheureusement, très peu de datacenters "publics" imposent ça à leurs clients, et je trouve ça très dommage!

Citer
Le problème, c'est que certains équipements réseau (je pense a des équipements Atrica, des routeurs Cisco, ...) ne respectent pas la règle de prendre l'air frais en façade et de le rejeter chaud à l’arrière : ils prennent l'air frais sur la droite de l'équipement et le rejette sur la gauche
Le flux d'air sur le côté des équipements réseaux est parfaitement logique: ce sont des équipements avec énormèment de connexions. Donc difficile de prévoir des connexions ET des prises d'air sur la même façade.
Il existe des accessoires pour canaliser le flux d'air pour ce genre d'équipements.
Après, dans les gros datancenter sérieux, on essaye au maximum de mettre les équipements réseaux à part. Parce que les contraintes ne sont pas du tout les mêmes. Les gros routeurs/switches de coeur sont des équipements super stratégiques. Donc on essaye de les isoler dans des salles moins fréquentées et plus sécurisées. En plus, les équipements réseaux consomment globalement moins que des serveurs. Donc le refroidissement sera différent. Il ne faut pas par exemple pénaliser le réseau parce qu'il y a une panne de clim et que les serveurs voisins chauffent trop.

Leon.

vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
Datacenter Facebook
« Réponse #9 le: 14 juillet 2011 à 15:39:26 »
Je parlait du fait que c'est plus efficace de climatiser avec un confinement (couloirs froids / couloirs chaud) que sans confinement (air brassé dans tous les sens par les serveurs)

vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
Datacenter Facebook
« Réponse #10 le: 06 janvier 2012 à 23:02:08 »
Deux autres vidéos sur les Datacenter Facebook :

Enregistré en avril 2011 :



dj54

  • Abonné Free fibre
  • *
  • Messages: 921
  • Nancy (54)
    • La passion des ondes
Datacenter Facebook
« Réponse #11 le: 12 juillet 2016 à 19:39:12 »
FaceBook a construit un nouveau DC il y a 2 ans visite est fonctionnement
un reportage diffusé sur France 2 le 11 juillet 2016
et visite du DC Hydro66 dans le meme reportage
petite visite du DC

« Modifié: 12 juillet 2016 à 20:13:33 par dj54 »