La Fibre
Datacenter et équipements réseaux => Datacenter => 
Maxnod => Discussion démarrée par: vivien le 15 septembre 2015 à 08:45:51
-
Je propose de se rencontrer "in real life", le samedi 10 octobre 2015 avec la visite du Maxnod, le datacenter d'Adeli
(https://lafibre.info/images/adeli/logo_maxnod_64.png)
RDV a 14h25 sur le parking de Maxnod à Saint-Trivier-sur-Moignans dans l'Ain
Pour les inscriptions, cela se passe par message privé.
Il me faut votre nom / prénom pour que je transmette en avance la liste des participants à Maxnod / Adeli.
Quelques photo de Maxnod prises lors de mon déplacement il y a 3 ans et demi pour changer le serveur de LaFibre.info :
L'entrée du Datacenter Maxnod :
(https://lafibre.info/images/adeli/201205_datacenter_maxnod_01.jpg)
La tête de réseau, qui récupère 200 chaînes de TV et radio pour le FTTH Adeli :
(https://lafibre.info/images/adeli/201205_datacenter_maxnod_02.jpg)
Au premier plan, les ailettes pour la sortie de l'air chaud de la salle et le groupe froid avec les emplacements pour de futurs groupes :
(https://lafibre.info/images/adeli/201205_datacenter_maxnod_03.jpg)
-
Les groupes électrogènes :
L'isolation phonique pour les groupes électrogènes :
(https://lafibre.info/images/adeli/201205_datacenter_maxnod_04.jpg)
Ces groupes électrogènes vous ne les verrez pas lors de la visite : ils ont tous les deux été remplacés
(https://lafibre.info/images/adeli/201205_datacenter_maxnod_05.jpg)
Second groupe pour sécuriser le premier :
(https://lafibre.info/images/adeli/201205_datacenter_maxnod_06.jpg)
-
Les centrales de traitement de l'air "free cooling" :
Le coté le plus intéressant, le système de refroidissement de l'air qu'on ne retrouve nul part ailleurs : Quand il fait chaud, le principe est de refroidir l'air extérieur, le mettre dans la salle ou il passe une seule fois dans les serveurs, puis de le rejeter à l'extérieur, là ou presque tous les autres Datacenter refroidissent en boucle l'air intérieur.
L'hiver, l'air chaud de la salle est récupéré par le conduit qui viens du haut de la salle afin de conserver une température constante (la prise d'air se fait au-dessus du couloir froid)
(https://lafibre.info/images/adeli/201205_datacenter_maxnod_07.jpg)
L'air extérieur est aspiré par ces grands filtres changés chaque semaine : (ils étaient plus petit dans le passé, mais la forte aspiration fessaient que les insectes restaient collés)
(https://lafibre.info/images/adeli/201205_datacenter_maxnod_08.jpg)
L'air est ensuite refroidit, si il fait plus de 26°c à l'extérieur, sinon, il est directement injecté dans la salle dans le couloir froid :
(https://lafibre.info/images/adeli/201205_datacenter_maxnod_09.jpg)
-
L'entrée dans le Datacenter Maxnod, on tombe sur cette affiche de l'Ain assez étonnante :
(https://lafibre.info/images/adeli/201205_datacenter_maxnod_10.jpg)
6 rangées de baies mis dos à dos. On est ici dans le couloir chaud (air rejeté par les serveurs)
Le couloir froid où les serveurs aspirent l'air est enfermé derrière les portes :
(https://lafibre.info/images/adeli/201205_datacenter_maxnod_11.jpg)
Espace où est injecté l'air frais, par 4 centrales de traitement de l'Air (configuration en N+1 : seul 3 sont nécessaire)
On visualise également le système d’extinction incendie par CO2, dont la diffusion diminue fortement l’oxygène de la pièce, d'où la présence de gyrophares pour évacuer, avant la mise en route :
(https://lafibre.info/images/adeli/201205_datacenter_maxnod_12.jpg)
-
Couloir froid vu de l’intérieur :
(https://lafibre.info/images/adeli/201205_datacenter_maxnod_13.jpg)
Couloir chaud. Là où placée la table avec écran / clavier est là où est le serveur de LaFibre.info
(https://lafibre.info/images/adeli/201205_datacenter_maxnod_14.jpg)
Ce système de refroidissement permet d'héberger de la très haute densité : Ce n'est pas grave que l'air sorte à 45°c des serveurs : il est rejeté à l'extérieur (la salle est en sur-pression par rapport à l'extérieur) et ne sera pas refroidit une seconde fois.
(https://lafibre.info/images/adeli/201205_datacenter_maxnod_15.jpg)
-
Onduleurs et batteries :
2 onduleurs, 3 armoires de batteries et au premier plan les armoires électriques avec les disjoncteurs des baies.
(https://lafibre.info/images/adeli/201205_datacenter_maxnod_16.jpg)
Quand on ouvre une armoire de batterie, on est face à une seconde protection :
(https://lafibre.info/images/adeli/201205_datacenter_maxnod_17.jpg)
L'intérieur d'une armoire de batterie pas encore en service (les fusibles de 200A ne sont pas présents)
(https://lafibre.info/images/adeli/201205_datacenter_maxnod_18.jpg)
-
L'affichage d'un onduleur :
(https://lafibre.info/images/adeli/201205_datacenter_maxnod_19.jpg)
L'intérieur d'un onduleur, en cours de montage :
(https://lafibre.info/images/adeli/201205_datacenter_maxnod_20.jpg)
TGBT (Tableau Général Basse Tension) en cours de mise en place (il y a 3 ans et demis) dans une seconde salle :
(https://lafibre.info/images/adeli/201205_datacenter_maxnod_21.jpg)
-
Une vidéo qui date de janvier 2010 pour présenter le Maxnod :
https://lafibre.info/videos/datacenter/201001_maxnod.mp4
-
Merci Vivien pour les photos, ils sont effectivement tres pro chez Maxnod, ca ressemble beaucoup aux gros centre d'ebergement je fréquente souvent comme Safehost ou IBM et Interoute, je vais voir si je peux venir visiter ca comme c'est pas trop loin de chez moi.
Pour le couloir "couldcase" c'est effectivement tres efficace, mais pas beaucoup de clients veulent implèmenter ca.
Pour les groupes electrogène, etonnant qu'il aient ai pas des Caterpillar, tous les DC utilisent ca.
-
Pour le couloir "couldcase" c'est effectivement tres efficace, mais pas beaucoup de clients veulent implèmenter ca.
"cold corridor" ?
-
C'en en fait simplement une cage bien fermée avec des portes et refroidie efficacement et l'air chaud des serveurs es extraite sur l'exterieur, mais ca c'est relativement cher, donc difficile d'expliquer a un client que c'est une bonne solution, mais avec 500 serveurs ca se justifie..
-
Un cold corridor donc... Non ?
-
Tu ne peux pas dire qu'un cold corridor est plus cher, il suffit de capoter une allée ou, encore mieux, d'utiliser les rideaux en plastique façon "boucherie/abattoir" et ça suffit à éviter les mélanges entre allée chaude et allée froide.
La seule option qui "coute" ce sont les climatisations "In-Row" intercalées entre les baies serveurs. Il faut les prévoir à l'installation et amener le circuit d'eau jusque dans le faux-plancher. Cela dit ça remplace les grosses climatisations soufflantes en faux-plancher/ambiance.
L'avantage est qu'on peut atteindre une densité bien supérieure accompagnée d'une température plus homogène entre équipements. Le rendement de la climatisation s'améliore aussi (on échange au plus proche).
Dans tous les cas, tout cela ne fonctionne que si les équipements sont prévus pour une ventilation d'avant en arrière ce qui pose problèmes avec les switches non orientés Datacenter (Cisco Catalyst, Routeurs, switches classiques et meme des firewalls !).
-
Tu est sur que les clim "In-Row" coûtent plus cher que des clim traditionnelles via le faux plancher ?
Elle permettent d'éviter de mettre un faux plancher qui lui aussi coûte cher.
La solution plus originale de Maxnod aussi permet d'éviter le faux plancher.
Par contre Google utilise des faux plancher :
Datacenter Google avant l'installaiton des baies :
(https://lafibre.info/images/datacenter/201305_datacenter_google_MNK_019.jpg) (https://lafibre.info/images/datacenter/201305_datacenter_google_MNK_019.jpg)
Couloir chaud avec la clim au-dessus :
(https://lafibre.info/images/datacenter/201305_datacenter_google_PRY_22.jpg) (https://lafibre.info/images/datacenter/201305_datacenter_google_PRY_22.jpg)
Faux plancher :
(https://lafibre.info/images/datacenter/201305_datacenter_google_IDI_022.jpg) (https://lafibre.info/images/datacenter/201305_datacenter_google_IDI_022.jpg)
-
Tu est sur que les clim "In-Row" coûtent plus cher que des clim traditionnelles via le faux plancher ?
Pour les In-Row, il te faut amener les circuits d'eau glacée dans la salle jusque sous chaque clim (il t'en faut beaucoup) et pour des contraintes de risque d'inondation, il est préférable de les faire passer en faux-plancher (perso jamais vu de In-Row alimentées en eau glacée par le dessus). Et il faut tout prévoir dès le début -> impossible à implanter si les baies sont déjà en place.
Donc à l'installation ça coute plus cher mais à l'utilisation c'est bien plus efficace et probablement rapidement rentable.
-
Quelques photo de Maxnod prises lors de mon déplacement il y a 3 ans et demi pour changer le serveur de LaFibre.info :
sagit il de votre serveur personnel avec location d une baie?
-
Ouf, 3 ans après ta première visite, tu publies enfin des photos!
Merci Vivien...
En tout cas, la comparaison entre les 2 datacenters Maxnod et DC4Data sera intéressante, car ils sont de taille similaire, mais avec des solutions assez différentes.
Leon.
-
Jamais vu un seul datacenter sans faux plancher, avec les quantité de cable , lan, fibre, power qu'il y a passer, c'est possible sur des canivaux aérien,mais tous les DC utilisent des dalles de faux plancher, c'est aussi bien plus facile pour les modifs qutidienne qu'il faut faire.
-
la comparaison entre les 2 datacenters Maxnod et DC4Data sera intéressante, car ils sont de taille similaire, mais avec des solutions assez différentes.
Leon.
logique un est dans le Rhône, l'autre dans l’Ain, il ne faut pas confondre
-
Jamais vu un seul datacenter sans faux plancher, avec les quantité de cable , lan, fibre, power qu'il y a passer, c'est possible sur des canivaux aérien,mais tous les DC utilisent des dalles de faux plancher, c'est aussi bien plus facile pour les modifs qutidienne qu'il faut faire.
Et bien là tu feras 2 visites de datacenter sans faux plancher d'un seul coup, si tu participes à la visite!
Le faux plancher n'a pas que des avantages. De plus en plus de datacenters s'en passent. Dans les très gros, je ne citerai que Facebook.
Pour la gestion des risques sismiques, c'est même une catastrophe.
Avec un faux plancher, et pour les puissances actuelles, il faut sur-élever de plus en plus pour augmenter le flux d'air. Et faire des faux planchers hauts avec le poids des baies actuelles, c'est un vrai problème.
Les faux planchers sont des nids à poussière. Et les serveurs n'aiment pas la poussière, surtout les serveurs 1U qui s'encrassent très facilement (radiateurs très fins). Difficile de faire le ménage dans les moindres recoins d'un faux plancher. Sans faux plancher, c'est BEAUCOUP plus facile.
Les faux plancher apportent des problèmes d'électricité statique s'ils ne sont pas bien choisis. Il est possible de cramer un serveur pendant une manipulation rien qu'à cause de ça.
Une gestion de câbles en hauteur est souvent plus pratique. Les déploiements de câbles de grande longueur dans des faux planchers encombrés, ça peut prendre un certain temps. De manière générale, la maintenance en faux plancher est plus complexe, et nécessite des contorsions.
Il faut bien voir que les datacenters modernes, au moins ce qui n'ont pas pour vocation à être propre sur eux (co-localisation), migrent vers des solutions "industrielles", plus pragmatiques qu'esthétiques. Donc un sol industriel est beaucoup plus pratique qu'un faux plancher pour plein de raisons.
Leon.
-
(perso jamais vu de In-Row alimentées en eau glacée par le dessus)
et si on a de l'eau déminéralisée, la fuite ne devrait pas endommager les machines ?
-
et si on a de l'eau déminéralisée, la fuite ne devrait pas endommager les machines ?
L'eau glacée contient des additifs à base de glycol, et ça reste conducteur d'électricité dans tous les cas donc pas bon ménage avec les PDU. Enfin, moi ce que j'en dis... :)
Et +1 Leon (au bémol du besoin du faux-plancher pour le In-Row mais c'est un autre problème).
-
Pour les In-Row, il te faut amener les circuits d'eau glacée dans la salle jusque sous chaque clim (il t'en faut beaucoup) et pour des contraintes de risque d'inondation, il est préférable de les faire passer en faux-plancher (perso jamais vu de In-Row alimentées en eau glacée par le dessus). Et il faut tout prévoir dès le début -> impossible à implanter si les baies sont déjà en place.
Il me semble que DC for Data est en In-Row au vu des photos ? Il n'y a pas de faux-plancher.
Quelques photo de DCforDATA pour vous mettre l'eau à la bouche : (cliquez pour zoomer)
(https://lafibre.info/images/datacenter/201412_DCfoDATA_photo1.jpg) (https://lafibre.info/images/datacenter/201412_DCfoDATA_photo1_big.jpg)
Ce sera le premier datacenter que je visite qui a la climatisation intégrée au milieu des baies :
(https://lafibre.info/images/datacenter/201412_DCfoDATA_photo2.jpg)
-
sagit il de votre serveur personnel avec location d une baie?
C'est mon serveur personnel, mais il est hébergé gracieusement dans la baie Adeli a coté des serveurs Adeli.
-
Il me semble que DC for Data est en In-Row au vu des photos ? Il n'y a pas de faux-plancher.
En effet ! On voit les tuyaux calorifugés descendre du toit à la verticale des clims. Faut donc avoir un DC adéquat ! :)
Ceux qui sont en sous-sol ou en étage repasseront... (enfin, on doit pouvoir bricoler)
(https://lafibre.info/images/datacenter/201412_DCfoDATA_photo1_zoom.jpg)
-
L'eau glacée contient des additifs à base de glycol, et ça reste conducteur d'électricité dans tous les cas donc pas bon ménage avec les PDU. Enfin, moi ce que j'en dis... :)
Et +1 Leon (au bémol du besoin du faux-plancher pour le In-Row mais c'est un autre problème).
voila un sujet pour jeune chercheur en mal d'inspiration : du liquide refroidissant non conducteur
-
J'ai posé la question à Arnaud d'Online sur Tweeter sur In-Row VS Clim en ambiance.
Ci-joint sa réponse :)
-
Et bien là tu feras 2 visites de datacenter sans faux plancher d'un seul coup, si tu participes à la visite!
Le faux plancher n'a pas que des avantages. De plus en plus de datacenters s'en passent. Dans les très gros, je ne citerai que Facebook.
Pour la gestion des risques sismiques, c'est même une catastrophe.
Avec un faux plancher, et pour les puissances actuelles, il faut sur-élever de plus en plus pour augmenter le flux d'air. Et faire des faux planchers hauts avec le poids des baies actuelles, c'est un vrai problème.
Les faux planchers sont des nids à poussière. Et les serveurs n'aiment pas la poussière, surtout les serveurs 1U qui s'encrassent très facilement (radiateurs très fins). Difficile de faire le ménage dans les moindres recoins d'un faux plancher. Sans faux plancher, c'est BEAUCOUP plus facile.
Les faux plancher apportent des problèmes d'électricité statique s'ils ne sont pas bien choisis. Il est possible de cramer un serveur pendant une manipulation rien qu'à cause de ça.
Une gestion de câbles en hauteur est souvent plus pratique. Les déploiements de câbles de grande longueur dans des faux planchers encombrés, ça peut prendre un certain temps. De manière générale, la maintenance en faux plancher est plus complexe, et nécessite des contorsions.
Il faut bien voir que les datacenters modernes, au moins ce qui n'ont pas pour vocation à être propre sur eux (co-localisation), migrent vers des solutions "industrielles", plus pragmatiques qu'esthétiques. Donc un sol industriel est beaucoup plus pratique qu'un faux plancher pour plein de raisons.
Leon.
Je complète car j'ai oublié un point négatif pour les faux planchers : dans le cas de datacenters/salles informatiques dans des bâtiments standards, la perte de place pour mettre un grand faux plancher est importante, voire impossible à assumer. Certaines salles informatique ont des faux plancher trop bas (donc avec un mauvais écoulement d'air) à cause de la hauteur limitée des étages du bâtiment. D'autres ont à l'inverse des baies de hauteur limitée, pour gérer cette contrainte de hauteur.
Leon.
-
voila un sujet pour jeune chercheur en mal d'inspiration : du liquide refroidissant non conducteur
https://www.youtube.com/watch?v=beBzO-55exM
La question serait plutôt "de l'huile minérale fluide à basse température" ;)
-
Ou de l'huile alimentaire ?
https://www.youtube.com/watch?v=9qDgfIaiV9w
-
Faut etre cinglé pour utiliser de l'huile de cuisine , ca devient de la colle apres une année....
-
Y'a qu'à mettre du pyralène, EDF en donne... (it's a joke)