La Fibre
Hébergeurs et opérateurs pro / entreprises => Hébergeurs et opérateurs pro / entreprises => 
Hetzner => Discussion démarrée par: letsar le 28 décembre 2022 à 06:29:49
-
https://www.youtube.com/watch?v=5eo8nz_niiM (https://www.youtube.com/watch?v=5eo8nz_niiM)
-
C'est franchement intéressant de voir les différentes approches pour de l'hébergement de serveur dédié low cost. J'aime bien ces acteurs qui ne font pas comme tout le monde.
Ici, c'est très différent de ce que fait OVH:
Hetzner fait de l'air-cooling
Mais surtout, ce qui me surprend, c'est que Hetzner ne semble pas viser la haute densité, contrairement à la majorité de la concurrence.
Chaque serveur dédié Hetzner des gammes EX et AX occupe 2U en 19 pouces apparemment. Avec des composants standards, y compris l'alimentation.
Ca fait une densité faible, et il faut du coup beaucoup de place.
En comparaison, la concurrence vise plus de 1 machine par 1U, pour des machines de puissance équivalente.
J'aime beaucoup le concept de bâtiment d'architecture custom dédié, et répliqué à plein d'endroits.
Il y a une "visite virtuelle" de leur datacenter
https://www.hetzner.com/unternehmen/360-tour/
Pour finir, Hetzner fait du greenwashing comme tous les autres, et ça m'énerve. Parler d'électricité 100% verte en Allemagne, c'est mesquin...
Leon.
-
Pour finir, Hetzner fait du greenwashing comme tous les autres, et ça m'énerve. Parler d'électricité 100% verte en Allemagne, c'est mesquin...
Leon.
C'est de la dissonance cognitive, ils y croient vraiment malheureusement.
-
Quelques images extraites de la vidéo de der8auer EN :
Entrée du datacenter :
(https://lafibre.info/images/datacenter/202110_der8auer_datacenter_hetzner_01.webp)
(https://lafibre.info/images/datacenter/202110_der8auer_datacenter_hetzner_02.webp)
-
Serveurs au format mini-tour (ancienne génération)
(https://lafibre.info/images/datacenter/202110_der8auer_datacenter_hetzner_03.webp)
(https://lafibre.info/images/datacenter/202110_der8auer_datacenter_hetzner_04.webp)
(https://lafibre.info/images/datacenter/202110_der8auer_datacenter_hetzner_05.webp)
-
Serveur au format rack maison (novelle génération)
Couloir chaud :
(https://lafibre.info/images/datacenter/202110_der8auer_datacenter_hetzner_07.webp)
-
Couloir froid :
(https://lafibre.info/images/datacenter/202110_der8auer_datacenter_hetzner_11.webp)
(https://lafibre.info/images/datacenter/202110_der8auer_datacenter_hetzner_12.webp)
-
Salle serveur, vue de haut :
(https://lafibre.info/images/datacenter/202110_der8auer_datacenter_hetzner_08.webp)
(https://lafibre.info/images/datacenter/202110_der8auer_datacenter_hetzner_09.webp)
-
Ce qui ressemble à des serveurs rack du commerce :
(https://lafibre.info/images/datacenter/202110_der8auer_datacenter_hetzner_10.webp)
-
Assemblage de nouveaux serveurs :
(https://lafibre.info/images/datacenter/202110_der8auer_datacenter_hetzner_13.webp)
(https://lafibre.info/images/datacenter/202110_der8auer_datacenter_hetzner_14.webp)
-
(https://lafibre.info/images/datacenter/202110_der8auer_datacenter_hetzner_15.webp)
(https://lafibre.info/images/datacenter/202110_der8auer_datacenter_hetzner_16.webp)
-
Tests des disques dur et stockage des disques dur HS :
(https://lafibre.info/images/datacenter/202110_der8auer_datacenter_hetzner_17.webp)
(https://lafibre.info/images/datacenter/202110_der8auer_datacenter_hetzner_18.webp)
-
Local batteries :
(https://lafibre.info/images/datacenter/202110_der8auer_datacenter_hetzner_19.webp)
(https://lafibre.info/images/datacenter/202110_der8auer_datacenter_hetzner_20.webp)
-
Les différentes solutions mises en place pour assurer la ventilation :
(https://lafibre.info/images/datacenter/202110_der8auer_datacenter_hetzner_21.webp)
(https://lafibre.info/images/datacenter/202110_der8auer_datacenter_hetzner_22.webp)
-
Le SAV :
(https://lafibre.info/images/datacenter/202110_der8auer_datacenter_hetzner_23.webp)
-
PC filmé avec une caméra thermique :
(https://lafibre.info/images/datacenter/202110_der8auer_datacenter_hetzner_24.webp)
(https://lafibre.info/images/datacenter/202110_der8auer_datacenter_hetzner_25.webp)
-
Autre type de carte mère, lors d'un passage au SAV :
(https://lafibre.info/images/datacenter/202110_der8auer_datacenter_hetzner_26.webp)
-
Tests de systèmes de refroidissement à eau : (inspiré par OVH ?)
(https://lafibre.info/images/datacenter/202110_der8auer_datacenter_hetzner_28.webp)
(https://lafibre.info/images/datacenter/202110_der8auer_datacenter_hetzner_29.webp)
-
Tests de systèmes de refroidissement à eau : (inspiré par OVH ?)
C'est un beau bordel de câble :o
-
Y a de bonnes idées, et y en a des mauvaises.
Choisir de tout fabriquer soit même est intéressant à grande échelle, et je pense qu'ils sont arrivé à un niveau d'industrialisation satisfaisant.
La présence de serveur en format desktop en début de visite montre bien qu'il y avait un vrai problème de capitaux au début, comme chez tous les hébergeurs. On cherche à rentabiliser au mieux avec du matériel grand public, qu'on modernise ensuite quand les moyens financiers sont là avec des châssis home-made. Toute la configuration des baies étant prévu pour tout desktop, on reste sur ce format, de toute façon, c'est loué, donc rentable de les laisser allumé et de les faire perdurer dans le temps.
Pour ce qui est du système de refroidissement, il est classique en réalité, beaucoup font ça de nos jours, en ventilation filtrée (maxnode en état un bon exemple), ou en système adiabatique. La seconde partie montre un schéma plus classique du refroidissement en cold corridor, évidement logique pour les densités énergétique. D'ailleurs, les baies font au moins 55U de hauteur, ils se rattrapent comme ça sur la densité (comme ovh sur ses haut de gamme qui ne font pas 1U non plus).
La taille du bâtiment amène de l'inertie en cas de panne. On voit que le risque a été anticipé, un tel volume d'air permettant de gagner quelques précieuses minutes pour trouver une solution.
On remarque qu'ils ne montrent pas volontairement l'espace "cloud", car les machines sont brandé sur une marque, j'ai pas reconnu à distance mais il y a un loup derrière cette histoire. C'était le plus beau, et ils ne l'ont pas montré pour une raison.
Au global, il y a quelques choix commun aux notre, mais tout est finalement une question d'échelle. J'ai l'espoir d'avoir suffisamment de volume dans quelques années pour reconstruire un bâtiment, et il n'est pas impossible que ça ressemble à ce type d'urbanisation. Cependant, sur le choix du refroidissement à air filtré, je suis dubitatif sur l'avenir. Certes ils ont des clims pour compenser les quelques jours chaud, mais de ce que je vois, les jours chauds deviennent récurent. Un système de refroidissement classique (cold corridor avec circuit d'eau glacé ou détente directe) me semble indispensable pour maintenir la continuité de services de nos jours.
Par contre, le local batterie est vraiment beau, ça sent le remplacement récent, là pour le coup, ils ont bien fait de le montrer !
-
Maxnod semblait plus perfectionné, avec des automates pour gérer la reprise d'air de façon à avoir une température dans le couloir froid à 28°c 365 jours par an.
La reprise d'air pouvait se faire à l'extérieur ou l'intérieur. S'il fait froid à l'extérieur, on recycle une partie importante de l'air chaud.
En période de canicule, le système est en mesure de reprendre l'air chaud, s'il est plus froid que l'air extérieur (avant d'être refroidi).
L'adiabatique comme fait DC5 ne te tente pas pour un nouveau datacenter ? aucune clim pour les serveurs (les petites clims du site, c'est pour les salles énergies et réseau)
-
Cependant, sur le choix du refroidissement à air filtré, je suis dubitatif sur l'avenir. Certes ils ont des clims pour compenser les quelques jours chaud, mais de ce que je vois, les jours chauds deviennent récurent. Un système de refroidissement classique (cold corridor avec circuit d'eau glacé ou détente directe) me semble indispensable pour maintenir la continuité de services de nos jours.
J'ai pas compris. Hetzner a des cold corridor. Et ils ont des clim en détente direct. Plus un système de Free-Cooling. donc ils ont déjà tout ce que tu proposes, non?
Maxnod semblait plus perfectionné, avec des automates pour gérer la reprise d'air de façon à avoir une température dans le couloir froid à 28°c 365 jours par an.
Comme chez Hetzner, en fait. Hetzner a aussi des centrales de traitement d'air avec automates de gestion, et recirculation d'air.
La différence avec MaxNod : Hetzner ne fait pas de refroidissement adiabatique. [Edit : cette affirmation était fausse, merci Vivien pour la correction]
Leon.
-
Pas d'adiabatique chez Maxnod.
C'est caaptuss (Jérémy Martin) qui a une brumisation sur les groupes, ça dans l'urgence, cela serait intéressant de voir la solution définitive.
Jérémy Martin vient de mettre en place pour cette canicule un système de brumisateur devant l'entrée d'air extérieur des clim à l'extérieur : but rafraichir un peu l'air absorbé.
Nous venons de passer les 40,5°c en extérieur. Notre système de brumisateur fonctionne bien, le PUE de l'installation se maintient a 1.50, sans variation de la température intérieure.
https://lafibre.info/videos/datacenter/202207_firstheberg_brumisateur.mp4
-
La présence de serveur en format desktop en début de visite montre bien qu'il y avait un vrai problème de capitaux au début, comme chez tous les hébergeurs. On cherche à rentabiliser au mieux avec du matériel grand public, qu'on modernise ensuite quand les moyens financiers sont là avec des châssis home-made. Toute la configuration des baies étant prévu pour tout desktop, on reste sur ce format, de toute façon, c'est loué, donc rentable de les laisser allumé et de les faire perdurer dans le temps.
Je n'ai pas la même analyse. Hetzner a été beaucoup critiqué, moqué, pour ses PC mini-tour... je n'ai jamais compris pourquoi.
Au final, c'est peut-être tout simplement un choix délibéré, et non une contrainte liée à un manque de capitaux.
Contrairement à ce que veulent nous faire croire les équipementiers de salles informatique (APC, Schneider, etc...), tous les datacenter ne visent pas la "haute densité", tous n'ont pas forcément intérêt à viser la haute densité.
La haute densité, c'est utile:
- quand tu loues de l'espace dans un datacenter tiers, dans ce cas les m² sont toujours chers
- quand tu possède ta propre salle/datacenter, mais que le prix du m² est cher (centre ville)
- quand tu héberges de très gros systèmes, style HPC, super-computer
Mais si Hetzner n'avait aucune de ces contraintes, il est tout à fait possible que l'équation économique ait montré que ces mini-tours étaient plus rentables pour leur propre cas il y a 15 ans (2009) quand ils ont ouvert leur 1ier datacenter privé "à la campagne" à Falkenstein, construits dans des hangars low-cost.
L'infra présentée par Hetzner avec les mini-tour est très propre, bien agencée, facile à maintenir, contrairement à d'autres qui hébergent leur carte mère directement sur des plateaux 19 pouces, avec les HDD directement à cheval sur 2 cartes mères.
(https://lafibre.info/datacenter/digicube-datacenter-bricole/?action=dlattach;attach=94597;image)
Leon.
-
C'est de la dissonance cognitive, ils y croient vraiment malheureusement.
En effet quand on voit la pollution du pays en terme de co2/Kwh c'est pas joli : le charbon :-X
Après c'est pas tant le co2 le problème plutôt les mines immenses de charbon, la pollution aux particules fines, le souffre... la liste est longue
-
Voici une nouvelle vidéo sympa de la part de Linux-Tech-Tips sur Hetzner.
La première partie de la vidéo est pas mal.
Il explique de manière pédagogique les grands choix techniques de Hetzner.
La deuxième partie de la vidéo, c'est malheureusement assez brouillon.
https://www.youtube.com/watch?v=MQeJYEN_lrg
Leon.
-
Merci pour le lien, c'est intéressant.
C'est vrai que c'est toujours brouillon, les reportages où on met du show là où ça devrait rester sur la technique.
Mais malheureusement, il faut ça pour faire de l'audience.
-
C'est vrai que c'est toujours brouillon, les reportages où on met du show là où ça devrait rester sur la technique.
Mais malheureusement, il faut ça pour faire de l'audience.
Oui, Linus a un enthousiasme, un charisme, que beaucoup d'autres "concurrents" n'ont pas su trouver.
Mais la qualité des vidéos LTT se dégrade d'années en années, de mois en mois, sur les sujets techniques. C'était mieux avant.
Indépendamment des polémiques qui ont eu lieu ces dernières années (qui ne m'intéressent pas du tout), LTT a quand même perdu tous ses ancien experts techniques historiques.
La dernière vidéo LTT sur la RAM est affligeante, tellement leur pseudo analyse sur l'utilisation de la RAM est fausse.
Je la mets en tag <code> pour ne pas trop polluer le sujet.
https://www.youtube.com/watch?v=1oIyk13JwQMPour moi, LTT devrait réduire le volume des vidéos, et augmenter la qualité, mais je pense qu'ils ne peuvent pas le faire facilement, ça réduirait leur revenus.
En tout cas, la dernière vidéo c'est une très bonne publicité pour Hetzner. Hetzner c'est vraiment une entreprise que j'apprécie. Plus qu'OVH. Ils sont bons en communication, leur catalogue est simple à comprendre, sans chichi, les tarifs ne changent pas tous les 4 matins; ils ne vendent pas des vessies pour des lanternes contrairement à certains.
Leon.
-
Hetzner fait de l'air-cooling
Ca serait cool de savoir comment ils ont géré les X canicules de ces 60 derniers jours ;)
-
Je suis étonné sur les batteries au plomb qui ont une durée de vie de "10 à 15 ans". Ce n'est pas énorme ?
(https://lafibre.info/images/datacenter/202608_linus_tech_tips_datacenter_hetzner_1.avif)
(https://lafibre.info/images/datacenter/202608_linus_tech_tips_datacenter_hetzner_2.avif)
-
En France les pot d'échappement des générateurs doivent être mis dans des cheminées pour une évacuation en hauteur.
Cela ne serait pas le cas dans toute l'Union européenne ?
(https://lafibre.info/images/datacenter/202608_linus_tech_tips_datacenter_hetzner_3.avif)
-
Sinon, je suis étonné par ces petits ventilateurs rajoutés sur les serveurs pour réduire les points chauds :
(https://lafibre.info/images/datacenter/202608_linus_tech_tips_datacenter_hetzner_4.avif)
(https://lafibre.info/images/datacenter/202608_linus_tech_tips_datacenter_hetzner_5.avif)
-
Ca serait cool de savoir comment ils ont géré les X canicules de ces 60 derniers jours ;)
Tu as regardé les 2 vidéos? Je pense que non... C'est expliqué. ;)
80-90% de l'année, c'est du freecooling pur, température de 22 à 24°C en entrée des serveurs.
Falkenstein est assez au nord, donc plutôt frais si on regarde à l'année.
Et pour les périodes les plus chaudes, ils ont une climatisation.
Donc c'est mieux que OVH.
Leon.
-
Je suis étonné sur les batteries au plomb qui ont une durée de vie de "10 à 15 ans". Ce n'est pas énorme ?
Bouchons + bac transparent avec niveau : ce sont des batteries dont on peut faire l'entretien. La durée de vie est plausible.
-
Sinon, je suis étonné par ces petits ventilateurs rajoutés sur les serveurs pour réduire les points chauds :
C'est expliqué dans la video. Comme ce sont des rack "home made" non fabriqué pour une ventilation dans la longueur comme des rack 1U etc le sont + du materiel "grand publique", ce sont les seuls périphériques (dans le cas des photos, les nvme) qui en général bénéficie d'un peut de airflow des ventilateurs etc de la tour.
Mais comme dans le cas de leurs rack, il n'y a quasi pas d'air flow à part sur le CPU+RAM qui sont dans leurs compartiment imprimé en 3D, il n'y a quasi rien sur les disques.
C'est plus pour créer un peut d'air sur/autour des disque que pour vraiment refroidir sinon ils auraient installé des pads+heatsink.