Auteur Sujet: Canicule: risque "très élevé" pour les datacenters  (Lu 38430 fois)

0 Membres et 1 Invité sur ce sujet

caaptusss

  • AS197922 Officiel Techcréa
  • Expert
  • *
  • Messages: 115
  • Valenciennes (59)
    • FirstHeberg
Canicule 2019: risque "très élevé" pour les datacenters
« Réponse #48 le: 25 juillet 2019 à 00:51:23 »
Chez nous, c'est compliqué, notre datacenter se fait très vieux, et on est impatient de le déménager dans 1 mois dans un nouvel établissement tout beau tout neuf qu'on fini de construire en ce moment.
Nos salles sont parfois petites, parfois plus grandes, et sont généralement refroidies par des climatisation à détente directe tertiaire (typiquement du SPLIT mural) avec des groupes allant de 8 kW à 18 kW. La puissance totale froid est de 42 kW actuellement. Les gaz sont variés, ayant plusieurs générations de clims.
Manque de chance, on consomme (et donc on produit pas loin d'autant de chaleur) 40 kW d'énergie en tout. Autrement dit, tout tourne à fond, pour maintenir les salles en conditions opérationnelles, mais c'est blindé à ras-la-gueule (encore une fois, on déménage trèèès bientôt, aussi pour ça). Comme ils tournent déjà à fond, ils sont déjà très proche de la pression maximale, et la difficulté à dissiper augmente le risque de mise en sécurité, voire de casse.

Nos groupes compresseurs sont de marques variés, Daikin, Mitsubitshi, Hitachi, Wirldpool, LG, Atlantic Fujitsu. Tous ont des valeurs maximales en pression max différentes, ça oscille souvent entre 42 et 49°c selon les groupes.

Vous imaginez bien que demain ça va être chaud patate. On dispose d'une dizaine de groupes mobile de faible puissance (4-6 kW) mais l'extraction de l'air chaud est parfois complexe à mettre en œuvre. On attend une température max de 41°c par chez nous.

On a déjà connu 2 disjonctions sur lundi et mardi, mais ce qu'on a fait ci après a permis de réguler la situation.
https://twitter.com/caaptusss/status/1154120886976483328


Ce matin, on a éteint toutes les machines non loués et pas déjà mise en veille, et on a déménagé une dizaine de lames dans un datacenter voisin dans lequel on a un peu de capacité. Mais les équipes ont pour ordre d'éteindre les serveurs si les clims ont une casse ou mise en sécurité. Du moins, si les groupes mobiles ne parviennent pas à maintenir une situation opérationnelle.

Hâte de vous présenter notre nouveau DC ou ce genre de problème n'existeront plus, on a tout repris de zéro et créé un vrai DC 2N que ça soit en clim ou en alimentation. Si seulement cette canicule était tombé en septembre :p


e-TE

  • Abonné Free fibre
  • *
  • Messages: 1 145
  • Déville-les-Rouen (76)
Canicule 2019: risque "très élevé" pour les datacenters
« Réponse #49 le: 25 juillet 2019 à 00:56:52 »
Hâte de vous présenter notre nouveau DC ou ce genre de problème n'existeront plus, on a tout repris de zéro et créé un vrai DC 2N que ça soit en clim ou en alimentation.
bon courage pour demain, et hate de voir votre nouveau DC :D
on aura le droit à un reportage photo par vivien? ou vous avez déjà prévu un reportage de votre coté? ^^
(oui, je suis fan des reportages toujours bourrés de détails de vivien :p )

abermingham

  • AS12876 Officiel Scaleway
  • Expert
  • *
  • Messages: 112
  • Paris (75)
Canicule 2019: risque "très élevé" pour les datacenters
« Réponse #50 le: 25 juillet 2019 à 01:59:56 »
Arnaud vient de publier deux vidéos de DC3, mais je ne voie pas le système de brumisation. Il est où ?

Je te fais une photo demain :-)

raf

  • Expert France-IX
  • Expert
  • *
  • Messages: 645
PUE DC3 canicule 2019
« Réponse #51 le: 25 juillet 2019 à 07:54:08 »
Je suis loin d'être un expert, mais 42 est fréquent dans certaines régions du monde..
Avoir 42 l'ete et -5 l'hiver, meme si c'est pour quelques jours, ca change un peu. Et non, a -5, on n'ouvre pas les portes et les fenetres dans un DC pour le refroidir.
Autre chose, tu fais pas ton capa planning pour 3 jours tous les X ans. Generalement le DAF et les actionaires n'acceptent pas ca.

vivien

  • Administrateur
  • *
  • Messages: 47 213
    • Twitter LaFibre.info
Canicule 2019: risque "très élevé" pour les datacenters
« Réponse #52 le: 25 juillet 2019 à 08:52:12 »
C'est la journée de tous les dangers.

Pour certains, c'est bien compromis avec une allé froide à 55°c

Voici les températures que j'enregistre sur mon serveur de test de de débit Bouygues Telecom de Lyon :

Température de l'air en degrés d’entrée (vert) / sortie (bleu). (40°c corespond au seuil d’alerte pour l'entrée d'air)


Température du CPU (vert) / PCH (bleu). Le PCH (Platform Controller Hub) est un chipset Intel sur la carte mère.


Température du SSD :


Vitesse des 8 ventilateurs du serveur (en tours par minute): Les ventilateurs des deux alimentations ne sont pas remontés.


Consommation électrique du serveur Dell R330 (en Watts):
Je suis étonné par l'augmentation de la consommation alors que la charge est stable.

La donnée est remontée avec des paliers de 14 watts.


Optix

  • AS41114 - Expert OrneTHD
  • Abonné Orne THD
  • *
  • Messages: 4 677
  • WOOHOO !
    • OrneTHD
Canicule 2019: risque "très élevé" pour les datacenters
« Réponse #53 le: 25 juillet 2019 à 09:03:35 »
C'est la journée de tout les dangers.

Pour certains, c'est bien compromis avec une allé froide à 55°c

Voici les températures que j'enregistre sur mon serveur de test de de débit Bouygues Telecom de Lyon :
Bah au pire éteint le, surtout s'il ne fait que speedtest, c'est pas vital ;)

vivien

  • Administrateur
  • *
  • Messages: 47 213
    • Twitter LaFibre.info
Canicule 2019: risque "très élevé" pour les datacenters
« Réponse #54 le: 25 juillet 2019 à 09:06:08 »
La problématique c'est que rien n'est prévu pour le rallumer ensuite.

On me souffle que les techniciens sont sur site et que la température va descendre.

A noter que Bouygues Telecom redonde tous les équipements critique sur deux coques et qu'elles sont normalement indépendantes : La perte complète de la coque ne devrait pas impacter les clients (éventuellement la latence peut augmenter, si la Paris - Lyon est coupé, ce fera un gros détour mais avec aucune saturation, vu que le lien de secours en dimensionné comme le lien primaire)

Optix

  • AS41114 - Expert OrneTHD
  • Abonné Orne THD
  • *
  • Messages: 4 677
  • WOOHOO !
    • OrneTHD
Canicule 2019: risque "très élevé" pour les datacenters
« Réponse #55 le: 25 juillet 2019 à 09:13:53 »
La problématique c'est que rien n'est prévu pour le rallumer ensuite.
L'IPMI frère, c'est fait pour ça :)

Tu peux éteindre tout le système, et garder la main sur l'IPMI pour le rallumer de chez toi, tranquillou  8)

Citer
On me souffle que les techniciens sont sur site et que la température va descendre.
En général, plus il y a gens, plus ça chauffe non ?  ;D

lebordelais

  • Abonné Orange vdsl
  • *
  • Messages: 84
  • Marcheprime 33
Canicule 2019: risque "très élevé" pour les datacenters
« Réponse #56 le: 25 juillet 2019 à 09:17:58 »
Vivien, on est daccord t'es pas loin du shut down toi la a la vu des graph ?

vivien

  • Administrateur
  • *
  • Messages: 47 213
    • Twitter LaFibre.info
Canicule 2019: risque "très élevé" pour les datacenters
« Réponse #57 le: 25 juillet 2019 à 09:22:51 »
Les serveurs récents sont de plus en plus adaptés à des datacenters freecooling, avec des température hautes, mais avec 55°c je dépasse les spécifications :


caaptusss

  • AS197922 Officiel Techcréa
  • Expert
  • *
  • Messages: 115
  • Valenciennes (59)
    • FirstHeberg
Canicule 2019: risque "très élevé" pour les datacenters
« Réponse #58 le: 25 juillet 2019 à 10:06:17 »
Vivien, pour les serveurs, je suis d'accord. Hier on soufflait à 35°c en allée froid en salle 3 et ça fonctionne très bien, les ventilos tournent un peu plus vite mais c'est normal (c'est à cause de ça que les DC consomment plus en temps de canicule que en hiver).
Mais il faut penser surtout aux onduleurs, dont les variations de températures sont destructrices pour les batteries. Il faut aussi penser aux disjoncteurs qui n'ont pas la même réactivité lorsqu'ils ont chaud. Un disjoncteur courbe C ou D de 16A va disjoncter à 15A à partir de 45°c par exemple. Si il est en allée chaude, ça peut vite poser des problèmes.

Bref, il faut revoir toute la conception des datacenters pour quelques jours dans l'année, mais en même temps, on peut pas tout arrêter à chaque fois :)

vivien

  • Administrateur
  • *
  • Messages: 47 213
    • Twitter LaFibre.info
Canicule 2019: risque "très élevé" pour les datacenters
« Réponse #59 le: 25 juillet 2019 à 10:13:46 »
Je ne savais pas que les disjoncteurs disjonctaient étaient aussi sensibles a la montée en température.

Maintenant de nombreux DC ont une température stable (DC5 maintient l'allée froide est à 28°c en hiver, il me semble que c'est la même chose pour Maxnod également en Freecooling direct)

A DC5 les disjoncteurs sont en allée chaude :
Scaleway DC5 - 14) Galerie d’extraction de l’air chaud

Cette galerie est située au-dessus de l’allée chaude. L’air chaud rentre dans la galerie par le plafond de l’allée chaude.

Le raccordement électrique des baies se fait via la pose d’un boîtier de raccordement « à chaud » sur une « Gaine à barre », un ensemble de 4 pôles en cuivre (3 phases et un neutre), qui conduisent une forte intensité d’électricité. Cette Gaine à barre est construite par EAE Voltadis. On retrouve nos deux voies, la voie avec les boîtiers rouge est celle qui est ondulée (HQ) et secourue par groupe électrogène. Les boîtiers blancs sont deux de la voie normale (non ondulée) et secourue par groupe électrogène.

Le chemin de câble jaune est dédié au passage des fibres optiques.
Le chemin de câble vert est dédié au passage des courants faibles. (Contrôle d’accès, vidéo-surveillance, GTB, etc …)
Le chemin de câble rouge est dédié au passage des câbles lié à la sécurité incendie.
Le chemin de câble gris situé en haut transporte les câbles d’alimentation des gaines à barre, en provenance des TGBT. On distingue clairement sur la photo les 2 rangées de baies informatiques formant le couloir chaud dans lequel nous nous trouvons.