La Fibre
Datacenter et équipements réseaux => Datacenter => 
Énergie => Discussion démarrée par: vivien le 17 décembre 2022 à 11:17:05
-
La situation est tendue dans un datacenter utilisé Scaleway à Amsterdam.
Source : https://status.scaleway.com/incidents/kx9zl81dxdww
Le peu d'informations que nous avons :
16 décembre 2022 - 12:51 : En raison d'une situation à risque dans notre centre de données AMS, le centre de données fonctionne sur générateur.
16 décembre 2022 - 20:54 : Nous avons reçu une mise à jour de notre fournisseur qui prévoit de rester sur le générateur toute la nuit. Ils ont ajouté plus de générateurs pour fournir plus de redondance.
La réparation de la centrale sera évaluée demain matin et pourra être réparée demain. Prochaines mises à jour attendues demain matin.
Plus de 24h après, le datacenter fonctionne toujours sur groupe.
J'ai du mal à comprendre ce qui est hors service.
-
Peut-être un problème dans une centrale alimentant plus particulièrement le datacenter ?
-
Selon cette même page :
Source : https://status.scaleway.com/incidents/kx9zl81dxdww
C'est revenu (15h19).
L'important c'est que les équipements à l'intérieur du DC n'aient pas été endommagés.
J'ai déjà vu ça, où suite à une "boulette" d'ENEDIS semble-t-il, des équipements, y compris dans les racks des clients, avaient grillé.
-
Il semble bien que c'était une centrale électrique qui était défaillante :
The reparation of the power station will be evaluated tomorrow morning and could be repaired tomorrow
-
L'électricité est en réseau, même si toutes les centrales nucléaires de Gravelines sont à l'arrêt, OVH ne sera pas coupé.
Bref, j'ai du mal à comprendre.
-
Il semble bien que c'était une centrale électrique qui était défaillante :
Clairement, ça ne peut pas être une centrale électrique. Une centrale électrique qui saute, ça engendre très rarement des coupures. Et si c'était le cas, ça serait partout dans "les journaux".
Désolé, mais les traductions automatiques, c'est moche et inadapté à mon avis.
"Power station" peut aussi désigner une station de transformation. Et c'est très probablement une station de transformation qui a cramée. Ca peut très bien être une station du réseau électrique national, ou bien même une station privée du datacenter. Les mots sont beaucoup trop vagues pour savoir quoi que ce soit.
Leon.
-
Normalement, pour un datacenter qui se respecte, il devrait y avoir deux lignes électriques qui arrivent, et donc deux postes de transformation, non ?
-
Normalement, pour un datacenter qui se respecte, il devrait y avoir deux lignes électriques qui arrivent, et donc deux postes de transformation, non ?
"Normalement", oui. Mais y a des cas où le réseau en amont n'est pas si redondant que ça. Un Single-Point-of-Failure dans le réseau RTE ou Enedis.
C'est arrivé plusieurs fois que Scaleway (DC2 ou DC3 je ne sais plus) voit ses 2 arrivées coupées.
https://lafibre.info/scaleway/coupure-online/12/
Voir aussi la méga coupure d'électricité d'un unique poste qui a arrêté la gare SNCF de Paris Montparnasse, pendant plusieurs jours. La gare était pourtant équipée de nombreuses arrivées.
https://lafibre.info/electricite/incendie-rte-harcourt/48/
Leon.
-
L'électricité est en réseau, même si toutes les centrales nucléaires de Gravelines sont à l'arrêt, OVH ne sera pas coupé.
Bref, j'ai du mal à comprendre.
A condition que les autres centrales aient la capacité de reprendre, ce qui en ce moment n'est pas assuré. On peut demander à un datacenter de passer sur ses groupes électrogènes pour délester le réseau...
-
A condition que les autres centrales aient la capacité de reprendre, ce qui en ce moment n'est pas assuré. On peut demander à un datacenter de passer sur ses groupes électrogènes pour délester le réseau...
Oui : Je me souviens d'une grande entreprise française qui avait un contrat avec EDF contenant une clause "d'effacement des jours de pointe", c'était bien avant les péripéties de cette année. Ils avaient le combustible suffisant pour alimenter des générateurs (à base de turbines d'hélicoptères) pendant plusieurs jours. Leur installation de batteries (avant onduleurs) était également spectaculaire.
-
A condition que les autres centrales aient la capacité de reprendre, ce qui en ce moment n'est pas assuré. On peut demander à un datacenter de passer sur ses groupes électrogènes pour délester le réseau...
Je trouve que tu as beaucoup (trop) d'imagination. Tu gagnerais à broder moins, et à faire des recherches, à te baser sur des faits concrets.
Si une centrale avait sauté et que ça avait déstabilisé le réseaux autour d'Amsterdam, ça serait dans tous les journaux.
Et si un datacenter fait un "effacement de consommation", en tournant sur groupe, il n'a aucune raison de prévenir ses clients que la situation est risquée, comme l'a fait Scaleway, car il a toujours redondance entre groupes électrogènes et réseau (dans le cas où les groupes viendraient à défaillir).
De plus, la situation de réseau potentiellement à la limite de ses capacités de production cet hiver, ça n'est qu'en France.
Les Pays Bas ont visiblement une grosse marge de capacité de production en ce moment, et aucun souci prévu pour cet hiver.
https://www.liberation.fr/checknews/les-autres-pays-europeens-craignent-ils-aussi-des-coupures-delectricites-20221208_2S5KCOIFA5FEDH7FIKGIT42VTQ/
https://app.electricitymaps.com/zone/NL
Leon.
(https://cloudfront-eu-central-1.images.arcpublishing.com/liberation/5DI4AYXYHJDXLJTMLJNBO6PF3I.png)
-
Et si un datacenter fait un "effacement de consommation", en tournant sur groupe, il n'a aucune raison de prévenir ses clients que la situation est risquée, comme l'a fait Scaleway, car il a toujours redondance entre groupes électrogènes et réseau (dans le cas où les groupes viendraient à défaillir).
Quand je travaillais dans l'industrie du DC, les clients étaient toujours prévenus par e-mail lorsqu'un indicent quelconque nécessitant le démarrage d'un groupe se produisait.
Une fois, la perte de redondance d'une ligne d'alimentation (chaque DC en ayant 2) avait également provoqué l'envoi d'un e-mail, même si les UPS avaient largement tenu le temps que le transfer switch soit basculé sur la ligne opérationnelle.
Je suppose que c'est pour prendre ceinture et bretelle au cas où un autre souci se produirait : tu préviens tes clients qu'un évènement s'est produit, qu'il n'y a virtuellement aucun risque que l'alimentation des serveurs soit coupée, et que tu le tiendras informé de l'évolution de la situation.
-
Ce que je remarque, c'est que le prestataire de Scaleway a augmenté le nombre de groupes électrogènes, en en apportant d'autres sur place. Ce qui veut dire que sur place, il sont très limite sur la capacité pour reprendre toute l’alimentation du datacenter.
They added more generators to provide more redundancy.
-
Ou alors qu'ils augmentent la redondance en en ajoutant ? Tous les GE ne sont pas fait pour fonctionner h24 pendant plusieurs jours et c'est pas forcément idiot d'en brancher plus pour pouvoir faire de la maintenance préventive/corrective sur ceux en marche tout en restant redondant.
-
Ou alors qu'ils augmentent la redondance en en ajoutant ? Tous les GE ne sont pas fait pour fonctionner h24 pendant plusieurs jours et c'est pas forcément idiot d'en brancher plus pour pouvoir faire de la maintenance préventive/corrective sur ceux en marche tout en restant redondant.
+1
Si tu as un datacenter avec des groupes électrogènes en N+1 seulement, et qu'une défaillance du réseau électrique amène à faire tourner les groupes plus de 24h, ça ne semble pas idiot de ramener temporairement des groupes électrogènes mobiles additionnels pour pallier à cette défaillance exceptionnellement longue du réseau électrique. Au final, ça coute sans doute moins cher que d'installer plus de groupes fixes, en N+2 ou en 2N par exemple.
Pareil, je connais un datacenter (100% privé) qui fait venir des groupes mobiles (2MVA si mes souvenirs sont bons) pour toute intervention de maintenance sur les transformateurs ou sur les groupes. 1 à 2 fois par an, pendant ~3 jours.
Leon.
-
Tout à fait, beaucoup de datacenter font appel à des groupes mobiles lors de maintenance qui réduisent ou suppriment les groupes redondants.
Il est tout à fait logique de déplacer ce camion groupe sur un datacenter quand on sait qu'il va fonctionner longtemps sur groupe.
Cela s'est déjà vu des datacenter qui perdent un groupe après plusieurs heures de fonctionnement. C'est un souci de moins à gérer si tu as un groupe supplémentaire déjà sur place.
Si tu suis la communication de Scaleway, lors d'un passage sur groupe, du personnel supplémentaire est envoyé sur le datacenter, préventivement. Si la situation se dégrade, ils pourront peut-être mieux gérer.
Éviter de se retrouver dans ces situations :
Conséquences des incidents :
- Le bâtiement fonctionne sur deux générateurs (le 3e est apparement cassé)
- Les onduleurs sont vides
- Le dijoncteur principal (EDF) est cassé, rendant la bascule sur le courant EDF impossible
- Une bascule sur le courant EDF engendrera une nouvelle coupure
- La situation est extrêment instable
Le datacentre SBG2 est alimenté avec 2 groupes électrogènes BT de 1.4MVA chacun. L’un de ces 2 groupes BT était en « mode maintenance ». En « mode maintenance », dans le cas d’une coupure électrique, les 2 groupes électrogènes HT de SBG1 fournissent l’énergie à SBG2, à la place du groupe électrogènes BT en maintenance.
Jeudi le 9 novembre, lorsque que le site a été privé d’énergie, l’inverseur normal/secours motorisé n’a pas rempli sa fonction correctement et n’a pas donné l’ordre de démarrage aux groupes HT.
Nous avons donc procédé à des tentatives de démarrage manuelles.
Pour faire fonctionner la charge électrique de SBG1, SBG4 et SBG2 avec l’un des deux groupes BT en « mode maintenance », il faut absolument que les 2 groupes HT fonctionnent ensemble afin de fournir 4MVA. Comme les 2 groupes électrogènes HT ne sont pas parvenus à se synchroniser, nous avons alors découplé les 2 groupes électrogènes HT pour les faire fonctionner séparèment. Un groupe seul délivrant uniquement 2MVA ne peut tenir la charge demandée et il s’arrête. Nous avons effectué de multiples essais dans différentes configurations, sans succès.
-
Je disais cela aussi parce qu'il conseillaient à leurs consommateurs de déplacer leurs applications ailleurs, comme si ils n'étaient qu'en "N", et craignaient que la défaillance d'un groupe électrogène entraine l'arrêt de l'ensemble du datacenter (ou au moins d'un partie).
Our production is not impacted for now, but we believe risks of potential degradation are high as time passes.
We encourage our customers to shift workloads to other regions if possible.