Euh.... j'ai pleins de batteries gélifiées sous la main, je n'en ai encore jamais vu une avoir une fuite...

Dans un onduleur Merlin-Gerin, elles sont parfois disposées à la verticale.
Dans les onduleurs EMC2 intégrées aux baies, les batteries sont couchées.

... en amont d'un bandeau de distribution, les sources (onduleurs) n'ont pas besoin d'être synchronisées.
Leon.

Ce n'est pas les sources des onduleurs qui ont besoin d'être synchronisé, mais la distribution dans les baies!

Ex n°1 : un serveur n'est pas garanti si une phase n'est pas identique entre les 2 alimentations.
Ex n°2 : les switch de bascule automatique entre 2 sources, pour alimenter ces dispositifs doivent être sur la même phase sinon pas de bascule possible dans le temps impartit pour que cette bascule soit invisible.

Lionel je serais intéressé également par ton avis sur la casse matérielle engendrée par cette coupure.

Je suis étonné de voir de nombreux switchs HS coté Online mais aussi chez les clients comme Synack qui a perdu un Cisco 2960G, toujours dans la salle 103 alimentée par la chaîne A :

Je suis également surpris du nombre de switchs cramés, d'ailleurs de notre côté 1 switch également a cramé (un Cisco 2960G), ce qui est assez surprenant quand tout les serveurs sont repartis sans problème.

Ca "arrive" une panne, à partir du moment où il y a de l'humain et de la conception humaine dans la gestion de quelque chose, le risque 0 n'existe pas.

Par contre je trouve curieux d'arriver à faire tomber 2 chaînes électriques de cette manière et je ne suis pas convaincu par la conception au niveau GE et par le rapport d'incident.

Normalement ce type de matériel est assez robuste, c'est normal de perdre autant de switchs pour une coupure de courant ?

Une sur-tension  ne serais pas plutôt l’explication ? (Outre les 3 groupes, Online à également eu 2 onduleurs HS sur la chaine A, je me demande si une surtension ne pourrait pas expliquer ces problèmes en série)

10:21:34 les onduleurs A4 et A5 de la chaine A sont en défaut, sans coupure et sans conséquence compte tenu de la redondance N+2 de la chaine électrique.

Si c'est normal de perdre un pourcentage élevé de switch à chaque panne de courant, je n'imagine pas les stocks qu'il faut avoir en cas de coupure de l'ensemble du datacenter...

Ce n'est pas les sources des onduleurs qui ont besoin d'être synchronisé, mais la distribution dans les baies!

Ex n°1 : un serveur n'est pas garanti si une phase n'est pas identique entre les 2 alimentations.
Ex n°2 : les switch de bascule automatique entre 2 sources, pour alimenter ces dispositifs doivent être sur la même phase sinon pas de bascule possible dans le temps impartit pour que cette bascule soit invisible.

J'ai bien compris que chez toi les onduleurs étaient synchronisés, mais je ne comprends toujours pas pourquoi. Je n'ai jamais vu de contrainte sur la synchronisation des phases entre 2 alimentations d'un même serveur. Quel constructeur impose ça? Dans quel document? Vu qu'on garantit une isolation galvalique entre l'entrée 240V de l'alim et le reste du serveur (isolation résistant à plus de 1000V), je ne vois vraiment aucun intérêt technique de mettre de telles contraintes.

D'ailleurs, j'ai déjà vu des installations où justement, les chaines d'alimentation étaient volontairement complètement séparées, non synchronisées, et même réalisées avec des onduleurs de marque volontairement différentes.

Du coup, je ne comprends toujours pas bien ta contrainte de coupler les 2 onduleurs, qui ne sont du coup plus si indépendants que ça l'un de l'autre.

Leon.

J'ai bien compris que chez toi les onduleurs étaient synchronisés, mais je ne comprends toujours pas pourquoi. Je n'ai jamais vu de contrainte sur la synchronisation des phases entre 2 alimentations d'un même serveur. Quel constructeur impose ça? Dans quel document? Vu qu'on garantit une isolation galvalique entre l'entrée 240V de l'alim et le reste du serveur (isolation résistant à plus de 1000V), je ne vois vraiment aucun intérêt technique de mettre de telles contraintes.

D'ailleurs, j'ai déjà vu des installations où justement, les chaines d'alimentation étaient volontairement complètement séparées, non synchronisées, et même réalisées avec des onduleurs de marque volontairement différentes.

Du coup, je ne comprends toujours pas bien ta contrainte de coupler les 2 onduleurs, qui ne sont du coup plus si indépendants que ça l'un de l'autre.

Leon.

Pour les onduleurs effectivement c'est souvent séparé, mais pour les GE ça impliquerait probablement une plus grande complexité non ? Souvent je vois les GE (2 ou 3) couplés pour pouvoir être en cumulé et pour pouvoir basculer le 3eme GE de secours sur l'ensemble des chaines et s'éviter le problème de l'appliquer d'un côté ou de l'autre. Peut-être aussi la volonté d'un DC de se dire que s'il arrive à plus de 100% d'un GE sur un pic, il ne coure pas le risque de ne pas tenir ? (même si ça faudrait pas que ça se sache)

Ce serait intéressant de comparer les schémas des chaines électriques des différents DC, de celles que j'ai vu, les GE sont généralement couplés (et donc synchronisés). Le problème de plusieurs GE en défaut à cause d'un problème de synchro de phase j'ai déjà vu aussi malheureusement...


Egalement peut-être les soucis de STS peuvent pousser à synchroniser la phase ? De toute façon le problème ne se pose que pour les GE non ?

C'est ça qui me parait étrange et que je ne comprends pas. Et le fait que les 2 onduleurs soient couplés lui a visiblement valu une coupure de tout son datacenter il y a quelques temps!
Leon.

Non dans ce cas précis c'est l'effet maintenance... et du technicien très pro qui a juste oublié de réaliser le seul test qui aurait permis de voir que l'upgrade de firmware avait fait sauté les 2 fusibles sur les 3 présents dans l'onduleur..
Je m'explique car si un jour cela peut servir à quelqu'un on ne sait jamais..
Un upgrade de firmware sur le premier onduleur, tout est ok , test decharge/recharge super mais ce n'était qu'en version logiciel et la carte CPU qui pilote tout le système est alimenté par 3 sources....
Source 1 = Sortie de l'onduleur
Source 2 = Batterie de l'onduleur
Source 3 = Entrée de l'onduleur

Petite différence chez nous, nous avons des circuits redresseurs en IGBT qui redresse le cos phi à l'entrée de l'onduleur, donc on a toujours un cos phi >0.95. Installation peu courante (car plus onéreuse) mais mieux pour les factures coté EDF.
Vous aurez compris que le seul test qui n'a pas été réalisé était celui de la coupure de l'entrée. (bon je ne suis pas fabricant de l'onduleur donc au début je ne pouvais pas savoir que les tests réalisés étaient insuffisants)
Le check du premier onduleur s'est bien passé, le deuxième aussi, et là grand moment de désespoir, bascule de GE vers EDF (petite coupure de 1 S le temps que le switch de puissance bascule -> extinction de la partie régule de l'onduleur-> arrête du courant dans la salle pendant 1 S sur les deux voies...
Aucune alarme tout va bien je vous dis....
Coté positif : Reboot de tous nos serveurs de prod en moins d'1minute aucune alarme générée cf point du dessus
Coté négatif : avoir dépensé autant d'argent pour avoir un deuxième circuit qui est anéanti par l'oubli d'un ingénieur sur la surconsommation temporaire de la carte CPU pendant le flash du firmware dans le cas d'une alimentation à base d'IGBT...
(processus que l'on avait réalisé au moins 6 fois avant cela et qui n'avait jamais eu de répercussion)

Remplacement des 2 fusibles de 2A par des 4A, et nous voilà reparti vers un meilleur futur:)
Mais comme ce n'est pas suffisant, on a rajouté deux onduleurs supplèmentaires qui sont en parallèle des deux autres.
4 onduleurs de 250kva sur 2 chaines de distribution.

Bon là dans ce cas même si l'impact a été minime en terme de temps  (que 1S!) ce n'est pas le but que l'on s'était fixé.

Le problème N°1 dans les DC, ce sont les maintenances ( même si le circuit de distribution a bien été pensé...)
VadeRetro Satanas!!