Auteur Sujet: Cluster HA Proxmox Fanless 3 noeuds  (Lu 8102 fois)

0 Membres et 1 Invité sur ce sujet

Gnubyte

  • Abonné Orange Fibre
  • *
  • Messages: 1 058
  • Toulon (83)
    • HSGMII intégriste
Cluster HA Proxmox Fanless 3 noeuds
« Réponse #24 le: 05 août 2021 à 20:06:55 »
Quelques news.

La carte BMC 57810 s'est greffée parfaitement sur le vieux noeud i7 4770S.

Sur la carte mère B550 Pro4 ASRock, ça n'a pas été une mince affaire, le temps de comprendre que:
  • Il faut un riser de qualité, correctement doté en section. Les riser en nappe fine de type pcb en nappe sur une feuille, on oublie.
  • Trouver l'option PCI-E Lane Configuration permettant de pré paramétrer les modes des ports PCIe, ici, en x4 x4x4, car x16 n'en prenait en compte qu'un, et x8x4 pareil, se sanctionnant par un freeze. En x4x4x4 ça passe, et 24Gbps suffisent pour une carte dual SFP+

Gnubyte

  • Abonné Orange Fibre
  • *
  • Messages: 1 058
  • Toulon (83)
    • HSGMII intégriste
Cluster HA Proxmox Fanless 3 noeuds
« Réponse #25 le: 09 août 2021 à 13:47:20 »
J'ai fini le passage en 10Gbps du nœud 1 (i7 4770S), et du nœud 3 (i7 6700k) (débarrassé du pont HSGMII/10Gbps), et j'ai rencontré des problèmes de stabilité sur le nœud N°2 (AMD Ryzen R7 4770G de type Renoir, en remplacement d'un Matisse 3700X)

J'ai gardé la carte NetExtreme 2 dans le N3, et placé 2 cartes QLOGIC du même type 57810 dans le N2, avec les risers ad hoc. Les problèmes de stabilité se sont révélés liés à la mémoire DDR4. Les barrettes qui passaient extrêmement bien sur la CM ASRock B350 Pro4 avec un processeur de génération Matisse 3700X, finissent par planter sur B550 Pro4. Le pont, l'accès 10Gbps, tout fonctionne parfaitement, mais avec une barrette Crucial "dernier recours" de 4Go que je garde précieusement pour ce genre de tests.

Je vais essayer d'autres barrettes du stock à différentes fréquences, et en provisionner éventuellement une grappe spécifiquement validées par ASRock.

Gnubyte

  • Abonné Orange Fibre
  • *
  • Messages: 1 058
  • Toulon (83)
    • HSGMII intégriste
Cluster HA Proxmox Fanless 3 noeuds
« Réponse #26 le: 19 août 2021 à 14:30:16 »
J'ai fini par cerner que 4 barrettes de 16Go provoquait l'apparition de pleins de choses. Une grande instabilité, avec des reboots, et l'apparition non systématique de l'une des 2 cartes dual SFP+ 10Gbps .
J'ai donc placé 2x16Go en 2400MHz (oui, je sais, minable) et je chinerai des barrettes certifiées plus tard.

En attendant, la machine a rejoint la bibliothèque, où elle trône en dessous du routeur, hébergeant le pont HSGMII 2.5Gbps.

Par contre, sous proxmox, j'ai eu beau router en priorité sur le lien 10Gbps, quantité de flux continuaient encore par passer par le lien 1Gbps tant qu'il est resté actif.
Donc, tant pis pour le failover, mais 1gbps, c'est trop pénible.

Le cluster a donc repris sa vie normale.

Gnubyte

  • Abonné Orange Fibre
  • *
  • Messages: 1 058
  • Toulon (83)
    • HSGMII intégriste
Cluster HA Proxmox Fanless 3 noeuds
« Réponse #27 le: 25 octobre 2022 à 12:13:16 »
Quelques news:

L'instabilité mémoire en configuration 64 Go, 4x16Go, du noeud disposant de 2 cartes BMC57810s, se trouve corrigé en retirant une des deux cartes BMC en question, vu qu'il est désormais possible de se passer de bridge fibre FTTH.

Bon, et elle sont rangées où, ces 2 barrettes surnuméraires, hein ? Vaste question. Je les cherche encore.

Ensuite, le noeud N°1 est mort deux fois.
La première fois par décès du 4770S, par sénescence sans aucun doute, après 8 ans de bons et loyaux services dans une configuration thermique "presque". Vraiment, cette station fanless, longtemps utilisée pour triturer les VM à la main en Linux Gentoo, aura vécu l'enfer. Ce processeur, et cette antédiluvienne carte mère H87 (héhé, ça gate, hein ?), auront vraiment tout donné. On peut parler d'amortissement du matériel.
La deuxième fois, c'est quand le 4790S récemment placé pour remplacer le vieux 4770S est sans doute mort aussi...

Je réfléchis donc à une duplication de la configuration ASRock B550 Pro4 AMD Renoir 4750G, mais cette fois ci en Cezanne 5600G, avec de la nouvelle RAM DDR4, et dans un nouveau chassis HDPLEX H5 à plaque supérieur ajourée comme on fait de nos jours. J'ai plusieurs alimentations d'avance, alors je vais sans doute me laisser tenter. Je n'aime pas la grappe en 2 noeuds.

Gnubyte

  • Abonné Orange Fibre
  • *
  • Messages: 1 058
  • Toulon (83)
    • HSGMII intégriste
Cluster HA Proxmox Fanless 3 noeuds
« Réponse #28 le: 25 octobre 2022 à 12:31:59 »
Ça sent le craquage.

Gnubyte

  • Abonné Orange Fibre
  • *
  • Messages: 1 058
  • Toulon (83)
    • HSGMII intégriste
Cluster HA Proxmox Fanless 3 noeuds
« Réponse #29 le: 25 octobre 2022 à 12:33:54 »
Mais retenez moi ! :o

pitalugue

  • Abonné Free fibre
  • *
  • Messages: 542
Cluster HA Proxmox Fanless 3 noeuds
« Réponse #30 le: 25 octobre 2022 à 12:40:50 »
Vous avez identifie la cause du probleme ?
Il y a pas mal de cas voisins qui proviennent de l'incapacite de vieilles cartes d'extension a communiquer proprement sur SMbus sur des hotes plus recents.
Je mentionne le fait car il y a une forme d'ironie a se moquer du H87 en regard de l'age technologique des 57810 (de l'ordre d'une douzaine d'annees de memoire).

Gnubyte

  • Abonné Orange Fibre
  • *
  • Messages: 1 058
  • Toulon (83)
    • HSGMII intégriste
Cluster HA Proxmox Fanless 3 noeuds
« Réponse #31 le: 25 octobre 2022 à 14:32:11 »
Vous avez identifie la cause du probleme ?
Il y a pas mal de cas voisins qui proviennent de l'incapacite de vieilles cartes d'extension a communiquer proprement sur SMbus sur des hotes plus recents.
Je mentionne le fait car il y a une forme d'ironie a se moquer du H87 en regard de l'age technologique des 57810 (de l'ordre d'une douzaine d'annees de memoire).

Je ne me moque pas le moins du monde de la plateforme H97 (97, en l'occurrence), ni de son 4770s, vu comme je leur ai fait vivre l'enfer.

Je peux raisonnablement envisager que le problème soit la vieillesse, l'usure, les températures élevées trop longtemps.

Jamais, je dis bien jamais, je n'aurais imaginé voir ce fragile dispositif durer aussi longtemps.

Gnubyte

  • Abonné Orange Fibre
  • *
  • Messages: 1 058
  • Toulon (83)
    • HSGMII intégriste
Cluster HA Proxmox Fanless 3 noeuds
« Réponse #32 le: 25 octobre 2022 à 14:34:37 »
Sinon, j'ai craqué.

Ce sera B550 Pro4, R7 5700G, 2x 32Go CL18 Kingston, et boitier H5 HDPlex comme les deux autres.

pitalugue

  • Abonné Free fibre
  • *
  • Messages: 542
Cluster HA Proxmox Fanless 3 noeuds
« Réponse #33 le: 26 octobre 2022 à 21:48:30 »
Je ne me moque pas le moins du monde de la plateforme H97 (97, en l'occurrence), ni de son 4770s, vu comme je leur ai fait vivre l'enfer.

Je peux raisonnablement envisager que le problème soit la vieillesse, l'usure, les températures élevées trop longtemps.

Jamais, je dis bien jamais, je n'aurais imaginé voir ce fragile dispositif durer aussi longtemps.

Je comprends le sentiment j'ai un 3770s sur carte egalement Intel, j'ai bien plus vieux aussi, mais c'est bien le 3770s que je martyrise regulierement et qui repond toujours (il est quand meme au repos en ce moment). On pourrait meme dire qu'il y a outrage a semi-conducteur.

Gnubyte

  • Abonné Orange Fibre
  • *
  • Messages: 1 058
  • Toulon (83)
    • HSGMII intégriste
Cluster HA Proxmox Fanless 3 noeuds
« Réponse #34 le: 27 octobre 2022 à 08:57:16 »
On pourrait meme dire qu'il y a outrage a semi-conducteur.

Je plaide coupable.

Leon

  • Client SFR sur réseau Numericable
  • Modérateur
  • *
  • Messages: 5 981
Cluster HA Proxmox Fanless 3 noeuds
« Réponse #35 le: 29 octobre 2022 à 16:00:24 »
Je peux raisonnablement envisager que le problème soit la vieillesse, l'usure, les températures élevées trop longtemps.
Tu peux nous donner une idée des températures atteintes, stp?
A la fois côté processeur et côté périphériques (principalement SSD, et carte 10Gb/s)?
L'absence totale de circulation d'air à l'intérieur du boitier, ça m'inquièterai beaucoup, pour un serveur qui tourne 24H/24.

Leon.