Auteur Sujet: Cluster HA Proxmox Fanless 3 noeuds  (Lu 16713 fois)

0 Membres et 1 Invité sur ce sujet

Gnubyte

  • Abonné Orange Fibre
  • *
  • Messages: 1 115
  • Toulon (83)
    • HSGMII intégriste repenti, Néo XGS-PON prosélyte
Cluster HA Proxmox Fanless 3 noeuds
« Réponse #36 le: 30 octobre 2022 à 09:30:23 »
Je suis loin de chez moi et je n'ai pas la tête à linuxer, mais je vais regarder.

Gnubyte

  • Abonné Orange Fibre
  • *
  • Messages: 1 115
  • Toulon (83)
    • HSGMII intégriste repenti, Néo XGS-PON prosélyte
Cluster HA Proxmox Fanless 3 noeuds
« Réponse #37 le: 04 septembre 2025 à 15:58:58 »
Tu peux nous donner une idée des températures atteintes, stp?
A la fois côté processeur et côté périphériques (principalement SSD, et carte 10Gb/s)?
L'absence totale de circulation d'air à l'intérieur du boitier, ça m'inquièterai beaucoup, pour un serveur qui tourne 24H/24.

Leon.

sensors renvoit 51,6°c sur le AMD Ryzen 7 5700G  et 51,4°c sur le  AMD Ryzen 7 PRO 4750G dans ma cave/datacenter où il fait un bon 28°c. J'ai enfin bazardé les vieilles étagères presque de la cave, sur lesquels le routeur, les noeuds, le NAS, tenaient plus ou moins à coup de cales et de petits moyens.
J'ai tout refait au propre sur une colonne Ikea IVAR 50c50cm.
Le 3eme noeud, le i7 8700K de l'an pèbre, est manifestement incapable de booter, voire même s'interrompt avant de passer le bios. Je dispose des pièces pour le remplacer par un autre Ryzen 7 5700G.

Oui, j'ai mis pas loin de 3 ans à répondre. La vache, ma vie s'accélère, ou je ralentit, ou les deux.

Gnubyte

  • Abonné Orange Fibre
  • *
  • Messages: 1 115
  • Toulon (83)
    • HSGMII intégriste repenti, Néo XGS-PON prosélyte
Cluster HA Proxmox Fanless 3 noeuds
« Réponse #38 le: Aujourd'hui à 01:10:14 »
Petite nouvelle du cluster.
Le remplacement du plus vieux nœud, le numéro 3 (ok, c'est mal rangé), celui à base de I7 8700K, objet de scandaleuse maltraitance depuis tant d'années, s'est soldée par un échec. J'avais provisionné une CM Asrock B850 ProRS, chiné un autre Ryzen 5700G, une paire de barrettes de 32Go DDR5 achetée de longue date, du temps encore béni où on avait ça pour moins de 250€ et prévu le volume suffisant de pâte thermique pour me taper l'extraction de la vieille CM, nettoyage ad hoc et la greffe de la nouvelle CM.
J'ai les pièces depuis bien 6 mois, voire plus, et, devant l'enveloppe de temps nécessaire à mener à bien l'opération, en aucun cas moins de 4h en temps continu, j'ai repoussé, repoussé, repoussé.

Un jour, le noeud n°2 n'a pas redémarré immédiatement  après une panne de courant, et la grappe ceph a donné des signes de faiblesse. Heureusement, les sauvegardes étaient à jour, et j'ai monté quelques VM via guestmount pour extraire une conf haproxy ou relocaliser un DNS. Du coup, le cluster a passé quelque temps éteint.

J'ai donc réinstallé ce noeud N°3. ça m'a pris une journée, pour faire ça bien. A la fin de la journée, la CM n'a _jamais_ voulu démarrer. Alimentation, RAM, tous les tests y sont passés, et la vérification du processeur étant si pénible, vraiment, j'ai jeté l'éponge.

Le Fanless maison, que j'utilise depuis plus de 10 ans, ok, c'est cool, mais:
  • Maintenant, j'ai une colonne de serveurs dans la cave, et le bruit ne me dérange plus
  • Maintenant, les nouveaux processeurs ont une puissance démoniaque
  • En vrai, l'opération chirurgicale et le tartinage de pâte thermique à n'en plus finir pour les caloducts, c'est joli, mais c'est vraiment pénible à faire

Je me suis donc demandé quelle solution alternative je pourrais dégotter, étant donné ce que peuvent donner ces récentes alternatives aux NAS de grande marque, comme il fait flores ces temps ci, et j'ai trouvé ça: le Minisforum N5



Un petit résumé de la bête :
  • Le Minisforum N5/N5 Pro est un NAS desktop 5 baies 3,5/2,5" (jusqu’à 5×22 To, soit 110 To) avec 3 emplacements SSD M.2/U.2 et jusqu’à 34 To de SSD.​
  • Deux CPU possibles : Ryzen 7 255 (8C/16T) ou Ryzen AI 9 HX PRO 370 (12C/24T, iGPU 890M, jusqu’à 50 TOPS d’IA sur le Pro).​
  • Jusqu’à 96 Go de DDR5, avec support ECC réservé au N5 Pro.​
  • Réseau intégré 10 GbE + 5 GbE, plus un slot PCIe x16 (PCIe 4.0 x4) et un port OCuLink pour carte additionnelle (HBA, autre NIC, etc.).​
  • Stockage orienté ZFS : RAID0/1/5/6 plus RAIDZ1/RAIDZ2, snapshots, compression LZ4 et multi‑utilisateur isolé.​
  • Livré avec MinisCloud OS (Linux NAS maison) mais support annoncé de Windows 11 Pro et des distributions Linux.​
  • Châssis 199×202×252 mm, ~5 kg, alimentation 19 V / 280 W, clairement pensé comme un micro‑serveur de stockage/IA plutôt qu’un simple mini‑PC.​

J'ai pris la version N5 de base, en barebone sans RAM, et j'ai mis un kit CT2K48G56C46S5 Crucial que j'ai aussi provisionné avant que la dangereuse inflation récente ne sévisse. Minisforum est victime de son succès. J'ai acheté ça fin août début septembre, quand aucune review youtube n'en avait trop parlé, et j'ai pu mettre la main sur un N5 en barebone. Il ne reste plus que des versions en N5 Pro, avec un  AMD Ryzen AI 9 HX Pro 370 compatible RAM ECC, mais je n'ai pas trouvé ça pertinent pour mon utilisation, sachant que j'ai, par ailleurs, 5 noeuds d'IA explicitement réservés à cet effet. Comment ça je ne vous ai pas raconté ? Un jour vraiment si on me supplie. L'AMD Ryzen AI 9 HX Pro 370, c'est ce que j'ai dans mon laptop, et c'est un excellentissime processeur, dans une enveloppe thermique remarquable, mais pour ce que je fais ce proc n'a pas d'intérêt en production. Le Cluster n'est pas là pour opérer des modèles, mais des VMs. Chacun sa fonction sans mélanger les genres.

Ce matin, j'ai réinstallé tout mon cluster. J'ai re vérifié les sauvegardes (merci les sauvegardes), et j'ai installé from scratch un cluster Proxmox 9.1 avec une architecture ceph revisitée qui n'attend plus que de remettre la main sur les disques SSD SATA de 2To que j'ai provisionné pour l'occasion, mais que j'ai trop bien rangé...

Donc, installation matérielle, mise en place au datacenter à la cave, boot Ventoy, installation des 3 installations de Proxmox communautaires. La suite s'est faite au chaud, bien installé à mon bureau. Mise en /etc/hosts mutuel des 3 noeuds, configuration des dépôts en no-subscription, création du cluster, nettoyage des disques, initialisation de ceph, version Squid, création des OSDs, configuration du stockage, le pool-ceph et l'accès NAS, configuration MTU jumbo frames, sur tous les noeuds et le NAS, sur le switch Mikrotik CRS309 également.
J'ai ressorti mes notes, qui traînent bien rangées dans mon google Keep depuis des lustres, et j'ai gagné un temps fou.

Une fois ceci fait, un script pour remonter la dernière version des sauvegardes de toutes les VMs.

Ca fonctionne tout de même pas mal, Proxmox

Je vais tacher de mettre en place, demain sans doute, un orchestrateur pour les mises à jour, et les intégrer toutes au monitoring.