La Fibre
Datacenter et équipements réseaux => Équipements réseaux => 
NAS, serveurs et micro-serveurs => Discussion démarrée par: Gnubyte le 18 novembre 2020 à 09:36:20
-
Je causerai de mon cluster ici.
C'est un peu overkill, mais je n'ai trouvé que cette façon pour pouvoir jouer à l'envie avec un cluster Proxmox sans peur de tout casser au travail.
Ça ne fait aucun bruit, c'est de la vraie HA à espace disque commun partagé. Ça juste marche bien, et ce n'est pas comme si je manquais de bande passante.
Je vais devoir changer le disque nvme du noeud N°2. C'était un disque Samsung de 250Go livré dans un Xiaomi Notebook 13, et qui n'était pas destiné à vivre une telle vie d'enfer.
Hop hop hop, réservation de 3-4 posts, et ça va venir.
En jetant un oeil rapide aux photos, les noeuds se sont succédés entre 2014 et 2019. 5 ans, à chiner des pièces sur HFR ou la baie, ou black friday, pour ne pas me laisser sur la paille.
Le principal grief de ce cluster, ce sont les interfaces Ethernet juste 1Gbps. Agaçant, hein, à l'heure du LAN 10Gbps.
Hélas, une des machine est une AMD, non Renoir, sans carte video intégrée. Je devrais cependant y venir, pour libérer le port pris par la carte Video, et ainsi passer tout ce petit monde en 10Gbps.
Je viens de vérifier, et en fait, ça a été un travail de longue haleine.
Le premier noeud, un i7 4770S sur CM ASUS H97M-PLUS, date du 31 octobre 2014... Le noeud tient encore.
(https://lafibre.info/index.php?action=dlattach;topic=45267.0;attach=91603;image)
Cette machine, qui n'était pas destinée à devenir un nœud de cluster, était d'abord une expérimentation sur le thème de la machine sans refroidissement mobile, en pur passif.
Le boitier, un Stracom FC5, est vendu pour 65W, et le i7 4770S est donné pour tel.
Cette machine n'a connu que des systèmes linux, avec toutes mes expérimentations de "retour vers une machine sûre". Je venais juste de lâcher Eve Online (j'ai donné 7 ans), et je voulais revenir à un système Linux dont je maîtriserais autant que possible le périmètre. Donc, toutes mes expérimentations Linux Gentoo se sont faites sur cette machine, qui a recompilé des update durant des mois. Il y a même eu du hardened là dessus.
-
Voici le noeud Numéro 2:
(https://lafibre.info/index.php?action=dlattach;topic=45267.0;attach=91596;image)
Un Ryzen R7 2700X, puis 3700X quand le 2700X a donné des signes de faiblesse (il travaillait vraiment en limite d'enveloppe thermique supportable), sur CM ASRock AB350Pro4, 64Go de RAM DDR4, carte video EVGA 1060. Je n'avais pas exclu d'en faire autre chose qu'un noeud.
Le boitier est un HDPlex H5, acheté d'occase sur HFR. Pas cher, avec l'alim.
-
Hop hop hop, réservation de 3-4 posts
-
Hop hop hop, réservation de 3-4 posts
-
Curieux de voir ça :p
-
J'ai commencé aussi mon home lab avec un petit NUC8i3. C'est pas vraiment fanless, mais c'est à la cave et ça fait vraiment peu de bruit. Les disques et ventilateurs du NAS font largement plus de bruit.
-
Curieux de voir ça :p
Une petite photo pour patienter ?
-
intéressé aussi ;)
-
intéressé aussi ;)
Bon, ok, d'accord, si on me supplie ::)
(https://lafibre.info/index.php?action=dlattach;topic=45267.0;attach=91596;image)
Photo du Noeud N°2, un Ryzen 3700X, en cours de montage, sur alimentation externe. C'est le nœud qui a perdu son disque nvme.
-
Oh, le concept Fanless, j'aime bien. Mais ça me fait un peu peur, même pour des puissances raisonnables (on parle quand même de 150 à 200W tout compris pour le node no2).
Quelques questions, comme à mon habitude:
- Quand tes machines sont "en situations", installées dans leur vrai emplacement, est-ce que tu optimise l'écoulement d'air, en laissant beaucoup de place au dessus et en dessous des ailettes? Ca change beaucoup de choses en général.
- Si c'est pas indiscret, jusqu'à quelles températures de composants tu montes, en pleine charge sur de longues durées?
- Pour le node n°1, je vois que tu utilises une micro PSU. C'est fiable sur le long terme?
- Pour le node n°2, pourquoi tu utilises une alim externe sur la photo? Le DCATX interne ne suffit pas?
- Pour faire plus que 1Gb/s, tu ne peux pas installer des petites cartes 2.5Gb/s? Avec des riser flexibles PCIe. Il semble rester un peu de place dans chacun des 2 boitiers.
- Pour finir, tu peux nous dire quel genre de bidouilles tu fais avec ce cluster?
Leon.
-
Oh, le concept Fanless, j'aime bien. Mais ça me fait un peu peur, même pour des puissances raisonnables (on parle quand même de 150 à 200W tout compris pour le node no2).
Quelques questions, comme à mon habitude:
- Quand tes machines sont "en situations", installées dans leur vrai emplacement, est-ce que tu optimise l'écoulement d'air, en laissant beaucoup de place au dessus et en dessous des ailettes? Ca change beaucoup de choses en général.
- Si c'est pas indiscret, jusqu'à quelles températures de composants tu montes, en pleine charge sur de longues durées?
- Pour le node n°1, je vois que tu utilises une micro PSU. C'est fiable sur le long terme?
- Pour le node n°2, pourquoi tu utilises une alim externe sur la photo? Le DCATX interne ne suffit pas?
- Pour faire plus que 1Gb/s, tu ne peux pas installer des petites cartes 2.5Gb/s? Avec des riser flexibles PCIe. Il semble rester un peu de place dans chacun des 2 boitiers.
- Pour finir, tu peux nous dire quel genre de bidouilles tu fais avec ce cluster?
Leon.
Bonjour Léon.
- Les machines sont toutes empilées les unes sur les autres, en dessous de mon imprimante laser multifonction. La climatisation de mon (vaste) séjour, à l'angle duquel se trouve mon bureau, siège sur le mur de droite, pointé vers ma gauche. Si je tends le bras gauche latéralement, ma main se trouve environ à la moitié de la profondeur des boitiers. Vu que mon séjour est orienté Sud, et qu'à l'étage du dessus il y a une terrasse, la vie, cluster ou pas, est intenable sans climatisation l'été. Le cluster bénéficie de cet air frais à la belle mais chaude saison. L'hiver, il évite le chauffage par grands froids (rares, ici).
- Le Node 1 tourne, tel quel, depuis 6 ans, H24. Donc, oui, l'alimentation micro PSU utilisée, d'origine Streacom, fonctionne.
- Le Node 2, sur la photo, a utilisé une alimentation externe pour les tests, car la machine ne produit absolument aucun bruit, aucun bip, aucun ventilateur ne vient trahir l'allumage de la machine. Il est alors utile d'élaguer les possibilités de défaillance le temps de sécuriser la configuration du boot. L'alimentation DXATX de 250W fait parfaitement le job, alimenté par une alimentation 19V 300W Alienware.
- Node 3 tourne à l'autre bout du séjour, à 2 switchs de là par liaison fibre optique multimode 10Gbps. C'est node 3 qui abrite le pont 2.5/10gbps de l'accès fibre Orange.
- J'installerai des cartes ethernet carrément en 10Gbps, sur des risers ad-hoc, dés lors que j'aurai remplacé le R7 3700X par un R74700G doté de sa carte graphique intégrée. Vu que le processeur est OEM only, je peux ramer pour en trouver. Tout bien considéré, pas nécessairement, mais ça coûte un peu: https://www.ebay.com/itm/AMD-Ryzen-7-PRO-4750G-3-6GHz-8-Core-CPU-Processor-Socket-AM4/203160924537?epid=13040588163&hash=item2f4d55b179:g:E-QAAOSwP4NfnNDE (https://www.ebay.com/itm/AMD-Ryzen-7-PRO-4750G-3-6GHz-8-Core-CPU-Processor-Socket-AM4/203160924537?epid=13040588163&hash=item2f4d55b179:g:E-QAAOSwP4NfnNDE) 418€ depuis la Chine pour un Ryzen 7 4750G en AM4.
- C'est simple, c'est un cluster pour expérimenter, casser, refaire. Il est stable depuis bien 2 ans, et me sert de terrain de jeu pour améliorer mes compétences dans ce domaine. Je dispose d'un cluster avec les mêmes technologies logicielles au travail, bien plus sérieux, avec des TR 2950X, 128Go de DDR4 ECC, et une bardée de disques SSD en grappe Ceph. Le plantage cette semaine du disque NVME système du node 2 semble avoir rendu la grappe ceph non fonctionnelle... Et mes sauvegardes sont éventuellement un peu trop anciennes, ce qui est extrêmement tarte compte tenu que le NAS est rangé juste dessous la table.... J'ignore si je pourrai récupérer la grappe une fois le disque du node 2 rétabli, mais ce problème va me plonger dans l'analyse de Ceph sans casser celui du travail, et il est justement là pour ça. Apprendre des trucs nouveaux et rigolos. Ce cluster me permet de générer des master que je déplace sur le cluster pro. A bien des égards, il s'agit de mon cluster de test et pré prod. Rien d'absolument fondamental n'y tourne. Sinon, dés lors que l'on utilise pas un disque de sous catégorie comme disque système sans veiller à la sénescence liée aux logs, il fonctionne de façon remarquable, avec 500Go d'espace disque partagé redondant dupliqué, avec haute disponibilité. Sur ce cluster, j'ai tout débranché à l'arrache, et vu les VM redémarrer à côté.
- Le Cluster et le NAS sont ondulés, avec les switchs.
C'est beau, un cluster, qui fonctionne, la nuit.
En fait, non, on ne voit rien, juste un vague pâleur bleue autour du gros logo HDPlex, mais il est là, à faire tourner du DNS, du mail, du web, de l'UNMS, du UNIFI, du varnish, etc, etc.
Pour un peu, c'est vivant :D
En substance, monter une première machine fanless était un début sympa. Ce seul noeud, silencieux, a abrité un hyperviseur en libvirt durant des années. Un 6700k et un boitier HDPlex d'occase plus loin (parfois on fait des affaires, il faut chiner), l'idée germe, et hop une CM, hop de la RAM pour cyber Monday, hop node 3 est ok... Monter un node fanless prend beaucoup plus de temps qu'une machine classique. Pour le node 2, je voulais un Ryzen, et ça a été mon premier proc Ryzen, 1700X, en 14mm Zen de base. Il a tenu le coup un moment. J'essaie une techno, puis une autre, Ganeti DRBD, sur Gentoo (mais il faut gérer 365/365), et enfin Proxmox (vraiment pas mal foutu).
-
Quelques nouvelles du cluster.
- Je viens de trouver un AMD Ryzen 7 PRO 4750G - 3.6-4.4GHz/12Mo/AM4 pour remplacer le 3700X du nœud N°2, retirer la carte video GTX 1060 pour pouvoir convertir tout le cluster en 10Gbps avec des cartes Dell N20KJ. Je devrai remplacer la carte ASRock B350 Pro4 par une B550 Pro4.
- La surchauffe de la carte Nvme Samsung 256Go, sur lequel démarrait le système Debian/Proxmox du nœud N°2, a placé le cluster en mode dégradé, avec un maintien en opération de la grappe Ceph. Toutes les VM tournant sur N°2 ont été dispatchées sur les autres nœuds quand elles étaient dans des pool surveillés. J'ai procédé à la vérification des sauvegardes des VMs sur le NAS via les fonctions de backup intégrées, et j'ai changé le disque pour un Crucial de 500Go, que j'ai équipé d'ailettes de dissipation en cuivre.
- J'ai réinstallé le nœud, et restauré les sauvegardes, qui ont re-fonctionné comme par magie en quelques minutes. Par contre, je n'ai un moment pas su me tirer de l'anomalie de perte d'OSD ceph (depuis, j'ai compris et je saurai le faire), et j'ai finalement, grâce aux sauvegardes ainsi testée en vrai, réinstallé tout le cluster, les 3 noeuds, avec mise à jour système et noyau du N°3 qui porte la carte BMC57810S comportant le pont FTTH-ONU-HSGMII 2.5Gbps-10Gbps. Cette intervention, sur le système par lequel passe internet dans mon installation, m'occasionnait quelques inquiétudes. Ça a été plus simple que prévu, et j'ai rodé la méthodologie. J'ai même étendu la capacité de la grappe Ceph de disques SSD SATA provisionnés pour l'occasion mais jamais déployés. La restauration des sauvegardes a été aussi simple que la première fois.
Je m'attache à refaire ma conf varnish "déjà-faite-bientôt-déployée-mais-pas-encore-parfaite" en recommençant depuis le début avec l'expérience acquise.
-
Je viens de recevoir les 3 cartes BMC57810S.
-
Et niveau consommation ça va ? J’hésite à faire aussi un petit cluster mais j’aimerais éviter d’exploser ma consommation électrique.
J’ai bien mon NUC i3 mais niveau extension c’est loin d’être idéal ;(
-
Salut Gnubyte
C'est aussi un truc que j'ai envi d'essayer les clusters, mais bon j'ai tellement plein d'autres choses à mettre a au point avant.
C'est trop court les journées de 24H, ;)
Je vais probablement essayer avec des Odroid H2, j'aurais pas de 10G mais bon pour s'amuser ca peut faire l'affaire et puis ca consomme rien.
-
Et niveau consommation ça va ? J’hésite à faire aussi un petit cluster mais j’aimerais éviter d’exploser ma consommation électrique.
J’ai bien mon NUC i3 mais niveau extension c’est loin d’être idéal ;(
La question du coût est personnelle, et se gère avec une équation, toute personnelle, dans laquelle le loisir de l'usage se conjugue avec le prix que l'on peut lui octroyer.
-
Salut Gnubyte
C'est aussi un truc que j'ai envi d'essayer les clusters, mais bon j'ai tellement plein d'autres choses à mettre a au point avant.
C'est trop court les journées de 24H, ;)
Je vais probablement essayer avec des Odroid H2, j'aurais pas de 10G mais bon pour s'amuser ca peut faire l'affaire et puis ca consomme rien.
Je suis bien d'accord, les journées de 24 heures sont immanquablement trop courtes.
-
La question du coût est personnelle, et se gère avec une équation, toute personnelle, dans laquelle le loisir de l'usage se conjugue avec le prix que l'on peut lui octroyer.
Oui, je suis d’accord. Après l’idée n’est pas d’économiser 2€ en courant et d’être limité derrière. Mais juste d’éviter des vieux Dell bi-cpu avec pleins de disque SAS 200Go qui coûteront pas cher mais consommeront plusieurs centaines de watts (milliers si l’on parle d’un cluster).
-
Oui, je suis d’accord. Après l’idée n’est pas d’économiser 2€ en courant et d’être limité derrière. Mais juste d’éviter des vieux Dell bi-cpu avec pleins de disque SAS 200Go qui coûteront pas cher mais consommeront plusieurs centaines de watts (milliers si l’on parle d’un cluster).
Un écran n'est connecté à un de mes hyperviseur que durant la phase d'installation, qui l'exige dans la configuration que j'ai choisi (booter une iso proxmox). Ensuite, chaque noeud n'alimente que sa CM, RAM, disques SSD SATA, et, maintenant, carte BMC57810. Je pourrais chiffrer la consommation, un jour, avec l'outil ad hoc.
-
Je suis preneur des chiffres à l'occasion. (Avec un UDM-Pro + NUC8I3/SSD-Sata + QNAP TS453D/4x4Tb-WDRedPlus je tourne à 42W, d'après la Shelly Plug S (https://shelly.cloud/products/shelly-plug-s-smart-home-automation-device/))
-
Pour ma part, j'ai un cluster pas du tout fanless, composé de 2 ML350P de configuration identique (et d'un Raspberry Pi comme témoin) :
- CPU : 2* Xeon E5-2650Lv2 10 cœurs 20 threads à 1,7GHz (jusqu'à 2,1 GHz), donc 20 cœurs par serveur
- RAM : 192Go de RAM DDR3 soit 384Go sur les deux serveurs
- 8*512Go de SSD Samsung (PM883 je crois, à vérifier) en RAIDZ6
- double alim 460W
En mode performances maximales (mode que j'utilise), on est environ à 90W par serveur. Mon installation globale consomme 340W (serveurs, switchs, routeurs, onduleur, box...), ce qui est loin d'être négligeable sur la facture d'électricité.
-
Drapal !
Je vais me monter un cluster aussi, 3 nodes. 10 GbE. Proxmox ou XCP-ng. Ceph avec un osd 256/512go SSD nvme et un autre de 3To (x3 donc pour les deux osds).
Avec l'arrivée de la fibre je vais me mettre des vms pour le routage avec un protocole non définit pour avoir une redondance si un hôte claque.
J'ai déjà utilisé du VyOS, EdgeOS, debian, etc. Sur mon hypervsieur en ligne j'utilise xcp-ng et vyos (depuis longtemps celui la);
J'aimerais bien taper au max du GPON, j'ai aps encore étudié correctement le post de gnuoctet sur le topic d'à côté, j'ai un peu de matos 10GbE
-
Drapal !
On sait maintenant d'où tu rôdes 8)
Je vais me monter un cluster aussi, 3 nodes. 10 GbE. Proxmox ou XCP-ng. Ceph avec un osd 256/512go SSD nvme et un autre de 3To (x3 donc pour les deux osds).
Proxmox est né en 2007, et est extrêmement mûr aujourd'hui.
Créer 2 pool Ceph doit éventuellement être fait à la main. Sinon il mélange les OSD rapides et lents dans le même pool.
Tu envisages sans doute d'utiliser le pool de disques à plateaux pour te façonner un espace de stockage réseau à valeur ajoutée. Dans ce cas autant il est sans doute plus pragmatique d'utiliser un export CIFS/NFS depuis un NAS qui, lui, gèrera la vétusté de tes disques mieux que tu ne saurais le faire quand il est plongé dans un pool ceph.
Avec l'arrivée de la fibre je vais me mettre des vms pour le routage avec un protocole non définit pour avoir une redondance si un hôte claque.
J'ai déjà utilisé du VyOS, EdgeOS, debian, etc. Sur mon hypervsieur en ligne j'utilise xcp-ng et vyos (depuis longtemps celui la);
J'aimerais bien taper au max du GPON, j'ai aps encore étudié correctement le post de gnuoctet sur le topic d'à côté, j'ai un peu de matos 10GbE
Gnuoctet :) Au moins il y en a un qui suit.
Byte Magazine était un journal d'informatique, sans doute le tout premier. Ce journal a été racheté comme une part de McGraw-Hill par CMP Média, qui l'a racheté en 1998 avec 100.000 abonnés de part le monde, de mémoire, qui se sont vu annuler leur abonnement, remplacé par Windows Journal. Pour ma part, j'ai refusé.
Avoir 3 noeuds permet de coller une carte BMC57810S directement, avec du passtrough pour les performances. Stevebrush a dejà benché tout un tas d'appliance routeur.
-
Quelques news du cluster:
J'ai enfin eu le temps de compiler les modules noyau bnx2x de support de la carte BMC57810S, sur le premier nœud, qui ping en dessous du 0,1 ms, comme il se doit en 10Gbps, que la commande lspci confirme.
L'objectif, c'est de placer une carte BMC57810S dans chaque nœud, afin d'améliorer la vitesse d'interconnexion de la grappe cephfs, ainsi que la latence d'accès. Le cluster étant la dernière partie noble de mon réseau local encore en 1Gbps.
Je rappelle l'organisation du cluster:
- Noeud N°1 - une vieille machine 4770S intel sur CM Asus H97P-plus, qui est là depuis 7 ans presque (Oct 2014, et oui, comme le temps passe) - le port PCI-E sort du PCIe 3.0 en x16.
(https://lafibre.info/images/materiel/202011_orange_2gbps_sur_mikrotik_et_ont_sfp_06.png)
La compilation, l'activation du module, les interfaces, tout se passe bien.
- Nœud N°2 - Récemment mis à jour, avec un processeur AMD Ryzen 7 PRO 4750G sur une carte mère Asrock B550 Pro4. Là, par chance, on a deux ports PCIE, Gen3x16+Gen3x4, et l'on peut cumuler 2 cartes BMC57810S dessus. Je vais y revenir plus loin.
- Nœud N°3 - un i7 6700K sur une Asus Z170i Pro Gaming - Attention, c'est une carte micro ATX, avec un seul port PCIE, en 3.0 x16. Ce noeud dispose déjà d'une carte BMC5810s, sur laquelle est façonné le pont logique avec en entrée l'ONU SFP paramétré pour synchroniser mon accès fibre en HSGMII 2.5Gbps, et une sortie en SFP+ 10Gbps
Problème N°1 - Le nœud N°3, actuellement utilisé pour le pont, ne peut actuellement accueillir de nouvelle carte PCIe, car il n'y a qu'un seul port PCIe. Cette carte dual SFP+ étant en amont de l'authentification par le routeur, on ne peut pas communiquer avec le réseau local. Pour la garder à sa place je devrais éventuellement donc changer la carte mère pour une carte de plus grande dimension à chipset Z170 (attention, le matériel va bientôt sur ses 5 ou 6 ans... Les I7 6700K et chipset Z170 ont été lancés au Q3 2015).
Solution N°1 On dégrade le nœud N°3 au rang de simple nœud, et on dédie sa carte BMC57810s à la seule connexion au réseau local en 10GGbps. Parallèlement, je place 2 cartes BMC dual SFP+ sur le nœud N°2, une pour le pont, une autre pour la connexion 10Gbps au réseau local.
Problème N°2 Le Ryzen 7 PRO 4750G est un processeur de la génération renoir, et selon la documentation, "AMD Ryzen series APUs (Renoir) • 2 x PCI Express x16 Slots (PCIE1: Gen3x16 mode; PCIE3: Gen3 x4 mode)" Donc, un premier port en PCIE 3.0 x8, et le second en x4... J'entends bien que, selon la norme, du PCIE x4 permet une bande passante de 4Go/s soit 32Gb/s. Le tableau que j'affiche plus haut, souvent cité en exemple, indique des vitesses théoriques. En passant d'un Matisse Ryzen 7 3700X à un Renoir, ça passe de Gen4x16+Gen3x4 à Gen3x16+Gen3x4. En récupérant le slot de la carte video, je libérais un port PCIE, mais au prix d'une perte en vitesse sur les ports.
Solution N°2 Je vais procéder à des essais avec le matériel à disposition. Le débit brut du port PCIE secondaire devrait suffire largement pour le pont, et de même sur le principal pour l'interconnexion 10Gbps. J'essaierai dans un sens et dans l'autre, pour voir si j'ai un intérêt à utiliser une option plutôt que l'autre.
Je ne sais pas si je suis bien clair, mais placer deux cartes BMC57810s sur les 2 ports PCIE d'une carte ASROCK B550 Pro4, avec un processeur Ryzen 7 Pro 4750G de génération Renoir en Zen2 7nm, poussent le stress des lignes PCIe au point de relire deux fois qu'il s'agit bien de Go/s et non de Gb/s...
Nous verrons bien. J'attends des risers de qualité, car sur les 3 dont je dispose, 2 se sont abîmés, rendant les essais infructueux.
Stay tuned.
-
Quelques news.
La carte BMC 57810 s'est greffée parfaitement sur le vieux noeud i7 4770S.
Sur la carte mère B550 Pro4 ASRock, ça n'a pas été une mince affaire, le temps de comprendre que:
- Il faut un riser de qualité, correctement doté en section. Les riser en nappe fine de type pcb en nappe sur une feuille, on oublie.
- Trouver l'option PCI-E Lane Configuration permettant de pré paramétrer les modes des ports PCIe, ici, en x4 x4x4, car x16 n'en prenait en compte qu'un, et x8x4 pareil, se sanctionnant par un freeze. En x4x4x4 ça passe, et 24Gbps suffisent pour une carte dual SFP+
-
J'ai fini le passage en 10Gbps du nœud 1 (i7 4770S), et du nœud 3 (i7 6700k) (débarrassé du pont HSGMII/10Gbps), et j'ai rencontré des problèmes de stabilité sur le nœud N°2 (AMD Ryzen R7 4770G de type Renoir, en remplacement d'un Matisse 3700X)
J'ai gardé la carte NetExtreme 2 dans le N3, et placé 2 cartes QLOGIC du même type 57810 dans le N2, avec les risers ad hoc. Les problèmes de stabilité se sont révélés liés à la mémoire DDR4. Les barrettes qui passaient extrêmement bien sur la CM ASRock B350 Pro4 (https://www.asrock.com/mb/AMD/AB350%20Pro4/index.asp) avec un processeur de génération Matisse 3700X, finissent par planter sur B550 Pro4 (https://www.asrock.com/mb/AMD/B550%20Pro4/index.fr.asp). Le pont, l'accès 10Gbps, tout fonctionne parfaitement, mais avec une barrette Crucial "dernier recours" de 4Go que je garde précieusement pour ce genre de tests.
Je vais essayer d'autres barrettes du stock à différentes fréquences, et en provisionner éventuellement une grappe spécifiquement validées par ASRock.
-
J'ai fini par cerner que 4 barrettes de 16Go provoquait l'apparition de pleins de choses. Une grande instabilité, avec des reboots, et l'apparition non systématique de l'une des 2 cartes dual SFP+ 10Gbps .
J'ai donc placé 2x16Go en 2400MHz (oui, je sais, minable) et je chinerai des barrettes certifiées plus tard.
En attendant, la machine a rejoint la bibliothèque, où elle trône en dessous du routeur, hébergeant le pont HSGMII 2.5Gbps.
Par contre, sous proxmox, j'ai eu beau router en priorité sur le lien 10Gbps, quantité de flux continuaient encore par passer par le lien 1Gbps tant qu'il est resté actif.
Donc, tant pis pour le failover, mais 1gbps, c'est trop pénible.
Le cluster a donc repris sa vie normale.
-
Quelques news:
L'instabilité mémoire en configuration 64 Go, 4x16Go, du noeud disposant de 2 cartes BMC57810s, se trouve corrigé en retirant une des deux cartes BMC en question, vu qu'il est désormais possible de se passer de bridge fibre FTTH.
Bon, et elle sont rangées où, ces 2 barrettes surnuméraires, hein ? Vaste question. Je les cherche encore.
Ensuite, le noeud N°1 est mort deux fois.
La première fois par décès du 4770S, par sénescence sans aucun doute, après 8 ans de bons et loyaux services dans une configuration thermique "presque". Vraiment, cette station fanless, longtemps utilisée pour triturer les VM à la main en Linux Gentoo, aura vécu l'enfer. Ce processeur, et cette antédiluvienne carte mère H87 (héhé, ça gate, hein ?), auront vraiment tout donné. On peut parler d'amortissement du matériel.
La deuxième fois, c'est quand le 4790S récemment placé pour remplacer le vieux 4770S est sans doute mort aussi...
Je réfléchis donc à une duplication de la configuration ASRock B550 Pro4 AMD Renoir 4750G, mais cette fois ci en Cezanne 5600G, avec de la nouvelle RAM DDR4, et dans un nouveau chassis HDPLEX H5 à plaque supérieur ajourée comme on fait de nos jours. J'ai plusieurs alimentations d'avance, alors je vais sans doute me laisser tenter. Je n'aime pas la grappe en 2 noeuds.
-
Ça sent le craquage.
-
Mais retenez moi ! :o
-
Vous avez identifie la cause du probleme ?
Il y a pas mal de cas voisins qui proviennent de l'incapacite de vieilles cartes d'extension a communiquer proprement sur SMbus sur des hotes plus recents.
Je mentionne le fait car il y a une forme d'ironie a se moquer du H87 en regard de l'age technologique des 57810 (de l'ordre d'une douzaine d'annees de memoire).
-
Vous avez identifie la cause du probleme ?
Il y a pas mal de cas voisins qui proviennent de l'incapacite de vieilles cartes d'extension a communiquer proprement sur SMbus sur des hotes plus recents.
Je mentionne le fait car il y a une forme d'ironie a se moquer du H87 en regard de l'age technologique des 57810 (de l'ordre d'une douzaine d'annees de memoire).
Je ne me moque pas le moins du monde de la plateforme H97 (97, en l'occurrence), ni de son 4770s, vu comme je leur ai fait vivre l'enfer.
Je peux raisonnablement envisager que le problème soit la vieillesse, l'usure, les températures élevées trop longtemps.
Jamais, je dis bien jamais, je n'aurais imaginé voir ce fragile dispositif durer aussi longtemps.
-
Sinon, j'ai craqué.
Ce sera B550 Pro4, R7 5700G, 2x 32Go CL18 Kingston, et boitier H5 HDPlex comme les deux autres.
-
Je ne me moque pas le moins du monde de la plateforme H97 (97, en l'occurrence), ni de son 4770s, vu comme je leur ai fait vivre l'enfer.
Je peux raisonnablement envisager que le problème soit la vieillesse, l'usure, les températures élevées trop longtemps.
Jamais, je dis bien jamais, je n'aurais imaginé voir ce fragile dispositif durer aussi longtemps.
Je comprends le sentiment j'ai un 3770s sur carte egalement Intel, j'ai bien plus vieux aussi, mais c'est bien le 3770s que je martyrise regulierement et qui repond toujours (il est quand meme au repos en ce moment). On pourrait meme dire qu'il y a outrage a semi-conducteur.
-
On pourrait meme dire qu'il y a outrage a semi-conducteur.
Je plaide coupable.
-
Je peux raisonnablement envisager que le problème soit la vieillesse, l'usure, les températures élevées trop longtemps.
Tu peux nous donner une idée des températures atteintes, stp?
A la fois côté processeur et côté périphériques (principalement SSD, et carte 10Gb/s)?
L'absence totale de circulation d'air à l'intérieur du boitier, ça m'inquièterai beaucoup, pour un serveur qui tourne 24H/24.
Leon.
-
Je suis loin de chez moi et je n'ai pas la tête à linuxer, mais je vais regarder.
-
Tu peux nous donner une idée des températures atteintes, stp?
A la fois côté processeur et côté périphériques (principalement SSD, et carte 10Gb/s)?
L'absence totale de circulation d'air à l'intérieur du boitier, ça m'inquièterai beaucoup, pour un serveur qui tourne 24H/24.
Leon.
sensors renvoit 51,6°c sur le AMD Ryzen 7 5700G et 51,4°c sur le AMD Ryzen 7 PRO 4750G dans ma cave/datacenter où il fait un bon 28°c. J'ai enfin bazardé les vieilles étagères presque de la cave, sur lesquels le routeur, les noeuds, le NAS, tenaient plus ou moins à coup de cales et de petits moyens.
J'ai tout refait au propre sur une colonne Ikea IVAR 50c50cm.
Le 3eme noeud, le i7 8700K de l'an pèbre, est manifestement incapable de booter, voire même s'interrompt avant de passer le bios. Je dispose des pièces pour le remplacer par un autre Ryzen 7 5700G.
Oui, j'ai mis pas loin de 3 ans à répondre. La vache, ma vie s'accélère, ou je ralentit, ou les deux.
-
Petite nouvelle du cluster.
Le remplacement du plus vieux nœud, le numéro 3 (ok, c'est mal rangé), celui à base de I7 8700K, objet de scandaleuse maltraitance depuis tant d'années, s'est soldée par un échec. J'avais provisionné une CM Asrock B850 ProRS, chiné un autre Ryzen 5700G, une paire de barrettes de 32Go DDR5 achetée de longue date, du temps encore béni où on avait ça pour moins de 250€ et prévu le volume suffisant de pâte thermique pour me taper l'extraction de la vieille CM, nettoyage ad hoc et la greffe de la nouvelle CM.
J'ai les pièces depuis bien 6 mois, voire plus, et, devant l'enveloppe de temps nécessaire à mener à bien l'opération, en aucun cas moins de 4h en temps continu, j'ai repoussé, repoussé, repoussé.
Un jour, le noeud n°2 n'a pas redémarré immédiatement après une panne de courant, et la grappe ceph a donné des signes de faiblesse. Heureusement, les sauvegardes étaient à jour, et j'ai monté quelques VM via guestmount pour extraire une conf haproxy ou relocaliser un DNS. Du coup, le cluster a passé quelque temps éteint.
J'ai donc réinstallé ce noeud N°3. ça m'a pris une journée, pour faire ça bien. A la fin de la journée, la CM n'a _jamais_ voulu démarrer. Alimentation, RAM, tous les tests y sont passés, et la vérification du processeur étant si pénible, vraiment, j'ai jeté l'éponge.
Le Fanless maison, que j'utilise depuis plus de 10 ans, ok, c'est cool, mais:
- Maintenant, j'ai une colonne de serveurs dans la cave, et le bruit ne me dérange plus
- Maintenant, les nouveaux processeurs ont une puissance démoniaque
- En vrai, l'opération chirurgicale et le tartinage de pâte thermique à n'en plus finir pour les caloducts, c'est joli, mais c'est vraiment pénible à faire
Je me suis donc demandé quelle solution alternative je pourrais dégotter, étant donné ce que peuvent donner ces récentes alternatives aux NAS de grande marque, comme il fait flores ces temps ci, et j'ai trouvé ça: le Minisforum N5 (https://minisforumpc.fr/products/minisforum-n5-n5-pro)
(https://minisforumpc.fr/cdn/shop/files/2_ee632d6d-08ac-42d1-b3ef-837d68c637d9.png?v=1754383290&width=700)
Un petit résumé de la bête :
- Le Minisforum N5/N5 Pro est un NAS desktop 5 baies 3,5/2,5" (jusqu’à 5×22 To, soit 110 To) avec 3 emplacements SSD M.2/U.2 et jusqu’à 34 To de SSD.
- Deux CPU possibles : Ryzen 7 255 (8C/16T) ou Ryzen AI 9 HX PRO 370 (12C/24T, iGPU 890M, jusqu’à 50 TOPS d’IA sur le Pro).
- Jusqu’à 96 Go de DDR5, avec support ECC réservé au N5 Pro.
- Réseau intégré 10 GbE + 5 GbE, plus un slot PCIe x16 (PCIe 4.0 x4) et un port OCuLink pour carte additionnelle (HBA, autre NIC, etc.).
- Stockage orienté ZFS : RAID0/1/5/6 plus RAIDZ1/RAIDZ2, snapshots, compression LZ4 et multi‑utilisateur isolé.
- Livré avec MinisCloud OS (Linux NAS maison) mais support annoncé de Windows 11 Pro et des distributions Linux.
- Châssis 199×202×252 mm, ~5 kg, alimentation 19 V / 280 W, clairement pensé comme un micro‑serveur de stockage/IA plutôt qu’un simple mini‑PC.
J'ai pris la version N5 de base, en barebone sans RAM, et j'ai mis un kit CT2K48G56C46S5 Crucial (https://www.crucial.fr/memory/ddr5/ct2k48g56c46s5?srsltid=AfmBOopOrSQ4tIINz6aNeRmxhUZ2DJ0MIyZs5aXifcT7mCc-TuVb2IaH) que j'ai aussi provisionné avant que la dangereuse inflation récente ne sévisse. Minisforum est victime de son succès. J'ai acheté ça fin août début septembre, quand aucune review youtube n'en avait trop parlé, et j'ai pu mettre la main sur un N5 en barebone. Il ne reste plus que des versions en N5 Pro, avec un AMD Ryzen AI 9 HX Pro 370 compatible RAM ECC, mais je n'ai pas trouvé ça pertinent pour mon utilisation, sachant que j'ai, par ailleurs, 5 noeuds d'IA explicitement réservés à cet effet. Comment ça je ne vous ai pas raconté ? Un jour vraiment si on me supplie. L'AMD Ryzen AI 9 HX Pro 370, c'est ce que j'ai dans mon laptop, et c'est un excellentissime processeur, dans une enveloppe thermique remarquable, mais pour ce que je fais ce proc n'a pas d'intérêt en production. Le Cluster n'est pas là pour opérer des modèles, mais des VMs. Chacun sa fonction sans mélanger les genres.
Ce matin, j'ai réinstallé tout mon cluster. J'ai re vérifié les sauvegardes (merci les sauvegardes), et j'ai installé from scratch un cluster Proxmox 9.1 avec une architecture ceph revisitée qui n'attend plus que de remettre la main sur les disques SSD SATA de 2To que j'ai provisionné pour l'occasion, mais que j'ai trop bien rangé...
Donc, installation matérielle, mise en place au datacenter à la cave, boot Ventoy, installation des 3 installations de Proxmox communautaires. La suite s'est faite au chaud, bien installé à mon bureau. Mise en /etc/hosts mutuel des 3 noeuds, configuration des dépôts en no-subscription, création du cluster, nettoyage des disques, initialisation de ceph, version Squid, création des OSDs, configuration du stockage, le pool-ceph et l'accès NAS, configuration MTU jumbo frames, sur tous les noeuds et le NAS, sur le switch Mikrotik CRS309 également.
J'ai ressorti mes notes, qui traînent bien rangées dans mon google Keep depuis des lustres, et j'ai gagné un temps fou.
Une fois ceci fait, un script pour remonter la dernière version des sauvegardes de toutes les VMs.
Ca fonctionne tout de même pas mal, Proxmox
Je vais tacher de mettre en place, demain sans doute, un orchestrateur pour les mises à jour, et les intégrer toutes au monitoring.
-
Salut.
Merci pour cet update! Ravi de voir que la passion de la bidouille est toujours là.
2 questions
* oui, évidemment, ton cluster IA avec 5 noeuds, ça nous intéresse aussi!
* ton nouveau cluster VM Proxmox, je n'ai pas compris... il est constitué de 3 noeuds dont un Minisforum N5; mais quid des 2 autres noeuds? A moins que tu n'aies pris 3 Minisforum N5?
Leon.
-
Les SSD pour ton cluster cepth c'est bien des SSD "enterprise" (avec Powel Loss Protection) ?
Parce que c'est carrément obligatoire, ceph fait beaucoup d'écritures et "tue" les SSD grand public à une vitesse impressionante. Si les disques ne supportent pas PLP alors impossible pour le SSD d'optimiser les écritures...
J'ai un cluster proxmox/ceph 3 noeuds chez moi, et j'ai testé avec:
- 3 SSD Crucial"grand public" neufs => wear out à 90% en 12 mois...
- 3 SSD Kingston DC600M neufs => wear out à 2% en 10 mois...
Et toujours impressioné par la résilience de ceph, même dans les conditions difficiles auquel il est soumis chez moi (avec des hosts qui crashent régulièrement avec pour cause probable cette catastrophique NIC I225-V).
-
Belle bete ce MiniForum N5 ! ça envoie de la patate !
J'avait déja vu des petits boitier mais la config est à faire comme les Jonsbo N3/N5 : https://www.amazon.fr/Jonsbo-N3-Nas-Noir/dp/B0CMVBMVHT / https://www.amazon.fr/Jonsbo-Bo%C3%AEtier-NAS-ATX-emplacements/dp/B0FGY4F2W3
La c'est un peu moins chiant la config est déja la faut juste de la RAM ( et ça coute en ce moment ! ) et éventuellement un SSD de boot
bref de mon coté j'ai un Fractal Node 804 ( https://www.fractal-design.com/products/cases/node/node-804/black/ ) pour mon boitier de NAS bidouille à coté j'ai un NAS Synology pour la stabilité et les backup sans prise de tête.
-
Salut.
Merci pour cet update! Ravi de voir que la passion de la bidouille est toujours là.
2 questions
* oui, évidemment, ton cluster IA avec 5 noeuds, ça nous intéresse aussi!
* ton nouveau cluster VM Proxmox, je n'ai pas compris... il est constitué de 3 noeuds dont un Minisforum N5; mais quid des 2 autres noeuds? A moins que tu n'aies pris 3 Minisforum N5?
Leon.
Le Minisforum N5 est venu remplacer un nœud vieux comme Hérode qui tournait sur un i7 8700K, de 2017, 14nm, aux performances complètement nerfées par nombre de mises à jour de microcode de colmatage à l'arrache des failles Meltdown/Spectre - Quand on flushe le cache processeur à chaque changement de contexte du proc, j'appelle ça un patch à la truelle.
Les 2 autres noeuds sont un Ryzen Pro 4750 G (Zen2) et un 5700G (Zen3) dont j'ai parlé sur ce fil.
Je complèterai plus tard, le besoin de dormir m'est pressant.
-
J'ai relu ce fil depuis le début, mes yeux échouant sur ma gnose de 2020, et je me suis peu à peu remémore le 4770S, le 4790, le 1700X, toutes preuves manifestes d'outrage à silicium. J'ai quand même cassé un paquet de processeurs... Cette enveloppe des 65W, avec des finesses de gravure de 14 ou 12nm, ce n'était tout de même pas ça...
Comparativement, il y a maintenant plus de cœurs, plus de RAM, plus de disques.
@Zen, ta réflexion sur les disques m'a invité, cette nuit, entre deux régulations, à scanner un peu la santé de la grappe ceph, qui était en WARN. J'y ai découvert 2 disques avec des particularités, et des remarques globales sur l'usure.
1- un Samsung 850 EV0 de 1To âge de 9 ans, sans perte de données, mais avec un certain nombre de secteurs relocalisés, morts. C'était un disque défaillant. J'ai révisé la technique d'extraction de la grappe. Il est débranchable à présent.
2- un Crucial 500 tout ce qu'il ysa de plus grand public a un taux d'usure de 18%, mais son analyse appronfondie n'a pas mis en évidence de défaillance. C'est un disque juste usé.
3- Il y a 12 SSD, dont 2 nvme, utilisés en mon sur px2 et px3, px1 utilisant un disque SSD SATA en mon. Les 9 autres sont des disques, de 500Go et 1To, de bric et de broc, avec des taux d'usure pas du tout aussi hauts qu'attendus:
J'ai 5 disques MLC, cinq, j'ai dû me pincer, vous n'êtes pas prêts. J'avais complètement oublié. Cette technologie aujourd'hui difficilement trouvable était extrêmement endurante, ce qui explique un taux d'usure entre 2 et 3%:- un Crucial M4 (M4-CT512M4SSD2) de 2011 ! MLC NAND en 25nm, le tank. Lent en écriture par rapport aux standards actuels, mais un percheron endurant comme pas deux. 14 ans de bons et loyaux services. Incroyable. Taux d'usure de 3%.
- un Crucial M500 CT480M500SSD1, de 2013, de 2013, MLC 20nm, taux d'usure de 2%
- une paire de Crucial M550, CT512M550SSD1 de 2014, de 1To, MLC 20nm également, taux d'usure de 3%.
- L'un est en mon sur px1, Crucial_CT512M550SSD1_14230E018714, 78203h de vol, wear à 3%, il a été allumé en 2014 et n'a quasiment jamais été éteint depuis, en gros. C'est un SSD MLC de l'âge d'or du SSD SATA en retraite dorée.
- L'autre est en osd, toujour sur px1, Crucial_CT512M550SSD1_14240E022398. Si le Wear est à 3%, il est plus jeune de quelques semaines que l'autre M550, et il a 7 ans d'activité et son analyse smart indique une usure de 11% Il a consommé 342 cycles sur les 3000 cycles que permet la techno. À ce rythme, il atteindra les 100% d'usure dans... environ 50 ans.
- j'ai même un introuvable (aujourd'hui) Samsung 970 PRO nvme de 500Go, de 2018. C'est la dernière génération de SSD MLC de Samsung, après ils sont passé à du TLC. C'est de la 2-bit MLC V-NAND, une rareté absolue aujourd'hui. Le pire, c'est que je l'ai mis en moniteur sur px2 ! Je vais programmer de le remplacer (j'ai un disque sous la main) et le placer à part pour héberger les WAL/DB à forte fréquence d'écriture.
J'ai une brochette de disques Crucial, un BX500 et 3 MX500. Une étude en détail s'impose, tant qu'on y est. :D- un Crucial CT1000MX500SSD1_1914E1F6ECBB date d'avril 2019, taux d'usure de 18% mais sans erreur, 24246h de vol, soit 2 ans et 9 mois, c'est lui qui a pris le plus cher, mais sans erreur. Il sortira le premier. Hop, sous verre.
- un Crucial CT1000MX500SSD1_1914E1F6EC97 date de mars/avril 2021, 4 ans et 8 mois, mais il a déjà 4 ans et 3 mois de fonctionnement continu, 37767 heures pour être exact. Durant ce temps de fonctionnement, il s'est usé à 12%, mais sans erreurs également. Je vais le transformer en sous verre aussi.
- un Crucial CT1000BX500SSD1_2113E5901E94, wear à 1%, 33054h - la grosse bouse, TLC, sans cache SLC, lent, le wear 1% trompeur, il a tourné 3 ans et 9 mois pour un âge physique de 4 ans et 8 mois. Il n'a pas dormi longtemps avant d'être branché. Il ralentit la grappe. Je vais le faire rejoindre les sous bocks.
- un Crucial CT1000MX500SSD1_2139E5D6AAFD, 21300h de vol, wear 5% - il est sauvé parce que sur ses 4 ans et 2 mois d'existence il a passé le plus clair de son temps sur une carte mère en panne, cependant, il est un peu plus récent que les autres MX et la sortie du trafic WAL/DB va lui faire du bien.
Les mentions spéciales:- Le Samsung_SSD_850_EVO_1TB_S21DNXAGC22779M, wear inconnu, 81274h de vol. Fabriqué en 2015, ou début 2016, si l'on suit son temps de fonctionnement, il a été allumé en septembre 2016, tournant H24 durant 9 ans. Il a très peu écrit (seulement ~12 To en 9 ans, ce qui est ridicule). Donc, mathématiquement, ses cellules mémoire ne sont pas "usées" par le frottement des électrons. C'est pour ça que le compteur d'usure (Wear Leveling Count) était encore à 99% ou inconnu. Par contre, les couches isolantes dans les cellules vieillissent avec le temps, la chaleur et le courant électrique continu pendant 9 ans. Ce disque n'est pas mort d'épuisement (trop de travail), il est mort de sénilité. Celui là, je vais l'épingler sur la poutre derrière mon écran, ou alors le laisser branché en tentant l'uptime record du seigneur :-)
- Le AirDisk_128GB_SSD_QG8656B007476P110N de 128Go, disque d'obscure seconde source, livré avec le Minisforum N5 - il est neuf, alors pour l'OS il tiendra le coup, mais je vais le surveiller. C'est le plus pourri des disques.
Donc, @Zoc, merci pour ta question, fort pertinente, qui me fait changer de stratégie d'organisation.
monsuperuser@px1:~# ceph device ls
DEVICE HOST:DEV DAEMONS WEAR LIFE EXPECTANCY
AirDisk_128GB_SSD_QG8656B007476P110N px3:nvme0n1 mon.px3 0%
CT1000BX500SSD1 px2:sdb osd.4 1%
CT1000MX500SSD1 px2:sda osd.3 12%
CT1000MX500SSD1 px1:sda osd.0 18%
CT1000MX500SSD1 px3:sdc osd.7 5%
Crucial_CT480M500SSD1 px3:sdb osd.6 2%
Crucial_CT512M550SSD1 px1:sdc mon.px1 3%
Crucial_CT512M550SSD1 px1:sdd osd.2 3%
M4-CT512M4SSD2_0000000012510921585F px1:sdb osd.1 3%
Samsung_SSD_850_EVO_1TB px3:sdd osd.8
Samsung_SSD_860_EVO_500GB px3:sda osd.5 0%
Samsung_SSD_970_PRO_512GB px2:nvme0n1 mon.px2 1%
Il me reste 2 paires de disques SSD de 2To, qui sont tellement bien rangés que je ne les retrouve plus, qui vont venir remplacer ceux qui craignent. Leur analyse (2 ont tourné sur le cluster pro) sera intéressante.
Si je devais en racheter, je prendrais des Kingston DC600M en 2To