La Fibre
Datacenter et équipements réseaux => Équipements réseaux => 
NAS, serveurs et micro-serveurs => Discussion démarrée par: Gnubyte le 18 novembre 2020 à 09:36:20
-
Je causerai de mon cluster ici.
C'est un peu overkill, mais je n'ai trouvé que cette façon pour pouvoir jouer à l'envie avec un cluster Proxmox sans peur de tout casser au travail.
Ça ne fait aucun bruit, c'est de la vraie HA à espace disque commun partagé. Ça juste marche bien, et ce n'est pas comme si je manquais de bande passante.
Je vais devoir changer le disque nvme du noeud N°2. C'était un disque Samsung de 250Go livré dans un Xiaomi Notebook 13, et qui n'était pas destiné à vivre une telle vie d'enfer.
Hop hop hop, réservation de 3-4 posts, et ça va venir.
En jetant un oeil rapide aux photos, les noeuds se sont succédés entre 2014 et 2019. 5 ans, à chiner des pièces sur HFR ou la baie, ou black friday, pour ne pas me laisser sur la paille.
Le principal grief de ce cluster, ce sont les interfaces Ethernet juste 1Gbps. Agaçant, hein, à l'heure du LAN 10Gbps.
Hélas, une des machine est une AMD, non Renoir, sans carte video intégrée. Je devrais cependant y venir, pour libérer le port pris par la carte Video, et ainsi passer tout ce petit monde en 10Gbps.
Je viens de vérifier, et en fait, ça a été un travail de longue haleine.
Le premier noeud, un i7 4770S sur CM ASUS H97M-PLUS, date du 31 octobre 2014... Le noeud tient encore.
(https://lafibre.info/index.php?action=dlattach;topic=45267.0;attach=91603;image)
Cette machine, qui n'était pas destinée à devenir un nœud de cluster, était d'abord une expérimentation sur le thème de la machine sans refroidissement mobile, en pur passif.
Le boitier, un Stracom FC5, est vendu pour 65W, et le i7 4770S est donné pour tel.
Cette machine n'a connu que des systèmes linux, avec toutes mes expérimentations de "retour vers une machine sûre". Je venais juste de lâcher Eve Online (j'ai donné 7 ans), et je voulais revenir à un système Linux dont je maîtriserais autant que possible le périmètre. Donc, toutes mes expérimentations Linux Gentoo se sont faites sur cette machine, qui a recompilé des update durant des mois. Il y a même eu du hardened là dessus.
-
Voici le noeud Numéro 2:
(https://lafibre.info/index.php?action=dlattach;topic=45267.0;attach=91596;image)
Un Ryzen R7 2700X, puis 3700X quand le 2700X a donné des signes de faiblesse (il travaillait vraiment en limite d'enveloppe thermique supportable), sur CM ASRock AB350Pro4, 64Go de RAM DDR4, carte video EVGA 1060. Je n'avais pas exclu d'en faire autre chose qu'un noeud.
Le boitier est un HDPlex H5, acheté d'occase sur HFR. Pas cher, avec l'alim.
-
Hop hop hop, réservation de 3-4 posts
-
Hop hop hop, réservation de 3-4 posts
-
Curieux de voir ça :p
-
J'ai commencé aussi mon home lab avec un petit NUC8i3. C'est pas vraiment fanless, mais c'est à la cave et ça fait vraiment peu de bruit. Les disques et ventilateurs du NAS font largement plus de bruit.
-
Curieux de voir ça :p
Une petite photo pour patienter ?
-
intéressé aussi ;)
-
intéressé aussi ;)
Bon, ok, d'accord, si on me supplie ::)
(https://lafibre.info/index.php?action=dlattach;topic=45267.0;attach=91596;image)
Photo du Noeud N°2, un Ryzen 3700X, en cours de montage, sur alimentation externe. C'est le nœud qui a perdu son disque nvme.
-
Oh, le concept Fanless, j'aime bien. Mais ça me fait un peu peur, même pour des puissances raisonnables (on parle quand même de 150 à 200W tout compris pour le node no2).
Quelques questions, comme à mon habitude:
- Quand tes machines sont "en situations", installées dans leur vrai emplacement, est-ce que tu optimise l'écoulement d'air, en laissant beaucoup de place au dessus et en dessous des ailettes? Ca change beaucoup de choses en général.
- Si c'est pas indiscret, jusqu'à quelles températures de composants tu montes, en pleine charge sur de longues durées?
- Pour le node n°1, je vois que tu utilises une micro PSU. C'est fiable sur le long terme?
- Pour le node n°2, pourquoi tu utilises une alim externe sur la photo? Le DCATX interne ne suffit pas?
- Pour faire plus que 1Gb/s, tu ne peux pas installer des petites cartes 2.5Gb/s? Avec des riser flexibles PCIe. Il semble rester un peu de place dans chacun des 2 boitiers.
- Pour finir, tu peux nous dire quel genre de bidouilles tu fais avec ce cluster?
Leon.
-
Oh, le concept Fanless, j'aime bien. Mais ça me fait un peu peur, même pour des puissances raisonnables (on parle quand même de 150 à 200W tout compris pour le node no2).
Quelques questions, comme à mon habitude:
- Quand tes machines sont "en situations", installées dans leur vrai emplacement, est-ce que tu optimise l'écoulement d'air, en laissant beaucoup de place au dessus et en dessous des ailettes? Ca change beaucoup de choses en général.
- Si c'est pas indiscret, jusqu'à quelles températures de composants tu montes, en pleine charge sur de longues durées?
- Pour le node n°1, je vois que tu utilises une micro PSU. C'est fiable sur le long terme?
- Pour le node n°2, pourquoi tu utilises une alim externe sur la photo? Le DCATX interne ne suffit pas?
- Pour faire plus que 1Gb/s, tu ne peux pas installer des petites cartes 2.5Gb/s? Avec des riser flexibles PCIe. Il semble rester un peu de place dans chacun des 2 boitiers.
- Pour finir, tu peux nous dire quel genre de bidouilles tu fais avec ce cluster?
Leon.
Bonjour Léon.
- Les machines sont toutes empilées les unes sur les autres, en dessous de mon imprimante laser multifonction. La climatisation de mon (vaste) séjour, à l'angle duquel se trouve mon bureau, siège sur le mur de droite, pointé vers ma gauche. Si je tends le bras gauche latéralement, ma main se trouve environ à la moitié de la profondeur des boitiers. Vu que mon séjour est orienté Sud, et qu'à l'étage du dessus il y a une terrasse, la vie, cluster ou pas, est intenable sans climatisation l'été. Le cluster bénéficie de cet air frais à la belle mais chaude saison. L'hiver, il évite le chauffage par grands froids (rares, ici).
- Le Node 1 tourne, tel quel, depuis 6 ans, H24. Donc, oui, l'alimentation micro PSU utilisée, d'origine Streacom, fonctionne.
- Le Node 2, sur la photo, a utilisé une alimentation externe pour les tests, car la machine ne produit absolument aucun bruit, aucun bip, aucun ventilateur ne vient trahir l'allumage de la machine. Il est alors utile d'élaguer les possibilités de défaillance le temps de sécuriser la configuration du boot. L'alimentation DXATX de 250W fait parfaitement le job, alimenté par une alimentation 19V 300W Alienware.
- Node 3 tourne à l'autre bout du séjour, à 2 switchs de là par liaison fibre optique multimode 10Gbps. C'est node 3 qui abrite le pont 2.5/10gbps de l'accès fibre Orange.
- J'installerai des cartes ethernet carrément en 10Gbps, sur des risers ad-hoc, dés lors que j'aurai remplacé le R7 3700X par un R74700G doté de sa carte graphique intégrée. Vu que le processeur est OEM only, je peux ramer pour en trouver. Tout bien considéré, pas nécessairement, mais ça coûte un peu: https://www.ebay.com/itm/AMD-Ryzen-7-PRO-4750G-3-6GHz-8-Core-CPU-Processor-Socket-AM4/203160924537?epid=13040588163&hash=item2f4d55b179:g:E-QAAOSwP4NfnNDE (https://www.ebay.com/itm/AMD-Ryzen-7-PRO-4750G-3-6GHz-8-Core-CPU-Processor-Socket-AM4/203160924537?epid=13040588163&hash=item2f4d55b179:g:E-QAAOSwP4NfnNDE) 418€ depuis la Chine pour un Ryzen 7 4750G en AM4.
- C'est simple, c'est un cluster pour expérimenter, casser, refaire. Il est stable depuis bien 2 ans, et me sert de terrain de jeu pour améliorer mes compétences dans ce domaine. Je dispose d'un cluster avec les mêmes technologies logicielles au travail, bien plus sérieux, avec des TR 2950X, 128Go de DDR4 ECC, et une bardée de disques SSD en grappe Ceph. Le plantage cette semaine du disque NVME système du node 2 semble avoir rendu la grappe ceph non fonctionnelle... Et mes sauvegardes sont éventuellement un peu trop anciennes, ce qui est extrêmement tarte compte tenu que le NAS est rangé juste dessous la table.... J'ignore si je pourrai récupérer la grappe une fois le disque du node 2 rétabli, mais ce problème va me plonger dans l'analyse de Ceph sans casser celui du travail, et il est justement là pour ça. Apprendre des trucs nouveaux et rigolos. Ce cluster me permet de générer des master que je déplace sur le cluster pro. A bien des égards, il s'agit de mon cluster de test et pré prod. Rien d'absolument fondamental n'y tourne. Sinon, dés lors que l'on utilise pas un disque de sous catégorie comme disque système sans veiller à la sénescence liée aux logs, il fonctionne de façon remarquable, avec 500Go d'espace disque partagé redondant dupliqué, avec haute disponibilité. Sur ce cluster, j'ai tout débranché à l'arrache, et vu les VM redémarrer à côté.
- Le Cluster et le NAS sont ondulés, avec les switchs.
C'est beau, un cluster, qui fonctionne, la nuit.
En fait, non, on ne voit rien, juste un vague pâleur bleue autour du gros logo HDPlex, mais il est là, à faire tourner du DNS, du mail, du web, de l'UNMS, du UNIFI, du varnish, etc, etc.
Pour un peu, c'est vivant :D
En substance, monter une première machine fanless était un début sympa. Ce seul noeud, silencieux, a abrité un hyperviseur en libvirt durant des années. Un 6700k et un boitier HDPlex d'occase plus loin (parfois on fait des affaires, il faut chiner), l'idée germe, et hop une CM, hop de la RAM pour cyber Monday, hop node 3 est ok... Monter un node fanless prend beaucoup plus de temps qu'une machine classique. Pour le node 2, je voulais un Ryzen, et ça a été mon premier proc Ryzen, 1700X, en 14mm Zen de base. Il a tenu le coup un moment. J'essaie une techno, puis une autre, Ganeti DRBD, sur Gentoo (mais il faut gérer 365/365), et enfin Proxmox (vraiment pas mal foutu).
-
Quelques nouvelles du cluster.
- Je viens de trouver un AMD Ryzen 7 PRO 4750G - 3.6-4.4GHz/12Mo/AM4 pour remplacer le 3700X du nœud N°2, retirer la carte video GTX 1060 pour pouvoir convertir tout le cluster en 10Gbps avec des cartes Dell N20KJ. Je devrai remplacer la carte ASRock B350 Pro4 par une B550 Pro4.
- La surchauffe de la carte Nvme Samsung 256Go, sur lequel démarrait le système Debian/Proxmox du nœud N°2, a placé le cluster en mode dégradé, avec un maintien en opération de la grappe Ceph. Toutes les VM tournant sur N°2 ont été dispatchées sur les autres nœuds quand elles étaient dans des pool surveillés. J'ai procédé à la vérification des sauvegardes des VMs sur le NAS via les fonctions de backup intégrées, et j'ai changé le disque pour un Crucial de 500Go, que j'ai équipé d'ailettes de dissipation en cuivre.
- J'ai réinstallé le nœud, et restauré les sauvegardes, qui ont re-fonctionné comme par magie en quelques minutes. Par contre, je n'ai un moment pas su me tirer de l'anomalie de perte d'OSD ceph (depuis, j'ai compris et je saurai le faire), et j'ai finalement, grâce aux sauvegardes ainsi testée en vrai, réinstallé tout le cluster, les 3 noeuds, avec mise à jour système et noyau du N°3 qui porte la carte BMC57810S comportant le pont FTTH-ONU-HSGMII 2.5Gbps-10Gbps. Cette intervention, sur le système par lequel passe internet dans mon installation, m'occasionnait quelques inquiétudes. Ça a été plus simple que prévu, et j'ai rodé la méthodologie. J'ai même étendu la capacité de la grappe Ceph de disques SSD SATA provisionnés pour l'occasion mais jamais déployés. La restauration des sauvegardes a été aussi simple que la première fois.
Je m'attache à refaire ma conf varnish "déjà-faite-bientôt-déployée-mais-pas-encore-parfaite" en recommençant depuis le début avec l'expérience acquise.
-
Je viens de recevoir les 3 cartes BMC57810S.
-
Et niveau consommation ça va ? J’hésite à faire aussi un petit cluster mais j’aimerais éviter d’exploser ma consommation électrique.
J’ai bien mon NUC i3 mais niveau extension c’est loin d’être idéal ;(
-
Salut Gnubyte
C'est aussi un truc que j'ai envi d'essayer les clusters, mais bon j'ai tellement plein d'autres choses à mettre a au point avant.
C'est trop court les journées de 24H, ;)
Je vais probablement essayer avec des Odroid H2, j'aurais pas de 10G mais bon pour s'amuser ca peut faire l'affaire et puis ca consomme rien.
-
Et niveau consommation ça va ? J’hésite à faire aussi un petit cluster mais j’aimerais éviter d’exploser ma consommation électrique.
J’ai bien mon NUC i3 mais niveau extension c’est loin d’être idéal ;(
La question du coût est personnelle, et se gère avec une équation, toute personnelle, dans laquelle le loisir de l'usage se conjugue avec le prix que l'on peut lui octroyer.
-
Salut Gnubyte
C'est aussi un truc que j'ai envi d'essayer les clusters, mais bon j'ai tellement plein d'autres choses à mettre a au point avant.
C'est trop court les journées de 24H, ;)
Je vais probablement essayer avec des Odroid H2, j'aurais pas de 10G mais bon pour s'amuser ca peut faire l'affaire et puis ca consomme rien.
Je suis bien d'accord, les journées de 24 heures sont immanquablement trop courtes.
-
La question du coût est personnelle, et se gère avec une équation, toute personnelle, dans laquelle le loisir de l'usage se conjugue avec le prix que l'on peut lui octroyer.
Oui, je suis d’accord. Après l’idée n’est pas d’économiser 2€ en courant et d’être limité derrière. Mais juste d’éviter des vieux Dell bi-cpu avec pleins de disque SAS 200Go qui coûteront pas cher mais consommeront plusieurs centaines de watts (milliers si l’on parle d’un cluster).
-
Oui, je suis d’accord. Après l’idée n’est pas d’économiser 2€ en courant et d’être limité derrière. Mais juste d’éviter des vieux Dell bi-cpu avec pleins de disque SAS 200Go qui coûteront pas cher mais consommeront plusieurs centaines de watts (milliers si l’on parle d’un cluster).
Un écran n'est connecté à un de mes hyperviseur que durant la phase d'installation, qui l'exige dans la configuration que j'ai choisi (booter une iso proxmox). Ensuite, chaque noeud n'alimente que sa CM, RAM, disques SSD SATA, et, maintenant, carte BMC57810. Je pourrais chiffrer la consommation, un jour, avec l'outil ad hoc.
-
Je suis preneur des chiffres à l'occasion. (Avec un UDM-Pro + NUC8I3/SSD-Sata + QNAP TS453D/4x4Tb-WDRedPlus je tourne à 42W, d'après la Shelly Plug S (https://shelly.cloud/products/shelly-plug-s-smart-home-automation-device/))
-
Pour ma part, j'ai un cluster pas du tout fanless, composé de 2 ML350P de configuration identique (et d'un Raspberry Pi comme témoin) :
- CPU : 2* Xeon E5-2650Lv2 10 cœurs 20 threads à 1,7GHz (jusqu'à 2,1 GHz), donc 20 cœurs par serveur
- RAM : 192Go de RAM DDR3 soit 384Go sur les deux serveurs
- 8*512Go de SSD Samsung (PM883 je crois, à vérifier) en RAIDZ6
- double alim 460W
En mode performances maximales (mode que j'utilise), on est environ à 90W par serveur. Mon installation globale consomme 340W (serveurs, switchs, routeurs, onduleur, box...), ce qui est loin d'être négligeable sur la facture d'électricité.
-
Drapal !
Je vais me monter un cluster aussi, 3 nodes. 10 GbE. Proxmox ou XCP-ng. Ceph avec un osd 256/512go SSD nvme et un autre de 3To (x3 donc pour les deux osds).
Avec l'arrivée de la fibre je vais me mettre des vms pour le routage avec un protocole non définit pour avoir une redondance si un hôte claque.
J'ai déjà utilisé du VyOS, EdgeOS, debian, etc. Sur mon hypervsieur en ligne j'utilise xcp-ng et vyos (depuis longtemps celui la);
J'aimerais bien taper au max du GPON, j'ai aps encore étudié correctement le post de gnuoctet sur le topic d'à côté, j'ai un peu de matos 10GbE
-
Drapal !
On sait maintenant d'où tu rôdes 8)
Je vais me monter un cluster aussi, 3 nodes. 10 GbE. Proxmox ou XCP-ng. Ceph avec un osd 256/512go SSD nvme et un autre de 3To (x3 donc pour les deux osds).
Proxmox est né en 2007, et est extrêmement mûr aujourd'hui.
Créer 2 pool Ceph doit éventuellement être fait à la main. Sinon il mélange les OSD rapides et lents dans le même pool.
Tu envisages sans doute d'utiliser le pool de disques à plateaux pour te façonner un espace de stockage réseau à valeur ajoutée. Dans ce cas autant il est sans doute plus pragmatique d'utiliser un export CIFS/NFS depuis un NAS qui, lui, gèrera la vétusté de tes disques mieux que tu ne saurais le faire quand il est plongé dans un pool ceph.
Avec l'arrivée de la fibre je vais me mettre des vms pour le routage avec un protocole non définit pour avoir une redondance si un hôte claque.
J'ai déjà utilisé du VyOS, EdgeOS, debian, etc. Sur mon hypervsieur en ligne j'utilise xcp-ng et vyos (depuis longtemps celui la);
J'aimerais bien taper au max du GPON, j'ai aps encore étudié correctement le post de gnuoctet sur le topic d'à côté, j'ai un peu de matos 10GbE
Gnuoctet :) Au moins il y en a un qui suit.
Byte Magazine était un journal d'informatique, sans doute le tout premier. Ce journal a été racheté comme une part de McGraw-Hill par CMP Média, qui l'a racheté en 1998 avec 100.000 abonnés de part le monde, de mémoire, qui se sont vu annuler leur abonnement, remplacé par Windows Journal. Pour ma part, j'ai refusé.
Avoir 3 noeuds permet de coller une carte BMC57810S directement, avec du passtrough pour les performances. Stevebrush a dejà benché tout un tas d'appliance routeur.
-
Quelques news du cluster:
J'ai enfin eu le temps de compiler les modules noyau bnx2x de support de la carte BMC57810S, sur le premier nœud, qui ping en dessous du 0,1 ms, comme il se doit en 10Gbps, que la commande lspci confirme.
L'objectif, c'est de placer une carte BMC57810S dans chaque nœud, afin d'améliorer la vitesse d'interconnexion de la grappe cephfs, ainsi que la latence d'accès. Le cluster étant la dernière partie noble de mon réseau local encore en 1Gbps.
Je rappelle l'organisation du cluster:
- Noeud N°1 - une vieille machine 4770S intel sur CM Asus H97P-plus, qui est là depuis 7 ans presque (Oct 2014, et oui, comme le temps passe) - le port PCI-E sort du PCIe 3.0 en x16.
(https://lafibre.info/images/materiel/202011_orange_2gbps_sur_mikrotik_et_ont_sfp_06.png)
La compilation, l'activation du module, les interfaces, tout se passe bien.
- Nœud N°2 - Récemment mis à jour, avec un processeur AMD Ryzen 7 PRO 4750G sur une carte mère Asrock B550 Pro4. Là, par chance, on a deux ports PCIE, Gen3x16+Gen3x4, et l'on peut cumuler 2 cartes BMC57810S dessus. Je vais y revenir plus loin.
- Nœud N°3 - un i7 6700K sur une Asus Z170i Pro Gaming - Attention, c'est une carte micro ATX, avec un seul port PCIE, en 3.0 x16. Ce noeud dispose déjà d'une carte BMC5810s, sur laquelle est façonné le pont logique avec en entrée l'ONU SFP paramétré pour synchroniser mon accès fibre en HSGMII 2.5Gbps, et une sortie en SFP+ 10Gbps
Problème N°1 - Le nœud N°3, actuellement utilisé pour le pont, ne peut actuellement accueillir de nouvelle carte PCIe, car il n'y a qu'un seul port PCIe. Cette carte dual SFP+ étant en amont de l'authentification par le routeur, on ne peut pas communiquer avec le réseau local. Pour la garder à sa place je devrais éventuellement donc changer la carte mère pour une carte de plus grande dimension à chipset Z170 (attention, le matériel va bientôt sur ses 5 ou 6 ans... Les I7 6700K et chipset Z170 ont été lancés au Q3 2015).
Solution N°1 On dégrade le nœud N°3 au rang de simple nœud, et on dédie sa carte BMC57810s à la seule connexion au réseau local en 10GGbps. Parallèlement, je place 2 cartes BMC dual SFP+ sur le nœud N°2, une pour le pont, une autre pour la connexion 10Gbps au réseau local.
Problème N°2 Le Ryzen 7 PRO 4750G est un processeur de la génération renoir, et selon la documentation, "AMD Ryzen series APUs (Renoir) • 2 x PCI Express x16 Slots (PCIE1: Gen3x16 mode; PCIE3: Gen3 x4 mode)" Donc, un premier port en PCIE 3.0 x8, et le second en x4... J'entends bien que, selon la norme, du PCIE x4 permet une bande passante de 4Go/s soit 32Gb/s. Le tableau que j'affiche plus haut, souvent cité en exemple, indique des vitesses théoriques. En passant d'un Matisse Ryzen 7 3700X à un Renoir, ça passe de Gen4x16+Gen3x4 à Gen3x16+Gen3x4. En récupérant le slot de la carte video, je libérais un port PCIE, mais au prix d'une perte en vitesse sur les ports.
Solution N°2 Je vais procéder à des essais avec le matériel à disposition. Le débit brut du port PCIE secondaire devrait suffire largement pour le pont, et de même sur le principal pour l'interconnexion 10Gbps. J'essaierai dans un sens et dans l'autre, pour voir si j'ai un intérêt à utiliser une option plutôt que l'autre.
Je ne sais pas si je suis bien clair, mais placer deux cartes BMC57810s sur les 2 ports PCIE d'une carte ASROCK B550 Pro4, avec un processeur Ryzen 7 Pro 4750G de génération Renoir en Zen2 7nm, poussent le stress des lignes PCIe au point de relire deux fois qu'il s'agit bien de Go/s et non de Gb/s...
Nous verrons bien. J'attends des risers de qualité, car sur les 3 dont je dispose, 2 se sont abîmés, rendant les essais infructueux.
Stay tuned.
-
Quelques news.
La carte BMC 57810 s'est greffée parfaitement sur le vieux noeud i7 4770S.
Sur la carte mère B550 Pro4 ASRock, ça n'a pas été une mince affaire, le temps de comprendre que:
- Il faut un riser de qualité, correctement doté en section. Les riser en nappe fine de type pcb en nappe sur une feuille, on oublie.
- Trouver l'option PCI-E Lane Configuration permettant de pré paramétrer les modes des ports PCIe, ici, en x4 x4x4, car x16 n'en prenait en compte qu'un, et x8x4 pareil, se sanctionnant par un freeze. En x4x4x4 ça passe, et 24Gbps suffisent pour une carte dual SFP+
-
J'ai fini le passage en 10Gbps du nœud 1 (i7 4770S), et du nœud 3 (i7 6700k) (débarrassé du pont HSGMII/10Gbps), et j'ai rencontré des problèmes de stabilité sur le nœud N°2 (AMD Ryzen R7 4770G de type Renoir, en remplacement d'un Matisse 3700X)
J'ai gardé la carte NetExtreme 2 dans le N3, et placé 2 cartes QLOGIC du même type 57810 dans le N2, avec les risers ad hoc. Les problèmes de stabilité se sont révélés liés à la mémoire DDR4. Les barrettes qui passaient extrêmement bien sur la CM ASRock B350 Pro4 (https://www.asrock.com/mb/AMD/AB350%20Pro4/index.asp) avec un processeur de génération Matisse 3700X, finissent par planter sur B550 Pro4 (https://www.asrock.com/mb/AMD/B550%20Pro4/index.fr.asp). Le pont, l'accès 10Gbps, tout fonctionne parfaitement, mais avec une barrette Crucial "dernier recours" de 4Go que je garde précieusement pour ce genre de tests.
Je vais essayer d'autres barrettes du stock à différentes fréquences, et en provisionner éventuellement une grappe spécifiquement validées par ASRock.
-
J'ai fini par cerner que 4 barrettes de 16Go provoquait l'apparition de pleins de choses. Une grande instabilité, avec des reboots, et l'apparition non systématique de l'une des 2 cartes dual SFP+ 10Gbps .
J'ai donc placé 2x16Go en 2400MHz (oui, je sais, minable) et je chinerai des barrettes certifiées plus tard.
En attendant, la machine a rejoint la bibliothèque, où elle trône en dessous du routeur, hébergeant le pont HSGMII 2.5Gbps.
Par contre, sous proxmox, j'ai eu beau router en priorité sur le lien 10Gbps, quantité de flux continuaient encore par passer par le lien 1Gbps tant qu'il est resté actif.
Donc, tant pis pour le failover, mais 1gbps, c'est trop pénible.
Le cluster a donc repris sa vie normale.
-
Quelques news:
L'instabilité mémoire en configuration 64 Go, 4x16Go, du noeud disposant de 2 cartes BMC57810s, se trouve corrigé en retirant une des deux cartes BMC en question, vu qu'il est désormais possible de se passer de bridge fibre FTTH.
Bon, et elle sont rangées où, ces 2 barrettes surnuméraires, hein ? Vaste question. Je les cherche encore.
Ensuite, le noeud N°1 est mort deux fois.
La première fois par décès du 4770S, par sénescence sans aucun doute, après 8 ans de bons et loyaux services dans une configuration thermique "presque". Vraiment, cette station fanless, longtemps utilisée pour triturer les VM à la main en Linux Gentoo, aura vécu l'enfer. Ce processeur, et cette antédiluvienne carte mère H87 (héhé, ça gate, hein ?), auront vraiment tout donné. On peut parler d'amortissement du matériel.
La deuxième fois, c'est quand le 4790S récemment placé pour remplacer le vieux 4770S est sans doute mort aussi...
Je réfléchis donc à une duplication de la configuration ASRock B550 Pro4 AMD Renoir 4750G, mais cette fois ci en Cezanne 5600G, avec de la nouvelle RAM DDR4, et dans un nouveau chassis HDPLEX H5 à plaque supérieur ajourée comme on fait de nos jours. J'ai plusieurs alimentations d'avance, alors je vais sans doute me laisser tenter. Je n'aime pas la grappe en 2 noeuds.
-
Ça sent le craquage.
-
Mais retenez moi ! :o
-
Vous avez identifie la cause du probleme ?
Il y a pas mal de cas voisins qui proviennent de l'incapacite de vieilles cartes d'extension a communiquer proprement sur SMbus sur des hotes plus recents.
Je mentionne le fait car il y a une forme d'ironie a se moquer du H87 en regard de l'age technologique des 57810 (de l'ordre d'une douzaine d'annees de memoire).
-
Vous avez identifie la cause du probleme ?
Il y a pas mal de cas voisins qui proviennent de l'incapacite de vieilles cartes d'extension a communiquer proprement sur SMbus sur des hotes plus recents.
Je mentionne le fait car il y a une forme d'ironie a se moquer du H87 en regard de l'age technologique des 57810 (de l'ordre d'une douzaine d'annees de memoire).
Je ne me moque pas le moins du monde de la plateforme H97 (97, en l'occurrence), ni de son 4770s, vu comme je leur ai fait vivre l'enfer.
Je peux raisonnablement envisager que le problème soit la vieillesse, l'usure, les températures élevées trop longtemps.
Jamais, je dis bien jamais, je n'aurais imaginé voir ce fragile dispositif durer aussi longtemps.
-
Sinon, j'ai craqué.
Ce sera B550 Pro4, R7 5700G, 2x 32Go CL18 Kingston, et boitier H5 HDPlex comme les deux autres.
-
Je ne me moque pas le moins du monde de la plateforme H97 (97, en l'occurrence), ni de son 4770s, vu comme je leur ai fait vivre l'enfer.
Je peux raisonnablement envisager que le problème soit la vieillesse, l'usure, les températures élevées trop longtemps.
Jamais, je dis bien jamais, je n'aurais imaginé voir ce fragile dispositif durer aussi longtemps.
Je comprends le sentiment j'ai un 3770s sur carte egalement Intel, j'ai bien plus vieux aussi, mais c'est bien le 3770s que je martyrise regulierement et qui repond toujours (il est quand meme au repos en ce moment). On pourrait meme dire qu'il y a outrage a semi-conducteur.
-
On pourrait meme dire qu'il y a outrage a semi-conducteur.
Je plaide coupable.
-
Je peux raisonnablement envisager que le problème soit la vieillesse, l'usure, les températures élevées trop longtemps.
Tu peux nous donner une idée des températures atteintes, stp?
A la fois côté processeur et côté périphériques (principalement SSD, et carte 10Gb/s)?
L'absence totale de circulation d'air à l'intérieur du boitier, ça m'inquièterai beaucoup, pour un serveur qui tourne 24H/24.
Leon.
-
Je suis loin de chez moi et je n'ai pas la tête à linuxer, mais je vais regarder.