Auteur Sujet: Cluster HA Proxmox Fanless 3 noeuds  (Lu 7997 fois)

0 Membres et 1 Invité sur ce sujet

Gnubyte

  • Abonné Orange Fibre
  • *
  • Messages: 1 051
  • Toulon (83)
    • HSGMII intégriste
Cluster HA Proxmox Fanless 3 noeuds
« Réponse #12 le: 23 février 2021 à 13:31:35 »
Je viens de recevoir les 3 cartes BMC57810S.

tanuki

  • Abonné Free fibre
  • *
  • Messages: 271
  • Riedisheim (68)
    • Twitter
Cluster HA Proxmox Fanless 3 noeuds
« Réponse #13 le: 23 février 2021 à 15:07:56 »
Et niveau consommation ça va ? J’hésite à faire aussi un petit cluster mais j’aimerais éviter d’exploser ma consommation électrique.

J’ai bien mon NUC i3 mais niveau extension c’est loin d’être idéal ;(

filou59

  • Abonné Orange Fibre
  • *
  • Messages: 68
  • 59
Cluster HA Proxmox Fanless 3 noeuds
« Réponse #14 le: 28 février 2021 à 09:03:31 »
Salut Gnubyte

C'est aussi un truc que j'ai envi d'essayer les clusters, mais bon j'ai tellement plein d'autres choses à mettre a au point avant.
C'est trop court les journées de 24H,  ;)

Je vais probablement essayer avec des Odroid H2, j'aurais pas de 10G mais bon pour s'amuser ca peut faire l'affaire et puis ca consomme rien.

Gnubyte

  • Abonné Orange Fibre
  • *
  • Messages: 1 051
  • Toulon (83)
    • HSGMII intégriste
Cluster HA Proxmox Fanless 3 noeuds
« Réponse #15 le: 28 février 2021 à 15:49:57 »
Et niveau consommation ça va ? J’hésite à faire aussi un petit cluster mais j’aimerais éviter d’exploser ma consommation électrique.

J’ai bien mon NUC i3 mais niveau extension c’est loin d’être idéal ;(

La question du coût est personnelle, et se gère avec une équation, toute personnelle, dans laquelle le loisir de l'usage se conjugue avec le prix que l'on peut lui octroyer.

Gnubyte

  • Abonné Orange Fibre
  • *
  • Messages: 1 051
  • Toulon (83)
    • HSGMII intégriste
Cluster HA Proxmox Fanless 3 noeuds
« Réponse #16 le: 28 février 2021 à 15:50:57 »
Salut Gnubyte

C'est aussi un truc que j'ai envi d'essayer les clusters, mais bon j'ai tellement plein d'autres choses à mettre a au point avant.
C'est trop court les journées de 24H,  ;)

Je vais probablement essayer avec des Odroid H2, j'aurais pas de 10G mais bon pour s'amuser ca peut faire l'affaire et puis ca consomme rien.

Je suis bien d'accord, les journées de 24 heures sont immanquablement trop courtes.

tanuki

  • Abonné Free fibre
  • *
  • Messages: 271
  • Riedisheim (68)
    • Twitter
Cluster HA Proxmox Fanless 3 noeuds
« Réponse #17 le: 04 mars 2021 à 07:39:47 »
La question du coût est personnelle, et se gère avec une équation, toute personnelle, dans laquelle le loisir de l'usage se conjugue avec le prix que l'on peut lui octroyer.

Oui, je suis d’accord. Après l’idée n’est pas d’économiser 2€ en courant et d’être limité derrière. Mais juste d’éviter des vieux Dell bi-cpu avec pleins de disque SAS 200Go qui coûteront pas cher mais consommeront plusieurs centaines de watts (milliers si l’on parle d’un cluster).


Gnubyte

  • Abonné Orange Fibre
  • *
  • Messages: 1 051
  • Toulon (83)
    • HSGMII intégriste
Cluster HA Proxmox Fanless 3 noeuds
« Réponse #18 le: 04 mars 2021 à 12:49:38 »
Oui, je suis d’accord. Après l’idée n’est pas d’économiser 2€ en courant et d’être limité derrière. Mais juste d’éviter des vieux Dell bi-cpu avec pleins de disque SAS 200Go qui coûteront pas cher mais consommeront plusieurs centaines de watts (milliers si l’on parle d’un cluster).

Un écran n'est connecté à un de mes hyperviseur que durant la phase d'installation, qui l'exige dans la configuration que j'ai choisi (booter une iso proxmox). Ensuite, chaque noeud n'alimente que sa CM, RAM, disques SSD SATA, et, maintenant, carte BMC57810. Je pourrais chiffrer la consommation, un jour, avec l'outil ad hoc.

tanuki

  • Abonné Free fibre
  • *
  • Messages: 271
  • Riedisheim (68)
    • Twitter
Cluster HA Proxmox Fanless 3 noeuds
« Réponse #19 le: 04 mars 2021 à 14:16:14 »
Je suis preneur des chiffres à l'occasion. (Avec un UDM-Pro + NUC8I3/SSD-Sata + QNAP TS453D/4x4Tb-WDRedPlus je tourne à 42W, d'après la Shelly Plug S)

lechercheur123

  • AS2027 MilkyWan
  • Expert
  • *
  • Messages: 1 296
  • Montauban (82)
    • AS208261 - Pomme Télécom
Cluster HA Proxmox Fanless 3 noeuds
« Réponse #20 le: 04 mars 2021 à 14:36:21 »
Pour ma part, j'ai un cluster pas du tout fanless, composé de 2 ML350P de configuration identique (et d'un Raspberry Pi comme témoin) :
- CPU : 2* Xeon E5-2650Lv2 10 cœurs 20 threads à 1,7GHz (jusqu'à 2,1 GHz), donc 20 cœurs par serveur
- RAM : 192Go de RAM DDR3 soit 384Go sur les deux serveurs
- 8*512Go de SSD Samsung (PM883 je crois, à vérifier) en RAIDZ6
- double alim 460W

En mode performances maximales (mode que j'utilise), on est environ à 90W par serveur. Mon installation globale consomme 340W (serveurs, switchs, routeurs, onduleur, box...), ce qui est loin d'être négligeable sur la facture d'électricité.

XaTriX

  • Profil non complété
  • ***
  • Messages: 334
Cluster HA Proxmox Fanless 3 noeuds
« Réponse #21 le: 18 mars 2021 à 18:20:38 »
Drapal !

Je vais me monter un cluster aussi, 3 nodes. 10 GbE. Proxmox ou XCP-ng. Ceph avec un osd 256/512go SSD nvme et un autre de 3To (x3 donc pour les deux osds).
Avec l'arrivée de la fibre je vais me mettre des vms pour le routage avec un protocole non définit pour avoir une redondance si un hôte claque.
J'ai déjà utilisé du VyOS, EdgeOS, debian, etc. Sur mon hypervsieur en ligne j'utilise xcp-ng et vyos (depuis longtemps celui la);

J'aimerais bien taper au max du GPON, j'ai aps encore étudié correctement le post de gnuoctet sur le topic d'à côté, j'ai un peu de matos 10GbE

Gnubyte

  • Abonné Orange Fibre
  • *
  • Messages: 1 051
  • Toulon (83)
    • HSGMII intégriste
Cluster HA Proxmox Fanless 3 noeuds
« Réponse #22 le: 18 mars 2021 à 19:36:53 »
Drapal !

On sait maintenant d'où tu rôdes  8)

Je vais me monter un cluster aussi, 3 nodes. 10 GbE. Proxmox ou XCP-ng. Ceph avec un osd 256/512go SSD nvme et un autre de 3To (x3 donc pour les deux osds).

Proxmox est né en 2007, et est extrêmement mûr aujourd'hui.
Créer 2 pool Ceph doit éventuellement être fait à la main. Sinon il mélange les OSD rapides et lents dans le même pool.
Tu envisages sans doute d'utiliser le pool de disques à plateaux pour te façonner un espace de stockage réseau à valeur ajoutée. Dans ce cas autant il est sans doute plus pragmatique d'utiliser un export CIFS/NFS depuis un NAS qui, lui, gèrera la vétusté de tes disques mieux que tu ne saurais le faire quand il est plongé dans un pool ceph.

Citer
Avec l'arrivée de la fibre je vais me mettre des vms pour le routage avec un protocole non définit pour avoir une redondance si un hôte claque.
J'ai déjà utilisé du VyOS, EdgeOS, debian, etc. Sur mon hypervsieur en ligne j'utilise xcp-ng et vyos (depuis longtemps celui la);

J'aimerais bien taper au max du GPON, j'ai aps encore étudié correctement le post de gnuoctet sur le topic d'à côté, j'ai un peu de matos 10GbE

Gnuoctet :) Au moins il y en a un qui suit.
Byte Magazine était un journal d'informatique, sans doute le tout premier. Ce journal a été racheté comme une part de McGraw-Hill par CMP Média, qui l'a racheté en 1998 avec 100.000 abonnés de part le monde, de mémoire, qui se sont vu annuler leur abonnement, remplacé par Windows Journal. Pour ma part, j'ai refusé.

Avoir 3 noeuds permet de coller une carte BMC57810S directement, avec du passtrough pour les performances. Stevebrush a dejà benché tout un tas d'appliance routeur.

Gnubyte

  • Abonné Orange Fibre
  • *
  • Messages: 1 051
  • Toulon (83)
    • HSGMII intégriste
Cluster HA Proxmox Fanless 3 noeuds
« Réponse #23 le: 04 août 2021 à 00:57:36 »
Quelques news du cluster:

J'ai enfin eu le temps de compiler les modules noyau bnx2x de support de la carte BMC57810S, sur le premier nœud, qui ping en dessous du 0,1 ms, comme il se doit en 10Gbps, que la commande lspci confirme.
L'objectif, c'est de placer une carte BMC57810S dans chaque nœud, afin d'améliorer la vitesse d'interconnexion de la grappe cephfs, ainsi que la latence d'accès. Le cluster étant la dernière partie noble de mon réseau local encore en 1Gbps.

Je rappelle l'organisation du cluster:
  • Noeud N°1 - une vieille machine 4770S intel sur CM Asus H97P-plus, qui est là depuis 7 ans presque (Oct 2014, et oui, comme le temps passe) - le port PCI-E sort du PCIe 3.0 en x16.

    La compilation, l'activation du module, les interfaces, tout se passe bien.
  • Nœud N°2 - Récemment mis à jour, avec un processeur AMD Ryzen 7 PRO 4750G sur une carte mère Asrock B550 Pro4. Là, par chance, on a deux ports PCIE, Gen3x16+Gen3x4, et l'on peut cumuler 2 cartes BMC57810S dessus. Je vais y revenir plus loin.
  • Nœud N°3 - un i7 6700K sur une Asus Z170i Pro Gaming - Attention, c'est une carte micro ATX, avec un seul port  PCIE, en 3.0 x16. Ce noeud dispose déjà d'une carte BMC5810s, sur laquelle est façonné le pont logique avec en entrée l'ONU SFP paramétré pour synchroniser mon accès fibre en HSGMII 2.5Gbps, et une sortie en SFP+ 10Gbps
Problème N°1 - Le nœud N°3, actuellement utilisé pour le pont, ne peut actuellement accueillir de nouvelle carte PCIe, car il n'y a qu'un seul port PCIe. Cette carte dual SFP+ étant en amont de l'authentification par le routeur, on ne peut pas communiquer avec le réseau local. Pour la garder à sa place je devrais éventuellement donc changer la carte mère pour une carte de plus grande dimension à chipset Z170 (attention, le matériel va bientôt sur ses 5 ou 6 ans... Les I7 6700K et chipset Z170 ont été lancés au Q3 2015).

Solution N°1 On dégrade le nœud N°3 au rang de simple nœud, et on dédie sa carte BMC57810s à la seule connexion au réseau local en 10GGbps. Parallèlement, je place 2 cartes BMC dual SFP+ sur le nœud N°2, une pour le pont, une autre pour la connexion 10Gbps au réseau local.

Problème N°2 Le Ryzen 7 PRO 4750G est un processeur de la génération renoir, et selon la documentation, "AMD Ryzen series APUs (Renoir) • 2 x PCI Express x16 Slots (PCIE1: Gen3x16 mode; PCIE3: Gen3 x4 mode)" Donc, un premier port en PCIE 3.0 x8, et le second en x4... J'entends bien que, selon la norme, du PCIE x4 permet une bande passante de 4Go/s soit 32Gb/s. Le tableau que j'affiche plus haut, souvent cité en exemple, indique des vitesses théoriques. En passant d'un Matisse Ryzen 7 3700X à un Renoir, ça passe de Gen4x16+Gen3x4 à Gen3x16+Gen3x4. En récupérant le slot de la carte video, je libérais un port PCIE, mais au prix d'une perte en vitesse sur les ports.

Solution N°2 Je vais procéder à des essais avec le matériel à disposition. Le débit brut du port PCIE secondaire devrait suffire largement pour le pont, et de même sur le principal pour l'interconnexion 10Gbps. J'essaierai dans un sens et dans l'autre, pour voir si j'ai un intérêt à utiliser une option plutôt que l'autre.

Je ne sais pas si je suis bien clair, mais placer deux cartes BMC57810s sur les 2 ports PCIE d'une carte ASROCK B550 Pro4, avec un processeur Ryzen 7 Pro  4750G de génération Renoir en Zen2 7nm, poussent le stress des lignes PCIe au point de relire deux fois qu'il s'agit bien de Go/s et non de Gb/s...

Nous verrons bien. J'attends des risers de qualité, car sur les 3 dont je dispose, 2 se sont abîmés, rendant les essais infructueux.

Stay tuned.