Auteur Sujet: [proxmox] NFS - CEPH - ZFS  (Lu 2782 fois)

0 Membres et 1 Invité sur ce sujet

guiz67

  • Abonné Sosh fibre
  • *
  • Messages: 526
  • Ernolsheim Bruche (67)
[proxmox] NFS - CEPH - ZFS
« le: 07 février 2021 à 20:05:16 »
Bonsoir a tous,

J'aurais besoin de l'avis d'expert.
J'ai un machine sur laquelle j'ai installé Proxmox.
(I5 - 16 giga de ram - SSD 250 giga - 4*3To en raid 10 - 1 lan Gigabit)

Dessus j'héberge plusieurs conteur LXC et VM.
LXC :
- Nginx (proxy web)
- Nextcloud
- Médusa (Sickrage)
- Emby (avec la partie graphique de I5 en pathtrough pour le transcodage)
- samba
- le contrôleur Unify
- Dante (proxy docks)

VM :
- jeedom (debian 10)
- serveur Factorio

Une grande partie des machines a accès au disque en raid 10 par l'intermédiaire du NFS.

Mais j'ai l'impression que c'est pas super efficace et qu'il y a des ralentissements lors de copie de fichier ou plusieurs lectures.

Exemple en téléchargement depuis le LXC samba vers mon pc en Windows 10.
J'ai du mal à dépassé les 60 mo secondes.

Je me pose la question du si la lecture a travers le NFS puis l'envoi vers le PC en w10 ne sature pas la carte réseau.

Ne devrais-je pas faire une réseau interne sur Proxmox pour juste la liaison NFS entre les machines ou peut être utilisé autre chose que NFS ?

Je trouve NFS pratique car j'ai pas de problème de droit j'ai créé un user avec le même uid guid sur chaque machine pour que toutes les machines puisse écrire et lire !

Voilà j'attends vos avis question sur la petite archi.

JeannotPlanche

  • Expert Scaleway
  • Abonné Free fibre
  • *
  • Messages: 128
  • 93
[proxmox] NFS - CEPH - ZFS
« Réponse #1 le: 07 février 2021 à 20:41:33 »
Je ne suis pas sûr de bien comprendre.
Proxmox est installé sur cette machine i5 qui a ces 4*3 To en RAID 10 ?
Donc où est le NFS dans tout ça ?
Le stockage est bien en ZFS ?

guiz67

  • Abonné Sosh fibre
  • *
  • Messages: 526
  • Ernolsheim Bruche (67)
[proxmox] NFS - CEPH - ZFS
« Réponse #2 le: 07 février 2021 à 20:43:11 »
Tout est sur la même machine.

Il y a un raid soft 10 sur la machine et il y a un serveur NFS

Système de fichiers EXT4

Et sur les VM ou les LXC un client NFS

kgersen

  • Modérateur
  • Abonné Bbox fibre
  • *
  • Messages: 9 078
  • Paris (75)
[proxmox] NFS - CEPH - ZFS
« Réponse #3 le: 07 février 2021 à 21:13:28 »
oui c'est peut-être ton relai nfs<->samba qui limite.

c'est NFSv4 ?

Tes containers sont en bridge réseau ou NAT ?

sinon as tu essayé NFS en direct depuis W10 pour voir le différence ? ( (le client NFS est maintenant de base dans W10 )

en pratique on utilise pas NFS si c'est sur le même machine que les containers mais des attach/bind directs.

guiz67

  • Abonné Sosh fibre
  • *
  • Messages: 526
  • Ernolsheim Bruche (67)
[proxmox] NFS - CEPH - ZFS
« Réponse #4 le: 07 février 2021 à 21:30:54 »
C'est bien la ou je dois ne pas comprendre un truc.

Comment puis-je monter le système de fichier dans plusieurs conteneur et qu'ils puissent tous y avoir accès.

kgersen

  • Modérateur
  • Abonné Bbox fibre
  • *
  • Messages: 9 078
  • Paris (75)
[proxmox] NFS - CEPH - ZFS
« Réponse #5 le: 07 février 2021 à 22:18:17 »
j'ai pas de promox sous la main pour t'aiguiller plus mais regarde la doc c'est un mount point supplémentaire, de type 'bind' .

https://pve.proxmox.com/wiki/Linux_Container#_bind_mount_points

alain_p

  • Abonné Free fibre
  • *
  • Messages: 16 169
  • Delta S 10G-EPON sur Les Ulis (91)
[proxmox] NFS - CEPH - ZFS
« Réponse #6 le: 08 février 2021 à 08:14:10 »
Tu peux aussi tester la performance de ton stockage avec l'utilitaire pveperf. Soit pveperf simplement, soit tu lui indiques le stockage, par exemple 'pveperf /var/lib/vz', qui était le répertoire local par défaut des VMs/LXC... Il faut avoir FSYNC/SECOND au moins égal à 1000 pour que le stockage soit correct en I/O. Je ne suis pas sûr que ce soit le cas avec un Raid logiciel :

https://forum.proxmox.com/threads/poor-pveperf-performance.53489/

guiz67

  • Abonné Sosh fibre
  • *
  • Messages: 526
  • Ernolsheim Bruche (67)
[proxmox] NFS - CEPH - ZFS
« Réponse #7 le: 08 février 2021 à 15:22:33 »
Je vais regarder ca attentivement.
Mais effectivement je pense que j'ai des modifications à faire sur ma petite infra.

oui c'est peut-être ton relai nfs<->samba qui limite.

c'est NFSv4 ?

Tes containers sont en bridge réseau ou NAT ?

sinon as tu essayé NFS en direct depuis W10 pour voir le différence ? ( (le client NFS est maintenant de base dans W10 )

en pratique on utilise pas NFS si c'est sur le même machine que les containers mais des attach/bind directs.

En NFS je suis autour de 90 mo/s ce qui est proche de la saturation du gigabit.
Les centenaires sont en bridge sur la carte réseau.
Je vais voir pour faire attach/bind directs et passer en ZFS
« Modifié: 08 février 2021 à 16:36:12 par guiz67 »