La Fibre

Datacenter et équipements réseaux => Équipements réseaux => Serveurs NAS, serveurs et micro-serveurs => Discussion démarrée par: guiz67 le 07 février 2021 à 20:05:16

Titre: [proxmox] NFS - CEPH - ZFS
Posté par: guiz67 le 07 février 2021 à 20:05:16
Bonsoir a tous,

J'aurais besoin de l'avis d'expert.
J'ai un machine sur laquelle j'ai installé Proxmox.
(I5 - 16 giga de ram - SSD 250 giga - 4*3To en raid 10 - 1 lan Gigabit)

Dessus j'héberge plusieurs conteur LXC et VM.
LXC :
- Nginx (proxy web)
- Nextcloud
- Médusa (Sickrage)
- Emby (avec la partie graphique de I5 en pathtrough pour le transcodage)
- samba
- le contrôleur Unify
- Dante (proxy docks)

VM :
- jeedom (debian 10)
- serveur Factorio

Une grande partie des machines a accès au disque en raid 10 par l'intermédiaire du NFS.

Mais j'ai l'impression que c'est pas super efficace et qu'il y a des ralentissements lors de copie de fichier ou plusieurs lectures.

Exemple en téléchargement depuis le LXC samba vers mon pc en Windows 10.
J'ai du mal à dépassé les 60 mo secondes.

Je me pose la question du si la lecture a travers le NFS puis l'envoi vers le PC en w10 ne sature pas la carte réseau.

Ne devrais-je pas faire une réseau interne sur Proxmox pour juste la liaison NFS entre les machines ou peut être utilisé autre chose que NFS ?

Je trouve NFS pratique car j'ai pas de problème de droit j'ai créé un user avec le même uid guid sur chaque machine pour que toutes les machines puisse écrire et lire !

Voilà j'attends vos avis question sur la petite archi.
Titre: [proxmox] NFS - CEPH - ZFS
Posté par: JeannotPlanche le 07 février 2021 à 20:41:33
Je ne suis pas sûr de bien comprendre.
Proxmox est installé sur cette machine i5 qui a ces 4*3 To en RAID 10 ?
Donc où est le NFS dans tout ça ?
Le stockage est bien en ZFS ?
Titre: [proxmox] NFS - CEPH - ZFS
Posté par: guiz67 le 07 février 2021 à 20:43:11
Tout est sur la même machine.

Il y a un raid soft 10 sur la machine et il y a un serveur NFS

Système de fichiers EXT4

Et sur les VM ou les LXC un client NFS
Titre: [proxmox] NFS - CEPH - ZFS
Posté par: kgersen le 07 février 2021 à 21:13:28
oui c'est peut-être ton relai nfs<->samba qui limite.

c'est NFSv4 ?

Tes containers sont en bridge réseau ou NAT ?

sinon as tu essayé NFS en direct depuis W10 pour voir le différence ? ( (le client NFS est maintenant de base dans W10 )

en pratique on utilise pas NFS si c'est sur le même machine que les containers mais des attach/bind directs.
Titre: [proxmox] NFS - CEPH - ZFS
Posté par: guiz67 le 07 février 2021 à 21:30:54
C'est bien la ou je dois ne pas comprendre un truc.

Comment puis-je monter le système de fichier dans plusieurs conteneur et qu'ils puissent tous y avoir accès.
Titre: [proxmox] NFS - CEPH - ZFS
Posté par: kgersen le 07 février 2021 à 22:18:17
j'ai pas de promox sous la main pour t'aiguiller plus mais regarde la doc c'est un mount point supplémentaire, de type 'bind' .

https://pve.proxmox.com/wiki/Linux_Container#_bind_mount_points
Titre: [proxmox] NFS - CEPH - ZFS
Posté par: alain_p le 08 février 2021 à 08:14:10
Tu peux aussi tester la performance de ton stockage avec l'utilitaire pveperf. Soit pveperf simplement, soit tu lui indiques le stockage, par exemple 'pveperf /var/lib/vz', qui était le répertoire local par défaut des VMs/LXC... Il faut avoir FSYNC/SECOND au moins égal à 1000 pour que le stockage soit correct en I/O. Je ne suis pas sûr que ce soit le cas avec un Raid logiciel :

https://forum.proxmox.com/threads/poor-pveperf-performance.53489/
Titre: [proxmox] NFS - CEPH - ZFS
Posté par: guiz67 le 08 février 2021 à 15:22:33
Je vais regarder ca attentivement.
Mais effectivement je pense que j'ai des modifications à faire sur ma petite infra.

oui c'est peut-être ton relai nfs<->samba qui limite.

c'est NFSv4 ?

Tes containers sont en bridge réseau ou NAT ?

sinon as tu essayé NFS en direct depuis W10 pour voir le différence ? ( (le client NFS est maintenant de base dans W10 )

en pratique on utilise pas NFS si c'est sur le même machine que les containers mais des attach/bind directs.

En NFS je suis autour de 90 mo/s ce qui est proche de la saturation du gigabit.
Les centenaires sont en bridge sur la carte réseau.
Je vais voir pour faire attach/bind directs et passer en ZFS