Auteur Sujet: Réplication asynchrone bidirectionnelle entre 2 NAS? (Lu 829 fois)

Leon · « **le:** 27 mai 2023 à 13:38:42 »

Bonjour à tous,

(attendez de lire la description en entier avant de répondre, svp)
Je suis en train de bidouiller 2 NAS, basé sur des PC de récupération, avec TrueNAS installé dessus.
Les 2 NAS sont sur 2 sites (2 maisons) différentes, pour assurer la redondance.
Le débit entre les 2 NAS est moyen, car j'ai du "Numéricâble" sur un des sites, avec un uplink de 40Mbps seulement.
Sur ces NAS, avec 2x1TB SSD chacun pour l'instant, j'ai ~500Gb de "dossier partagé", plus quelques volumes pour des machines virtuelles pour bidouiller.
(j'ajouterais des disques dur à plateau plus tard, dans un second temps).

Je teste actuellement des réplications asynchrone ZFS proposées par TrueNAS (snapshot puis réplication automatique) depuis le NAS A vers le NAS B, périodiquement (toutes les 2 heures). Ca semble fonctionner efficacement.
Du coup, sur le NAS B, mes volumes répliqués sont en "read only", ça me semble logique.
Si je veux monter des VM temporairement en local depuis le NAS B sur les volumes répliqués, avec modifications sur le NAS B, actuellement je suis obligé de faire un "clone to new dataset" du dernier snapshot répliqué sur le NAS-B, avant de pouvoir le modifier en local.
Mais ça n'est pas souple du tout, et ça n'est peut-être pas comme ça qu'il faut faire, dites le moi...

Ma question : est-ce qu'il existe un mécanisme pour faire des réplications/synchronisation dans les 2 sens?
Avec les idées suivante (idiotes ou pas, vous me direz):
- réplication asynchrone obligatoire, vu le faible débit entre les 2 sites/NAS. Les performances en utilisation locale ne doivent pas être bridées par la réplication.
- à un instant donné, il n'y a qu'un seul "NAS Maitre" (A ou B), sur lequel on modifie les données en local. On sélectionne "à la main" ce NAS-Maitre.
- si possible, le choix du "NAS Maitre" doit pouvoir se faire volume par volume.
- Pour basculer d'un "NAS maitre" à l'autre, il faudrait évidemment attendre que l'éventuelle synchronisation/réplication en cours se termine, ça me parait logique

Si je comprends bien, Rsync pourrait faire le job (pas sur de moi à 100%), mais c'est TRES lent en comparaison de la réplication ZFS par snapshot, et ça bouffe plus de ressources.
Je ne suis pas bloqué sur TrueNAS, s'il existe d'autres logiciels ou système de fichiers qui pourraient faire ça...

Merci d'avance pour votre aide!

Leon.

Leon · « **Réponse #1 le:** 28 mai 2023 à 09:33:42 »

Je me réponds à moi même.

A priori, il semble judicieux de séparer en 2 les stratégies de réplication
- pour le système de fichiers partagé (NFS / SMB) d'un côté
- pour les volumes/block de données à destination des machines virtuelles de l'autre. J'ai trouvé une piste avec DRBD, mais difficile de trouver des solutions toutes prêtes, intégrées, clef en main avec DRBD. Libre ou pas cher. Pas usine à gaz, je ne vais pas monter une infra cloud de 10 000 serveurs.

A la rigueur, pour la 2ieme partie, on pourrait faire des LVM avec DRBD juste au dessus. Mais je ne suis pas certain d'avoir les compétences pour installer et maintenir dans le temps tout ça...

Si vous avez d'autres idées, si vous avez connaissance d'un système intégré qui ferait ça sans être une usine à gaz, faites-moi signe, svp.
Merci!

Leon.

Lucien · « **Réponse #2 le:** 28 mai 2023 à 09:40:30 »

Bonjour,

En truc simple, sous Windows, tu as Allway Sync
https://allwaysync.com/

pioup · « **Réponse #3 le:** 28 mai 2023 à 09:46:49 »

sharepoint ne répondrait pas à la demande ?

Leon · « **Réponse #4 le:** 28 mai 2023 à 09:50:31 »

Merci.

Citation de: Lucien le 28 mai 2023 à 09:40:30

En truc simple, sous Windows, tu as Allway Sync
https://allwaysync.com/

A faire tourner en automatique sur un NAS? Je n'y crois pas trop. Mon NAS ne sera pas sous Windows.
Mais il existe des solutions équivalentes pour NAS, oui.

En fait, ça n'est pas la partie "partage de fichier" qui est la plus compliquée.
C'est clairement pour la partie "volumes/blocs" (à destination des machines virtuelles) que c'est plus complexe, et beaucoup moins répandu côté solutions "grand public".

Leon.

Lucien · « **Réponse #5 le:** 28 mai 2023 à 10:06:56 »

Citation de: Leon le 28 mai 2023 à 09:50:31

A faire tourner en automatique sur un NAS? Je n'y crois pas trop. Mon NAS ne sera pas sous Windows.

A tester dans une WM Windows, ou sur un PC du réseau.

Pas testé pour des Volumes.

Leon · « **Réponse #6 le:** 28 mai 2023 à 13:59:40 »

Citation de: Leon le 27 mai 2023 à 13:38:42

Je teste actuellement des réplications asynchrone ZFS proposées par TrueNAS (snapshot puis réplication automatique) depuis le NAS A vers le NAS B, périodiquement (toutes les 2 heures). Ca semble fonctionner efficacement.
Du coup, sur le NAS B, mes volumes répliqués sont en "read only", ça me semble logique.
Si je veux monter des VM temporairement en local depuis le NAS B sur les volumes répliqués, avec modifications sur le NAS B, actuellement je suis obligé de faire un "clone to new dataset" du dernier snapshot répliqué sur le NAS-B, avant de pouvoir le modifier en local.
Mais ça n'est pas souple du tout, et ça n'est peut-être pas comme ça qu'il faut faire, dites le moi...

Après réflexions, il me semble possible d'automatiser tout ce process avec de simples scripts.
La réplication par snapshot ZFS semble vraiment performante, donc ça semble être une bonne solution.
J'essayerais ça dans les prochains jours.
Côté machines virtuelles, les scripts devront gérer les "lock" des machines virtuelles, dans chaque "host".
Dans un premier temps juste avec une transition manuelle, donc des scripts déclenchés manuellement.

Et plus tard, si je suis joueur et courageux, on pourrait tenter de le faire en automatique. Le PCA/PRA automatique du pauvre. Juste pour le fun.

Mais évidemment, si vous connaissez des solutions toutes faite pour ça, je suis toujours preneur.

Leon.