Auteur Sujet: Fibre Max Premium - Problème de débit (Lu 3973 fois)

rooot · « **Réponse #60 le:** 02 mars 2024 à 20:24:14 »

je viens de trouver un post interessant, le dernier de la page.
https://community.spiceworks.com/t/synology-hyper-backup-speeds-affected-by-multipart-upload-part-size/812377/4

Citer

So by reducing the multipart size, you are instructing Hyper Backup to split up content being uploaded to the target cloud storage service, and in doing so, Hyper Backup is also making use of simultaneous upload streams. Instead of a single stream of 512MB of data being uploaded, Hyper Backup is splitting it into multiple segments and uploading several of them simultaneously.

D'après ce qui est dit, il est plus efficace de mettre une petite valeur qu'une grande, pour le multipart. Par defaut c'est 512Mo. Dans le wiki de Leviia, a l'étape 8 de la configuration, ils mettent la valeur par defaut qui est de 512Mo : https://wiki.leviia.com/fr/article/hyperbackup-connecter-votre-nas-synology-a-votre-espace-de-stockage-objet-leviia-compatible-s3-lkq6vi/

je vais mettre 16Mo, on verra ce qu'il se passe.

Edit:
confirmation ici, qu'en passant à 16Mo, la durée d'un upload passe de 6 semaines

à 5 jours...

Ca semble vraiment enorme si les mecs de Synology n'ont pas vu ça ou pire s'ils ne sont pas au courrant de l'impact que ca a.

rooot · « **Réponse #61 le:** 04 mars 2024 à 18:43:58 »

du nouveau de Synology

Citer

Thank you for the response and the information provided.

We checked with the team at HQ and they provided us some way to increase the workers used by Hyper Backup.

Could you double check if the remote access key is still enabled in the support centre of the NAS, we cannot access to it at the moment.

We will wait for your return so we can continue working on the case.
Best regards,

Joel Perpetua | SES Specialist - Cloud Backup & Sync

rooot · « **Réponse #62 le:** 07 mars 2024 à 08:15:19 »

Bon, pour ceux qui suivent ce topic, je poste le paramètre que Synology propose de modifier dans HyperBackup pour améliorer le débit.

Personnellement je ne vois pas trop d'amélioration, le CPU se tourne toujours ls pouces entre 2% et 5% max...
J'ai regardé ce qu'ils ont mis dans mon NAS, ils ont porté la valeur à 8. je ne sais pas si on peut monter plus haut ? ils parlent de valeur recommandée et non de valeur MAX.

buddy · « **Réponse #63 le:** 07 mars 2024 à 09:33:38 »

merci pour le suivi c'est appréciable.
tes backups durent toujours aussi longtemps.

rooot · « **Réponse #64 le:** 07 mars 2024 à 13:07:13 »

Ben la pour le coup je dirais 30 minutes de moins qu'hier. C'est pas énorme mais c'est mieux.
mais comme je bidouille des trucs en parallele, notamment la taille des blocs multipart, du coup je ne sais pas ce qui à donné cette amélioration.
je suis revenu sur des blocs de 512Mo. Ce soir je monterai le trans_client_num a 16 voire plus, j'hésite entre 16 et 32.

Mon backup fait 375Go, une fois arrivé chez Leviia ca represente 211Go. Debut du transfert à 3h30, fin a 10h00.
il aura fallu ce matin 6h30 pour envoyer 211Go. Soit 9.23 Mo/s environ. On est loin de mes capacités théoriques.

rooot · « **Réponse #65 le:** 08 mars 2024 à 09:10:08 »

réponse du jour :

De mon côté j'avais mis 32 workers hier, et ça n'a strictement rien apporté, et ça me semble encore plus lent qu'hier avec 8 workers.

le cpu se tourne toujours les pouces.

rooot · « **Réponse #66 le:** 08 mars 2024 à 09:15:03 »

je crois que je vais finir par monter une machine avec Duplicati, que j'ai testé il y a quelques jours et qui parvenait bien a saturer ma bande passante.
Par contre ca me fait chier dans ce cas d'avoir acheté un NAS Synology.

Optix · « **Réponse #67 le:** 08 mars 2024 à 09:36:30 »

Perso, j'utilise le bon vieux FTP en ligne de commande pour déporter mes sauvegardes sur un autre site (que du Syno aussi).

Voici (je l'ai claqué dans le planificateur de taches) :
lftp ftp://USER:PASS@IP_DISTANTE -e "mirror -e -R -P 6 /volume1/VM/ /NAS/NAS-TDR-RBS/ ; quit"

- P 6 pour 6 threads

Ca sature les 10G de la carte (les fichiers font qq gigas chacun) et ça passe easy avec des CPU de merde (vu que le FTP ne chiffre pas).

rooot · « **Réponse #68 le:** 08 mars 2024 à 10:09:56 »

interessant @optix
par contre t'as pas de déduplication dans ce process ?

En fait avec hyper Backup, la premiere sauvegarde envoyée est une full, les suivantes logiquement sont dédupliquées. en théorie, la semaine prochaine ce ne sera que 10% plus ou moins de mon backup normal qui sera envoyé. Du coup je l'espère ç~~a ira plus vite~~...ou plutot ca prendra moins de temps.
Si j'envoie par ftp 375GB tout les jours à 100Mo/s ca va aller vite effectivement, mais je vais consommer beaucoup de stockage...

Ta commande lftp ecrase la sauvegarde précédente ? ou tu arrives a gérer des versions avec ?

Optix · « **Réponse #69 le:** 08 mars 2024 à 10:11:18 »

Citation de: rooot le 08 mars 2024 à 10:09:56

interessant @optix
par contre t'as pas de déduplication dans ce process ?

En fait avec hyper Backup, la premiere sauvegarde envoyée est une full, les suivantes logiquement sont dédupliquées. en théorie, la semaine prochaine ce ne sera que 10% plus ou moins de mon backup normal qui sera envoyé. Du coup je l'espère ça ira plus vite...
Si j'envoie par ftp 375GB tout les jours à 100Mo/s ca va aller vite effectivement, mais je vais consommer beaucoup de stockage...

Ta commande lftp ecrase la sauvegarde précédente ? ou tu arrives a gérer des versions avec ?

Il faut vérifier de nouveau les arguments, mais le "-e" je crois qu'il signifie "erase" sur la destination, comme ça j'ai vraiment un mirror avec ma source.

rooot · « **Réponse #70 le:** 08 mars 2024 à 10:15:23 »

OK, alors avec une tache planifié pour chaque jour de la semaine, on pourrait arriver à conserver 5 sauvegardes, si on donne un nom different au dossier de destination.
Du genre :
lftp ftp://USER:PASS@IP_DISTANTE -e "mirror -e -R -P 6 /volume1/VM/ /NAS/LUNDI/ ; quit"
lftp ftp://USER:PASS@IP_DISTANTE -e "mirror -e -R -P 6 /volume1/VM/ /NAS/MARDI/ ; quit"
lftp ftp://USER:PASS@IP_DISTANTE -e "mirror -e -R -P 6 /volume1/VM/ /NAS/MERCREDI/ ; quit"
...

trekker92 · « **Réponse #71 le:** 08 mars 2024 à 12:25:21 »

Citation de: Optix le 08 mars 2024 à 09:36:30

Perso, j'utilise le bon vieux FTP en ligne de commande pour déporter mes sauvegardes sur un autre site (que du Syno aussi).

même pas en ftps ou sftp?