La Fibre
Hébergeurs et opérateurs pro / entreprises => Hébergeurs et opérateurs pro / entreprises => 
Orange Pro / OBS => Discussion démarrée par: rooot le 22 février 2024 à 10:29:21
-
Bonjour,
j'ouvre un nouveau sujet suite à mon problème de débit sur mes sauvegardes vers le cloud.
Donc je suis sur du OBS avec l'offre Fibre Max Premium (1Gbps).
J'utilise un NAS Synology DS1522+ avec le logiciel Hyper Backup pour déposer ma sauvegarde Chez Leviia.com dans du stockage compatible Amazon S3.
Ma sauvegarde débute a 5h00 du mat, et se terminait jusqu'a hier vers environ 9h30/9h45.
Le débit affiché à l'écran dans Hyper Backup oscille entre en 9Mo/s et 15Mo/s
Le débit affiché sur le routeur Mikrotik (actualisé toutes les secondes) montre des pics à 300/400Mbps puis retombe à quelques ko/s une seconde après, ca fait le yoyo entre 300Mbps et Zéro Ko/s quoi...
Je n'arrive pas a déterminer ce qui cause cette instabilité de débit.
j'ai contacté Leviia hier, et ils m'ont changé de serveur pour me mettre sur "leur toute derniere infrastructure", je cite :
Vous êtes maintenant sur notre toute nouvelle infrastructure très performante, si les débits ne sont pas au rendez-vous cette nuit, il faudra plutôt chercher du coté du NAS avec le CPU, la RAM, la compression et/ou le chiffrement des données.
Côté NAS, CPU et RAM tout est OK :
(https://i.imgur.com/7IieeHa.png)
Ce matin, sur le Graph du Mikrotik, on voit le débit qui commence a 5h00 et qui se termine pour ce jour a 9h00. On a donc gagné 30 minutes environ par rapport aux backups précédent. Mais comme il y a de la déduplication je ne sais jamais exactement quel volume a été transféré.
On voit qu'a partir de 8h00, l'heure à laquelle j'arrive ca commence a se dégrader.
(https://i.imgur.com/ziKTPRt.png)
Là il est 10h20, l'activité dans l'entreprise a repris, je fais un speedtest en ligne de commande sur le NAS :
(https://i.imgur.com/P1dxf0M.png)
Le débit d'upload a minima est dans les 340Mbps en envoi.
un traceroute depuis mon PC vers ma cible chez leviia (s3.leviia.com):
(https://i.imgur.com/Y6p2syL.png)
Pour écarter tout équipement qui pourrait interférer enter le NAS et le routeur, ce soir je vais le brancher directement au routeur. Actuellement le NAS doit franchir 3 switchs Mikrotik pour arriver jusqu'au routeur.
Reste aussi a savoir chez Synology, si l'appli Hyper Backup n'a pas un souci...par exemple au niveau du chiffrement des données, ou je ne sais quoi d'autre. Je vais ouvrir un ticket chez eux et poser mes questions.
Si d'autres personnes ont des idées ou des pistes...
-
le rapport de sauvegarde pour ce matin :
(https://i.imgur.com/IkDoaYo.png)
au final chez Leviia si je comprends bien, c'est 189.9 GB qui ont été stockés. Mais si je ne dis pas de bétises ce matin la barre de progression de l'upload indiquait au moins 270Go...
Hier quand j'ai pris une image écran on voit bien qu'a 99% j'était a 270Go uploadé, ou alors j'interprête mal ce qui est affiché.
(https://i.imgur.com/w1q1qT3.png)
-
Dans hyper Backup, dans le parametrage de ma sauvegarde, a un moment j'ai une page ou j'indique la taille des blocks uploadés.
Par défaut c'est 512Mo, et c'est la valeur max, je n'y ai pas touché.
(https://i.imgur.com/4yrjt2p.png)
si j'utilise un explorateur de fichiers, pour voir dans mon bucket Leviia ce qui a été uploadé. je remarque que les fichiers font plutot 50Mo et non 512Mo...
(https://i.imgur.com/Pmdim9X.png)
On sait tous qu'uploader plein de "petits" fichiers est moins efficace qu'uploader un gros fichier. Ce qui pourrait expliquer mon upload en dent de scie avec des pics entre 400Mbps et zero.
A moins que ce découpage se fasse côté Leviia...je ne connais pas assez bien le principe du Stockage S3. A la source mes fichiers de sauvegardes sont des fichiers de plusieurs dizaines de Go. il me semble que c'est hyperBackup qui fait ce "découpage" et qui envoie ces fichiers comme on le voit sur l'image ci-dessus.
-
J'ai un 1er retour du côté de Synology, dans lequel ils repondent déjà à certaines de mes interrogations :
Cher client,
Merci d'avoir contacté l'équipe d'assistance de Synology.
Les mauvaises performances de sauvegarde peuvent avoir plusieurs raisons. Elles sont généralement dues au traitement et à la déduplication des données pendant le processus de téléchargement que le NAS doit effectuer.
[...]
Concernant les paramètres multipart, cela est tout à fait normal, car l'option de taille ne sera utilisée que lors du téléchargement vers le bucket S3. Une fois le téléchargement terminé, le service S3 recrée les objets selon les besoins. Pour plus d'informations, vous pouvez consulter le Documentation S3 (https://docs.aws.amazon.com/AmazonS3/latest/userguide/mpuoverview.html) .
Donc c'est chez Leviia que la "decoupe" en fichiers de 50Mo est faite, pas avant l'upload. Donc ça balaie l'hypothese des "petits fichiers uploadés".
-
Bonjour,
ça peut quand même peut être expliqué tes pics lors des envois non ?
Ne serait ce pas le "passage" entre 2 fichiers ?
il envoie un fichier pendant 10/15 sec => hop fichier de 500 Mo envoyé, il attend qu'on lui réponde que tout est OK puis il se préparé à envoyer le fichier suivant et etc ..
-
ben d'après l'explication on envoie des blocs de 512Mo, et le découpage en petits fichiers se fait à l'arrivé par le service S3, ca ne devrait pas ralentir le transfert...
il y a un truc que je trouve bizarre, c'est que l'upload commence a 5h00 du mat, et a chaque fois que j'arrive a 8h00 on est a 99%, puis se dernier 1% mets 1h00 a se faire, peut etre plus car je ne sais pas a quel heure exact on est a 99%.
Donc s'il faut 1h pour faire 1%, on ne peut pas faire 99% en 4h00, à moins que dans ce % on ne parle pas que de téléchargement, il y a peut etre du traitement de fichier(création des blocks de 512Mo), du chiffrage, etc, puis ensuite l'upload.
Bon ce soir avant de partir j'ai mis le NAS au cul du routeur, impossible que l'upload soit perturbé par quoi que ce soit.
-
ben d'après l'explication on envoie des blocs de 512Mo, et le découpage en petits fichiers se fait à l'arrivé par le service S3, ca ne devrait pas ralentir le transfert...
Sauf si entre 2 blocs de 512 Mo, il attend une sorte d'acquittement du serveur en face qui lui confirme qu'il a bien reçu et je ne sais pas quoi pendant 10/20 sec avant de l'autoriser à envoyer le fichier suivant ?
-
les pics durent 1 seconde, ca voudrait dire que j'upload a 512Mo/s ?? ce n'est pas le cas, ca fait des pics a 300/400Mbps
-
si on regarde la doc qui explique le fonctionnement : https://docs.aws.amazon.com/AmazonS3/latest/userguide/mpuoverview.html
Improved throughput – You can upload parts in parallel to improve throughput.
Quick recovery from any network issues – Smaller part size minimizes the impact of restarting a failed upload due to a network error.
Pause and resume object uploads – You can upload object parts over time. After you initiate a multipart upload, there is no expiry; you must explicitly complete or stop the multipart upload.
Begin an upload before you know the final object size – You can upload an object as you are creating it.
il devrait etre possible d'envoyer les blocs en parallele, et pas l'un après l'autre. est-ce que hyper backup le fait bien ? je poserai la question.
-
Bon ben ce matin c'est pareil, le NAS au cul du routeur n'a rien changé donc je peux écarter tout traffic en interne qui pourait causer un goulot d'etranglement dans l'interconnexion de mes switchs.
-
ok ...
Bon beh je t'avoue que je ne comprends pas d'où ça pourrait venir.
Reste à voir si ça vient d'Orange ou de HyperBackup ou de Leviia ou encore d'autre chose.
-
mon backup a duré +1h de plus qu'hier...soit 5h18...pour 2Go de plus dans la sauvegarde...c'est incompréhensible, je ne peux pas me mettre dans des conditions plus optimales.
je mettrai un billet sur l'appli Hyper Backup.
-
Y a pas une vérif de fichier en fin de sauvegarde?
Tu peux essayer de backup un seul et unique gros fichier?
-
Le graphique de l'upload du jour sur la droite, et tout à gauche hier.
(https://i.imgur.com/egfYWAi.png)
-
Y a pas une vérif de fichier en fin de sauvegarde?
aucune idée...
Tu peux essayer de backup un seul et unique gros fichier?
j'ai fait un test avec 1 seul fichier de 75Go c'est allé assez vite effectivement. Mais j'ai pas poussé plus car je bouffe toute la bande passante pendant que les gens bossent, faut que je regarde ce week end :-\
-
Peut être les HDD qui limitent,
As-tu testé sur un Gdrive, Dropbox, en webdav ou sur un FTP par exemple ?
-
Peut être les HDD qui limitent,
As-tu testé sur un Gdrive, Dropbox, en webdav ou sur un FTP par exemple ?
j'ai un raid 5 de 5x SSD Kingston DC600M : https://www.kingston.com/fr/ssd/dc600m-data-center-solid-state-drive
en local je transfers au max des 1Gbps.
j'ai pas testé sur d'autres cloud type Gdrive depuis le NAS.
De plus le CPU se tourne les pouces pendant l'upload...on va voir ce que le support Synology va me dire, ils devraient voir j'espère si c'est le logiciel qui a un souci.
-
j'ai eu un message de syno hier, ils n'arrivent pas a prendre la main sur mon NAS...
La sauvegarde d'aujourd'hui s'est terminée a 12h30, elle a donc duré 7h30...je vais devoir la stopper, il y a clairement un probleme avec le logiciel, pas avec le debit en lui meme.
Du coup le topic n'est pas au bon endroit.
-
Bon du nouveau coté synology. ils m'ont demandé d'installer un outil en ligne de commande "aws-cli" pour effectuer depuis mon PC un upload/download d'un fichier chez Leviia.
upload d'un iso de windows 11 de 5.44Go, depuis mon PC donc :
(https://i.imgur.com/kOGNLNS.png)
12.5Mo/s :(
Download :
(https://i.imgur.com/Ay9Zt6z.png)
38.5Mo/s avec un pic jusqu'a 57Mo/s au début.
Bon alors là je me suis dit: "c'est clair ya un souci chez Leviia !". Vu qu'un speedtest me sort environ 800/800Mbps
J'ai vu que chez Backblaze on peut créer un compte gratuit pour 10Go de stockage, zou je file créer un compte pour faire le meme test.
Vu le stockage réduit je zip un dossier dans lequel j'avais le contenu d'un CD office 2010.
Upload avec Chiffrement activé:
(https://i.imgur.com/7Zz9nxo.png)
11.6Mo/s wtf !! aussi mauvais que chez Leviia...
Upload sans chiffrement :
(https://i.imgur.com/BpiGNGC.png)
12Mo/s a peine mieux
Alors quelles conclusions en tirer ? ::) sachant que j'ai plus trop l'impression d'avoir un probleme de débit...
(https://pic.nperf.com/r/3500115495646943-zY4YZj9C.png)
-
Salut,
tes speedtests, tu les fais en "mono" ou en "multi connexions" ?
-
En testant avec le même outil sur un PC Linux avec ou sans BBR ? Peut être une trop forte latence ?
Tester avec un VPN, voir si il n'y a pas un bridage
-
Tester avec un VPN, voir si il n'y a pas un bridage
Je miserai sur ça aussi perso
-
@ Rooot : essayes d'utiliser TCPOptimize pour remettre les paramètres par défaut. Il se peut que le problème vienne de là.
-
@ Rooot : essayes d'utiliser TCPOptimize pour remettre les paramètres par défaut. Il se peut que le problème vienne de là.
Sur un Nas Synology ??
-
@Buddy : rooot a fait un test sur windows 11 :
upload d'un iso de windows 11 de 5.44Go, depuis mon PC donc :
-
Salut,
tes speedtests, tu les fais en "mono" ou en "multi connexions" ?
sur nperf je ne vois pas ou on peut changer ce parametre, donc par defaut ca doit etre multi je pense.
-
@ Rooot : essayes d'utiliser TCPOptimize pour remettre les paramètres par défaut. Il se peut que le problème vienne de là.
c'est pas un probleme sur mon PC, a la base les sauvegardes se font sur un NAS Synology.
On en est venu à faire des tests sur mon PC pour vérifier que le probleme ne vient pas du NAS.
Les résultats obtenus que ce soit sur NAS ou PC sont les mêmes. Donc le problème ce n'est pas le NAS ou le logiciel utilisé dans le NAS.
-
En testant avec le même outil sur un PC Linux avec ou sans BBR ? Peut être une trop forte latence ?
Tester avec un VPN, voir si il n'y a pas un bridage
on a une grosse latence effectivement, en OBS on sort sur Paris...dès le premier saut du traceroute on est a 35ms >:( mais quand meme sur 700Mbps effectif on devrait être autour des 80Mo/s en upload.
Utiliser un vpn ca me fait suer, je vais finir par pourrir mon PC a force d'installer tout un tas de trucs >:(
-
j'ai fait un test avec l'outil aws depuis chez moi j'atteinds 25Mo/s en upload sur s3.leviia.com, sur ma ligne 2Gbps/1Gbps qui marche du tonnerre de brest...c'est 2x mieux que depuis le boulot, mais on est tres tres loin des 100Mo/s possibles.
-
sur nperf je ne vois pas ou on peut changer ce parametre, donc par defaut ca doit etre multi je pense.
Il s'agit de Speedtest by Ookla (https://www.speedtest.net/fr), et en bas de pasge, tu as "Multi" ou "unique".
Pour récupérer le lien, tu sélectionnes "résultats" puis l'icone "lien direct vers ce résultat" puis "image".
Donc le problème ce n'est pas le NAS ou le logiciel utilisé dans le NAS.
Le plus probable est un problème, disons de saturation, du coté des serveurs chez Leviia ou chez Backblaze.
Il y aurait foule aux heures où tu fais tes backup.
-
sur nperf je ne vois pas ou on peut changer ce parametre, donc par defaut ca doit etre multi je pense.
Apparement avec l'application nperf, tu peux sélectionner https://lafibre.info/tester-son-debit/nperf-interface/, sinon speedtest.net te permet de choisir explicitement.
Faudrait voir quel débit tu peux obtenir en mono connexion.
-
j'ai fait un speedtest en single, c'est pas top sur l'upload :
(https://www.speedtest.net/result/15945430144.png)
En multi :
(https://www.speedtest.net/result/15945439606.png)
-
Vraiment surprenant ces débits et cette latence pour OBS encore plus l'effondrement du débit en cubic, j'ai un client en FTTO 1Gb dans le 92, je ferai un speedtest la prochaine que je vais sur site.
Edit : ce n'est pas du cubic ? Peut être essayer ?
-
Dès le premier saut, en sortie du routeur Orange, on a 29ms
(https://i.imgur.com/3wHJNdw.png)
-
Bon si on récapitule :
Depuis le boulot, Ligne Orange OBS :
Upload vers le S3 de Leviia = 12Mo/s environ - Testé sur NAS et sur PC avec l'outil aws
Upload vers le S3 de BackBlaze = 12Mo/s environ - Testé sur PC avec l'outil aws
Upload vers le S3 de Synology = 12Mo/s environ - Testé sur PC avec l'outil aws
Les speedtest pour l'upload en multi ça tourne autour des 80-100Mo/s et environ 28Mo/s en single.
Depuis chez moi, ligne SFR :
Upload vers le S3 de Leviia = 24Mo/s environ - Testé sur PC avec l'outil aws
Upload vers le S3 de BackBlaze = 20Mo/s environ - Testé sur PC avec l'outil aws
Upload vers le S3 de Synology = pas encore testé
Le speedtest en multi je suis au taquet à 110Mo/s en upload. j'ai pas fait le test en Single.
-
un retour de Synology concernant l'utilisation de l'outil aws, il confirme qu'il fait un upload multiple, et la doc indique que c'est 10 connexions par defaut.
Dans le Nas synology l'upload multipart est aussi activé.
(https://i.imgur.com/ZxzBJJ7.png)
(https://i.imgur.com/Nos5jPE.png)
Donc le speedtest en single n'est pas pertinent dans cette histoire.
-
OMG !!
Depuis chez moi, en passant la valeur à 60, j'ai x3 la vitesse d'upload.
(https://i.imgur.com/SXmASx6.png)
EDIT:
test depuis le boulot :
(https://i.imgur.com/MbRkaw8.png)
Bon, c'est finalement bien une question de quantité de connexions...enfin je vois le bout du tunnel.
Mais franchement 60 ! ca fait vraiment beaucoup je trouve...
-
Si tu redescend la valeur, ça baisse le débit aussi sec, ou bien tu as juste testé une valeur extrême ?
-
Si tu redescend la valeur, ça baisse le débit aussi sec, ou bien tu as juste testé une valeur extrême ?
j'ai testé avec 20 et comme j'ai vu que le débit avait augmenté j'ai testé 40, puis 60. J'ai pas testé 80, déjà que 60 me semble vraiment enorme.
-
Autre point.
Dans le wiki de Leviia qui explique comment parametrer Hyper Backup : https://wiki.leviia.com/fr/article/hyperbackup-connecter-votre-nas-synology-a-votre-espace-de-stockage-objet-leviia-compatible-s3-lkq6vi/
à l'étape 5, l'image indique "Signature Version : 4". Je me suis aperçu ce matin, que j'avais laissé la valeur par défaut : 2
J'ai demandé a Leviia si ca pouvait avoir un impact sur les performances, et ils m'ont répondu ceci :
Concernant le version de signature, oui cela peut avoir un impact conséquent déjà constaté sur d'autre logiciel.
Du coup j'ai tout reparametré, on verra sur le backup de ce soir...
-
le Pasage en signature V4 n'a rien changé. tout mon espoir réside maintenant sur un éventuel parametre de connexion dans Hyper Backup.
J'ai l'impression que mon problème est identique à celui décrit ici (https://lafibre.info/orange-debit/orange-et-limite-debit-par-session-tcp/)
et dont la cause probable semble avoir été la Livebox, solution ici (https://lafibre.info/orange-debit/orange-et-limite-debit-par-session-tcp/msg936360/#msg936360)
Ma livebox soit disant "transparente" grace a mon bloc ip /29, ne l'est pas tout a fait car mon traffic passe de toute façon au travers de celle-ci.
-
Ma livebox soit disant "transparente" grace a mon bloc ip /29, ne l'est pas tout a fait
Si, elle l'est.
Et la LBB (LiveBox Business) n'a rien à voir et n'a rien de commun avec une Livebox Grand Public ou Pro.
-
Bonjour,
Si cela a fonctionné avec le PC, qui était connecté à la Livebox, je ne vois pas comment ce serait la Livebox le problème.
Essayer en augmentant le nombre de connexions dans Hyper Backup ?
-
je parle de ce phénomène de la mono connexion "bridée".
il ya bien a un moment un événement qui se produit, qui fait que j'ai un débit très faible sur 1 connexion. Le support Leviia m'a montré que chez eux ils n'avaient pas besoin de passer a 60 connexions, en restant par défaut ils saturent leur bande passante.
La conclusion des tests chez Synology c'est qu'il ya un probleme sur le réseau. Meme conclusion chez Leviia. Je suis dans la situation classique de l'IT qui se trouve au milieu de 3 prestataires ou tout le monde se renvoie la balle.
J'ai mis mon NAS au cul de notre routeur (un Mikrotik RB4011), lui meme directement relié à la livebox pour eviter tout element externe suceptible d'interferer. ca ne change rien.
-
Bonjour,
Si cela a fonctionné avec le PC, qui était connecté à la Livebox, je ne vois pas comment ce serait la Livebox le problème.
Essayer en augmentant le nombre de connexions dans Hyper Backup ?
ca a fonctionné sur PC en changeant le nombre de threads (10 par defaut) a 60 dans l'outil aws cli. Et lors des tests chez Leviia ils n'ont pas eu besoin de faire ça pour saturer leur bande passante vers leurs serveurs. La valeur par defaut suffit.
Augmenter ce nombre de connexion dans Hyper Backup on ne peut pas le faire, c'est justement un de mes derniers espoirs.
J'ai lancé un backup de 375Go ce matin à 8h27.
il est 12h45 je suis à 28% >:(
(https://i.imgur.com/lim3k4t.png)
375Go a 12Mo/S environ il faut 9h00...sur une une fibre 1Gbps, en comptant large il faut normalement entre 2h30 et 3h00 max.
Edit: le backup s'est terminé a 13h14. les chiffres affichés par hyper backup sont totalement faux :o
(https://i.imgur.com/QurGidH.png)
le phénomène inexpliqué des connexions mono plus lentes que les connexions multiples n'est pas nouveau, on a plusieurs fois abordé le sujet sur ce forum, mais on n'en a jamais su les raisons.
-
Si je comprends bien les chiffres, maintenant que le backup est terminé.
(https://i.imgur.com/2psChCr.png)
Mes 375Go, une fois compressés et chiffrés à la volée, sont envoyés chez Leviia. Du coup ca représente 196.81Go de stockés. Chez Leviia ca indique 211.34Go.
197Go en 4h47, ca fait du 11.89 Mo/s
211Go en 4h47, ca fait du 12,7 Mo/S, donc grosso modo je suis bien a 12 Mo/s sur le temps qui est passé. Ce qui représente bien le débit atteint lors des tests avec aws cli avec les 10 threads par defaut.
-
197 Gio = 211 Go ;)
Si tu observes le même comportement chez toi (SFR) qu'au travail (Orange) où tu as besoin de 60 connexions en parallèle, c'est que tu as auss le soucis sur SFR, donc peut être pas la livebox pour le coup non ? ou alors SFR et Orange font pareil dans leur box.
-
Bonne remarque @buddy
alors je ne sais plus a quel saint me vouer. :(
En fait si quelqu'un pouvait prendre un compte gratuit chez Synology, qui propose 15Go ou chez Backblaze qui en propose 10. Pour faire un test d'upload avec aws, ça serait vraiment interessant d'avoir des retours.
https://c2.synology.com/fr-fr/object-storage/overview
https://www.backblaze.com/cloud-storage
l'outil aws cli : https://docs.aws.amazon.com/cli/latest/userguide/getting-started-install.html
le S3 de synology a une interface plus conviviale.
Lorsque vous avez votre compte vous créez un compartiment (bucket) avec le nom que vous voulez, ex : monbucket.
vous récupérez votre "access key", votre "secret key", le point de terminaison (url) qui vous sont indiqués.
Ensuite on configure aws avec l'access/secret key.
(https://i.imgur.com/MsGU7Q2.png)
Voilà on est pret à faire notre upload avec la commande suivante:
aws s3 cp --endpoint-url ENDPOINT LOCAL_PATH_FILE s3://Bucket_Name/
exemple :
aws s3 cp --endpoint-url https://eu-003.s3.synologyc2.net "monfichier.zip" s3://monbucket/
-
Bon je suis une quiche mais j'arrive à rien uploader avec l'invite de commande pourtant je suis bien login.
En tout cas en uploadant directement sur synology via navigateur web, je traine à 125 mega/s.
-
tu es bien sur l'Object storage ?
(https://i.imgur.com/hXVDk9y.png)
on ne peut rien uploader depuis la page web, juste manager le compte...et le "login" pour l'outil aws cli c'est l'access key et la secret key.
-
Voilà on peut le faire via la page web.
Je peux rien upload via la commande, car j'ai pas de fichier je crois, donc quand j'envoie la commande ça m'envoie une erreur.
(https://i.ibb.co/47tyvcm/Capture-d-cran-2024-03-02-154801.png) (https://ibb.co/L8RwjMk)
-
ha ok, j'avais pas vu qu'on pouvait upload par l'interface web, mais il faudrait arriver à faire le test depuis la ligne de commande.
il faudrait que tu trouves dans ton PC un fichier de 1 ou 2 Go ou plus. et tu as juste a indiquer le chemin vers celui-ci...
par exemple :
aws s3 cp --endpoint-url https://eu-003.s3.synologyc2.net "c:/test/mon_gros_fichier.iso" s3://Carter/
Au passage je viens de voir que chez moi Symantec Antivirus me bloque l'accès a https://eu-003.s3.synologyc2.net, il faut que je le desactive pour que la commande fonctionne.
Depuis chez moi j'atteins, avec les 10 connexions par defaut, 23MiB/s max
(https://i.imgur.com/vOmLBhj.png)
Mais avec le passage a 60 connexions, je suis a prêt de 70MiB/s :
aws configure set default.s3.max_concurrent_requests 60
(https://i.imgur.com/8BkY9cB.png)
-
Merci pour tes modifs, donc je traine à max 17 MiB/s.
-
Avec 60 connexions je passe à 90 MiB/s sans doute le max de mon wifi.
-
Merci pour tes modifs, donc je traine à max 17 MiB/s.
Avec 60 connexions je passe à 90 MiB/s sans doute le max de mon wifi.
Haa !! Merci pour ton retour d'information !
S'il y a d'autres personnes qui pourraient contribuer au test svp ?
-
Sur un Ubuntu avec BBR, je monte à 31Mo/s sur Backblaze avec une Connexion Orange Pro, en laissant le nombre de connexion par défaut
20 Connexions : 44Mo/s
30 Connexions : 74Mo/s
40 Connexions : 81Mo/s
40 Connexions : 89Mo/s
-
Merci @daleksek
Ton débit theorique en upload est de combien ?
Donc on voit bien que sur l'outil aws, le nombre de connexions permet d'optimiser le debit.
Maintenant il faudrait savoir ce qu'il en est avec Hyper Backup, combien de connexions simultanées il fait ?! je vais demander au support.
-
1Gbits
J'ai fais un autre test
10 Connexions BBR : 23Mo/s
10 Connexions Cubic : 20Mo/s
-
toujours sur BackBlaze ?
-
Oui,
J'ai remarqué, qu'il y avait un serveur EU, j'étais sur le US pour les tests, c'est un ancien compte Backblaze
En switchant vers le EU, en BBR
10 Connexions : 30Mo/s
20 Connexions : 86Mo/s
30 Connexions : 86Mo/s
Les tests sont effectués sur une VM Ubuntu, j'ai peut être quelques limitations, qui ne permettent pas d'aller au delà des 90Mo/s
-
je viens de trouver un post interessant, le dernier de la page.
https://community.spiceworks.com/t/synology-hyper-backup-speeds-affected-by-multipart-upload-part-size/812377/4
So by reducing the multipart size, you are instructing Hyper Backup to split up content being uploaded to the target cloud storage service, and in doing so, Hyper Backup is also making use of simultaneous upload streams. Instead of a single stream of 512MB of data being uploaded, Hyper Backup is splitting it into multiple segments and uploading several of them simultaneously.
D'après ce qui est dit, il est plus efficace de mettre une petite valeur qu'une grande, pour le multipart. Par defaut c'est 512Mo. Dans le wiki de Leviia, a l'étape 8 de la configuration, ils mettent la valeur par defaut qui est de 512Mo : https://wiki.leviia.com/fr/article/hyperbackup-connecter-votre-nas-synology-a-votre-espace-de-stockage-objet-leviia-compatible-s3-lkq6vi/
je vais mettre 16Mo, on verra ce qu'il se passe.
Edit:
confirmation ici (https://www.reddit.com/r/synology/comments/vek8us/1tb_upload_to_backblaze_using_hyperbackup_only/), qu'en passant à 16Mo, la durée d'un upload passe de 6 semaines :o à 5 jours...
Ca semble vraiment enorme si les mecs de Synology n'ont pas vu ça ou pire s'ils ne sont pas au courrant de l'impact que ca a.
-
du nouveau de Synology
Thank you for the response and the information provided.
We checked with the team at HQ and they provided us some way to increase the workers used by Hyper Backup.
Could you double check if the remote access key is still enabled in the support centre of the NAS, we cannot access to it at the moment.
We will wait for your return so we can continue working on the case.
Best regards,
Joel Perpetua | SES Specialist - Cloud Backup & Sync
-
Bon, pour ceux qui suivent ce topic, je poste le paramètre que Synology propose de modifier dans HyperBackup pour améliorer le débit.
(https://i.imgur.com/0Vht6qE.png)
Personnellement je ne vois pas trop d'amélioration, le CPU se tourne toujours ls pouces entre 2% et 5% max...
J'ai regardé ce qu'ils ont mis dans mon NAS, ils ont porté la valeur à 8. je ne sais pas si on peut monter plus haut ? ils parlent de valeur recommandée et non de valeur MAX.
-
merci pour le suivi c'est appréciable.
tes backups durent toujours aussi longtemps.
-
Ben la pour le coup je dirais 30 minutes de moins qu'hier. C'est pas énorme mais c'est mieux.
mais comme je bidouille des trucs en parallele, notamment la taille des blocs multipart, du coup je ne sais pas ce qui à donné cette amélioration.
je suis revenu sur des blocs de 512Mo. Ce soir je monterai le trans_client_num a 16 voire plus, j'hésite entre 16 et 32.
Mon backup fait 375Go, une fois arrivé chez Leviia ca represente 211Go. Debut du transfert à 3h30, fin a 10h00.
il aura fallu ce matin 6h30 pour envoyer 211Go. Soit 9.23 Mo/s environ. On est loin de mes capacités théoriques.
-
réponse du jour :
(https://i.imgur.com/qhRacpM.png)
De mon côté j'avais mis 32 workers hier, et ça n'a strictement rien apporté, et ça me semble encore plus lent qu'hier avec 8 workers. >:(
le cpu se tourne toujours les pouces.
-
je crois que je vais finir par monter une machine avec Duplicati (https://www.duplicati.com/), que j'ai testé il y a quelques jours et qui parvenait bien a saturer ma bande passante.
Par contre ca me fait chier dans ce cas d'avoir acheté un NAS Synology.
-
Perso, j'utilise le bon vieux FTP en ligne de commande pour déporter mes sauvegardes sur un autre site (que du Syno aussi).
Voici (je l'ai claqué dans le planificateur de taches) :
lftp ftp://USER:PASS@IP_DISTANTE -e "mirror -e -R -P 6 /volume1/VM/ /NAS/NAS-TDR-RBS/ ; quit"
- P 6 pour 6 threads
Ca sature les 10G de la carte (les fichiers font qq gigas chacun) et ça passe easy avec des CPU de merde (vu que le FTP ne chiffre pas).
-
interessant @optix
par contre t'as pas de déduplication dans ce process ?
En fait avec hyper Backup, la premiere sauvegarde envoyée est une full, les suivantes logiquement sont dédupliquées. en théorie, la semaine prochaine ce ne sera que 10% plus ou moins de mon backup normal qui sera envoyé. Du coup je l'espère ça ira plus vite...ou plutot ca prendra moins de temps.
Si j'envoie par ftp 375GB tout les jours à 100Mo/s ca va aller vite effectivement, mais je vais consommer beaucoup de stockage...
Ta commande lftp ecrase la sauvegarde précédente ? ou tu arrives a gérer des versions avec ?
-
interessant @optix
par contre t'as pas de déduplication dans ce process ?
En fait avec hyper Backup, la premiere sauvegarde envoyée est une full, les suivantes logiquement sont dédupliquées. en théorie, la semaine prochaine ce ne sera que 10% plus ou moins de mon backup normal qui sera envoyé. Du coup je l'espère ça ira plus vite...
Si j'envoie par ftp 375GB tout les jours à 100Mo/s ca va aller vite effectivement, mais je vais consommer beaucoup de stockage...
Ta commande lftp ecrase la sauvegarde précédente ? ou tu arrives a gérer des versions avec ?
Il faut vérifier de nouveau les arguments, mais le "-e" je crois qu'il signifie "erase" sur la destination, comme ça j'ai vraiment un mirror avec ma source.
-
OK, alors avec une tache planifié pour chaque jour de la semaine, on pourrait arriver à conserver 5 sauvegardes, si on donne un nom different au dossier de destination.
Du genre :
lftp ftp://USER:PASS@IP_DISTANTE -e "mirror -e -R -P 6 /volume1/VM/ /NAS/LUNDI/ ; quit"
lftp ftp://USER:PASS@IP_DISTANTE -e "mirror -e -R -P 6 /volume1/VM/ /NAS/MARDI/ ; quit"
lftp ftp://USER:PASS@IP_DISTANTE -e "mirror -e -R -P 6 /volume1/VM/ /NAS/MERCREDI/ ; quit"
...
-
Perso, j'utilise le bon vieux FTP en ligne de commande pour déporter mes sauvegardes sur un autre site (que du Syno aussi).
même pas en ftps ou sftp?
-
même pas en ftps ou sftp?
Nope je suis dans mon propre réseau donc pas génant.
Comme dit, faire du bête FTP ça permet d'obtenir de très bons débits même sur des petits NAS qui n'ont qu'un petit Intel ATOM ou autre.
Quitte à déléguer le chiffrement au routeur qui tiendrait une liaison VPN par exemple.
-
lftp supporte aussi des protocoles sécurisé à ce que je vois. Donc l'outil devrait faire le job.
https://fr.wikipedia.org/wiki/Lftp
En plus du protocole FTP et HTTP en Ipv4 et Ipv6, ce programme gère également le FTPS, HTTPS, HFTP, FISH (en) (c'est-à-dire sensiblement SCP), FXP et le sFTP en spécifiant le protocole voulu dans l'URL.
-
Peut être les HDD qui limitent,
As-tu testé sur un Gdrive, Dropbox, en webdav ou sur un FTP par exemple ?
je viens de tester hyper backup sur un Gdrive. ca tourne toujours autour de 10Mo/s...le protocol S3 ne semble donc pas etre en cause. HyperBackup sous son aspect super convivial et simple d'emploi cache une vrai merde bien empaquetée dans du papier cadeau.
-
je crois que je vais finir par monter une machine avec Duplicati (https://www.duplicati.com/), que j'ai testé il y a quelques jours et qui parvenait bien a saturer ma bande passante.
Par contre ca me fait chier dans ce cas d'avoir acheté un NAS Synology.
Peut être que synology va t'apporter une réponse / fix satisfaisant à toi et tous ceux qui l'utilisent. après, ça fait "cher" le beta test ...
-
Peut être que ça dépend aussi du CPU dans les Synology, l'application n'est peut être pas efficiente sur tous les supports
Je pense que le Ryzen R1600 devrait aller
-
le probleme c'est que si on creuse, on voit des gens qui se plaignent de ce probleme de débit depuis que l'appli existe, j'ai trouvé des topics de plusieurs pages qui ont commencé en 2016...et depuis visiblement rien n'a été fait, et personne de Synology n'y a mis les pieds.
Quand des gars ont des problemes de lenteur avec un disque usb3 relié en direct sur le NAS...C'est pas étonnant que ce soit lent sur du cloud.
https://community.synology.com/enu/forum/1/post/153532
(https://i.imgur.com/oFqawh5.png)
Dans ce meme topic il y en a un avec un DS1817+ (https://www.ldlc.com/fiche/PB00227133.html), bloqué a 5-7Mo/s...
-
Avec Docker, il y a des app du style Rclone, peut être que ça pourrait mieux fonctionner
-
Avec Docker, il y a des app du style Rclone, peut être que ça pourrait mieux fonctionner
j'aurai préféré du natif plutot que du docker...
Le lftp ou le rsync en ligne de commande ca me plairait mieux. Par contre quel prestataire serieux, avec qui ca marche bien, propose 10To de stockage, pour un prix avoisinant les 800/900€ par an ?
La sauvegarde de demain matin va se faire en mode dédupliquée. je vais voir le temps que ca va prendre. Peut etre que je vais avoir quelques Go seulement a pousser et que du coup ca va prendre <1h00...
-
aller on remet ça... ;D
(https://i.imgur.com/bLrsZD7.png)
resultat du benchmark : si mes disques sont la cause du probleme j'ose pas imaginer chez les autres...
(https://i.imgur.com/JGaB5ZY.png)
il me reste plus qu'a regarder le moniteur de ressources durant la sauvegarde pour voir si une ressource monopolise les disques...
(https://i.imgur.com/tZHo1Vz.png)
-
La sauvegarde de demain matin va se faire en mode dédupliquée. je vais voir le temps que ca va prendre. Peut etre que je vais avoir quelques Go seulement a pousser et que du coup ca va prendre <1h00...
elle a duré 9 minutes, et ca a poussé 4.6Go.
(https://i.imgur.com/uRHhfx1.png)
donc maintenant je suis sur un cycle ou j'ai ma full, et toutes les versions qui suivront seront des déduplications qui dureront + ou - une dizaine de minutes.