Bonjour,

j'ouvre un nouveau sujet suite à mon problème de débit sur mes sauvegardes vers le cloud.
Donc je suis sur du OBS avec l'offre Fibre Max Premium (1Gbps).
J'utilise un NAS Synology DS1522+ avec le logiciel Hyper Backup pour déposer ma sauvegarde Chez Leviia.com dans du stockage compatible Amazon S3.
Ma sauvegarde débute a 5h00 du mat, et se terminait jusqu'a hier vers environ 9h30/9h45.
Le débit affiché à l'écran dans Hyper Backup oscille entre en 9Mo/s et 15Mo/s
Le débit affiché sur le routeur Mikrotik (actualisé toutes les secondes) montre des pics à 300/400Mbps puis retombe à quelques ko/s une seconde après, ca fait le yoyo entre 300Mbps et Zéro Ko/s quoi...

Je n'arrive pas a déterminer ce qui cause cette instabilité de débit.

j'ai contacté Leviia hier, et ils m'ont changé de serveur pour me mettre sur "leur toute derniere infrastructure", je cite :

Vous êtes maintenant sur notre toute nouvelle infrastructure très performante, si les débits ne sont pas au rendez-vous cette nuit, il faudra plutôt chercher du coté du NAS avec le CPU, la RAM, la compression et/ou le chiffrement des données.

Côté NAS, CPU et RAM tout est OK :


Ce matin, sur le Graph du Mikrotik, on voit le débit qui commence a 5h00 et qui se termine pour ce jour a 9h00. On a donc gagné 30 minutes environ par rapport aux backups précédent. Mais comme il y a de la déduplication je ne sais jamais exactement quel volume a été transféré.
On voit qu'a partir de 8h00, l'heure à laquelle j'arrive ca commence a se dégrader.



Là il est 10h20, l'activité dans l'entreprise a repris, je fais un speedtest en ligne de commande sur le NAS :

Le débit d'upload a minima est dans les 340Mbps en envoi.

un traceroute depuis mon PC vers ma cible chez leviia (s3.leviia.com):


Pour écarter tout équipement qui pourrait interférer enter le NAS et le routeur, ce soir je vais le brancher directement au routeur. Actuellement le NAS doit franchir 3 switchs Mikrotik pour arriver jusqu'au routeur.

Reste aussi a savoir chez Synology, si l'appli Hyper Backup n'a pas un souci...par exemple au niveau du chiffrement des données, ou je ne sais quoi d'autre. Je vais ouvrir un ticket chez eux et poser mes questions.

Si d'autres personnes ont des idées ou des pistes...

Dans hyper Backup, dans le parametrage de ma sauvegarde, a un moment j'ai une page ou j'indique la taille des blocks uploadés.
Par défaut c'est 512Mo, et c'est la valeur max, je n'y ai pas touché.



si j'utilise un explorateur de fichiers, pour voir dans mon bucket Leviia ce qui a été uploadé. je remarque que les fichiers font plutot 50Mo et non 512Mo...


On sait tous qu'uploader plein de "petits" fichiers est moins efficace qu'uploader un gros fichier. Ce qui pourrait expliquer mon upload en dent de scie avec des pics entre 400Mbps et zero.
A moins que ce découpage se fasse côté Leviia...je ne connais pas assez bien le principe du Stockage S3. A la source mes fichiers de sauvegardes sont des fichiers de plusieurs dizaines de Go. il me semble que c'est hyperBackup qui fait ce "découpage" et qui envoie ces fichiers comme on le voit sur l'image ci-dessus.

Bonjour,

ça peut quand même peut être expliqué tes pics lors des envois non ?
Ne serait ce pas le "passage" entre 2 fichiers ?
il envoie un fichier pendant 10/15 sec => hop fichier de 500 Mo envoyé, il attend qu'on lui réponde que tout est OK puis il se préparé à envoyer le fichier suivant et etc ..

ben d'après l'explication on envoie des blocs de 512Mo, et le découpage en petits fichiers se fait à l'arrivé par le service S3, ca ne devrait pas ralentir le transfert...

Sauf si entre 2 blocs de 512 Mo, il attend une sorte d'acquittement du serveur en face qui lui confirme qu'il a bien reçu et je ne sais pas quoi pendant 10/20 sec avant de l'autoriser à envoyer le fichier suivant ?

si on regarde la doc qui explique le fonctionnement : https://docs.aws.amazon.com/AmazonS3/latest/userguide/mpuoverview.html

Improved throughput – You can upload parts in parallel to improve throughput.

Quick recovery from any network issues – Smaller part size minimizes the impact of restarting a failed upload due to a network error.

Pause and resume object uploads – You can upload object parts over time. After you initiate a multipart upload, there is no expiry; you must explicitly complete or stop the multipart upload.

Begin an upload before you know the final object size – You can upload an object as you are creating it.

il devrait etre possible d'envoyer les blocs en parallele, et pas l'un après l'autre. est-ce que hyper backup le fait bien ? je poserai la question.

ok ...
Bon beh je t'avoue que je ne comprends pas d'où ça pourrait venir.
Reste à voir si ça vient d'Orange ou de HyperBackup ou de Leviia ou encore d'autre chose.