Auteur Sujet: Fibre Max Premium - Problème de débit  (Lu 7030 fois)

0 Membres et 1 Invité sur ce sujet

rooot

  • Abonné RED by SFR fibre FttH
  • *
  • Messages: 2 014
  • 🔵🔵🔵🔵⚪⚪⚪⚪🔴🔴🔴🔴
Fibre Max Premium - Problème de débit
« le: 22 février 2024 à 10:29:21 »
Bonjour,

j'ouvre un nouveau sujet suite à mon problème de débit sur mes sauvegardes vers le cloud.
Donc je suis sur du OBS avec l'offre Fibre Max Premium (1Gbps).
J'utilise un NAS Synology DS1522+ avec le logiciel Hyper Backup pour déposer ma sauvegarde Chez Leviia.com dans du stockage compatible Amazon S3.
Ma sauvegarde débute a 5h00 du mat, et se terminait jusqu'a hier vers environ 9h30/9h45.
Le débit affiché à l'écran dans Hyper Backup oscille entre en 9Mo/s et 15Mo/s
Le débit affiché sur le routeur Mikrotik (actualisé toutes les secondes) montre des pics à 300/400Mbps puis retombe à quelques ko/s une seconde après, ca fait le yoyo entre 300Mbps et Zéro Ko/s quoi...

Je n'arrive pas a déterminer ce qui cause cette instabilité de débit.

j'ai contacté Leviia hier, et ils m'ont changé de serveur pour me mettre sur "leur toute derniere infrastructure", je cite :
Citer
Vous êtes maintenant sur notre toute nouvelle infrastructure très performante, si les débits ne sont pas au rendez-vous cette nuit, il faudra plutôt chercher du coté du NAS avec le CPU, la RAM, la compression et/ou le chiffrement des données.

Côté NAS, CPU et RAM tout est OK :


Ce matin, sur le Graph du Mikrotik, on voit le débit qui commence a 5h00 et qui se termine pour ce jour a 9h00. On a donc gagné 30 minutes environ par rapport aux backups précédent. Mais comme il y a de la déduplication je ne sais jamais exactement quel volume a été transféré.
On voit qu'a partir de 8h00, l'heure à laquelle j'arrive ca commence a se dégrader.



Là il est 10h20, l'activité dans l'entreprise a repris, je fais un speedtest en ligne de commande sur le NAS :

Le débit d'upload a minima est dans les 340Mbps en envoi.

un traceroute depuis mon PC vers ma cible chez leviia (s3.leviia.com):


Pour écarter tout équipement qui pourrait interférer enter le NAS et le routeur, ce soir je vais le brancher directement au routeur. Actuellement le NAS doit franchir 3 switchs Mikrotik pour arriver jusqu'au routeur.

Reste aussi a savoir chez Synology, si l'appli Hyper Backup n'a pas un souci...par exemple au niveau du chiffrement des données, ou je ne sais quoi d'autre. Je vais ouvrir un ticket chez eux et poser mes questions.

Si d'autres personnes ont des idées ou des pistes...

rooot

  • Abonné RED by SFR fibre FttH
  • *
  • Messages: 2 014
  • 🔵🔵🔵🔵⚪⚪⚪⚪🔴🔴🔴🔴
Fibre Max Premium - Problème de débit
« Réponse #1 le: 22 février 2024 à 10:36:28 »
le rapport de sauvegarde pour ce matin :



au final chez Leviia si je comprends bien, c'est 189.9 GB qui ont été stockés. Mais si je ne dis pas de bétises ce matin la barre de progression de l'upload indiquait au moins 270Go...

Hier quand j'ai pris une image écran on voit bien qu'a 99% j'était a 270Go uploadé, ou alors j'interprête mal ce qui est affiché.

rooot

  • Abonné RED by SFR fibre FttH
  • *
  • Messages: 2 014
  • 🔵🔵🔵🔵⚪⚪⚪⚪🔴🔴🔴🔴
Fibre Max Premium - Problème de débit
« Réponse #2 le: 22 février 2024 à 11:54:34 »
Dans hyper Backup, dans le parametrage de ma sauvegarde, a un moment j'ai une page ou j'indique la taille des blocks uploadés.
Par défaut c'est 512Mo, et c'est la valeur max, je n'y ai pas touché.



si j'utilise un explorateur de fichiers, pour voir dans mon bucket Leviia ce qui a été uploadé. je remarque que les fichiers font plutot 50Mo et non 512Mo...


On sait tous qu'uploader plein de "petits" fichiers est moins efficace qu'uploader un gros fichier. Ce qui pourrait expliquer mon upload en dent de scie avec des pics entre 400Mbps et zero.
A moins que ce découpage se fasse côté Leviia...je ne connais pas assez bien le principe du Stockage S3. A la source mes fichiers de sauvegardes sont des fichiers de plusieurs dizaines de Go. il me semble que c'est hyperBackup qui fait ce "découpage" et qui envoie ces fichiers comme on le voit sur l'image ci-dessus.

rooot

  • Abonné RED by SFR fibre FttH
  • *
  • Messages: 2 014
  • 🔵🔵🔵🔵⚪⚪⚪⚪🔴🔴🔴🔴
Fibre Max Premium - Problème de débit
« Réponse #3 le: 22 février 2024 à 17:54:45 »
J'ai un 1er retour du côté de Synology, dans lequel ils repondent déjà à certaines de mes interrogations :

Citer
Cher client,
Merci d'avoir contacté l'équipe d'assistance de Synology.

Les mauvaises performances de sauvegarde peuvent avoir plusieurs raisons. Elles sont généralement dues au traitement et à la déduplication des données pendant le processus de téléchargement que le NAS doit effectuer.

[...]

Concernant les paramètres multipart, cela est tout à fait normal, car l'option de taille ne sera utilisée que lors du téléchargement vers le bucket S3. Une fois le téléchargement terminé, le service S3 recrée les objets selon les besoins. Pour plus d'informations, vous pouvez consulter le Documentation S3 .
Donc c'est chez Leviia que la "decoupe" en fichiers de 50Mo est faite, pas avant l'upload. Donc ça balaie l'hypothese des "petits fichiers uploadés".

buddy

  • Expert
  • Abonné Free fibre
  • *
  • Messages: 15 328
  • Alpes Maritimes (06)
Fibre Max Premium - Problème de débit
« Réponse #4 le: 22 février 2024 à 17:58:32 »
Bonjour,

ça peut quand même peut être expliqué tes pics lors des envois non ?
Ne serait ce pas le "passage" entre 2 fichiers ?
il envoie un fichier pendant 10/15 sec => hop fichier de 500 Mo envoyé, il attend qu'on lui réponde que tout est OK puis il se préparé à envoyer le fichier suivant et etc ..

rooot

  • Abonné RED by SFR fibre FttH
  • *
  • Messages: 2 014
  • 🔵🔵🔵🔵⚪⚪⚪⚪🔴🔴🔴🔴
Fibre Max Premium - Problème de débit
« Réponse #5 le: 22 février 2024 à 18:02:49 »
ben d'après l'explication on envoie des blocs de 512Mo, et le découpage en petits fichiers se fait à l'arrivé par le service S3, ca ne devrait pas ralentir le transfert...

il y a un truc que je trouve bizarre, c'est que l'upload commence a 5h00 du mat, et a chaque fois que j'arrive a 8h00 on est a 99%, puis se dernier 1% mets 1h00 a se faire, peut etre plus car je ne sais pas a quel heure exact on est a 99%.
Donc s'il faut 1h pour faire 1%, on ne peut pas faire 99% en 4h00, à moins que dans ce % on ne parle pas que de téléchargement, il y a peut etre du traitement de fichier(création des blocks de 512Mo), du chiffrage, etc, puis ensuite l'upload.

Bon ce soir avant de partir j'ai mis le NAS au cul du routeur, impossible que l'upload soit perturbé par quoi que ce soit.

buddy

  • Expert
  • Abonné Free fibre
  • *
  • Messages: 15 328
  • Alpes Maritimes (06)
Fibre Max Premium - Problème de débit
« Réponse #6 le: 22 février 2024 à 18:26:01 »
ben d'après l'explication on envoie des blocs de 512Mo, et le découpage en petits fichiers se fait à l'arrivé par le service S3, ca ne devrait pas ralentir le transfert...
Sauf si entre 2 blocs de 512 Mo, il attend une sorte d'acquittement du serveur en face qui lui confirme qu'il a bien reçu et je ne sais pas quoi pendant 10/20 sec avant de l'autoriser à envoyer le fichier suivant ?

rooot

  • Abonné RED by SFR fibre FttH
  • *
  • Messages: 2 014
  • 🔵🔵🔵🔵⚪⚪⚪⚪🔴🔴🔴🔴
Fibre Max Premium - Problème de débit
« Réponse #7 le: 22 février 2024 à 19:15:31 »
les pics durent 1 seconde, ca voudrait dire que j'upload a 512Mo/s ?? ce n'est pas le cas, ca fait des pics a 300/400Mbps

rooot

  • Abonné RED by SFR fibre FttH
  • *
  • Messages: 2 014
  • 🔵🔵🔵🔵⚪⚪⚪⚪🔴🔴🔴🔴
Fibre Max Premium - Problème de débit
« Réponse #8 le: 22 février 2024 à 19:21:42 »
si on regarde la doc qui explique le fonctionnement : https://docs.aws.amazon.com/AmazonS3/latest/userguide/mpuoverview.html
Citer
Improved throughput – You can upload parts in parallel to improve throughput.

Quick recovery from any network issues – Smaller part size minimizes the impact of restarting a failed upload due to a network error.

Pause and resume object uploads – You can upload object parts over time. After you initiate a multipart upload, there is no expiry; you must explicitly complete or stop the multipart upload.

Begin an upload before you know the final object size – You can upload an object as you are creating it.
il devrait etre possible d'envoyer les blocs en parallele, et pas l'un après l'autre. est-ce que hyper backup le fait bien ? je poserai la question.

rooot

  • Abonné RED by SFR fibre FttH
  • *
  • Messages: 2 014
  • 🔵🔵🔵🔵⚪⚪⚪⚪🔴🔴🔴🔴
Fibre Max Premium - Problème de débit
« Réponse #9 le: 23 février 2024 à 09:12:33 »
Bon ben ce matin c'est pareil, le NAS au cul du routeur n'a rien changé donc je peux écarter tout traffic en interne qui pourait causer un goulot d'etranglement dans l'interconnexion de mes switchs.


buddy

  • Expert
  • Abonné Free fibre
  • *
  • Messages: 15 328
  • Alpes Maritimes (06)
Fibre Max Premium - Problème de débit
« Réponse #10 le: 23 février 2024 à 09:57:54 »
ok ...
Bon beh je t'avoue que je ne comprends pas d'où ça pourrait venir.
Reste à voir si ça vient d'Orange ou de HyperBackup ou de Leviia ou encore d'autre chose.

rooot

  • Abonné RED by SFR fibre FttH
  • *
  • Messages: 2 014
  • 🔵🔵🔵🔵⚪⚪⚪⚪🔴🔴🔴🔴
Fibre Max Premium - Problème de débit
« Réponse #11 le: 23 février 2024 à 10:41:15 »
mon backup a duré +1h de plus qu'hier...soit 5h18...pour 2Go de plus dans la sauvegarde...c'est incompréhensible, je ne peux pas me mettre dans des conditions plus optimales.
je mettrai un billet sur l'appli Hyper Backup.