La Fibre

Télécom => Réseau => testdebit Comment tester son débit ? => Discussion démarrée par: Lucius Snow le 23 octobre 2024 à 17:34:21

Titre: Bridage obscure à 1 Gb/s d'upload chez AWS ?
Posté par: Lucius Snow le 23 octobre 2024 à 17:34:21
Salut à tous,

J'utilise depuis quelques années From Smash pour l'envoi de fichiers. Ils utilisent les serveurs d'AWS. Lors de mon passage en XGS-PON avec 2 Gb/s chez Bouygues, aucun souci : le serveur suivait et je remplissais quasiment à fond ma bande passante. Plusieurs mois plus tard, me voilà bridé à 1 Gbit/s sans aucun changement matériel de mon côté.

Sur mon PC n°1 (fixe) :
- je parviens à uploader sur d'autres serveurs à 2 Gb/s
- j'ai testé sous deux O.S. différents, Windows et Linux

Mais là où c'est étrange, c'est qu'un autre PC qu'on appellera n°2 (portable), lui équipé d'un carte Ethernet à 2,5 Gb/s (contre 10 Gb/s pour le n°1), n'a pas ce problème. J'ai alors soupçonné le switch et j'ai donc branché le PC1 directement sur la box, sans succès.

Le PC n°1 ayant un deuxième port Ethernet 10 Gb/s sur la carte mère, j'ai fait également le test en l'utilisant au cas où c'est l'adresse MAC de ma première carte réseau ferait l'objet d'un filtrage quelque part. Mais c'est pareil aussi.

J'en parviens alors à m'interroger sur AWS / From Smash qui pourrait appliquer certains bridages non pas d'après l'IP mais sur la base d'identification matérielle de PC.

Qu'en pensez-vous ?

Je peine par ailleurs à trouver des services de transferts de fichiers qui tiennent un tel débit d'upload et sans contrainte de taille. Impossible chez WeTransfer, MyAirBridge, Mega, Google drive... Peut-être massive.io mais qui coûte un bras !

Merci.
Titre: Bridage obscure à 1 Gb/s d'upload chez AWS ?
Posté par: vivien le 23 octobre 2024 à 17:53:21
L'adresse mac de tes PC n'est pas remontée à AWS : Ta box est le dernier équipement à voir l'adresse mac de tes cartes réseau.

Tu as testé à environnement logiciel identique ?

Idéalement prendre le SSD du portable et le mettre dans ton PC fixe.
Titre: Bridage obscure à 1 Gb/s d'upload chez AWS ?
Posté par: Lucius Snow le 23 octobre 2024 à 18:05:50
L'adresse mac de tes PC n'est pas remontée à AWS : Ta box est le dernier équipement à voir l'adresse mac de tes cartes réseau.

Tu as testé à environnement logiciel identique ?

Idéalement prendre le SSD du portable et le mettre dans ton PC fixe.
Oui c'est pareil. Même O.S. configuré de la même manière, disques nVME, etc. Et je n'ai pas de problème à uploader à 2 Gb/s le même fichier sur un autre serveur. Par exemple, je peux sur frame.io qui utilise aussi AWS... mais peut-être pas exactement le même service que FromSmash. Ou alors ça viendrait de Bouygues ? Mais pourquoi alors autoriser un autre PC sur la box ?
Titre: Bridage obscure à 1 Gb/s d'upload chez AWS ?
Posté par: Leon le 23 octobre 2024 à 18:50:46
Ton PC n°1 synchronise bien à 10Gb/s?
Tu as regardé le taux d'utilisation du processeur, sur le PC n°1 qui n'est pas assez rapide, pendant les transferts? Tu satures un coeur par exemple?

Leon.
Titre: Bridage obscure à 1 Gb/s d'upload chez AWS ?
Posté par: Lucius Snow le 23 octobre 2024 à 18:51:31
Non ça ne vient pas de là. J'ai 64 coeurs.
Titre: Bridage obscure à 1 Gb/s d'upload chez AWS ?
Posté par: Leon le 23 octobre 2024 à 18:52:36
Non ça ne vient pas de là. J'ai 64 coeurs.
Justement, si l'application est monothread (par opposition à multithread), il est possible qu'elle sature un coeur unique.
Un processeur massivement multicoeur (64) est très souvent moins performant en mono-thread qu'un processeur à 6 coeurs par exemple.
Donc il est possible que l'appli soit plus rapide sur un processeur 4 fois moins cher.

Leon.
Titre: Bridage obscure à 1 Gb/s d'upload chez AWS ?
Posté par: Lucius Snow le 23 octobre 2024 à 19:56:30
Ce n'est pas une application vraiment, ça part d'une simple page HTTPS sous Chrome. Ca donne ça :

(https://i.ibb.co/FsdtsyL/Capture.jpg)

J'avais testé avec Firefox aussi.

Si c'est une histoire de coeurs, alors ça signifierait que FromSmash ait changé quelque chose dans le code de leur page. Mais selon eux, rien n'a bougé entre le moment où j'uploadais à 2 Gb/s et la limitation actuelle de moitié.

La même chose depuis un upload sur frame.io qui monte à 2 Gb/s (en effet, on n'atteint pas les 100 % sur les coeurs) :

(https://i.ibb.co/cDXDQnx/Capture2.jpg)
Titre: Bridage obscure à 1 Gb/s d'upload chez AWS ?
Posté par: Leon le 23 octobre 2024 à 22:27:48
Les 2 coeurs à 100%, c'est très parlant. Ca sature, ça limite.
Le Threadripper 3990X a un score passmark-single-thread à 2500. C'est correct mais sans plus;
https://www.cpubenchmark.net/cpu.php?cpu=AMD+Ryzen+Threadripper+3990X

Sur des CPU 5 à 10 fois moins cher, on fait mieux en single thread.
Je te laisse comparer avec le score passmark-single-thread de ton PC portable; si c'est un PC portable moderne et/ou gaming, je n'ai pas trop de doute, le PC portable sera meilleur en single thread. 
Ca ne donnera pas une conclusion définitive, mais une tendance, une piste.

Dans le "moniteur de ressources windows" tu devrai pouvoir vérifier quelles tâches provoquent les 100% sur 1 coeur.

Et il serait intéressant de comparer toute la chaine logicielle / matérielle, comme le propose Vivien.
 - avec l'installation exacte du PC portable bootée sur le fixe; directement avec le SSD du portable sur le fixe
 - voir si ça n'est pas un driver réseau ou un firewall à la ramasse sur le PC fixe
 - vérifier toutes les extensions du navigateur

Leon.
Titre: Bridage obscure à 1 Gb/s d'upload chez AWS ?
Posté par: Lucius Snow le 23 octobre 2024 à 22:33:38
Comme je le disais, j'ai bien 2 Gb/s avec exactement la même configuration mais sur un autre site Internet.

Donc comment expliquer que parfois les coeurs montent à 64 % et d'autres fois à 100 % ? C'est le développement de la page web ? La configuration du navigateur ?
Titre: Bridage obscure à 1 Gb/s d'upload chez AWS ?
Posté par: Tarkok le 23 octobre 2024 à 23:08:35
Selon le protocole utilisé, la façon dont la page est faite, la façon dont le navigateur la lit (dépend donc de la version du navigateur et du moteur de rendu), cela peut être plus ou moins performant dans un contexte multi-cœur.
Titre: Bridage obscure à 1 Gb/s d'upload chez AWS ?
Posté par: Lucius Snow le 23 octobre 2024 à 23:32:39
Merci. Ca semble bien en tout cas un souci de threads.

En bidouillant des paramètres avancés sous Chrome : pas de changement.
En bidouillant des paramètres avancés sous Firefox : 200 Mbit/s de plus que Chrome

Il reste 800 Mbit/s perdus dans la nature.

Le protocole, c'est toujours du HTTPS quelque soit la page web, non ?

Merci.

Titre: Bridage obscure à 1 Gb/s d'upload chez AWS ?
Posté par: Leon le 24 octobre 2024 à 06:17:15
Le protocole, c'est toujours du HTTPS quelque soit la page web, non ?
C'est beaucoup plus compliqué que ça. Il y a plein de méthodes pour transférer des fichiers via HTTPS.

En tout cas, tu as un début de solution : utiliser une machine plus performante (en single-thread) que ton ThreadRipper 3990X. Perso, ça m'intéresse de savoir pour quelle application tu utilises un tel CPU peu commun à 64 coeurs; une station de travail pour faire tourner des appli lourdes? De la virtualisation?
J'ai cru lire dans un autre sujet que tu était professionnel dans la création de vidéo, c'est sans doute ça.
 
Et si FromSmash propose une applications Windows, ça sera sans doute plus performant que passer via un navigateur web.
Sinon, change de service de partage de fichiers. Essaye Hetzner par exemple (je ne sais pas dire si on dépasse 1Gb/s avec, je n'ai ni le matériel ni la connexion pour tester).

Sinon, tu ne nous as pas répondu sur les 2 sujets suivants
 - as-tu des extensions de navigateur? un firewall?
 - as-tu regardé dans le "moniteur de ressources windows" pour voir quelle tâche/appli saturait tes 2 coeurs? C'est ton navigateur (FireFox / Edge / Chrome) dans les 2 cas?
 - tu as essayé avec Chrome?

Leon.
Titre: Bridage obscure à 1 Gb/s d'upload chez AWS ?
Posté par: vivien le 24 octobre 2024 à 07:10:27
Moi aussi j'ai pensé a ces applications qui font de la QoS et limitent l'upload pour ne pas dégrader la latence (Dell préinstallait à un moment ce type d'application).

Maintenant, il dit avoir testé sous Linux et l'environnement est complétement différent.

Lucius Snow si tu as encore un dual boot, tester sous Linux avec Chrome (ou Chromium) sans extension serait un moyen d'exclure d'autres pistes.
Titre: Bridage obscure à 1 Gb/s d'upload chez AWS ?
Posté par: Lucius Snow le 24 octobre 2024 à 11:06:18
Merci à vous deux. Pour vous répondre :

- Oui je travaille dans la vidéo.
- J'ai des extensions mais c'est pareil lorsqu'elles sont désactivées
- J'ai un firewall mais c'est pareil quand il est désactivé
- Oui c'est Chrome et Firefox qui saturent quelque coeurs à 100% (pas essayé Edge)
- Oui c'est pareil sous Ubuntu avec Chrome et Firefox
- Le processeur du PC portable est un i9 13950-HX donc plus rapide en single thread

FromSmash n'a pas d'application, tout passe par leur page Web (ou via une API mais je ne suis pas développeur). Dans le cas de celle de frame.io, sans application non plus, avec le même navigateur et sa configuration, j'uploade à 2 Gb/s en permanence sans saturer les coeurs. J'en conclue que la page de FromSmash alourdie inutilement la charge sur les 2-3 coeurs utilisés. Mais c'est dommage qu'on ne puisse pas demander au navigateur de la répartir sur plusieurs.
Titre: Bridage obscure à 1 Gb/s d'upload chez AWS ?
Posté par: Leon le 25 octobre 2024 à 06:29:48
Merci pour ce retour détaillé.
La comparaison entre les 2 CPU est très parlante, c'est intéressant de voir ça
https://www.cpubenchmark.net/compare/3674vs5214/AMD-Ryzen-Threadripper-3990X-vs-Intel-i9-13950HX
 - Threadripper-3990X : 64 coeurs ; passmark-single-thread 2500 ; (3000€)
 - Intel i9 13950Hx : 8 P-coeurs ; Passmark-single-thread 4000 ; (500€)
L'écart entre les 2 est énorme, plus important que je ne l'imaginais.
C'est 2 CPU très performants, avec 1 génération d'écart entre les 2 (le Threadripper est plus ancien), et surtout le Threadripper est spécialisé dans des tâches bien spécifiques (multi-thread, virtualisation).

Leon
Titre: Bridage obscure à 1 Gb/s d'upload chez AWS ?
Posté par: pju91 le 25 octobre 2024 à 08:52:25
FromSmash n'a pas d'application, tout passe par leur page Web (ou via une API mais je ne suis pas développeur). Dans le cas de celle de frame.io, sans application non plus, avec le même navigateur et sa configuration, j'uploade à 2 Gb/s en permanence sans saturer les coeurs. J'en conclue que la page de FromSmash alourdie inutilement la charge sur les 2-3 coeurs utilisés. Mais c'est dommage qu'on ne puisse pas demander au navigateur de la répartir sur plusieurs.
Je ne vois pas comment un "upload" qui se fait apparemment en HTTPS dans les 2 cas (FromSmash et Frame.io) pourrait avoir un  effet si différent sur le processeur du client.
Titre: Bridage obscure à 1 Gb/s d'upload chez AWS ?
Posté par: kgersen le 25 octobre 2024 à 10:16:26
Je ne vois pas comment un "upload" qui se fait apparemment en HTTPS dans les 2 cas (FromSmash et Frame.io) pourrait avoir un  effet si différent sur le processeur du client.

ca depend si l'upload est confié a 100% au navigateur ou si y'a du code javascript pour "streamer" le contenu (donc découpage en chunks au niveau javascript par exemple). Il se peut qu'un chiffrement ai lieu dans le navigateur et pas a l'arrivé sur le serveur (je parle d'un chiffrement en plus du TLS d" HTTPS).

A regarder le code d'upload de FromSmash ( https://github.com/fromsmash/smash-uploader-js ), ca utilise  a priori un nombre adaptatif de connexions TCP  mais ca démarre avec une seule.

c'est peut-etre l'upload mono-session de ton pc qui est limité par rapport a l'autre PC. tu peux tester avec speedtest.net (ou curl ou nspeed en ligne de commande).

apres c'est peut-etre plus simple de demander aux devs de FromSmash... :D
Titre: Bridage obscure à 1 Gb/s d'upload chez AWS ?
Posté par: buddy le 25 octobre 2024 à 10:42:09
Je ne sais pas comment l'application fonctionne, mais est-il envisageable de l'ouvrir en même temps sur Chome et Firefox et d'envoyer la moitié des fichiers avec un navigateur et l'autre avec l'autre ?
Titre: Bridage obscure à 1 Gb/s d'upload chez AWS ?
Posté par: Lucius Snow le 25 octobre 2024 à 13:21:16
Je ne sais pas comment l'application fonctionne, mais est-il envisageable de l'ouvrir en même temps sur Chome et Firefox et d'envoyer la moitié des fichiers avec un navigateur et l'autre avec l'autre ?
Non ce n'est pas possible .

@kgersen : J'ai demandé au support dz FromSmash qui me dit que rien n'a changé de leur côté. Pourtant, il y a plusieurs mois, j'atteignais aussi 2 Gb/s avec eux. Ils ont dû forcément changer le code.
Titre: Bridage obscure à 1 Gb/s d'upload chez AWS ?
Posté par: Leon le 25 octobre 2024 à 13:31:19
Donc 2 hypothèses tout aussi probables l'une que l'autre
 - soit c'est le support FromSmash qui raconte des bêtises
 - soit c'est le comportement du navigateur (Firefox et Chrome) et qui a changé suite à une mise à jour (correction/évolution), et ça impacte par effet de bord l'appli web FromSmash

Tu peux essayer avec Edge, juste au cas où... J'ai tellement de surprise incompréhensibles sur les écarts de comportement entre les 3 navigateurs...

Leon.
Titre: Bridage obscure à 1 Gb/s d'upload chez AWS ?
Posté par: Lucius Snow le 25 octobre 2024 à 14:59:54
Bon j'ai tenté avec Edge et une ancienne version de Chrome quand ça débitait à fond : idem.

J'en conclue que FromSmash a touché à son code.
Titre: Bridage obscure à 1 Gb/s d'upload chez AWS ?
Posté par: kgersen le 25 octobre 2024 à 22:17:56
il faut tester l'upload monosession c'est peut-etre une maj du systeme qui l'a déréglé (le plus simple c'est speedtest.net  en mono ).

si c'est Windows 11, on peut aussi activer le protocol de congestion BBR pour voir si ca améliore ou pas.

sous terminal admin:

netsh int tcp set supplemental Template=Internet CongestionProvider=bbr2
Titre: Bridage obscure à 1 Gb/s d'upload chez AWS ?
Posté par: Lucius Snow le 25 octobre 2024 à 23:16:25
Je suis sous Windows 10 et Ubuntu 22.04.

Voici le Speedtest sous Windows en monosession :

(https://www.speedtest.net/fr/result/16928853848.png)
Titre: Bridage obscure à 1 Gb/s d'upload chez AWS ?
Posté par: kgersen le 26 octobre 2024 à 01:14:04
J'ai testé FromSmash avec un PC puissant derriere une connexion 8G/8G. Ca limite aussi a 1 Gbps.
Mais bon la version gratuite de FromSmash limite a 2GB le fichier donc on a n'a pas forcement le temps d'atteindre le max de la connexion (la montée de débit en upload peut etre plus longue qu'en download)

t'es sur que tes comparaisons entre tes 2 machines ont été faites dans les memes conditions (horaires, taille du fichier envoyé,etc) ?

Je peine par ailleurs à trouver des services de transferts de fichiers qui tiennent un tel débit d'upload et sans contrainte de taille. Impossible chez WeTransfer, MyAirBridge, Mega, Google drive... Peut-être massive.io mais qui coûte un bras !

Merci.

t'as besoin que ce soit dans le cloud absolument ? l'arrivé des gros upload chez les connexions fibre permet justement de se passer d'un serveur dans le cloud.
certe il faut laisser allumer son pc si le transfert n'a pas lieu quand les 2 personnes sont la en meme temps ou avoir un petit serveur/NAS chez soi.

tu as quel volume moyen a transférer  ?
Titre: Bridage obscure à 1 Gb/s d'upload chez AWS ?
Posté par: Leon le 26 octobre 2024 à 06:30:43
@Lucius Snow, Tu peux tester d'autres prestataires de partage de fichier pour voir si l'herbe est plus verte ailleurs.
J'avais utilisé Hetzner Storage Share qui était très bien.
En plus de l'appli Web, c'est accessible via l'appli cliente NextCloud (Windows, MacOS, Linux) avec laquelle tu t'affranchis certainement des contraintes de Firefox/Chrome.
https://www.hetzner.com/storage/storage-share/
Je n'ai pas testé à plus de 1Gb/s, mais vu le tarif, ça vaut le coup d'essayer.

J'ai testé FromSmash avec un PC puissant derriere une connexion 8G/8G. Ca limite aussi a 1 Gbps.
Un PC beaucoup plus performant en Single Thread que le Threadripper 3990X de notre ami?

Leon.
Titre: Bridage obscure à 1 Gb/s d'upload chez AWS ?
Posté par: Lucius Snow le 26 octobre 2024 à 12:16:53
@kgersen : Je t'ai envoyé en privé mon accès pro chez Smash pour tester. Oui, je préfère passer par le cloud car les débits en SFTP avec mon NAS n'excèdent rarement 500 Mbit/s en sortie. Sans doute une question de peering/transit moins performant qu'avec AWS. L'an dernier, j'ai uploadé 7 To sur Smash.

@Leon : Quand Hetzner indique des formules à 1 To, 5 To ou 10 To, c'est pas le volume de trafic par an mais l'espace disque disponible ? Je vais voir si on peut s'inscrire en période d'essai pour un test de débit.

Merci.

EDIT : C'est un peu l'usine à gaz Hetzner. Il faut transmettre ses papiers d'identité et faire un scan facial que l'IA considère à chaque fois comme un échec.
Titre: Bridage obscure à 1 Gb/s d'upload chez AWS ?
Posté par: Leon le 26 octobre 2024 à 17:44:55
@Leon : Quand Hetzner indique des formules à 1 To, 5 To ou 10 To, c'est pas le volume de trafic par an mais l'espace disque disponible ? Je vais voir si on peut s'inscrire en période d'essai pour un test de débit.

EDIT : C'est un peu l'usine à gaz Hetzner. Il faut transmettre ses papiers d'identité et faire un scan facial que l'IA considère à chaque fois comme un échec.
Oui, Hetzner est devenu chiant sur les vérifications d'identité. Moi c'était passé sans difficulté il y a quelques années.
Je confirme que les quota que tu vois c'est les quota de stockage. Le trafic est illimité. C'est très bien décrit sur leur site.

https://www.hetzner.com/storage/storage-share/
Traffic
Storage Shares have unlimited internal and external traffic, so you'll have no problem uploading and downloading all your data to and from your Storage Share.

Leon.