Auteur Sujet: Soucis peering Google / Netflix ?  (Lu 4216 fois)

0 Membres et 1 Invité sur ce sujet

Ralph

  • Abonné RED by SFR fibre FttH
  • *
  • Messages: 700
  • M.E.L. (59) / 1Gbps ↓ + ↑
Soucis peering Google / Netflix ?
« le: 27 août 2020 à 21:25:27 »
Bonjour,

Je remarque depuis plusieurs jours un étrange comportement du smoke-ping mis en place chez moi vers 1.1.1.1, 8.8.8.8 et 9.9.9.9

Ce jour :



Hier:



Et les derniers 14 jours :




Bref, depuis quasiment que j'ai mis en place ce smoke-ping vers les 3 DNS, celui de Google (8.8.8.8) a des soucis de temps de réponse très régulièrement entre 20h et 23h. Et même en journée depuis peu.

Les autres adresses 1.1.1.1 (Cloudflare) et 9.9.9.9 (Quad9) n'ont pas ce soucis ce qui dédouane à priori un soucis coté collecte (je fais des speedtest, nperf, speed-cloudflare à pas loin de 900 Mbits/s sans soucis le soir).

De plus, si je teste le ping vers 8.8.8.8 depuis une machine chez online.net, j'ai de très bon temps :

$ ping 8.8.8.8
PING 8.8.8.8 (8.8.8.8) 56(84) bytes of data.
64 bytes from 8.8.8.8: icmp_seq=1 ttl=119 time=1.02 ms
64 bytes from 8.8.8.8: icmp_seq=2 ttl=119 time=0.994 ms
...
64 bytes from 8.8.8.8: icmp_seq=34 ttl=119 time=0.994 ms
64 bytes from 8.8.8.8: icmp_seq=35 ttl=119 time=0.997 ms
^C
--- 8.8.8.8 ping statistics ---
35 packets transmitted, 35 received, 0% packet loss, time 34038ms
rtt min/avg/max/mdev = 0.988/0.998/1.016/0.005 ms

Ce qui dédouane aussi un problème chez Google.

Suis-je le seul à remarquer cela chez K-Net ?


J'ai aussi remarqué une baisse significative de mon débit depuis les serveurs Netflix le soir depuis peu, mais c'est un autre sujet je pense. Je passe de 350/400 Mbits à ... 70/80 ! Et ceci bien sur en Ethernet.
« Modifié: 29 août 2020 à 09:50:46 par Ralph »

VincentO

  • AS24904 K-Net
  • Expert
  • *
  • Messages: 74
  • Amiens (80)
Soucis peering Google ?
« Réponse #1 le: 28 août 2020 à 00:00:53 »
Traceroute à un moment où vous avez le problème ? Est-ce que ça fait pareil vers 8.8.4.4 au même moment ? J'ai testé directement à partir de votre routeur et tout semblait normal :
Start: 2020-08-27T23:29:37+0200
HOST: KBOX            Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- 10.2.0.151       0.0%   100    3.0   3.1   2.0   6.0   0.5
  2.|-- ???             100.0   100    0.0   0.0   0.0   0.0   0.0
  3.|-- 10.2.0.5         0.0%   100    8.0   7.4   6.0  24.0   1.8
  4.|-- 178.250.208.14   0.0%   100   18.0  17.0   8.0  60.0   8.4
  5.|-- 108.170.244.193  0.0%   100    8.0   7.9   6.0   9.0   0.2
  6.|-- 72.14.237.93     0.0%   100   18.0   9.0   8.0  18.0   1.2
  7.|-- 8.8.8.8          0.0%   100   19.0  15.8   8.0  33.0   6.2

Les autres adresses 1.1.1.1 (Cloudflare) et 9.9.9.9 (Quad9) n'ont pas ce soucis ce qui dédouane à priori un soucis coté collecte

Pas forcément, il y a très souvent des agrégations de liens dans la collecte (le traffic d'un même client est réparti entre plusieurs liens en fonction par exemple de l'IP source et de destination). Un lien de l'agrégat peut saturer si le traffic n'est pas bien équilibré / si la fonction de hashage est mal choisie, n'impactant dans qu'une partie du traffic.

Ce qui dédouane aussi un problème chez Google.

Là encore, pas forcément. Google a plusieurs centaines de serveurs qui répondent à cette IP (anycast), le traffic venant de Online et de K-Net ne va pas forcément vers le même serveur (et cela peut changer un peu à n'importe quel moment). De la même façon, cela pourrait saturer sur un lien chez Google. Mais ces problèmes sont rarissimes chez Google.

Côté K-Net, la collecte de Covage et les PNI vers Google et Netflix sont tous sur le même routeur (donc pas de saturation entre routeurs K-Net possible), et l'état des liens est sur https://as24904.kwaoo.net/ où on ne voit pas de saturation. Dans le traceroute plus haut, 10.2.0.5 c'est notre routeur, et 178.250.208.14 c'est un routeur chez Google (on fournit l'IP pour l'interco).

J'ai aussi remarqué une baisse significative de mon débit depuis les serveurs Netflix le soir depuis peu, mais c'est un autre sujet je pense. Je passe de 350/400 Mbits à ... 70/80 ! Et ceci bien sur en Ethernet.

Testé comment, sur https://fast.com/ ?

Ralph

  • Abonné RED by SFR fibre FttH
  • *
  • Messages: 700
  • M.E.L. (59) / 1Gbps ↓ + ↑
Soucis peering Google ?
« Réponse #2 le: 28 août 2020 à 08:38:59 »
Traceroute à un moment où vous avez le problème ? Est-ce que ça fait pareil vers 8.8.4.4 au même moment ? J'ai testé directement à partir de votre routeur et tout semblait normal :
Start: 2020-08-27T23:29:37+0200
HOST: KBOX            Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- 10.2.0.151       0.0%   100    3.0   3.1   2.0   6.0   0.5
  2.|-- ???             100.0   100    0.0   0.0   0.0   0.0   0.0
  3.|-- 10.2.0.5         0.0%   100    8.0   7.4   6.0  24.0   1.8
  4.|-- 178.250.208.14   0.0%   100   18.0  17.0   8.0  60.0   8.4
  5.|-- 108.170.244.193  0.0%   100    8.0   7.9   6.0   9.0   0.2
  6.|-- 72.14.237.93     0.0%   100   18.0   9.0   8.0  18.0   1.2
  7.|-- 8.8.8.8          0.0%   100   19.0  15.8   8.0  33.0   6.2

Même symptome sur 8.8.4.4, j'aurais du le préciser.
Je vais tenter de mettre en place un mtr historisé dans un base et affiché via grafana.

Pas forcément, il y a très souvent des agrégations de liens dans la collecte (le traffic d'un même client est réparti entre plusieurs liens en fonction par exemple de l'IP source et de destination). Un lien de l'agrégat peut saturer si le traffic n'est pas bien équilibré / si la fonction de hashage est mal choisie, n'impactant dans qu'une partie du traffic.

Oui je sais que le routage sur internet n'a rien de trivial.

Là encore, pas forcément. Google a plusieurs centaines de serveurs qui répondent à cette IP (anycast), le traffic venant de Online et de K-Net ne va pas forcément vers le même serveur (et cela peut changer un peu à n'importe quel moment). De la même façon, cela pourrait saturer sur un lien chez Google. Mais ces problèmes sont rarissimes chez Google.

En effet, il y a un très grand nombre de machines qui vont répondre sur 8.8.8.8 et c'est clair que les sources sont tellement différente que plus de 50% d'un traceroute allait être différent

Côté K-Net, la collecte de Covage et les PNI vers Google et Netflix sont tous sur le même routeur (donc pas de saturation entre routeurs K-Net possible), et l'état des liens est sur https://as24904.kwaoo.net/ où on ne voit pas de saturation. Dans le traceroute plus haut, 10.2.0.5 c'est notre routeur, et 178.250.208.14 c'est un routeur chez Google (on fournit l'IP pour l'interco).

Justement, la weather-map hier à 20h30:



Et à 23 heures:



Le lien LyonIX a chaud à 20h !


Le truc c'est que je suis dans le Nord près de Lille, mais on m'a attribué une IP "près" de Genève, j'espère que je ne me tape pas des allers-retours en passant par LyonIX pour faire Lille - Paris selon les IP ciblées.

Testé comment, sur https://fast.com/ ?

Oui, sur :
  • PC fixe en Ethernet (il encaisse le Gbits/s et 600Mbit/s sous Wireguard/Win10)
  • PC portable en Wifi (250Mbits quand tout va bien, 30... quand ça déconne)
  • 2 nVidia TV Shield pour le moment en WiFi qui me donnaient toujours au dessus de 50Mbits/s via le test intégré à l'application Android TV) et qui plongent maintenant à 15!

J'ai fait un post sur le forum K-Net pour que cela sois plus direct : https://forum.caps.services/index.php/topic,8015.0.html

thedark

  • Abonné RED by SFR fibre FttH
  • *
  • Messages: 5 665
  • Réseau Covage
Soucis peering Google ?
« Réponse #3 le: 28 août 2020 à 08:46:49 »
Citer
Le lien LyonIX a chaud à 20h !
C'est à cause de la nouvelle saison de fortnite. (Cache Akamai)

Ralph

  • Abonné RED by SFR fibre FttH
  • *
  • Messages: 700
  • M.E.L. (59) / 1Gbps ↓ + ↑
Soucis peering Google ?
« Réponse #4 le: 28 août 2020 à 09:02:56 »
C'est à cause de la nouvelle saison de fortnite. (Cache Akamai)

Mouais... Akamai en haut à droite de la Weather-map se tourne les pouces vers Paris, j'ai un gros doute sur la cause du coup.

thedark

  • Abonné RED by SFR fibre FttH
  • *
  • Messages: 5 665
  • Réseau Covage
Soucis peering Google ?
« Réponse #5 le: 28 août 2020 à 09:09:24 »
Mouais... Akamai en haut à droite de la Weather-map se tourne les pouces vers Paris, j'ai un gros doute sur la cause du coup.
Le PNI Akamai est très compliqué a comprendre.
https://as24904.kwaoo.net/as-stats/history.php?as=34164&peerusage=0&v=4 la justification cadeaux.
https://pix.milkywan.fr/c4Lk6Z6a.png
Je dis rarement de la merde sur le forum :)

vivien

  • Administrateur
  • *
  • Messages: 47 216
    • Twitter LaFibre.info
Soucis peering Google ?
« Réponse #6 le: 28 août 2020 à 09:19:54 »
Je confirme Akamai peut provenir de n'importe quel lien avec même des caches qui sont sur des IP d'autres opérateurs.

En fonction du prix payé chez Akamai, le trafic sera au plus proche de l'opérateur (via un peering direct) ou éloigné avec passage par les transitaires (ce que le FAI n’apprécie pas)

Bouygues Telecom a du de-peerer Akamai sur les différents IXP afin de ne laisser Akamai que sur celui souhaité, sinon, ils sont capable de saturer un soir l'IXP1, le soir suivant l'IXP2 et le dernier l'IXP3.

Bref Akamai, c'est vraiment complexe à maitriser.

Ralph

  • Abonné RED by SFR fibre FttH
  • *
  • Messages: 700
  • M.E.L. (59) / 1Gbps ↓ + ↑
Soucis peering Google ?
« Réponse #7 le: 28 août 2020 à 09:39:23 »
Le PNI Akamai est très compliqué a comprendre.
https://as24904.kwaoo.net/as-stats/history.php?as=34164&peerusage=0&v=4 la justification cadeaux.
https://pix.milkywan.fr/c4Lk6Z6a.png
Je dis rarement de la merde sur le forum :)

Certes, un peu plus de trafic hier mais bon, à ce rythme, on aura plus de débits avec tous les jeux AAA à mettre a jour.

Je confirme Akamai peut provenir de n'importe quel lien avec même des caches qui sont sur des IP d'autres opérateurs.

En fonction du prix payé chez Akamai, le trafic sera au plus proche de l'opérateur (via un peering direct) ou éloigné avec passage par les transitaires (ce que le FAI n’apprécie pas)

Bouygues Telecom a du de-peerer Akamai sur les différents IXP afin de ne laisser Akamai que sur celui souhaité, sinon, ils sont capable de saturer un soir l'IXP1, le soir suivant l'IXP2 et le dernier l'IXP3.

Bref Akamai, c'est vraiment complexe à maitriser.

Donc la WM K-Net pour Akamaï il vaut mieux se baser sur https://as24904.kwaoo.net/as-stats/top.php.

Reste que ça n'explique pas pour le moment les "soucis" Google / Netflix. En espérant que la "localisation" de mon IP actuelle vue à 95% du temps dans le Jura alors que je suis vers Lille ne pose pas de soucis.

Fyr

  • Abonné Free fibre
  • *
  • Messages: 862
  • Talissieu 01
Soucis peering Google ?
« Réponse #8 le: 28 août 2020 à 13:46:02 »
Et du coup en dehors de ping c'est quoi l'expérience utilisateur altérée ?

Ralph

  • Abonné RED by SFR fibre FttH
  • *
  • Messages: 700
  • M.E.L. (59) / 1Gbps ↓ + ↑
Soucis peering Google ?
« Réponse #9 le: 29 août 2020 à 09:50:31 »
Et du coup en dehors de ping c'est quoi l'expérience utilisateur altérée ?

Il y a aussi une baisse significative des débits pour Netflix

Free_me

  • Abonné Free fibre
  • *
  • Messages: 3 117
  • Marseille
Soucis peering Google / Netflix ?
« Réponse #10 le: 29 août 2020 à 10:04:06 »
au point de gener l'utilisation de netflix ?

thedark

  • Abonné RED by SFR fibre FttH
  • *
  • Messages: 5 665
  • Réseau Covage
Soucis peering Google / Netflix ?
« Réponse #11 le: 29 août 2020 à 10:51:31 »
Ou peut être la collecte Covage qui sature sur leur backbone nationale ?