La Fibre

Télécom => Peering Transit (appairage) => IXP => Discussion démarrée par: vivien le 24 juin 2013 à 23:15:09

Titre: Equinix Paris : incidents en série (pertes de paquets importantes)
Posté par: vivien le 24 juin 2013 à 23:15:09

De gros problèmes ce soir.
Le problème c'est que j'ai du mal a trouver le point commun a tous ces ralentissements.

Traceroute Bouygues Telecom => K-Net :
$ mtr -rwc100 k-net.fr
HOST: testdebit.info                                   Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- 89.84.127.61                                      0.0%   100    0.4   0.5   0.3  16.2   1.6
  2.|-- v113.tengec5-10g.core04-t2.club-internet.fr      27.0%   100    0.3  15.0   0.3 216.3  42.5
  3.|-- ae5.tcore01-m.net.bbox.fr                         0.0%   100    0.8  12.2   0.6  76.8  21.5
  4.|-- be35.cbr01-ntr.net.bbox.fr                        0.0%   100    5.2   5.1   1.3   9.0   2.3
  5.|-- lag13.rpt02-ix2.net.bbox.fr                      76.0%   100    2.2   2.2   1.8   6.1   0.9
  6.|-- 83.167.32.213.static.not.updated.neotelecoms.com  0.0%   100    1.8   2.1   1.7  32.7   3.1
  7.|-- 83.167.55.46                                      0.0%   100    1.8   1.8   1.8   2.6   0.1
  8.|-- xe2-1-0.ter1.eqx2.par.as8218.eu                   0.0%   100    2.2   3.2   2.1  63.0   6.5
  9.|-- ge1-5.br1.rdb.par.ielo.net                       68.0%   100  307.2 312.0 302.8 319.3   4.5
 10.|-- 10ge-5-2-cr2.th2.fr.rt.ielo.net                   0.0%   100    1.5   4.1   1.4  12.0   3.5
 11.|-- 2ge-e1-17-e1-18-cr5.le9-lyon.fr.rt.ielo.net       0.0%   100    8.6  10.5   8.4  19.0   2.9
 12.|-- kwaoo.ix-customers-le9lyon.ielo.net              75.0%   100  314.6 316.0 307.2 331.1   4.3
 13.|-- border1-sgp.kwaoo.net                            68.0%   100  321.1 319.6 312.4 328.6   2.8
 14.|-- smtp.kwaoo.net                                   69.0%   100  322.0 322.0 314.2 336.1   4.8

Pourquoi K-Net ne passe pas par les route serveur de Lyon-IX pour joindre Bouygues Telecom ?


Traceroute Bouygues Telecom => Adeli / Maxnod :
$ mtr -rwc100 lafibre.info
HOST: testdebit.info                              Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- 89.84.127.61                                 0.0%   100    0.5   0.6   0.3  15.9   1.6
  2.|-- v113.tengec5-10g.core04-t2.club-internet.fr 14.0%   100  148.7   5.2   0.3 148.7  21.4
  3.|-- v210.tengec1-20g.core03-t2.club-internet.fr  0.0%   100    0.8  10.2   0.3 217.2  35.5
  4.|-- ae8.tcore02-t2.net.bbox.fr                   8.0%   100   48.5  14.8   0.2  76.3  23.0
  5.|-- la1.rpt02-th2.net.bbox.fr                   96.0%   100    0.9   2.0   0.8   4.5   1.7
  6.|-- equinix-paris.rezopole.net                  65.0%   100  312.4 310.8 305.4 333.4   5.5
  7.|-- adeli-l2.peers.lyonix.net                   67.0%   100  314.7 327.9 304.8 544.8  56.3
  8.|-- lafibre.info                                68.0%   100  314.4 310.4 306.8 317.7   2.9

Via les route serveur de LyonIX c'est pas mieux...

Traceroute inverse Adeli / Maxnod => Bouygues Telecom :
$ mtr -rwc100 testdebit.info
HOST: lafibre.info                               Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- portevlan.adeli.biz                         0.0%   100    0.3   4.7   0.2 270.4  30.2
  2.|-- rr-l2-vlan500.ix.lyonix.net                 0.0%   100    1.3   1.2   1.1   1.7   0.1
  3.|-- equinix.cdg1.isc.org                       58.0%   100  304.9 307.2 303.7 310.5   1.7
  4.|-- bouygues-telecom.sfinx.tm.fr               57.0%   100  310.2 308.8 304.6 314.3   1.9
  5.|-- be12.cbr01-cro.net.bbox.fr                 47.0%   100  311.1 312.4 306.7 317.7   2.7
  6.|-- ae35.tcore02-t2.net.bbox.fr                53.0%   100  376.5 328.8 304.9 420.8  29.2
  7.|-- po114.core03-t2.net.bbox.fr                62.0%   100  309.9 317.9 305.7 416.0  25.1
  8.|-- v113.tengec5-10g.c6k01-t2.club-internet.fr 57.0%   100  306.9 309.7 304.8 338.3   4.9
  9.|-- 89.84.127.55                               66.0%   100  307.9 308.6 304.0 312.0   2.0

Traceroute Bouygues Telecom => LyonIX :
$ mtr -rwc100 lyonix.net
HOST: testdebit.info                                   Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- 89.84.127.61                                      0.0%   100    0.4   0.4   0.2   1.9   0.2
  2.|-- v113.tengec5-10g.core04-t2.club-internet.fr      13.0%   100    0.3   7.9   0.2 193.5  28.5
  3.|-- ae5.tcore01-m.net.bbox.fr                         0.0%   100    3.6  47.0   0.8 133.9  37.3
  4.|-- be35.cbr01-ntr.net.bbox.fr                        0.0%   100    3.3   5.4   1.2   9.3   2.4
  5.|-- lag13.rpt02-ix2.net.bbox.fr                      77.0%   100    2.0   2.5   2.0   7.1   1.2
  6.|-- 83.167.32.213.static.not.updated.neotelecoms.com  0.0%   100    1.9   2.0   1.8  13.0   1.1
  7.|-- 83.167.55.46                                      0.0%   100    2.0   2.2   1.9  18.2   1.8
  8.|-- xe2-2-0.tcr1.th2.par.as8218.eu                    0.0%   100    2.0   3.9   1.9  34.5   6.4
  9.|-- 83.167.40.154.static.not.updated.neotelecoms.com  0.0%   100    1.4   1.8   1.3  11.2   1.4
 10.|-- 122-41-93-188.rdns.netdsl.fr                      0.0%   100    7.8   7.8   7.4  12.6   0.8
 11.|-- lyonix.vnx.lasotel.fr                            75.0%   100  620.4 337.1 310.0 620.4  69.4
 12.|-- lb.rezopole.net                                  64.0%   100  309.9 314.9 309.9 318.5   2.1

Traceroute Bouygues Telecom => Octopuce :
$ mtr -rwc100 octopuce.fr
HOST: testdebit.info                                   Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- 89.84.127.61                                      0.0%   100    0.4   0.4   0.3   1.1   0.1
  2.|-- v113.tengec5-10g.core04-t2.club-internet.fr      29.0%   100    0.4   8.1   0.2 208.1  33.6
  3.|-- ae5.tcore01-m.net.bbox.fr                         0.0%   100   76.9  11.8   0.6 133.5  23.1
  4.|-- be35.cbr01-ntr.net.bbox.fr                        0.0%   100    3.1   5.1   1.2   9.0   2.3
  5.|-- lag13.rpt02-ix2.net.bbox.fr                      81.0%   100    1.8   2.0   1.8   2.4   0.2
  6.|-- 83.167.32.213.static.not.updated.neotelecoms.com  0.0%   100    1.7   2.0   1.7  12.2   1.4
  7.|-- 83.167.55.46                                      0.0%   100    1.8   2.0   1.7  12.3   1.1
  8.|-- 83.167.56.185                                     0.0%   100    2.3   4.2   1.9  58.3   8.8
  9.|-- 46.255.177.106                                   64.0%   100  308.0 312.6 308.0 320.1   3.7
 10.|-- octopuce.ix-customers-iliad.ielo.net             69.0%   100  311.2 310.5 308.9 312.7   1.0
 11.|-- alice.octopuce.fr                                65.0%   100  311.0 311.5 309.0 313.7   1.1

On passe par Ielo via un GIX parisien c'est pas beau non plus.

Traceroute Adeli / Maxnod => Octopuce : (aucun souci alors que c'est sur Paris)
$ mtr -4rwc100 octopuce.fr
HOST: lafibre.info                       Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- portevlan.adeli.biz                 0.0%   100    0.3   0.9   0.2  52.9   5.4
  2.|-- liazo.peers.rezopole.net            0.0%   100    7.7  11.1   7.5 104.4  16.0
  3.|-- 6k-1-v293-th2-paris.infr.liazo.net  0.0%   100    7.7  10.1   7.4 166.0  16.3
  4.|-- castor.serverside.fr                0.0%   100    8.8   9.1   8.5  22.2   1.3
  5.|-- alice.octopuce.fr                   0.0%   100    9.4   9.0   8.4  10.0   0.3

Traceroute Bouygues Telecom => Mediactive : (le dernier saut ne répond pas normal mais c'est anormal ce qu'il se passe sur l'avant dernier)
$ mtr -rwc100 speedtest.mediactive.fr
HOST: testdebit.info                                   Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- 89.84.127.61                                      0.0%   100    0.5   0.4   0.3   0.9   0.1
  2.|-- v113.tengec5-10g.core04-t2.club-internet.fr      11.0%   100    0.4   9.5   0.3 202.1  34.2
  3.|-- ae5.tcore01-m.net.bbox.fr                         0.0%   100   62.2  10.9   0.8  86.8  21.0
  4.|-- be35.cbr01-ntr.net.bbox.fr                        0.0%   100    4.5   5.4   1.3   9.2   2.4
  5.|-- lag13.rpt02-ix2.net.bbox.fr                      82.0%   100    2.1   2.3   2.0   3.4   0.3
  6.|-- 83.167.32.213.static.not.updated.neotelecoms.com  0.0%   100    2.0   2.8   1.9  26.7   4.3
  7.|-- 83.167.55.46                                      0.0%   100    2.0   2.1   1.9  13.0   1.2
  8.|-- xe2-1-0.ter1.eqx2.par.as8218.eu                   0.0%   100    2.5   3.4   2.3  59.3   6.1
  9.|-- mediactive.gw.ter1.eqx2.par.neotelecoms.com      73.0%   100  311.5 309.6 306.4 311.5   1.2
 10.|-- ? ?                                              100.0   100

Là aussi, je suis étonné de passer par NeoTelecoms alors que Mediactive peer sur FRance-IX et Equinix avec Bouygues Telecom.

Titre: Peering : incidents en série ce soir
Posté par: Nico le 24 juin 2013 à 23:26:34

Un traceroute dans l'autre sens si jamais, mais rien d'intéressant si ce n'est tenge1-3.core02-c qui n'a pas envie de répondre au ping :

SFR>ByTel :
pi@raspberrypi ~ $ mtr -rwc100 testdebit.info
HOST: raspberrypi                                Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- neufbox                                     0.0%   100    1.0   0.9   0.8   2.4   0.2
  2.|-- 1.136.17.93.rev.sfr.net                     0.0%   100    1.5   1.5   0.9   3.2   0.4
  3.|-- 21.48.20.93.rev.sfr.net                     0.0%   100    2.4   7.0   1.3  64.3  11.9
  4.|-- 114.12.6.109.rev.sfr.net                    0.0%   100    5.1   7.8   1.8  14.3   3.4
  5.|-- tenge1-3.core02-c.club-internet.fr         53.0%   100  140.1  25.4   1.4 189.3  53.1
  6.|-- ae10.tcore02-t2.net.bbox.fr                 0.0%   100    2.6   8.9   1.7  46.0  12.0
  7.|-- po114.core03-t2.net.bbox.fr                 0.0%   100    1.8  10.8   1.7 203.0  32.1
  8.|-- v113.tengec5-10g.c6k01-t2.club-internet.fr  0.0%   100    2.2   2.4   1.8   4.4   0.4
  9.|-- 89.84.127.55                                0.0%   100    2.8   2.5   1.8   3.6   0.4

Titre: Peering : incidents en série ce soir
Posté par: vivien le 24 juin 2013 à 23:30:13

Les routeurs core de Club-Internet ne répondent pas au ping, cela date de 10ans ce drop de l'ICMP.

J'ai fait de nombreux autres tests avec d'autres FAI et généralement tout est bon.

Le pire c'est que certains SmokePing entre LaFibre.info et Bougygues Telecom se sont pas impactés : https://lafibre.info/dns/smokeping.cgi?target=BouyguesTelecom.FibreHFC
Là aussi je ne trouve pas de point commun.

A ne rien y comprendre.

Titre: Peering : incidents en série ce soir
Posté par: Nico le 24 juin 2013 à 23:35:21

Je n'en vois qu'un qui n'est pas impacté : Wazz

D'autres semblent mais en fait c'est parce que l'échelle est en secondes du coup 20ms->400ms ça se voit pas :)

Titre: Peering : incidents en série ce soir
Posté par: butler_fr le 24 juin 2013 à 23:35:53

grillé par nico^^

coté orange pas de problèmes

peut être que ça à quelque chose à voir avec les soucis de capacité du bouygues sur franceIX et la désactivation des routes server (boris nous en avait parlé)

Titre: Peering : incidents en série ce soir
Posté par: vivien le 24 juin 2013 à 23:39:48

Celui qui n'est pas impacté (pseudo Wazz (https://lafibre.info/profile/wazz/)) a probablement résilié pour passer chez Orange, c'est un DynDNS d'onc l'IP du graphe a suivit...

Je le met dans la section Orange.

Titre: Peering : incidents en série ce soir
Posté par: guizmos123 le 24 juin 2013 à 23:40:37

Voilà chez K-Net :

mtr -rwc10  testdebit.info
HOST: Nux                                           Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- temp.local                                  0.0%    10    0.1   0.2   0.1   0.2   0.0
  2.|-- 254-200-28-81.ftth.cust.kwaoo.net           0.0%    10    2.4   2.4   2.3   2.5   0.1
  3.|-- border1-lyonix.kwaoo.net                    0.0%    10    5.4   5.5   5.2   5.8   0.2
  4.|-- rr-l2-vlan500.ix.lyonix.net                 0.0%    10    5.6   6.0   5.4   7.3   0.7
  5.|-- equinix.cdg1.isc.org                       80.0%    10  319.3 319.2 319.2 319.3   0.1
  6.|-- bouygues-telecom.sfinx.tm.fr               60.0%    10  317.1 319.2 317.1 320.8   1.8
  7.|-- be12.cbr01-cro.net.bbox.fr                 60.0%    10  319.8 324.5 319.8 328.6   4.4
  8.|-- ae35.tcore02-t2.net.bbox.fr                80.0%    10  343.8 331.5 319.1 343.8  17.4
  9.|-- po114.core03-t2.net.bbox.fr                80.0%    10  317.4 319.5 317.4 321.6   3.0
 10.|-- v113.tengec5-10g.c6k01-t2.club-internet.fr 70.0%    10  321.4 323.3 321.4 327.0   3.1
 11.|-- 89.84.127.55                               50.0%    10  320.4 321.4 319.5 322.9   1.4

Problème sur Lyonix, France-IX, Equinix ?

Titre: Peering : incidents en série ce soir
Posté par: butler_fr le 24 juin 2013 à 23:43:20

sur tous les traceroute montrant un  saut avec equinix dans le dns le problème se situe à cet endroit (donc le saut juste avant)

equinix.cdg1.isc.org
equinix-paris.rezopole.net

Titre: Peering : incidents en série ce soir
Posté par: vivien le 24 juin 2013 à 23:47:15

Le traceroute inverse passe par un autre chemin... Merci guizmos123.

Bon, tous les traceroute en question semblent avoir le point commun de passer par Equinix Paris.

Titre: Peering : incidents en série ce soir
Posté par: Adrieth le 25 juin 2013 à 00:36:16

Bonsoir,

Pour info :

Traceroute Free => testdebit.info :
$ mtr -rwc100 testdebit.info
HOST: nyris.fairsys.lan                          Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- freebox.fairsys.lan                         0.0%   100    0.4   0.7   0.3  14.6   1.8
  2.|-- 82.235.162.254                              0.0%   100    6.0   7.2   5.9  23.8   2.5
  3.|-- 78.254.21.30                                0.0%   100    6.3   8.3   5.8  28.3   4.2
  4.|-- p16-6k-1.intf.nra.proxad.net                0.0%   100    8.4   7.7   6.1  21.3   2.3
  5.|-- th2-9k-1.intf.routers.proxad.net            0.0%   100    7.3   7.9   6.5  18.1   1.8
  6.|-- tenge3-3.core02-t2.club-internet.fr         0.0%   100    7.6   8.7   6.7  36.2   4.6
  7.|-- ae27.tcore02-t2.net.bbox.fr                 0.0%   100   85.7  24.8   6.0 137.2  30.0
  8.|-- po114.core03-t2.net.bbox.fr                 0.0%   100    6.8  10.0   6.1  73.3   9.4
  9.|-- v113.tengec5-10g.c6k01-t2.club-internet.fr  0.0%   100    7.2   7.7   6.1  28.6   2.8
 10.|-- 89.84.127.55                                0.0%   100    6.5   7.6   6.3  17.6   1.9

Traceroute Free => K-NET :
$ mtr -rwc100 k-net.fr
HOST: nyris.fairsys.lan                          Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- 2a01:e35:2eba:29e0::                        0.0%   100    0.4   0.6   0.2   6.7   1.0
  2.|-- 2a01:e00:1:17::9                           15.0%   100    9.2  10.9   7.6  32.7   4.8
  3.|-- 2a01:e00:1:13::1                           13.0%   100    8.2   8.8   7.0  44.8   4.8
  4.|-- th2-crs16-1-be2000.intf.routers.proxad.net  6.0%   100    8.8   9.7   7.7  31.1   4.2
  5.|-- th2-6k-3-po21.intf.routers.proxad.net       1.0%   100   12.4  10.1   7.5  54.1   6.9
  6.|-- cr2.rt.ielo.net                             0.0%   100   12.7  11.1   7.1  33.0   4.7
  7.|-- cr5.rt.ielo.net                             0.0%   100   22.0  19.2  14.0 101.5   9.4
  8.|-- kwaoo.ebgp.ielo.net                         0.0%   100   19.8  16.2  14.3  33.2   3.0
  9.|-- 2a03:4980::1:0:2                            0.0%   100   18.5  18.8  17.1  37.8   2.6
 10.|-- 2a03:4980::10:0:3                           0.0%   100   18.7  19.2  18.1  30.5   1.9

$ mtr -4rwc100 k-net.fr
HOST: nyris.fairsys.lan                           Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- freebox.fairsys.lan                          0.0%   100    0.3   0.8   0.3  21.0   2.3
  2.|-- 82.235.162.254                               0.0%   100    6.2   7.4   5.8  25.0   3.1
  3.|-- 78.254.21.30                                 0.0%   100    6.4   7.2   6.0  18.7   2.2
  4.|-- p16-6k-1.intf.nra.proxad.net                 0.0%   100    6.3   8.1   6.3  25.4   3.3
  5.|-- bzn-crs16-1-be1024.intf.routers.proxad.net   0.0%   100    7.3   9.9   6.6  75.7   8.8
  6.|-- bzn-crs16-2-be1002.intf.routers.proxad.net   0.0%   100   19.6  11.1   6.7  52.4   6.9
  7.|-- th2-6k-3-po21.intf.routers.proxad.net        5.0%   100    7.7  11.5   6.2  85.3  12.2
  8.|-- ge1-17-cr2.th2-prs.fr.rt.ielo.net            0.0%   100    6.8  10.7   6.4  52.9   6.2
  9.|-- 2ge-e1-17-e1-18-cr5.le9-lyon.fr.rt.ielo.net  0.0%   100   14.0  18.6  13.4  50.9   6.6
 10.|-- kwaoo.ix-customers-le9lyon.ielo.net          0.0%   100   14.1  16.2  13.3 131.1  11.9
 11.|-- border1-sgp.kwaoo.net                        0.0%   100   17.0  18.8  16.4  58.7   5.5
 12.|-- pil.kwaoo.net                                0.0%   100   17.9  19.4  17.3  51.1   4.2


Traceroute Free => LyonIX :
mtr -rwc100 lyonix.net
HOST: nyris.fairsys.lan                          Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- 2a01:e35:2eba:29e0::                        0.0%   100    0.3   0.9   0.3  22.5   2.7
  2.|-- 2a01:e00:1:17::9                            7.0%   100   10.9  10.7   7.0  24.1   3.6
  3.|-- 2a01:e00:1:13::1                            4.0%   100    7.7   8.4   7.0  22.3   2.5
  4.|-- londres-6k-1-po101.intf.routers.proxad.net 17.0%   100   14.2  16.6  13.8  45.1   5.0
  5.|-- 2a01:5d8:e000::401:402:0:2                 11.0%   100   26.9  25.4  22.4 170.5  15.8
  6.|-- r1ams1.core.init7.net                       0.0%   100   31.2  25.0  22.7  48.9   3.9
  7.|-- r1ams2.core.init7.net                       0.0%   100   29.5  28.9  23.0  85.4   8.9
  8.|-- r1par1.core.init7.net                       0.0%   100   32.9  34.9  29.4 118.5  10.5
  9.|-- r1gva1.core.init7.net                       0.0%   100   40.0  41.7  39.7  74.0   4.3
 10.|-- gw-ip-max.init7.net                         0.0%   100   34.7  36.3  30.5 172.2  19.3
 11.|-- ae0.cr01.gva252.ip-max.net                  0.0%   100   40.8  32.8  30.3  65.5   5.7
 12.|-- xe0-0-1.cr01.gva253.ip-max.net              0.0%   100   30.7  32.3  30.4  52.1   3.6
 13.|-- 2a02:2528:2:c::2                            0.0%   100   34.6  37.1  33.0 196.1  17.8
 14.|-- 2a02:2528:403:2::44                         0.0%   100   36.3  56.9  33.5 473.8  71.1
 15.|-- 2001:7f8:47::98                             0.0%   100   31.6  32.1  30.8  46.4   1.9
 16.|-- ???                                        100.0   100    0.0   0.0   0.0   0.0   0.0

Sympa le passage par London puis Amsterdam pour aller à Lyon..... En v4 c'est un peu mieux :

$ mtr -4rwc100 lyonix.net
HOST: nyris.fairsys.lan                                Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- freebox.fairsys.lan                               0.0%   100    0.4   1.4   0.2  67.3   7.0
  2.|-- 82.235.162.254                                    0.0%   100    6.8   7.2   5.7  29.6   3.3
  3.|-- 78.254.21.30                                      0.0%   100   13.5   8.3   5.7  33.6   4.5
  4.|-- p16-6k-1.intf.nra.proxad.net                      0.0%   100    6.8   8.1   6.3  28.8   3.7
  5.|-- th2-9k-1.intf.routers.proxad.net                  0.0%   100    7.4   8.1   6.6  28.3   3.5
  6.|-- th2-crs16-1-be1006.intf.routers.proxad.net        0.0%   100    7.5   8.9   6.2  58.1   6.8
  7.|-- free-pni2.xe3-0-0.th2.par.as8218.eu               0.0%   100    6.2   8.0   6.2  39.6   4.9
  8.|-- xe2-2-0.tcr1.th2.par.as8218.eu                    0.0%   100    6.3   8.3   6.0  48.5   5.4
  9.|-- 83.167.40.154.static.not.updated.neotelecoms.com  0.0%   100    6.7   8.6   6.2  61.3   5.8
 10.|-- 122-41-93-188.rdns.netdsl.fr                      0.0%   100   13.3  14.0  12.7  25.8   2.5
 11.|-- lyonix.vnx.lasotel.fr                             0.0%   100   13.0  40.0  12.9 708.5  91.0
 12.|-- lb.rezopole.net                                   0.0%   100   13.2  14.8  12.8  39.9   4.4

Titre: Peering : incidents en série ce soir
Posté par: Nico le 25 juin 2013 à 07:16:52

Citation de: vivien le 24 juin 2013 à 23:47:15

Bon, tous les traceroute en question semblent avoir le point commun de passer par le port Equinix de Bouygues Telecom.

Bah cherche pas plus loin, j'ai reçu un mail d'alerte d'Equinix hier soir indiquant qu'ils avaient des packetloss sur l'IXP.

Citer

Cher Equinix Client,

RÉSUMÉ D'INCIDENT: Perte de paquets sur le réseau Exchange Equinix.

DESCRIPTION DE L'INCIDENT:
 Equinix NSE investigue actuellement un problème de perte de paquets sur le réseau Exchange. Cet incident est traité avec la plus haute priorité, nous reviendrons vers vous dès que nous obtiendrons de nouvelles mise à jour.

Bon par contre heure de l'impact 00:38 ce matin, résolution à 01:24 ils ont un peu abusé :)

Titre: Peering : incidents en série ce soir
Posté par: vivien le 25 juin 2013 à 07:25:04

Et c'est reparti depuis ce matin 7h05 :

Adeli => Bytel qui passe par... Equinix puis Axione pour finir sur France-IX, vraiment n'importe quoi !
$ mtr -rwc100 testdebit.info
HOST: lafibre.info                               Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- portevlan.adeli.biz                         0.0%   100    0.2   2.1   0.2 170.6  17.1
  2.|-- rr-l2-vlan500.ix.lyonix.net                 0.0%   100    1.2   1.1   1.1   1.3   0.0
  3.|-- equinix-paris.flowline-ict.fr              30.0%   100   66.2  69.4  65.8 203.7  16.3
  4.|-- 172.16.0.30                                23.0%   100   66.5  68.7  65.0 123.6   7.5
  5.|-- 85.14.190.73                               26.0%   100   67.4  72.0  67.4  81.8   3.6
  6.|-- lag1-v200-mpe-th275-01.bcb.axione.fr       29.0%   100   67.2  71.5  65.6 101.9   7.0
  7.|-- ae1-v200-rou-th275-01.bcb.axione.fr        39.0%   100   65.8  68.0  65.4  93.9   4.6
  8.|-- bouygues-telecom1.franceix.net             22.0%   100   66.4  68.8  64.9  76.3   2.2
  9.|-- ae28.tcore02-t2.net.bbox.fr                32.0%   100  135.1  81.7  65.7 168.0  27.1
 10.|-- po114.core03-t2.net.bbox.fr                26.0%   100   74.4  79.9  65.2 357.5  47.7
 11.|-- v113.tengec5-10g.c6k01-t2.club-internet.fr 34.0%   100   66.1  67.8  65.4  69.7   1.1
 12.|-- 89.84.127.55                               28.0%   100   65.5  67.8  63.5  70.1   1.2

Le traceroute inverse est moins marrant :
$ mtr -rwc100 lafibre.info
HOST: testdebit.info                              Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- 89.84.127.61                                 0.0%   100    0.4   0.8   0.3  31.7   3.1
  2.|-- v113.tengec5-10g.core04-t2.club-internet.fr  9.0%   100    0.4  10.2   0.2 203.7  34.6
  3.|-- v210.tengec1-20g.core03-t2.club-internet.fr  0.0%   100    0.4   9.7   0.3 153.9  28.1
  4.|-- ae8.tcore02-t2.net.bbox.fr                   0.0%   100    0.2  15.8   0.2 144.8  31.4
  5.|-- la1.rpt02-th2.net.bbox.fr                   87.0%   100    3.6   1.4   0.7   3.6   0.9
  6.|-- equinix-paris.rezopole.net                  22.0%   100    7.4  48.5   7.3 106.7  27.6
  7.|-- adeli-l2.peers.lyonix.net                   25.0%   100    8.4  47.6   8.2  72.4  27.8
  8.|-- lafibre.info                                32.0%   100    8.4  45.6   8.2  68.0  28.4

Titre: Equinix Paris : incidents en série (pertes de paquets importantes)
Posté par: Nico le 25 juin 2013 à 07:31:38

En regardant les smokeping on dirait que ça s'est résorbé assez rapidement, je me trompe ?

Titre: Peering : incidents en série ce soir
Posté par: vivien le 25 juin 2013 à 07:37:38

Non 43% de perte de paquet et un traceroute qui passe par LyonIX => Equinix => France-IX avec le réseau Axione au milieu.

Titre: Peering : incidents en série ce soir
Posté par: Nico le 25 juin 2013 à 07:41:18

Bon, qui se dévoue pour aller déplugger les jarretières sur place ?

Titre: Peering : incidents en série ce soir
Posté par: vivien le 25 juin 2013 à 09:06:05

A 9h00 le souci est toujours présent  :'(

Un traceroute de folie...
$ mtr -rwc100 testdebit.info
HOST: lafibre.info                               Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- portevlan.adeli.biz                         0.0%   100    0.3   3.3   0.2 155.4  21.1
  2.|-- rr-l2-vlan500.ix.lyonix.net                 2.0%   100    1.2   1.2   1.1   1.8   0.1
  3.|-- equinix-paris.flowline-ict.fr              37.0%   100   66.3  65.9  64.8  82.1   2.1
  4.|-- 172.16.0.30                                28.0%   100   65.6  69.1  65.0 296.3  27.2
  5.|-- 85.14.190.73                               40.0%   100   71.5  71.2  66.3  88.6   4.4
  6.|-- lag1-v200-mpe-th275-01.bcb.axione.fr       51.0%   100   69.6  67.9  65.5 119.1   7.6
  7.|-- ae1-v200-rou-th275-01.bcb.axione.fr        34.0%   100   65.2  66.0  64.8  80.7   2.0
  8.|-- bouygues-telecom1.franceix.net             45.0%   100   66.6  67.1  65.6  75.8   1.8
  9.|-- ae28.tcore02-t2.net.bbox.fr                38.0%   100  146.9  78.3  64.8 152.4  24.0
 10.|-- po114.core03-t2.net.bbox.fr                45.0%   100   66.8  74.2  64.8 212.5  28.4
 11.|-- v113.tengec5-10g.c6k01-t2.club-internet.fr 37.0%   100   65.9  65.9  64.9  66.7   0.4
 12.|-- 89.84.127.55                               45.0%   100   66.1  66.0  64.7  74.3   1.2

Titre: Peering : incidents en série ce soir
Posté par: BadMax le 25 juin 2013 à 11:30:36

J'ai aussi mesuré ces phénomènes :
 - 18h30 : premier avertissement sur 2 sites web (Europe1 et Lepoint) sur Equinix puis retour à la normale
 - 22h30 : début de la dégradation jusqu'à 23h30 : différents sites web sur Equinix en échec (Boursier.com, Gandi, Europe1, Figaro, Lepoint, LesEchos, Novso, sdv.fr, sports.fr) et ça se répercute sur quelques sites via transitaire Cogent (Loreal,LVMH) et FranceIX (Intercloud)
 - 23h30 à 0h30 : retour à la normale progressif
 - 7h55 à 9h00 : à nouveau des dégradations sur des sites via Equinix (Gandi, Lepoint, Lesechos, Nouvelobs) et quelques effets de bord sur les transitaires et FranceIX

Depuis 9h00, RAS.

Rappel de la méthode de mesure : 107 sites web en majorité français testés toutes les 5 minutes via requète wget plus ou moins sophistiquée selon le site.

(https://lafibre.info/images/datacenter/201306_disponibilite_internet_incident_equinix.png)

Titre: Peering : incidents en série ce soir
Posté par: vivien le 25 juin 2013 à 14:30:46

Voici le graphe SmokePing LaFibre.info / Adeli => Bouygues Telecom

(https://lafibre.info/images/bbox/201306_impact_panne_equinix.png)

Zoom sur les incidents de ce matin :
(https://lafibre.info/images/bbox/201306_impact_panne_equinix_2.png)

Titre: Equinix Paris : incidents en série (pertes de paquets importantes)
Posté par: ldrevon le 29 juin 2013 à 17:37:47

CIDR netmask notation: Change from /24 to /23 prévu le 24, je pense que des problèmes de routages ont été le fruit de cette modification.
Cdt.

Titre: Equinix Paris : incidents en série (pertes de paquets importantes)
Posté par: vivien le 29 juin 2013 à 17:59:48

A priori ce serait un client qui aurait activé un proxy-arp dans le VLAN public, alors que c'est strictement interdit.

Maintenant cela ne me semble une heure étrange pour faire ce type de modifications...
C'est le même client qui ferait ses modifs à 22h30, le désactive à minuit 30 et le réactive à 7h du matin ?
Bref je ne suis pas convaincu par l’explication.

Je trouve également étonnant que l'Equinix Internet Exchange ne puisse pas rapidement identifier le port qui est à l'origine des problèmes pour le couper.

Au pire, il y a la technique qui consiste à isoler des switch le un a la suite des autres pour voir si le pb viens d'un client du switcvh ou non.
Cela devrait permettre de trouver rapidement le switch en cause et au moins de l'isoler.

SFR a eu la bonne réaction en coupant les ports pendant l'incident.

Titre: Equinix Paris : incidents en série (pertes de paquets importantes)
Posté par: BadMax le 29 juin 2013 à 20:11:17

Citation de: vivien le 29 juin 2013 à 17:59:48

SFR a eu la bonne réaction en coupant les ports pendant l'incident.

OK ça explique pourquoi je n'ai mesuré aucune erreur avec eux (je les joins normalement via Equinix). C'est rapide comme ré-activité !

Titre: Equinix Paris : incidents en série (pertes de paquets importantes)
Posté par: Synack le 30 juin 2013 à 00:28:37

Le niveau 2 c'est chiant quand ça part en vrille et à debugger ceci dit.

Après je trouve dommage que certains IX ne mettent pas en place des protections un peu plus fermes pour éviter les problèmes. L'AMS-IX est par exemple un modèle dans sa gestion des clients avec leurs protections importantes et la validation de la MAC address auprès du NOC avant mise en prod.

Je suis un peu curieux aussi d'avoir le détail du problème, ça parait un peu léger pour expliquer tout :/

Titre: Equinix Paris : incidents en série (pertes de paquets importantes)
Posté par: Nico le 30 juin 2013 à 09:15:57

Citation de: BadMax le 29 juin 2013 à 20:11:17

OK ça explique pourquoi je n'ai mesuré aucune erreur avec eux (je les joins normalement via Equinix). C'est rapide comme ré-activité !

Ports coupés au bout d'environ une heure, avant la notification d'incident de la part d'Equinix pour info.