Auteur Sujet: Equinix Paris : incidents en série (pertes de paquets importantes)  (Lu 7385 fois)

0 Membres et 1 Invité sur ce sujet

Nico

  • Modérateur
  • *
  • Messages: 44 475
  • FTTH 1000/500 sur Paris 15ème (75)
    • @_GaLaK_
Equinix Paris : incidents en série (pertes de paquets importantes)
« Réponse #12 le: 25 juin 2013 à 07:31:38 »
En regardant les smokeping on dirait que ça s'est résorbé assez rapidement, je me trompe ?

vivien

  • Administrateur
  • *
  • Messages: 47 187
    • Twitter LaFibre.info
Peering : incidents en série ce soir
« Réponse #13 le: 25 juin 2013 à 07:37:38 »
Non 43% de perte de paquet et un traceroute qui passe par LyonIX => Equinix => France-IX avec le réseau Axione au milieu.

Nico

  • Modérateur
  • *
  • Messages: 44 475
  • FTTH 1000/500 sur Paris 15ème (75)
    • @_GaLaK_
Peering : incidents en série ce soir
« Réponse #14 le: 25 juin 2013 à 07:41:18 »
Bon, qui se dévoue pour aller déplugger les jarretières sur place ?

vivien

  • Administrateur
  • *
  • Messages: 47 187
    • Twitter LaFibre.info
Peering : incidents en série ce soir
« Réponse #15 le: 25 juin 2013 à 09:06:05 »
A 9h00 le souci est toujours présent  :'(

Un traceroute de folie...
$ mtr -rwc100 testdebit.info
HOST: lafibre.info                               Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- portevlan.adeli.biz                         0.0%   100    0.3   3.3   0.2 155.4  21.1
  2.|-- rr-l2-vlan500.ix.lyonix.net                 2.0%   100    1.2   1.2   1.1   1.8   0.1
  3.|-- equinix-paris.flowline-ict.fr              37.0%   100   66.3  65.9  64.8  82.1   2.1
  4.|-- 172.16.0.30                                28.0%   100   65.6  69.1  65.0 296.3  27.2
  5.|-- 85.14.190.73                               40.0%   100   71.5  71.2  66.3  88.6   4.4
  6.|-- lag1-v200-mpe-th275-01.bcb.axione.fr       51.0%   100   69.6  67.9  65.5 119.1   7.6
  7.|-- ae1-v200-rou-th275-01.bcb.axione.fr        34.0%   100   65.2  66.0  64.8  80.7   2.0
  8.|-- bouygues-telecom1.franceix.net             45.0%   100   66.6  67.1  65.6  75.8   1.8
  9.|-- ae28.tcore02-t2.net.bbox.fr                38.0%   100  146.9  78.3  64.8 152.4  24.0
 10.|-- po114.core03-t2.net.bbox.fr                45.0%   100   66.8  74.2  64.8 212.5  28.4
 11.|-- v113.tengec5-10g.c6k01-t2.club-internet.fr 37.0%   100   65.9  65.9  64.9  66.7   0.4
 12.|-- 89.84.127.55                               45.0%   100   66.1  66.0  64.7  74.3   1.2

BadMax

  • Client Free adsl
  • Expert
  • *
  • Messages: 3 481
  • Malissard (26)
Peering : incidents en série ce soir
« Réponse #16 le: 25 juin 2013 à 11:30:36 »
J'ai aussi mesuré ces phénomènes :
 - 18h30 : premier avertissement sur 2 sites web (Europe1 et Lepoint) sur Equinix puis retour à la normale
 - 22h30 : début de la dégradation jusqu'à 23h30 : différents sites web sur Equinix en échec (Boursier.com, Gandi, Europe1, Figaro, Lepoint, LesEchos, Novso, sdv.fr, sports.fr) et ça se répercute sur quelques sites via transitaire Cogent (Loreal,LVMH) et FranceIX (Intercloud)
 - 23h30 à 0h30 : retour à la normale progressif
 - 7h55 à 9h00 : à nouveau des dégradations sur des sites via Equinix (Gandi, Lepoint, Lesechos, Nouvelobs) et quelques effets de bord sur les transitaires et FranceIX

Depuis 9h00, RAS.

Rappel de la méthode de mesure : 107 sites web en majorité français testés toutes les 5 minutes via requète wget plus ou moins sophistiquée selon le site.


vivien

  • Administrateur
  • *
  • Messages: 47 187
    • Twitter LaFibre.info
Peering : incidents en série ce soir
« Réponse #17 le: 25 juin 2013 à 14:30:46 »
Voici le graphe SmokePing LaFibre.info / Adeli => Bouygues Telecom



Zoom sur les incidents de ce matin :

ldrevon

  • AS43142 Officiel Adeli
  • Expert
  • *
  • Messages: 642
Equinix Paris : incidents en série (pertes de paquets importantes)
« Réponse #18 le: 29 juin 2013 à 17:37:47 »
CIDR netmask notation: Change from /24 to /23 prévu le 24, je pense que des problèmes de routages ont été le fruit de cette modification.
Cdt.

vivien

  • Administrateur
  • *
  • Messages: 47 187
    • Twitter LaFibre.info
Equinix Paris : incidents en série (pertes de paquets importantes)
« Réponse #19 le: 29 juin 2013 à 17:59:48 »
A priori ce serait un client qui aurait activé un proxy-arp dans le VLAN public, alors que c'est strictement interdit.

Maintenant cela ne me semble une heure étrange pour faire ce type de modifications...
C'est le même client qui ferait ses modifs à 22h30, le désactive à minuit 30 et le réactive à 7h du matin ?
Bref je ne suis pas convaincu par l’explication.

Je trouve également étonnant que l'Equinix Internet Exchange ne puisse pas rapidement identifier le port qui est à l'origine des problèmes pour le couper.

Au pire, il y a la technique qui consiste à isoler des switch le un a la suite des autres pour voir si le pb viens d'un client du switcvh ou non.
Cela devrait permettre de trouver rapidement le switch en cause et au moins de l'isoler.

SFR a eu la bonne réaction en coupant les ports pendant l'incident.

BadMax

  • Client Free adsl
  • Expert
  • *
  • Messages: 3 481
  • Malissard (26)
Equinix Paris : incidents en série (pertes de paquets importantes)
« Réponse #20 le: 29 juin 2013 à 20:11:17 »
SFR a eu la bonne réaction en coupant les ports pendant l'incident.

OK ça explique pourquoi je n'ai mesuré aucune erreur avec eux (je les joins normalement via Equinix). C'est rapide comme ré-activité !


Synack

  • AS16080 Rentabiliweb Telecom
  • Expert
  • *
  • Messages: 689
Equinix Paris : incidents en série (pertes de paquets importantes)
« Réponse #21 le: 30 juin 2013 à 00:28:37 »
Le niveau 2 c'est chiant quand ça part en vrille et à debugger ceci dit.

Après je trouve dommage que certains IX ne mettent pas en place des protections un peu plus fermes pour éviter les problèmes. L'AMS-IX est par exemple un modèle dans sa gestion des clients avec leurs protections importantes et la validation de la MAC address auprès du NOC avant mise en prod.

Je suis un peu curieux aussi d'avoir le détail du problème, ça parait un peu léger pour expliquer tout :/

Nico

  • Modérateur
  • *
  • Messages: 44 475
  • FTTH 1000/500 sur Paris 15ème (75)
    • @_GaLaK_
Equinix Paris : incidents en série (pertes de paquets importantes)
« Réponse #22 le: 30 juin 2013 à 09:15:57 »
OK ça explique pourquoi je n'ai mesuré aucune erreur avec eux (je les joins normalement via Equinix). C'est rapide comme ré-activité !
Ports coupés au bout d'environ une heure, avant la notification d'incident de la part d'Equinix pour info.