Auteur Sujet: Incident 8 septembre (Lu 12345 fois)

Boris de Bouygues Telecom · « **le:** 09 septembre 2014 à 10:30:11 »

Incident hier soir ?

Hier soir, à 22h00, nous avons eu une baisse soudaine du trafic entrant sur deux de nos 2 transitaires (Tata et Cogent) et du trafic sortant sur deux de nos transitaires (Tata et Level3)

Coté peering, l'intégralité des peering privés, qui constitue la grande majorité du trafic de Bouygues Telecom n'ont pas été impactés, sauf le PNI avec Limelight.

Sur les GIX, je n'ai noté aucun impact sur les 6 GIX où nous sommes présents (France-IX, Equinix Paris, LyonIX, AMS-IX, DEC-IX, LINX)

Savez-vous d'où viennent ces incidents ?

Les graphes :

Certains AS ne sont pas impactés tandis que d'autres subissent une forte chute de trafic (mais il y a toujours du trafic).

Je ne vois pas de transfert de trafic entre les différents liens que nous avons.

Bengelly · « **Réponse #1 le:** 09 septembre 2014 à 10:32:53 »

Salut,

Rien vu d'anormal de notre côté via L3 / NEOTELECOMS ou nos GIX. Rien vu passer non plus sur les ML $NOG habituelles.

Intéressé de connaitre le fin mot de l'histoire.

Y.

BadMax · « **Réponse #2 le:** 09 septembre 2014 à 11:42:59 »

Vache, je passe ici et en effet j'ai aussi constaté cette dégradation.

J'analyse mes logs et revient ici.

Mediactive Network · « **Réponse #3 le:** 09 septembre 2014 à 11:46:10 »

Aucun élèment visible à notre niveau que ce soit chez Cogent, Level3 les Gix ni sur le PNI avec Bouygues.

Nico · « **Réponse #4 le:** 09 septembre 2014 à 12:01:55 »

A tout hasard le traf qui manque viendrait pas de ports tous sur le même équipement ? Et cet équipement aurait eu un soucis de SNMP ?

Synack · « **Réponse #5 le:** 09 septembre 2014 à 14:20:17 »

J'ai vu des perturbations sur mes graphs de latences vers des opérateurs au travers de Tata. Rien pour Orange ou des destinations nationales de ce que je vois, mais par contre vers l'étranger (UK, ES, US, CA) c'est moche, genre 100-150 ms et des volumes échangés bien moindres. Videotron Canada par exemple je vois tout le volume via Level3 ou Tinet normal mais via Tata j'ai une forte baisse de volume sur cette période. Je pense qu'il y a eu un gros souci TATA, je ne sais pas si vous avez des outils de décision de routage en fonction de critères particuliers (genre Border6 ou autre) qui aurait forcé le reroutage vers Level 3 du coup chez vous ?

Pas d'impact très visible chez nous, mais des ralentissements au travers de Tata sur de l'international donc.

Latence :

Citation de: Nico le 09 septembre 2014 à 12:01:55

A tout hasard le traf qui manque viendrait pas de ports tous sur le même équipement ? Et cet équipement aurait eu un soucis de SNMP ?

Ca n'aurait pas augmenté le volume sur les autres transits et ça aurait donné 0 en volume.

Nico · « **Réponse #6 le:** 09 septembre 2014 à 14:23:02 »

Citation de: Synack le 09 septembre 2014 à 14:20:17

Ca n'aurait pas augmenté le volume sur les autres transits et ça aurait donné 0 en volume.

Concernant le volume des autres transit, Boris a précisé qu'il n'y avait pas eu de transfert :

Citation de: Boris de Bouygues Telecom le 09 septembre 2014 à 10:30:11

Je ne vois pas de transfert de trafic entre les différents liens que nous avons.

Et si c'est un graphe qui agrège les différents ports d'un transitaires, pas forcement sur un même équipement donc, ça ne serait pas forcement tombé à 0.

Boris de Bouygues Telecom · « **Réponse #7 le:** 09 septembre 2014 à 14:24:03 »

Pour Bouygues les 3 transitaires sont sur 3 sites distincts et pour le reste du trafic nous ne voyons aucune modification.
Les graphes sont des graphes d'un unique lien (agrégation de plusieurs 10G) mais pas une agrégation de liens différents.
Nous avons un autre lien Tata sur un autre site, qui a été lui aussi impacté, mais un peu moins.
Pour Level3 nous avons aussi un second site et il est aussi impacté en up (pas en down comme sur la capture montrée)

Un exemple d'AS fortement impacté en entrant sur Cogent : AS36666 (GloboTech Communications)
Un exemple d'AS fortement impacté en entrant sur Tata : AS3257 (Tinet)
Sur le PNI Limelight, c'est forcèment Limeligh.

Level3 n'est impacté que sur du trafic sortant. Il est possible que cet trafic soit impacté car l'autre sens était dégradé : En TCP dégrader un sens de la comm perturbe le trafic dans les deux sens.

Synack · « **Réponse #8 le:** 09 septembre 2014 à 14:33:58 »

Citation de: Boris de Bouygues Telecom le 09 septembre 2014 à 14:24:03

Pour Bouygues les 3 transitaires sont sur 3 sites distincts et pour le reste du trafic nous ne voyons aucune modification.
Les graphes sont des graphes d'un unique lien (agrégation de plusieurs 10G) mais pas une agrégation de liens différents.
Nous avons un autre lien Tata sur un autre site, qui a été lui aussi impacté, mais un peu moins.
Pour Level3 nous avons aussi un second site et il est aussi impacté en up (pas en down comme sur la capture montrée)

Un exemple d'AS fortement impacté en entrant sur Cogent : AS36666 (GloboTech Communications)
Un exemple d'AS fortement impacté en entrant sur Tata : AS3257 (Tinet)
Sur le PNI Limelight, c'est forcèment Limeligh.

Level3 n'est impacté que sur du trafic sortant. Il est possible que cet trafic soit impacté car l'autre sens était dégradé : En TCP dégrader un sens de la comm perturbe le trafic dans les deux sens.

OK je viens de relire plus précisèment, tu as pas mal de perturbations et pas que sur du transit, space... Je n'ai pas autant de perturbations, j'en vois principalement sur Tata comme je disais.

Je vais creuser la question, c'est curieux.

Boris de Bouygues Telecom · « **Réponse #9 le:** 09 septembre 2014 à 14:37:58 »

Limelight est le seul peering à avoir été impacté.

Limelight étant récupéré sur Paris, savez vous si c'est leur réseau qui arrive sur place ou si c'est comme Akamai ou Netflix, un cache qui est connecté au reste du réseau uniquement par des transitaires ?

Dans ce cas là, si le transitaire n'alimente plus correctement le cache, le débit s'écroule sur le cache.

Synack · « **Réponse #10 le:** 09 septembre 2014 à 14:52:04 »

Sur Paris ils ont uniquement des pizza box de caching (sur TH2 et InterXion 1 en tout cas au moins, pas de filer), donc la théorie est intéressante effectivement. Je n'ai pas suivi ces 2 dernières années mais avant ils n'avaient vraiment que du pur caching c'est certain.

Nico · « **Réponse #11 le:** 09 septembre 2014 à 15:04:00 »

Y a Rentabiliweb qui vient de poster sur FRnOG :

Hello,

Je fais un peu le tour de mes graphs et je vois des perturbations hier
soir à partir de 22h pendant environ 4h, surtout via le transit Tata
(constaté par un autre opérateur également)

C'est principalement du trafic international dans mon cas, sur Level 3
c'est moins visible mais il semble y avoir eu une légère baisse aussi.
Mes latences vers les US et le Canada via Tata ont pas mal augmenté sur
cette période ainsi que vers l'Angleterre et d'autres pays d'Europe.

Est-ce que quelqu'un aurait des infos sur ce sujet ? (par curiosité)

Merci

Cordialement,
Frederic