La Fibre
Télécom => Peering Transit (appairage) => 
IXP => Discussion démarrée par: butler_fr le 18 août 2014 à 16:27:01
-
Bonjour tout le monde
depuis quelques minutes lafibre.info est difficilement joignable
idem pour speedtest.alabar.fr
quelques reports sur FRNog aussi
vus rapidement sur le twitter de nico ce serait france ix?
-
Problème qui a commencé à France-IX, puis Equinix où ADELI (et LaFibre) ont dû être impactés. Pas beaucoup plus d'infos si ce n'est que tout le monde shut ses sessions.
-
testdebit.info à aussi coupé depuis chez moi....
bizarre il est sensé être chez BT donc peering avec orange donc normalement non impacté? si ???
-
Le site est chez Adeli. Le serveur de test (avec les fichiers) est peut-être chez BT (entre autre).
-
Une coupure ? quelle coupure ? Ah mince, ça s'est vu...
-
certains ne sont toujours pas remontés....
au final assez peu d'impact depuis une connexion orange
sur toutes les destinations que j'ai sur le smokeping il n'y a que lafibre/testdebit/speedtest.alabar.fr qui ai eu des soucis
-
Pareil chez moi niveau impact.
BadMax: Je me demande si l'impact n'est pas lié aux rares opérateurs qui sont interco avec Free. Suffit qu'un explose en vol suite à un problème du genre pour que ça déconne un max !
-
Normal, Orange n'est pas (directement) sur FranceIX. Free non plus et donc hormis les quelques sites que tu as donné, pas d'impact.
Ce qui m'amène la question : est-ce un incident du FranceIX ou d'une partie de TH2 impactant FranceIX ?
Que dit la-liste-dont-il-faut-taire-le-nom ?
-
FranceIX.
Et à l'instant :
Raphael Maunier @rmaunier
C'est stabilisé pour @ixpfranceix , on regarde et rapport dans la foulée #FranceIX
-
Pareil chez moi niveau impact.
BadMax: Je me demande si l'impact n'est pas lié aux rares opérateurs qui sont interco avec Free. Suffit qu'un explose en vol suite à un problème du genre pour que ça déconne un max !
Genre Neo ?
-
Début de piste :
Re: [FRnOG] [ALERT] TH2 Down?
Raphael Maunier Mon, 18 Aug 2014 08:15:12 -0700
Bonjour,
Gros impact sur la plateforme Juniper chez Franceix. Plus de 2G de
Broadcast qui auraient normalement du etre limité à …. 1 meg.
On regarde pourquoi …
Raphael
-
Il y a eu une coupure de LaFibre.info vers l'ensemble de l'Internet de 15h55 => 16h25
Je ne connais pas la cause.
-
L'effet boule de neige sur Equinix où Adeli récupère tout le monde je pense.
Et vu d'ici c’était pas une coupure, ça a juste bagoté.
En bonus le graph de trafic du France-IX :)
-
Equinix ne me semble pas impacté par le problème.
Pour moi il y a seulement Franxce-IX et par rebond Adeli.
Sinon le graphe France-IX semble a zéro pendant plusieurs dizaines de minutes alors que le peering en local (même équipement) était toujours possible.
LaFibre.info (Adeli ?) a tout perdu, même les clients Adeli, le site Adeli ou le DNS 91.194.96.11 ne répondaient plus au SmokePing.
A moins qu'il y ait eu une mode dégradé où l'ICMP a été bloqué.
Je pense que la tempête de 2 Gb/s de France-IX Broadcast s'est propagée...
-
Equinix ne me semble pas impacté par le problème.
Pour moi il y a seulement Franxce-IX et par rebond Adeli.
Sinon le graphe France-IX semble a zéro pendant plusieurs dizaines de minutes alors que le peering en local (même équipement) était toujours possible.
LaFibre.info (Adeli ?) a tout perdu, même les clients Adeli, le site Adeli ou le DNS 91.194.96.11 ne répondaient plus au SmokePing.
A moins qu'il y ait eu une mode dégradé où l'ICMP a été bloqué.
Je pense que la tempête de 2 Gb/s de France-IX Broadcast s'est propagée...
Comment on peut laisser une tempête Broadcast de 2Gb/s passé comme ça ???
-
Ils ont un problème qui a levé un probable bug sur les Juniper, pas de chance. Normalement les protections étaient actives mais ça n'a pas fonctionné. J'ai eu du broadcast et du multicast sur mon port alors que le multicast est carrèment drop dans la conf.
Ils sont pas loin d'avoir trouvé la cause et le bug pour le filtrage.
Badmax : ça se base sur combien de sites ton graph de dispo au fait ? Que du FR ?
-
Equinix ne me semble pas impacté par le problème.
Pour moi il y a seulement Franxce-IX et par rebond Adeli.
J'essaie de retrouver les infos sur la propagation à Equinix-IX.
LaFibre.info (Adeli ?) a tout perdu, même les clients Adeli, le site Adeli ou le DNS 91.194.96.11 ne répondaient plus au SmokePing.
A moins qu'il y ait eu une mode dégradé où l'ICMP a été bloqué.
Je sais pas mais clairement c'était du flap plus qu'un down.
-
A noter que chez Adeli, l'IPv6 a été moins impacté que l'IPv4.
-
Badmax : ça se base sur combien de sites ton graph de dispo au fait ? Que du FR ?
107 sites de mémoire. 80% du FR et le reste du US (genre Yahoo, IBM, Amazon etc).
Attention, c'est ma vision depuis le boulot. Depuis ma connexion perso Free ça n'aurait pas donné exactement la meme courbe. Quand FranceIX éternue, c'est tout l'Internet français "pro" qui tousse. Les FAI grand publics ne sont pas impactés (Orange, Free) ou faiblement (Bouygues, SFR).
-
107 sites de mémoire. 80% du FR et le reste du US (genre Yahoo, IBM, Amazon etc).
Attention, c'est ma vision depuis le boulot. Depuis ma connexion perso Free ça n'aurait pas donné exactement la meme courbe. Quand FranceIX éternue, c'est tout l'Internet français "pro" qui tousse. Les FAI grand publics ne sont pas impactés (Orange, Free) ou faiblement (Bouygues, SFR).
OK, c'était un peu mon interrogation, c'est forcèment plus visible quand on est depuis une connexion sur le point d'échange que de l'extérieur vers des sites sur le point d'échange aussi.
Merci :)
-
Pour le détail, j'ai environ une 20aine de site qui n'a soit pas bougé (Free par exemple) ou qui a été faiblement dégradé, sans doute à cause des effets de bord de la boucle L2. Pour le reste ça a été une boucherie avec un pic vers 16h20. Dans le log de ma sonde, j'ai noté des prémices vers 15h45 avec quelques sites HS.
-
Quand tu disais "les FAIs GP" tu parlais de leurs sites ? J'avais pas compris ça.
-
Oui et Non :) J'ai une version de la sonde en allégé qui tourne à la maison -> ça n'a pas bougé. Je devine que SFR et Bouygues ont été un peu impacté du fait de leur présence sur FranceIX.
Sinon depuis le boulot, en effet, je teste leur site (www.free.fr/adsl (https://www.free.fr/adsl) par exemple).
-
C'est Bouygues et NC qui sont sur FranceIX en fait, d'où mon interrogation. Mais je doute que l'impact ait été élevé chez eux.
-
Pour le détail, j'ai environ une 20aine de site qui n'a soit pas bougé (Free par exemple) ou qui a été faiblement dégradé, sans doute à cause des effets de bord de la boucle L2. Pour le reste ça a été une boucherie avec un pic vers 16h20. Dans le log de ma sonde, j'ai noté des prémices vers 15h45 avec quelques sites HS.
Yep j'ai constaté ça également. J'ai l'impression que le problème "grondait" depuis 1h du mat la veille, j'ai un léger décroché de trafic IN inexpliqué à ce moment là qui s'est intensifié en milieu de journée (pas encore regardé le détail).
D'après de témoignages il y a eu des effets sur des services non liés à FranceIX, effet de bord des équipements avec la tempête ?
De mon côté j'ai laissé le port UP pour voir quand le trafic retombait, peut-être pas le plus malin pour l'équipement mais bon il est censé bien tenir.
-
Ah bah après vérif des graphs : 2,3 Mpps IN et 20% de CPU sur le routeur concerné quand même (Cisco ASR9K), je veux bien croire que sur des routeurs moins récents ça ait fait des vilains effets de bord :/
-
K-Net comme d'autres opérateurs (Adeli par exemple) n'ont pas remonté le lien vers France-IX, l'incident pouvant survenir de nouveau.
Voici les graphes K-Net de France-IX :
(https://lafibre.info/images/k-net/201408_k-net_france-ix_ipv4.png)
(https://lafibre.info/images/k-net/201408_k-net_france-ix_ipv6.png)
Le report s'est fait en quasi totalité sur AMS-IX :
(https://lafibre.info/images/k-net/201408_k-net_ams-ix_ipv4.png)
(https://lafibre.info/images/k-net/201408_k-net_ams-ix_ipv6.png)
-
De mon côté c'est remonté. J'ai discuté avec Simon et Raphaël hier soir concernant le problème, je suis assez confiant sur le fait que ça ne se reproduise pas vu qu'ils ont compris pourquoi la protection ne fonctionnait pas. Egalement on sait maintenant la principale origine de la tempête avec les traces (37.49.236.10)
Par contre je vais dev un script qui va couper l'IX si je reçois au dessus d'un certain seuil de pps en broadcast/multicast/discard/error pour l'avenir.
-
Bonjour
je ne suis pas spécialiste des routages opérateur alors je viens aux renseignements.
Cet incident pourrait il expliques les lags que j'avais sur certains sites hier soir ( vers 21h, par exemple facebook) via mon offre orange fibre?
je me croyais revenu aux tempsde mon ADSL FREE ;D
-
Vu l'heure, j'en doute. Et de toute façon Orange<>FB n'a surement rien à voir avec le FranceIX.
-
Bonjour
je ne suis pas spécialiste des routages opérateur alors je viens aux renseignements.
Cet incident pourrait il expliques les lags que j'avais sur certains sites hier soir ( vers 21h, par exemple facebook) via mon offre orange fibre?
je me croyais revenu aux temps de mon ADSL FREE ;D
Non, le problème s'est terminé avant ça (plutôt 18h30) et Orange n'est pas concerné par FranceIX. Il peut y avoir eu des effets de bord à ce moment là vu la charge des routeurs, mais à 21h c'est bien après.
-
Bonjour
je ne suis pas spécialiste des routages opérateur alors je viens aux renseignements.
Cet incident pourrait il expliques les lags que j'avais sur certains sites hier soir ( vers 21h, par exemple facebook) via mon offre orange fibre?
je me croyais revenu aux tempsde mon ADSL FREE ;D
J'ai constaté les mêmes ralentissement depuis mon accès Free ADSL autour des mêmes heures, mais n'ai pas pris le temps d'investiguer davantage.
-
Merci pour vos réponses.
Bon en même temps Facebook n'est pas le site le plus rapide ni le plus reprsentatif du web...
N'étant pas calé comme certains , je n'ai pas compris d’où venait cette surcharge sur FranceIX.
-
Si je peux te donner une image : "Une grosse tempete a provoqué des vagues gigantesques qui ont submergée les digues des ports. Par sécurité, ceux-ci ont été fermé. Ceux qui n'avaient pas de digue assez grosse ont eu quelques dégats sur des bateaux."
-
Pour Bougyes Telecom, l'incident sur France-IX a impacté fortement notre peering sur France-IX (13 Gb/s réel au moment de l'incident, sur un lien de 60 Gb/s) mais ces 13 Gb/s n'ont eu aucun problème a passer par d'autres peering (le trafic s'est dévié majoritairement via Equini-IX, AMS-IX, DEC-IX, Linx et Zayo France)
France-IX, le 18 août 2014:
(https://lafibre.info/images/peering/201408_bouygues_telecom_france-ix_1.png)
Comme on peut le voir sur le graphe hebdomadaire, nous avions retrouvé la quasi totalité du trafic France-IX après l'incident :
(https://lafibre.info/images/peering/201408_bouygues_telecom_france-ix_2.png)
Je ne sais pas si c'est lié a l'incident mais nous avons eu une augmentation du trafic inhabituelle sur notre PNI avec Zayo France (ex Néo-Telecom) :
On voit une augmentation du trafic pendant la coupure de France-IX mais un peu avant 19h00, le trafic augmente brusquement et le pic de trafic du soir est a un niveau jamais atteint (nous avions comme pour France-IX beaucoup de capa de réserve, aucun risque de saturation de notre coté)
Zayo France, le 18 août 2014:
(https://lafibre.info/images/peering/201408_bouygues_telecom_zayo_france_1.png)
Zayo France, du 12 au 19 août 2014 :
(https://lafibre.info/images/peering/201408_bouygues_telecom_zayo_france_2.png)
-
Hello Boris,
Zayo a eu l'air d'avoir des effets de bord par moment, est-ce que c'est bien du trafic "normal" qui s'est ajouté ? (unicast, visible dans le netflow etc ?)
Le problème emble avoir été généré par un opérateur qui fournirait du L2 et d'autres services auraient été impactés également en dehors de FranceIX. Possible aussi que le routeur de Zayo ait pris cher dans l'histoire, certains clients Neo ont remonté un problème sur leur transit pendant le souci FranceIX.
Aussi à noter, trop de gens ne désactivent pas correctement le proxy ARP sur les ports L3 de leurs routeurs, ça n'aide pas...
-
Oui, c'est bien du trafic normal qui est ajouté et il proviens d'un gros client de NeoTelecom : AS36408.
En fait, dans le graphe de Zayo, c'est principalement cet AS qui a fait des changements de routage suite à l’incident de France-IX.
Donc, c'est une fausse alerte.