Auteur Sujet: Incident Orange / Opentransit ce matin (Lu 7936 fois)

butler_fr · « **le:** 15 novembre 2017 à 10:55:24 »

Salut tout le monde

Depuis ce matin orange semble rencontrer pas mal de difficultés sur son réseau.
d'après le smokeping ça a été catastrophique ce matin entre 6h et 9h:
https://lafibre.info/dns/smokeping.cgi?target=Orange

A priori ils auraient des problèmes avec plusieurs opérateur (level3 / zayo / cogent / ...)

Vous avez des infos sur l'incident?

Hugues · « **Réponse #1 le:** 15 novembre 2017 à 11:04:12 »

Message d'un corp OTI sur FRNoG :

Citer

Bonjour a tous,

Nous constatons effectivement moins de trafic que normal sur les interfaces entre Orange et Level 3 depuis 6h00 ce matin.
Nos NOC sont en train d'investiguer et de traiter ce point ensemble.

Cordialement

Pierre
Orange - Open Transit Internet (OTI) - AS 5511

butler_fr · « **Réponse #2 le:** 15 novembre 2017 à 11:07:48 »

vu aussi

sur twitter orange se fait démolir...

Gabi · « **Réponse #3 le:** 15 novembre 2017 à 11:14:13 »

Impacté aussi au boulot ce matin (fibre Orange).
Très difficile d'accéder à beaucoup de sites aux US du coup (console AWS, Github...)

J'ai l'impression qu'une partie du trafic a déjà été reroutée (via NTT notamment), mais en attendant ça reste le bordel...

sudo mtr -zrc 100 console.aws.amazon.com Start: 2017-11-15T11:10:28+0100 HOST: #######.local Loss% Snt Last Avg Best Wrst StDev 1. AS??? 192.168.1.1 0.0% 100 1.1 2.2 1.1 28.1 2.9 2. AS??? 80.10.237.69 0.0% 100 3.2 4.6 2.8 18.2 2.2 3. AS??? ae99-0.ncidf104.par 0.0% 100 3.1 5.5 2.9 32.6 4.7 4. AS??? ae41-0.niidf102.aub 0.0% 100 3.9 6.0 3.2 50.4 6.0 5. AS??? ae40-0.niidf101.par 0.0% 100 4.0 5.6 3.2 27.0 3.5 6. AS??? 193.252.137.10 0.0% 100 13.2 8.6 3.6 37.9 6.7 7. AS2914 ae-26.r04.parsfr01. 57.0% 100 186.2 187.9 185.8 213.2 4.3 8. AS2914 ae-2.r25.londen12.u 60.0% 100 191.5 194.1 191.5 222.5 5.4 9. AS2914 ae-1.r24.londen12.u 52.0% 100 196.8 192.6 190.4 206.7 2.7 10. AS2914 ae-5.r24.nycmny01.u 52.0% 100 188.8 189.2 186.5 208.7 3.7 11. AS2914 ae-1.r08.nycmny01.u 66.0% 100 185.9 186.5 185.5 187.9 0.6 12. AS2914 ae-1.a01.nycmny01.u 51.0% 100 188.7 188.0 184.9 195.8 2.6 13. AS2914 ae-3.amazon.nycmny0 59.0% 100 185.3 186.9 185.1 196.7 2.2 14. AS??? 100.0 100 0.0 0.0 0.0 0.0 0.0 15. AS??? 100.0 100 0.0 0.0 0.0 0.0 0.0 16. AS??? 100.0 100 0.0 0.0 0.0 0.0 0.0 17. AS??? 100.0 100 0.0 0.0 0.0 0.0 0.0 18. AS16509 54.239.108.152 49.0% 100 465.9 216.9 186.5 465.9 43.7 19. AS16509 54.239.111.7 57.0% 100 184.1 184.1 182.4 198.8 2.6 20. AS??? 100.0 100 0.0 0.0 0.0 0.0 0.0 21. AS16509 205.251.244.97 51.0% 100 189.2 190.6 188.3 196.0 1.5 22. AS??? 100.0 100 0.0 0.0 0.0 0.0 0.0

butler_fr · « **Réponse #4 le:** 15 novembre 2017 à 11:44:52 »

a priori les problèmes viennent d'opentransit
tout ce qui passe par un peering direct avec orange ne pose pas de soucis visiblement.

Bengelly · « **Réponse #5 le:** 15 novembre 2017 à 11:48:08 »

Citation de: butler_fr le 15 novembre 2017 à 11:44:52

a priori les problèmes viennent d'opentransit
tout ce qui passe par un peering direct avec orange ne pose pas de soucis visiblement.

Hello,

Je confirme. On voit AS3215 en direct via HOPUS et pas de soucis. Pour le reste, c'est une autre histoire.

@++

Damien06 · « **Réponse #6 le:** 15 novembre 2017 à 13:22:41 »

le problème est toujours en cours

|------------------------------------------------------------------------------------------| | WinMTR statistics | | Host - % | Sent | Recv | Best | Avrg | Wrst | Last | |------------------------------------------------|------|------|------|------|------|------| | LIVEBOX - 15 | 7 | 6 | 0 | 0 | 1 | 0 | | 80.10.235.253 - 3 | 39 | 38 | 1 | 26 | 101 | 1 | | ae118-0.ncnic101.Nice.francetelecom.net - 0 | 1132 | 1132 | 3 | 3 | 12 | 3 | |ae43-0.nimar101.Marseille3eArrondissement.francetelecom.net - 0 | 726 | 726 | 5 | 5 | 53 | 5 | |ae40-0.nimar102.Marseille3eArrondissement.francetelecom.net - 0 | 734 | 734 | 5 | 5 | 40 | 5 | | 193.252.137.54 - 0 | 223 | 223 | 14 | 19 | 52 | 16 | |tengige0-0-0-11.ashtr2.ashburnva.opentransit.net - 0 | 47 | 47 | 94 | 95 | 97 | 96 | | verio-1.gw.opentransit.net - 0 | 49 | 49 | 91 | 92 | 120 | 92 | | ae-70.r05.asbnva02.us.bb.gin.ntt.net - 0 | 42 | 42 | 106 | 106 | 107 | 107 | | ae-8.r23.asbnva02.us.bb.gin.ntt.net - 0 | 49 | 49 | 91 | 91 | 97 | 97 | | ae-2.r25.amstnl02.nl.bb.gin.ntt.net - 0 | 42 | 42 | 104 | 104 | 116 | 105 | | ae-3.r24.amstnl02.nl.bb.gin.ntt.net - 0 | 41 | 41 | 106 | 107 | 121 | 107 | | ae-14.r02.parsfr02.fr.bb.gin.ntt.net - 0 | 41 | 41 | 106 | 106 | 107 | 107 | | 82.112.96.210 - 0 | 40 | 40 | 106 | 107 | 138 | 107 | | po121.asw04.cdg1.tfbnw.net - 0 | 40 | 40 | 106 | 106 | 107 | 106 | | po242.psw03.cdg2.tfbnw.net - 0 | 40 | 40 | 106 | 106 | 107 | 107 | | 173.252.67.129 - 0 | 40 | 40 | 106 | 106 | 107 | 106 | | edge-star-shv-01-cdg2.facebook.com - 0 | 39 | 39 | 106 | 106 | 107 | 106 | |________________________________________________|______|______|______|______|______|______| WinMTR v1.00 GPLv2 (original by Appnor MSP - Fully Managed Hosting & Cloud Provider)

la route n'est pas propre

Aize147 · « **Réponse #7 le:** 15 novembre 2017 à 17:20:16 »

Faudrait aussi leur dire qu'il y a un moment ou il faut sortir la monnaie et pas attendre qu'un Bundle soit saturé pour rien faire au final derrière.

Et je m'en fous de leur politique à la c*n et de leur ratio. Si un des deux partenaire envoi plus de trafic vers l'un et inversement, et bien les deux doivent payer, point barre.

Puis ce serait bien qu'ils arrêtent de faire tourner les plages des différentes régions (France) avec les autres Tier1, la latence n’arrête pas de bouger.

Pour joindre un serveur Vultr (ou autre) sur Paris, une fois sur deux c'est Telia ou Level (3) et ça change tous les mois. Stop à un moment, m*rde.

Bon déjà ils ont remis en place le PNI IPv4 avec FB, c'est déjà une bonne chose.

Puis Francfort est toujours en saturation, donc le monitoring à 2 balles j'y crois moyen...

butler_fr · « **Réponse #8 le:** 15 novembre 2017 à 17:34:38 »

pas compris le message par rapport au contexte de ce sujet

Aize147 · « **Réponse #9 le:** 15 novembre 2017 à 17:51:36 »

Citation de: butler_fr le 15 novembre 2017 à 17:34:38

pas compris le message par rapport au contexte de ce sujet

Q'ils se la coulent douce ? Et que l'argent est plus motivant pour eux que de fournir un service de qualité ? Alors oui c'est bizarre de trouver ma réponse ici dans ce post, avec ce contexte.

Thomas.V · « **Réponse #10 le:** 16 novembre 2017 à 10:17:59 »

Bonjour,

Pour complèment de l'incident d'hier. Il s'agissait d'un problème entre Level3 et OpenTransit :

Ci-dessous 2 traceroute depuis un transit Level3 vers Orange :

C:\Users\>tracert wwww.orange.fr Détermination de l¿itinéraire vers d.hpc.gtm.fti.net [193.252.148.70] avec un maximum de 30 sauts :
1 <1 ms <1 ms <1 ms ***************
2 1 ms 1 ms 1 ms ****************
3 1 ms 1 ms 1 ms *************
4 2 ms 3 ms 3 ms ***************
5 2 ms 2 ms 1 ms *************
6 1 ms 3 ms 2 ms ***************
7 1 ms 1 ms 1 ms ge-6-16.car1.lyon1.level3.net [212.73.204.113]
8 85 ms 87 ms 85 ms verizon-level3-100g.washington12.level3.net [4.68.62.138]
9 * * * Délai d¿attente de la demande dépassé.
10 192 ms 191 ms 192 ms 63.88.105.94
11 * * 184 ms xe-0-1-5-2-0.pastr3.paris03.opentransit.net [193.251.241.177]
12 * * * Délai d¿attente de la demande dépassé.
13 * * * Délai d¿attente de la demande dépassé.
14 190 ms 190 ms 190 ms ae42-0.nolyo102.lyon3earrondissement.francetelecom.net [193.252.101.197]
15 196 ms * 196 ms 193.253.13.46
16 * * * Délai d¿attente de la demande dépassé.
17 199 ms * 199 ms www.orange.fr.inter.s0.fti.net [193.252.148.70] Itinéraire déterminé.

C:\Users\>tracert suivi-des-incidents.orange.fr Détermination de l¿itinéraire vers aelv3.prod.gtm.fti.net [193.252.133.9] avec un maximum de 30 sauts :
1 <1 ms <1 ms <1 ms **********
2 1 ms 1 ms 1 ms *************
3 1 ms 1 ms 1 ms *************
4 2 ms 1 ms 3 ms ****************
5 1 ms 1 ms 1 ms ***************
6 1 ms 1 ms 1 ms **************
7 2 ms 1 ms 1 ms ge-6-16.car1.lyon1.level3.net [212.73.204.113]
8 85 ms 86 ms 85 ms 4.68.62.134 (Level3)
9 * * * Délai d¿attente de la demande dépassé.
10 * 189 ms 190 ms 63.88.105.94 (Verizon)
11 191 ms * 190 ms tengige0-8-0-4.lontr3.hounslow.opentransit.net [193.251.129.62]
12 190 ms 188 ms * 193.252.137.69 13 * 188 ms 189 ms ae45-0.noidf002.aubervilliers.francetelecom.net [193.252.98.118]
14 189 ms * * ae40-0.noidf003.paris15earrondissement.francetelecom.net [193.252.98.126]
15 * 190 ms 189 ms 193.252.227.158
16 194 ms * 188 ms fw-bae01-v2999.orion.net.m1.fti.net [81.52.143.167]
17 189 ms * * vip.aelv3.prod.m0.fti.net [193.252.133.9]
18 188 ms * * vip.aelv3.prod.m0.fti.net [193.252.133.9]
19 188 ms 189 ms 189 ms vip.aelv3.prod.m0.fti.net [193.252.133.9]

On voit qu'entre le 8eme et 10eme saut le trafic passe chez Verizon au US ... ? Il y aurait il eu un problème d'annonce de route BGP par hasard ?

Ce matin un traceroute :

C:\Users\>tracert wwww.orange.fr

Détermination de l’itinéraire vers d.hpc.gtm.fti.net [193.252.122.73]
avec un maximum de 30 sauts :

1 <1 ms <1 ms <1 ms ********
2 1 ms 1 ms 1 ms ************
3 1 ms 1 ms 1 ms ***********
4 3 ms 3 ms 1 ms ***********
5 1 ms 1 ms 1 ms ***************
6 1 ms 1 ms 1 ms *****************
7 157 ms 2 ms 2 ms ge-6-16.car1.lyon1.level3.net [212.73.204.113]
8 8 ms 8 ms 9 ms francetelecom-level3-100g.paris1.level3.net [4.68.127.234]
9 8 ms 8 ms 8 ms 193.252.137.9
10 9 ms 8 ms 9 ms ae45-0.noidf001.paris3earrondissement.francetelecom.net [193.252.98.114]
11 8 ms 8 ms 8 ms lag2-816.lyop2.lyon.raei.transitip.francetelecom.net [193.252.227.142]
12 8 ms 8 ms 8 ms fw-bae00-v2999.alpha.net.b1.fti.net [193.252.118.207]
13 9 ms 9 ms 9 ms www.orange.fr.inter.b0.fti.net [193.252.122.73]

Il y a bien un peering entre Level et Opentransit

Cdt

Thomas.V

butler_fr · « **Réponse #11 le:** 16 novembre 2017 à 14:33:52 »

Le problème n'était pas entre level3 et opentransit mais entre opentransit et orange visiblement.

au boulot nous ne passons pas par level3 mais nous étions quand même impactés.