Auteur Sujet: Incident Bouygues Telecom sur marseille? (Lu 4046 fois)

butler_fr · « **le:** 16 novembre 2016 à 12:42:21 »

Bonjour

Je viens de constater une grosse saturation sur le réseau de bouygues:

ça a pas duré longtemps mais toutes les destinations étaient affectées

mtr depuis mon serveur jaguar-network vers ma bbox (la box répond pas mais le ping au dslam est le même):

Citer

Host Loss% Snt Last Avg Best Wrst StDev
1. vl202.hs01.mar01.jaguar-network.net 0.0% 56 1.1 1.1 0.8 3.4 0.4
2. be1.er03.par01.jaguar-network.net 0.0% 56 11.3 11.4 11.2 12.5 0.1
3. bouyguestelecom.par.franceix.net 0.0% 56 11.6 11.6 11.5 12.9 0.1
4. be12.cbr01-cro.net.bbox.fr 0.0% 55 27.4 25.2 21.3 29.6 2.3
5. be5.cbr01-lyo.net.bbox.fr 0.0% 55 26.4 25.1 21.4 30.1 2.3
6. la64.bsr01-aix.net.bbox.fr 66.7% 55 22.5 21.3 21.1 22.5 0.2
7. la10.bsr02-aix.net.bbox.fr 0.0% 55 21.3 21.2 21.1 21.8 0.0
8. 212.194.173.153 0.0% 55 21.9 22.4 21.6 30.8 1.2
9. ??
10. nap13-h02.dslam.bbox.fr 1.8% 55 1312. 1252. 1081. 1362. 64.4
11. ??

mtr vers google depuis ma bbox:

Citer

Host Loss% Snt Last Avg Best Wrst StDev
1. bbox.lan 0.0% 98 0.5 0.5 0.4 0.7 0.0
2. nap13-h02-31-39-118-254.dsl.sta.abo.bbox.fr 0.0% 98 23.2 23.4 21.4 43.8 3.4
3. vl81.mrs1.net.bbox.fr 0.0% 98 20.5 21.0 20.0 24.5 0.5
4. 10.26.160.14 2.1% 97 21.8 21.9 20.8 26.5 0.6
5. 3440.la63.bsr02-aix.net.bbox.fr 20.6% 97 22.7 22.8 20.5 51.4 3.9
6. la10.bsr01-aix.net.bbox.fr 19.6% 97 21.8 21.6 20.4 23.9 0.4
7. ??
8. 209.85.254.21 2.1% 97 1105. 934.4 33.2 1307. 390.1
9. google-public-dns-a.google.com 2.1% 97 1109. 933.8 32.7 1304. 389.6

la le problème c'est résolu avant que je puisse faire d'autre traceroute...
ça a duré 15minutes en gros

la saturation était visiblement plus haut que le dslam (cf traceroute google)

butler_fr · « **Réponse #1 le:** 17 novembre 2016 à 00:21:11 »

bon a priori le problème ne s'est pas représenté

on va dire qu'il y avait une super video youtube que tout le monde a voulu regarder en même temps

butler_fr · « **Réponse #2 le:** 30 novembre 2016 à 14:12:58 »

Problème reproduit ce midi

Code: [Sélectionner]

srv-tux (0.0.0.0)                                                                                              Wed Nov 30 14:08:37 2016
Keys:  Help   Display mode   Restart statistics   Order of fields   quit
                                                                                               Packets               Pings
 Host                                                                                        Loss%   Snt   Last   Avg  Best  Wrst StDev
 1. bbox.lan                                                                                  0.0%    19    0.5   0.6   0.5   0.8   0.0
 2. nap13-h02-31-39-118-254.dsl.sta.abo.bbox.fr                                               0.0%    19   22.8  23.0  21.9  26.0   0.8
 3. vl81.mrs1.net.bbox.fr                                                                     0.0%    19   21.8  24.3  20.0  85.6  14.8
 4. 10.26.160.14                                                                              0.0%    19   20.7  24.6  20.7  47.3   7.1
 5. 3440.la63.bsr02-aix.net.bbox.fr                                                          61.1%    19   24.2  22.5  21.4  24.2   1.0
 6. la10.bsr01-aix.net.bbox.fr                                                               57.9%    19   21.5  22.7  20.8  32.8   4.0
 7. ???
 8. 209.85.254.21                                                                             5.6%    18  1306. 1268. 1222. 1310.  27.0
 9. google-public-dns-a.google.com                                                            5.6%    18  1305. 1274. 1226. 1316.  25.7

Code: [Sélectionner]

srv-tux (0.0.0.0)                                                                                              Wed Nov 30 14:09:52 2016
Keys:  Help   Display mode   Restart statistics   Order of fields   quit
                                                                                               Packets               Pings
 Host                                                                                        Loss%   Snt   Last   Avg  Best  Wrst StDev
 1. bbox.lan                                                                                  0.0%    16    0.5   0.6   0.5   0.7   0.0
 2. nap13-h02-31-39-118-254.dsl.sta.abo.bbox.fr                                               0.0%    16   21.7  23.2  21.7  30.4   2.1
 3. vl81.mrs1.net.bbox.fr                                                                     0.0%    15   20.8  20.8  20.2  21.5   0.0
 4. 10.26.160.14                                                                              0.0%    15   21.6  23.2  21.3  33.8   3.4
 5. 3440.la63.bsr02-aix.net.bbox.fr                                                          60.0%    15   21.4  24.2  20.9  29.2   3.4
 6. la10.bsr01-aix.net.bbox.fr                                                               50.0%    15   21.0  21.1  20.6  21.5   0.0
 7. be64.cbr01.lyo.net.bbox.fr                                                                6.7%    15  1255. 1274. 1237. 1326.  24.7
 8. be5.cbr01-cro.net.bbox.fr                                                                 7.1%    15  1291. 1275. 1232. 1328.  26.8
 9. la37.rpt02-th2.net.bbox.fr                                                               85.7%    15   32.0  31.9  31.7  32.0   0.0
10. ge3-14.er01.par02.jaguar-network.net                                                      6.7%    15  1230. 1267. 1224. 1331.  31.8
11. be2.hr02.mar02.jaguar-network.net                                                         6.7%    15  1232. 1276. 1229. 1334.  34.4
12. ***.jn-hebergement.com                                                                  7.1%    15  1291. 1279. 1227. 1327.  33.7

connexion difficilement utilisable du coup...
je voulais faire une ou deux modif mais avec 1sec de latence en ssh c'est compliqué

butler_fr · « **Réponse #3 le:** 30 novembre 2016 à 14:18:19 »

Code: [Sélectionner]

srv-tux (0.0.0.0)                                                                                              Wed Nov 30 14:14:14 2016
Keys:  Help   Display mode   Restart statistics   Order of fields   quit
                                                                                               Packets               Pings
 Host                                                                                        Loss%   Snt   Last   Avg  Best  Wrst StDev
 1. bbox.lan                                                                                  0.0%    40    0.6   0.6   0.5   0.8   0.0
 2. nap13-h02-31-39-118-254.dsl.sta.abo.bbox.fr                                               0.0%    40   23.0  22.7  21.5  27.2   0.9
 3. vl81.mrs1.net.bbox.fr                                                                     0.0%    40   21.3  22.9  19.8  90.2  10.9
 4. 10.26.160.14                                                                              0.0%    40   21.5  22.1  20.7  27.3   1.3
 5. 3440.la63.bsr02-aix.net.bbox.fr                                                          64.1%    40   23.9  22.7  20.6  31.0   2.5
 6. la10.bsr01-aix.net.bbox.fr                                                               53.8%    40   21.2  21.3  20.7  22.5   0.2
 7. be64.cbr01.lyo.net.bbox.fr                                                                5.0%    40  1250. 1289. 1221. 1369.  37.2
 8. la44.bsr01-lyo.net.bbox.fr                                                               89.7%    40   25.3  25.2  24.9  25.5   0.0
 9. la10.bsr02-lyo.net.bbox.fr                                                                0.0%    40   24.9  25.1  24.1  26.3   0.3
10. ???
11. lafibre.info                                                                              2.6%    39  1268. 1289. 1232. 1369.  37.3

testé avec facebook / clubic / des serveurs chez OVH / orange ...

pour moi ya un problème après AIX

butler_fr · « **Réponse #4 le:** 30 novembre 2016 à 14:23:15 »

J'ai déplacé le sujet dans une section plus appropriée

Boris de Bouygues Telecom · « **Réponse #5 le:** 02 décembre 2016 à 14:50:06 »

J'ai trouvé un incident. Voici le trafic sur votre Switch sur Marseille.

Il y a deux liens vers Aix, mais le trafic ne semble pas avoir basculé sur le lien de back-up aprés la coupure de 3 des 4 liens du LAG de 4 x 10 Gb/s.

C'est probablement la cause de votre incident.

On vois sur le graphe un plat à 10 Gb/s, avant que le lien ne soit coupé (ce qui permet de passer par le 40 Gb/s de back-up)

butler_fr · « **Réponse #6 le:** 02 décembre 2016 à 14:57:40 »

Merci pour le retour!

A priori le problème c'est déjà produit au moins 2 fois (une occurrence le 16/11 et une le 30/11).

Si j'ai bien compris le trafic est resté sur le lien 10Gbps qui restait d’où la saturation avant que le lien ne soit complètement coupé?

Boris de Bouygues Telecom · « **Réponse #7 le:** 02 décembre 2016 à 15:13:30 »

Oui : 3/4 du lien HS => le trafic sature sur le lien au lieu de passer sur le back-up.

Le 16/11 je ne vois rien d’anormal (pas de coupure et trafic normal)

Maintenant on a des données agrégées et donc si c'est une coupure de courte durée, je ne suis plus en mesure de voir l'information (sous Cacti, nous agrégeons les débit maximums et non les débits moyens : une petite coupure n'est pas visible, par contre c'est plus pertinent pour dimensionner les liens)