Auteur Sujet: Incidents du 22 aout (impactant également lafibre.info) (Lu 2419 fois)

vivien · « **le:** 22 août 2015 à 18:58:00 »

J'ai le retour d'Adeli sur les pb du matin : Une intervention sur la fibre Maxnod - Paris étaient prévu et pour éviter les pb, ils avaient coupés préventivement les peering / transit sur Paris.
Problème, la société que réalisait l'intervention à coupé le lien vers Lyon.
Le trafic n'avaient alors plus qu'une porte de sortie : Genève et les temps de bascule BGP ont entraîné des petites coupures visibles sur les SmokePing.

Cet après-midi la suite de l'intervention à crée une boucle via un lien de back-up jusqu’à présent inutilisé car HS.

Marin · « **Réponse #1 le:** 22 août 2015 à 19:53:22 »

Observé cet après-midi : le site était accessible par intermittence. Quand il était inaccessible, le ping ICMP passait toujours, mais les connexions HTTPS s'arrêtaient au « Client hello » :

Code: [Sélectionner]

$ curl -v https://lafibre.info/unread/?all
*   Trying 2a01:6e00:10:410::2...
* connect to 2a01:6e00:10:410::2 port 443 failed: Aucun chemin d'accès pour atteindre l'hôte cible
*   Trying 46.227.16.8...
* Connected to lafibre.info (46.227.16.8) port 443 (#0)
* ALPN, offering http/1.1
* Cipher selection: ALL:!EXPORT:!EXPORT40:!EXPORT56:!aNULL:!LOW:!RC4:@STRENGTH
* successfully set certificate verify locations:
*   CAfile: /etc/ssl/certs/ca-certificates.crt
  CApath: none
* TLSv1.2 (OUT), TLS header, Certificate Status (22):
* TLSv1.2 (OUT), TLS handshake, Client hello (1):
^C

Peut-être qu'elles lâchaient après un certain nombre de paquets ou d'octets transférés ?

Le routage était largement déréglé. À un moment donné, 4 traceroutes successives donnaient 4 chemins différents :

Code: [Sélectionner]

$ traceroute lafibre.info
traceroute to lafibre.info (46.227.16.8), 30 hops max, 60 byte packets
 1  box (192.168.1.1)  4.223 ms  4.218 ms  4.194 ms
 2  129.120.16.109.rev.sfr.net (109.16.120.129)  24.747 ms  26.275 ms  26.311 ms
 3  181.45.66.86.rev.sfr.net (86.66.45.181)  28.636 ms  28.696 ms  30.073 ms
 4  250.29.3.109.rev.sfr.net (109.3.29.250)  42.127 ms  42.137 ms  42.126 ms
 5  225.122.3.109.rev.sfr.net (109.3.122.225)  42.102 ms  42.112 ms  42.101 ms
 6  222.122.3.109.rev.sfr.net (109.3.122.222)  43.618 ms  36.058 ms  35.882 ms
 7  te0-7-0-28.ccr21.par04.atlas.cogentco.com (149.11.114.149)  34.272 ms  32.008 ms  31.958 ms
 8  be2309.ccr42.par01.atlas.cogentco.com (154.54.73.241)  33.399 ms  35.913 ms be2308.ccr41.par01.atlas.cogentco.com (154.54.73.229)  35.960 ms
 9  be2489.ccr42.lon13.atlas.cogentco.com (154.54.39.113)  43.639 ms  38.569 ms  38.539 ms
10  be2286.ccr41.lon13.atlas.cogentco.com (130.117.50.245)  116.183 ms be2657.ccr42.dca01.atlas.cogentco.com (154.54.31.109)  114.522 ms be2489.ccr42.par01.atlas.cogentco.com (154.54.39.114)  124.700 ms
11  be2171.ccr41.iad02.atlas.cogentco.com (154.54.31.106)  114.460 ms be2657.ccr41.iad02.atlas.cogentco.com (154.54.31.110)  116.090 ms be2148.ccr41.dca01.atlas.cogentco.com (154.54.31.117)  117.587 ms
12  be2657.ccr42.dca01.atlas.cogentco.com (154.54.31.109)  129.626 ms be2657.ccr41.iad02.atlas.cogentco.com (154.54.31.110)  121.036 ms be2657.ccr42.dca01.atlas.cogentco.com (154.54.31.109)  112.834 ms
13  be2096.ccr42.jfk02.atlas.cogentco.com (154.54.30.41)  116.288 ms be2148.ccr41.dca01.atlas.cogentco.com (154.54.31.117)  118.677 ms be2657.ccr41.iad02.atlas.cogentco.com (154.54.31.110)  112.754 ms
14  be2657.ccr42.dca01.atlas.cogentco.com (154.54.31.109)  118.650 ms be2171.ccr41.iad02.atlas.cogentco.com (154.54.31.106)  116.249 ms be2657.ccr42.dca01.atlas.cogentco.com (154.54.31.109)  124.310 ms
15  be2171.ccr41.dca01.atlas.cogentco.com (154.54.31.105)  121.207 ms  115.072 ms  118.242 ms
16  be2657.ccr42.dca01.atlas.cogentco.com (154.54.31.109)  115.028 ms  116.483 ms be2657.ccr41.iad02.atlas.cogentco.com (154.54.31.110)  118.277 ms
17  be2657.ccr41.iad02.atlas.cogentco.com (154.54.31.110)  115.051 ms be2171.ccr41.iad02.atlas.cogentco.com (154.54.31.106)  127.567 ms be2171.ccr41.dca01.atlas.cogentco.com (154.54.31.105)  121.798 ms
18  be2171.ccr41.dca01.atlas.cogentco.com (154.54.31.105)  126.697 ms be2171.ccr41.iad02.atlas.cogentco.com (154.54.31.106)  116.519 ms be2657.ccr42.dca01.atlas.cogentco.com (154.54.31.109)  118.870 ms
19  be2657.ccr41.iad02.atlas.cogentco.com (154.54.31.110)  122.947 ms be2171.ccr41.dca01.atlas.cogentco.com (154.54.31.105)  118.810 ms  118.782 ms
20  be2657.ccr42.dca01.atlas.cogentco.com (154.54.31.109)  121.353 ms be2657.ccr41.iad02.atlas.cogentco.com (154.54.31.110)  122.912 ms be2171.ccr41.iad02.atlas.cogentco.com (154.54.31.106)  122.871 ms
21  be2657.ccr41.iad02.atlas.cogentco.com (154.54.31.110)  121.316 ms  134.704 ms  134.618 ms
22  be2657.ccr42.dca01.atlas.cogentco.com (154.54.31.109)  116.517 ms be2171.ccr41.dca01.atlas.cogentco.com (154.54.31.105)  121.780 ms be2171.ccr41.iad02.atlas.cogentco.com (154.54.31.106)  120.036 ms
23  be2171.ccr41.iad02.atlas.cogentco.com (154.54.31.106)  119.523 ms  113.756 ms  116.303 ms
24  be2657.ccr41.iad02.atlas.cogentco.com (154.54.31.110)  120.570 ms be2657.ccr42.dca01.atlas.cogentco.com (154.54.31.109)  120.477 ms  119.647 ms
25  be2171.ccr41.dca01.atlas.cogentco.com (154.54.31.105)  119.668 ms  121.077 ms  118.129 ms
26  be2171.ccr41.iad02.atlas.cogentco.com (154.54.31.106)  122.519 ms be2657.ccr41.iad02.atlas.cogentco.com (154.54.31.110)  121.448 ms be2171.ccr41.dca01.atlas.cogentco.com (154.54.31.105)  123.552 ms
27  be2171.ccr41.dca01.atlas.cogentco.com (154.54.31.105)  123.466 ms be2657.ccr41.iad02.atlas.cogentco.com (154.54.31.110)  119.748 ms  119.689 ms
28  be2171.ccr41.iad02.atlas.cogentco.com (154.54.31.106)  123.390 ms be2657.ccr42.dca01.atlas.cogentco.com (154.54.31.109)  124.859 ms be2171.ccr41.iad02.atlas.cogentco.com (154.54.31.106)  121.699 ms
29  be2171.ccr41.dca01.atlas.cogentco.com (154.54.31.105)  119.901 ms be2171.ccr41.iad02.atlas.cogentco.com (154.54.31.106)  122.842 ms be2657.ccr41.iad02.atlas.cogentco.com (154.54.31.110)  133.299 ms
30  be2171.ccr41.iad02.atlas.cogentco.com (154.54.31.106)  124.265 ms  124.205 ms  125.803 ms

$ traceroute lafibre.info
traceroute to lafibre.info (46.227.16.8), 30 hops max, 60 byte packets
 1  box (192.168.1.1)  3.894 ms  3.888 ms  3.873 ms
 2  129.120.16.109.rev.sfr.net (109.16.120.129)  24.785 ms  24.835 ms  24.821 ms
 3  181.45.66.86.rev.sfr.net (86.66.45.181)  26.255 ms  27.831 ms  27.823 ms
 4  250.29.3.109.rev.sfr.net (109.3.29.250)  55.045 ms  55.078 ms  55.067 ms
 5  225.122.3.109.rev.sfr.net (109.3.122.225)  55.053 ms  55.040 ms  55.025 ms
 6  222.122.3.109.rev.sfr.net (109.3.122.222)  55.012 ms  46.354 ms  46.313 ms
 7  te0-7-0-28.ccr21.par04.atlas.cogentco.com (149.11.114.149)  46.297 ms  32.458 ms  34.085 ms
 8  149.11.115.22 (149.11.115.22)  33.994 ms  47.972 ms  49.439 ms
 9  te-3-1-frlyo01-c6k1.rt.ielo.net (212.85.145.173)  59.438 ms  39.093 ms  40.572 ms
10  * * *
11  * * *
12  * * *
13  * * *
14  * * *
15  * * *
16  * * *
17  * * *
18  * * *
19  * * *
20  * * *
21  * * *
22  * * *
23  * * *
24  * * *
25  * * *
26  * * *
27  * * *
28  * * *
29  * * *
30  * * *

$ traceroute lafibre.info
traceroute to lafibre.info (46.227.16.8), 30 hops max, 60 byte packets
 1  box (192.168.1.1)  3.763 ms  3.760 ms  3.679 ms
 2  129.120.16.109.rev.sfr.net (109.16.120.129)  24.822 ms  24.860 ms  24.845 ms
 3  181.45.66.86.rev.sfr.net (86.66.45.181)  26.852 ms  26.897 ms  28.399 ms
 4  ielo-lostoasissarl.sfinx.tm.fr (194.68.129.108)  35.253 ms  37.179 ms  37.245 ms
 5  te-3-1-frlyo01-c6k1.rt.ielo.net (212.85.145.173)  46.306 ms  46.352 ms  47.881 ms
 6  * * *
 7  * * *
 8  * * *
 9  * * *
10  * * *
11  * * *
12  * * *
13  * * *
14  * * *
15  * * *
16  * * *
17  * * *
18  * * *
19  * * *
20  * * *
21  * * *
22  * * *
23  * * *
24  * * *
25  * * *
26  * * *
27  *^C

$ traceroute lafibre.info
traceroute to lafibre.info (46.227.16.8), 30 hops max, 60 byte packets
 1  box (192.168.1.1)  4.726 ms  4.716 ms  4.695 ms
 2  129.120.16.109.rev.sfr.net (109.16.120.129)  25.147 ms  26.677 ms  26.710 ms
 3  181.45.66.86.rev.sfr.net (86.66.45.181)  28.521 ms  28.510 ms  30.063 ms
 4  v3790.poi1-co-1.gaoland.net (84.96.251.169)  31.667 ms  35.337 ms  35.347 ms
 5  186.244.5.109.rev.sfr.net (109.5.244.186)  38.858 ms  38.896 ms  38.887 ms
 6  ae3.par72.ip4.gtt.net (141.136.100.213)  40.319 ms  33.521 ms  36.053 ms
 7  xe-11-0-4.par22.ip4.gtt.net (141.136.111.109)  33.369 ms xe-11-0-7.par22.ip4.gtt.net (89.149.181.145)  32.187 ms  31.485 ms
 8  as3356.par22.ip4.gtt.net (141.136.103.182)  33.496 ms  33.540 ms  35.759 ms
 9  ae-5-5.car1.Geneva1.Level3.net (4.69.137.81)  45.310 ms  40.821 ms  42.284 ms
10  ae-5-5.car1.Geneva1.Level3.net (4.69.137.81)  42.294 ms  125.080 ms  124.977 ms
11  ADELI-SARL.car1.Geneva1.Level3.net (213.242.73.62)  133.707 ms  135.311 ms^C

Une traceroute en temps normal :

Code: [Sélectionner]

$ traceroute lafibre.info
traceroute to lafibre.info (46.227.16.8), 30 hops max, 60 byte packets
 1  box (192.168.1.1)  3.758 ms  3.707 ms  3.677 ms
 2  129.120.16.109.rev.sfr.net (109.16.120.129)  23.146 ms  25.099 ms  25.114 ms
 3  181.45.66.86.rev.sfr.net (86.66.45.181)  72.110 ms  72.179 ms  72.166 ms
 4  v3790.poi1-co-1.gaoland.net (84.96.251.169)  30.906 ms  30.892 ms  34.931 ms
 5  adeli-l2.peers.lyonix.net (77.95.71.11)  48.465 ms  48.457 ms  48.437 ms
 6  lafibre.info (46.227.16.8)  34.855 ms  24.547 ms  26.151 ms

vivien · « **Réponse #2 le:** 22 août 2015 à 20:16:39 »

A priori il n'y a rien eu sur le servuer je n'y ai pas touché. Il y a par contre eu une grande instabilité dans le routage avec de nombreuses micro-coupures, le temps que BGP converge et quelques coupures.

Voici le graphe de Munin hébergé sur un serveur Bouygues Telecom : Il y a seulement 2 coupures sur le graphe et apache n'a pas été sous l'eau avec des requêtes commencées mais non terminées.

Par contre, le SSL n'aime pas trop les connexions avec des micro-coupures.

Je surf 2h par jour sur LaFibre.info sur un PC connecté en WiFi à mon téléphone (4G Bouygues, FreeMobile, c'est plus pour des tests) et il arrive lors des passage non couvert, que je sois obligé de fermer le navigateur, rafraîchir ne permet pas de reprendre la navigation.

Ce n'est pas spécifique a LaFibre.info, mais j'ai eu le même problème avec Google. On pense qu'il n'y a pas de connexion, mais les autres sites fonctionnent. Rafraîchir ne permet pas de recharger le site, qui visiblement attend des nouvelles d'une connexion TCP perdue. Fermer le navigateur (Firefox) et le ré-ouvrir permet à coup sur de charger le site.

vivien · « **Réponse #3 le:** 23 août 2015 à 11:17:24 »

Traceroute réalisé hier depuis une ligne ADSL SFR depuis la Ville de Châlons-en-Champagne (51) :

Les annonces BGP ont changées pendant le traceroute, ce qui explique du level3 au milieu du traceroute

$ mtr -rwc100 lafibre.info Start: Sat Aug 22 16:59:45 2015 HOST: vivien Loss% Snt Last Avg Best Wrst StDev 1.|-- neufbox 0.0% 100 4.1 3.3 1.1 7.0 1.2 2.|-- 51cha1-r1b0-1.dip.gaoland.net 1.0% 100 25.2 28.7 24.9 61.8 4.4 3.|-- 105.151.64.86.rev.sfr.net 1.0% 100 27.2 27.5 23.7 40.1 2.1 4.|-- 174.153.96.84.rev.sfr.net 0.0% 100 28.8 32.7 25.1 169.6 19.4 5.|-- 178.65.3.109.rev.sfr.net 0.0% 100 26.3 29.4 24.8 145.4 12.2 6.|-- v3850.nts1-co-1.gaoland.net 0.0% 100 35.8 33.5 29.1 67.1 5.4 7.|-- 9.74.24.109.rev.sfr.net 0.0% 100 33.8 33.9 28.8 40.7 2.5 8.|-- 1.12.6.109.rev.sfr.net 0.0% 100 29.2 33.3 28.3 52.7 3.5 9.|-- te0-0-0-32.ccr21.par04.atlas.cogentco.com 0.0% 100 33.4 32.2 28.7 53.1 4.2 10.|-- level3.par04.atlas.cogentco.com 0.0% 100 29.8 36.8 28.3 129.3 15.8 11.|-- ae-5-5.car1.Geneva1.Level3.net 1.0% 100 41.7 60.6 29.6 277.4 51.6 12.|-- ae-5-5.car1.Geneva1.Level3.net 0.0% 100 40.4 58.2 30.3 244.1 48.3 13.|-- level3.par04.atlas.cogentco.com 87.0% 100 42.4 40.3 31.8 67.8 9.9 14.|-- ae-5-5.car1.Geneva1.Level3.net 67.0% 100 45.0 44.8 39.3 88.6 8.3 15.|-- ae-5-5.car1.Geneva1.Level3.net 66.0% 100 47.9 43.3 38.8 56.7 3.6 16.|-- 53.247.5.109.rev.sfr.net 78.0% 100 41.1 43.7 40.3 55.0 2.9 17.|-- v3686.cae1-co-2.gaoland.net 78.0% 100 43.9 43.1 40.2 56.5 3.1 18.|-- v3686.cae1-co-1.gaoland.net 78.0% 100 42.1 42.8 40.2 54.5 2.9 19.|-- 54.247.5.109.rev.sfr.net 78.0% 100 40.0 43.5 40.0 53.8 2.6 20.|-- 53.247.5.109.rev.sfr.net 77.6% 98 42.8 43.5 40.8 62.0 4.2 21.|-- v3686.cae1-co-2.gaoland.net 77.6% 98 40.9 43.3 39.0 61.9 4.4 22.|-- v3686.cae1-co-1.gaoland.net 77.6% 98 41.6 43.9 40.8 64.6 4.7 23.|-- 54.247.5.109.rev.sfr.net 74.4% 86 44.6 43.5 39.9 59.9 4.0 24.|-- 53.247.5.109.rev.sfr.net 74.4% 86 42.4 44.2 40.0 71.4 6.3 25.|-- v3686.cae1-co-2.gaoland.net 74.4% 86 45.5 43.9 40.2 70.1 6.1 26.|-- v3686.cae1-co-1.gaoland.net 74.4% 86 43.5 43.8 39.4 76.1 7.3 27.|-- 54.247.5.109.rev.sfr.net 74.4% 86 40.7 43.7 39.2 69.5 6.0 28.|-- 53.247.5.109.rev.sfr.net 74.4% 86 44.5 43.8 39.4 73.3 7.0 29.|-- v3686.cae1-co-2.gaoland.net 74.4% 86 41.8 43.4 39.2 79.9 8.3 30.|-- v3686.cae1-co-1.gaoland.net 75.6% 86 46.1 44.8 40.7 81.3 8.4

BadMax · « **Réponse #4 le:** 23 août 2015 à 11:39:26 »

C'est revenu complètement à la normale peu avant minuit pour la re-activation des transits.

Ci-joint nombre de hops OVH-Gra -> LaFibre.