La Fibre

Télécom => Peering Transit (appairage) => Peering entre opérateurs => Discussion démarrée par: TroniQ89 le 27 décembre 2016 à 15:26:51

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: TroniQ89 le 27 décembre 2016 à 15:26:51

Hello.

Depuis plusieurs jours, je constate que CloudFlare Paris est down en IPv4 et n'est toujours pas revenu.
Je m'en suis aperçu dimanche avec ce graphe Smokeping hébergé sur AS48800 ONETSolutions, derrière le réseau AS62000 PulseHeberg:
(http://i.imgur.com/MtUTw9d.png)

Voici quelques traceroutes depuis différentes positions géographiques (pour les tests SFR, Orange et Bouygues j'ai utilisé Maplatency car je n'ai pas de lignes sous la main);

ONETSolutions, Vélizy:

HOST: v001 Loss% Snt Last Avg Best Wrst StDev 1. AS??? 185.163.124.13 0.0% 15 0.1 0.4 0.1 1.4 0.0 2. AS4565 10.234.185.54 0.0% 15 5.9 3.9 0.5 16.8 4.9 3. AS4565 10.0.9.1 0.0% 15 27.8 3.1 0.3 27.8 6.9 4. AS??? te0-1-0-0.rcr21.par02.atlas.cogentco.com 0.0% 15 1.0 2.4 0.8 8.5 2.3 5. AS174 be2415.ccr41.par01.atlas.cogentco.com 0.0% 15 1.9 2.7 1.3 7.4 1.6 6. AS174 be2688.rcr21.bru01.atlas.cogentco.com 0.0% 15 9.5 9.2 6.9 15.8 2.0 7. AS174 149.11.170.82 0.0% 15 7.4 7.4 6.5 10.1 0.7 8. AS13335 104.24.119.221 0.0% 15 6.6 7.7 6.4 16.2 2.4
Passage par Bruxelles, même résultat depuis ma connexion Free xDSL.

Depuis Hurricane Electric Paris/Telehouse 2
1 22 ms 19 ms 30 ms 100ge5-2.core1.fra1.he.net 2 78 ms 71 ms 75 ms as13335.ix.dataix.ru 3 61 ms 63 ms 71 ms 104.24.118.221
Passage par le GIX DataIX.ru à Francfort.

Depuis une ligne SFR :

1 1.173.141.188.rev.sfr.net (188.141.173.1) 48ms 51ms 49ms 2 73.88.84.77.rev.sfr.net (77.84.88.73) 52ms 62ms 48ms 3 30.33.84.77.rev.sfr.net (77.84.33.30) 50ms 57ms 50ms 4 149.91.84.77.rev.sfr.net (77.84.91.149) 55ms 63ms 75ms 5 133.7.100.87.rev.sfr.net (87.100.7.133) 60ms 71ms 85ms 6 105.88.84.77.rev.sfr.net (77.84.88.105) 49ms 50ms 50ms 7 85.7.100.87.rev.sfr.net (87.100.7.85) 48ms 52ms 56ms 8 230.29.3.109.rev.sfr.net (109.3.29.230) 68ms 53ms 53ms 9 253.244.96.84.rev.sfr.net (84.96.244.253) 62ms 54ms 69ms 10 v3791.poi1-co-1.gaoland.net (84.96.251.165) 56ms 75ms 76ms 11 126.244.96.84.rev.sfr.net (84.96.244.126) 82ms 90ms 95ms 12 v3560.lor1-sec-1.gaoland.net (84.96.244.177) 74ms 69ms 64ms 13 cloudflare.mrs.franceix.net (37.49.232.29) 69ms 74ms 66ms 14 104.24.118.221 (104.24.118.221) 79ms 66ms 67ms
Passage par FranceIX Marseille

Depuis Orange Paris:
1 80.10.127.131 (80.10.127.131) * 2 10.125.247.202 (10.125.247.202) * 3 ae42-0.niidf202.Paris.francetelecom.net (193.252.159.125) * 4 193.252.137.74 (193.252.137.74) * 5 tatateleglobe-2.GW.opentransit.net (193.251.250.48) 33ms 31ms 30ms 6 if-ae-9-2.tcore2.FNM-Frankfurt.as6453.net (195.219.87.9) 41ms 40ms 41ms 7 if-ae-14-3.thar1.F2C-Frankfurt.as6453.net (195.219.87.88) 41ms 41ms 39ms 8 195.219.148.122 (195.219.148.122) 41ms 42ms 41ms 9 104.24.119.221 (104.24.119.221) 43ms 43ms 44ms
Ca part sur TATA à Francfort.

Depuis Bouygues Telecom, NRA MOU76.
1 mou76-h02-176-179-206-254.dsl.sta.abo.bbox.fr (176.179.206.254) * * * 2 62.35.252.141 (62.35.252.141) 38ms 39ms 42ms 3 10.26.161.91 (10.26.161.91) 65ms 25ms 37ms 4 10.26.161.20 (10.26.161.20) 39ms 32ms 38ms 5 10.26.85.184 (10.26.85.184) 30ms 28ms 32ms 6 212.194.172.32 (212.194.172.32) 32ms 96ms 25ms 7 be21.cbr01-ntr.net.bbox.fr (212.194.171.28) * * * 8 be1.cbr01-cro.net.bbox.fr (212.194.171.0) * * * 9 be5.cbr01-lyo.net.bbox.fr (212.194.171.140) * * * 10 * * * 11 * * * 12 104.24.118.221 (104.24.118.221) 44ms 39ms 45ms
J'imagine que ça passe aussi par Marseille, CloudFlare n'a rien sur Lyon.
(Boris, as-tu constaté une augmentation de trafic sur FranceIX Marseille ou d'autres PNIs depuis vendredi?)

Depuis Level3 Paris:
1 ae-1-3104.edge3.Paris1.Level3.net (4.69.161.110) 0.680 ms 0.676 ms 0.655 ms 2 telia-level3.paris1.Level3.net (4.68.111.194) 0.795 ms 0.765 ms 0.787 ms 3 0.0.0.0 * 3 prs-bb2-link.telia.net (213.155.135.196) 0.835 ms 3 prs-bb2-link.telia.net (62.115.122.6) 0.670 ms 4 brx-b2-link.telia.net (213.155.136.233) 13.2 ms 4 brx-b2-link.telia.net (62.115.112.147) 13.2 ms 13.3 ms 5 cloudflare-ic-315171-brx-b2.c.telia.net (62.115.41.70) 9.99 ms 10.4 ms 10.2 ms 6 104.24.118.221 (104.24.118.221) 10.1 ms 10.0 ms 10.2 ms
Décroche sur Telia Paris puis sur CloudFlare Bruxelles.

Depuis Level3 Marseille:
1 ae-8-3202.bar2.Marseille1.Level3.net (4.69.141.202) 1.202 ms 0.952 ms 0.916 ms 2 ae-8-3202.bar2.Marseille1.Level3.net (4.69.141.202) 0.912 ms 0.942 ms 0.896 ms 3 mei-b1-link.telia.net (62.115.61.69) 10.417 ms 2.496 ms 2.532 ms 4 cloudflare-ic-310011-mei-b1.c.telia.net (62.115.52.226) 3.711 ms 2.659 ms 1.211 ms
Le trafic passe bien par Marseille.

C'est confirmé par cette page (https://support.cloudflare.com/cdn-cgi/trace):

Code: [Sélectionner]

root@v001 ~# curl https://support.cloudflare.com/cdn-cgi/trace
fl=21f48
h=support.cloudflare.com
ip=185.163.127.160
ts=1482847669.684
visit_scheme=https
uag=curl/7.38.0
colo=LHR
spdy=off
http=http/1.1
loc=FR

D'habitude, l'entrée "colo" renvoie CDG (Paris), mais là c'est LHR (Bruxelles je suppose)

C'est étrange, car en v6 c'est bien Paris qui ressort (j'ai fait un test depuis Cogent et Hurricane, j'ai pas encore config l'ipv6 sur mon ERX) :
Cogent Paris
traceroute to index.tutomatik.fr (2400:cb00:2048:1::6818:77dd), 30 hops max, 80 byte packets 1 2001:978:1:323::1 (2001:978:1:323::1) 0.837 ms 0.868 ms 2 te0-0-1-1.rcr11.b019498-0.par01.atlas.cogentco.com (2001:550:0:1000::9a19:8fe) 1.236 ms 1.237 ms 3 2001:978:2:3d::18:2 (2001:978:2:3d::18:2) 0.695 ms 0.693 ms 4 2400:cb00:19:1024::8d65:42f2 (2400:cb00:19:1024::8d65:42f2) 0.635 ms 2400:cb00:19:1024::6ca2:e4a4 (2400:cb00:19:1024::6ca2:e4a4) 0.625 ms

Hurricane TH2
1 <1 ms <1 ms <1 ms equinix-paris.cloudflare.com 2 <1 ms <1 ms <1 ms 2400:cb00:2048:1::6818:77dd

J'ai envoyé un ticket au support il y a deux jours, en attendant une réponse.

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: vivien le 27 décembre 2016 à 15:48:01

Tu réalises les tests comment ?

De mon coté, je fais un traceroute vers un client de CloudFlare et je vais sur Paris :

Traceroute IPv4, depuis Ikoula Reims (51) : On va sur CloudFlare via France-IX Paris
$ mtr -4rwc100 nextinpact.com Start: Tue Dec 27 15:48:41 2016 HOST: ikoula Loss% Snt Last Avg Best Wrst StDev 1.|-- 213.246.63.2 0.0% 100 0.6 9.9 0.3 582.8 65.8 2.|-- po2.core8.ikdc1.ikoula.com 0.0% 100 0.3 1.7 0.3 50.5 7.3 3.|-- po5.core13.ikdc2.ikoula.com 0.0% 100 3.9 7.3 3.6 184.0 24.3 4.|-- po3.core12.ikdc2.ikoula.com 0.0% 100 1.3 5.3 1.1 280.2 29.5 5.|-- po1.core9.rb.ikoula.com 0.0% 100 3.6 9.6 3.5 303.8 34.0 6.|-- cloudflare.par.franceix.net 0.0% 100 4.0 3.9 3.8 4.5 0.0 7.|-- 104.25.248.21 0.0% 100 3.8 3.8 3.8 3.9 0.0

Traceroute IPv6, depuis Ikoula Reims (51) : On va sur CloudFlare via France-IX Paris
$ mtr -6rwc100 nextinpact.com Start: Tue Dec 27 15:50:34 2016 HOST: ikoula Loss% Snt Last Avg Best Wrst StDev 1.|-- 2a00:c70:1:213:246:63:0:1 0.0% 100 0.6 5.7 0.4 379.4 38.4 2.|-- 2a00:c70::1:0:5 0.0% 100 0.6 4.5 0.5 175.6 21.8 3.|-- ikoula.demarc.cogentco.com 0.0% 100 0.6 4.9 0.5 196.6 26.4 4.|-- 2a00:c70::1:13 0.0% 100 1.4 2.2 1.3 52.5 5.2 5.|-- 2a00:c70::1:12 0.0% 100 1.8 5.6 1.3 188.2 26.3 6.|-- 2001:1b48:2:103::11a 0.0% 100 3.8 12.1 3.6 180.1 30.6 7.|-- cloudflare.par.franceix.net 0.0% 100 4.1 4.1 3.9 5.2 0.1 8.|-- 2400:cb00:2048:1::6819:f915 0.0% 100 3.9 3.9 3.8 3.9 0.0

Traceroute IPv4, depuis Maxnod dans l'Ain (01) : On va sur CloudFlare via Equinix Paris
$ mtr -4rwc100 nextinpact.com Start: Tue Dec 27 15:45:25 2016 HOST: lafibre Loss% Snt Last Avg Best Wrst StDev 1.|-- portevlan.adeli.biz 0.0% 100 0.3 0.6 0.2 4.3 0.7 2.|-- equinix-paris.cloudflare.com 0.0% 100 6.2 6.1 5.9 7.0 0.0 3.|-- 104.25.249.21 0.0% 100 6.0 6.0 5.9 6.3 0.0

Traceroute IPv6, depuis Maxnod dans l'Ain (01) : On va sur CloudFlare via Equinix Paris
$ mtr -6rwc100 nextinpact.com Start: Tue Dec 27 15:46:45 2016 HOST: lafibre Loss% Snt Last Avg Best Wrst StDev 1.|-- bgp1.adeli.biz 0.0% 100 2.8 3.4 0.2 116.7 13.8 2.|-- equinix-paris.cloudflare.com 0.0% 100 6.0 6.1 6.0 7.1 0.0 3.|-- 2400:cb00:2048:1::6819:f815 0.0% 100 6.2 6.1 5.9 6.8 0.0

Traceroute IPv4, depuis OVH Gravelines (59) : On va sur CloudFlare via France-IX Paris
# mtr -4rwc100 nextinpact.com Start: Tue Dec 27 16:09:34 2016 HOST: ovh Loss% Snt Last Avg Best Wrst StDev 1.|-- 37.187.131.252 0.0% 100 2.9 13.6 0.8 108.9 15.1 2.|-- po109.gra-g2-a75.fr.eu 0.0% 100 0.3 0.2 0.2 0.7 0.0 3.|-- 10.95.33.10 0.0% 100 8.1 8.5 7.8 54.1 4.6 4.|-- be99-1110.th2-1-a9.fr.eu 0.0% 100 4.7 4.9 4.6 5.4 0.0 5.|-- cloudflare.par.franceix.net 0.0% 100 4.7 4.8 4.7 9.5 0.6 6.|-- 104.25.249.21 0.0% 100 4.7 4.7 4.7 4.8 0.0

Traceroute IPv6, depuis OVH Gravelines (59) : On va sur CloudFlare via France-IX Paris
# mtr -6rwc100 nextinpact.com Start: Tue Dec 27 16:10:19 2016 HOST: ovh Loss% Snt Last Avg Best Wrst StDev 1.|-- 2001:41d0:a:41ff:ff:ff:ff:fe 11.0% 100 2.1 12.9 0.8 104.1 17.4 2.|-- po109.gra-g2-a75.fr.eu 0.0% 100 0.4 0.4 0.3 1.9 0.1 3.|-- be10-20.gra-g2-a9.fr.eu 0.0% 100 1.4 2.7 0.9 23.4 3.5 4.|-- be99-1191.th2-1-a9.fr.eu 3.0% 100 5.0 5.0 4.7 5.9 0.0 5.|-- cloudflare.par.franceix.net 0.0% 100 5.6 4.9 4.8 6.4 0.2 6.|-- 2400:cb00:2048:1::6819:f815 0.0% 100 4.7 4.8 4.7 6.8 0.2

Traceroute IPv4, depuis Orange FTTH Melun (77) :
$ mtr -4rwc100 nextinpact.com Start: Tue Dec 27 15:50:26 2016 HOST: Orange Loss% Snt Last Avg Best Wrst StDev 1.|-- livebox.home 0.0% 100 0.5 0.5 0.3 1.6 0.1 2.|-- 80.10.233.189 0.0% 100 1.2 1.8 1.2 9.0 1.4 3.|-- ae116-0.ncidf303.Aubervilliers.francetelecom.net 0.0% 100 8.5 2.1 1.8 14.7 1.4 4.|-- ae43-0.nista301.Paris.francetelecom.net 0.0% 100 2.0 2.2 2.0 8.0 0.7 5.|-- ae40-0.nimsr302.Paris.francetelecom.net 0.0% 100 2.2 2.3 2.0 16.3 1.5 6.|-- 193.252.137.78 0.0% 100 5.7 6.2 2.4 10.4 2.3 7.|-- hundredgige1-3-0-0.pastr2.Paris.opentransit.net 0.0% 100 5.6 6.6 2.5 10.5 2.2 8.|-- tatateleglobe-2.GW.opentransit.net 0.0% 100 2.5 2.7 2.4 6.8 0.7 9.|-- if-ae-11-2.tcore1.PYE-Paris.as6453.net 0.0% 100 2.8 3.1 2.8 22.5 2.0 10.|-- 80.231.154.14 6.0% 100 27.9 28.0 27.7 36.5 0.8 11.|-- 104.25.248.21 13.0% 100 27.6 27.6 27.5 28.1 0.0

Traceroute IPv6, depuis Orange FTTH Melun (77) :
$ mtr -6rwc100 nextinpact.com Start: Tue Dec 27 15:52:58 2016 HOST: Orange Loss% Snt Last Avg Best Wrst StDev 1.|-- livebox.home 0.0% 100 0.8 0.8 0.8 3.3 0.2 2.|-- 2a01cb08a00402020193025300770039.ipv6.abo.wanadoo.fr 0.0% 100 2.4 2.5 2.1 12.7 1.2 3.|-- 2a01:cfc4:0:400::a 0.0% 100 2.9 3.2 2.9 12.8 1.2 4.|-- ? ? 100.0 100 5.|-- telia.GW.opentransit.net 0.0% 100 10.3 10.9 9.7 31.0 3.1 6.|-- cloudflare-ic-306325-ldn-b3.c.telia.net 0.0% 100 10.0 9.9 9.6 13.5 0.4 7.|-- 2400:cb00:2048:1::6819:f915 0.0% 100 9.6 9.6 9.5 10.1 0.0

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: TroniQ89 le 27 décembre 2016 à 15:58:58

Je fais les trace vers un site que je développe avec un pote ;)

L'ip est 104.24.118.221

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: vivien le 27 décembre 2016 à 16:06:12

Je ne connais pas bien le fonctionnement de CloudFlare. C'est de l'unicast ou de l'anycast ?

- Anycast : L'IP est la même dans le monde entier et BGP renvoi vers le serveur qui porte l'IP la plus proche.
- Unicast : Chaque serveur a des IP différentes et c'est le DNS qui aiguille les clients vers les serveurs le plus proche.

Voici le test avec ton IP avec les mêmes hébergements :

Ikoula : au lieu de sortir sur France-IX Paris, on va sur France-IX Paris qui renvoi vers France-IX Marseille :
$ mtr -rwc100 104.24.118.221 Start: Tue Dec 27 16:00:12 2016 HOST: ikoula Loss% Snt Last Avg Best Wrst StDev 1.|-- 213.246.63.2 0.0% 100 0.7 6.9 0.3 192.0 27.0 2.|-- po2.core8.ikdc1.ikoula.com 0.0% 100 0.3 4.8 0.2 190.8 24.7 3.|-- po5.core13.ikdc2.ikoula.com 0.0% 100 4.0 7.3 3.7 190.6 22.2 4.|-- po3.core12.ikdc2.ikoula.com 0.0% 100 3.9 6.3 3.7 138.2 14.6 5.|-- po1.core9.rb.ikoula.com 0.0% 100 4.0 13.6 3.7 226.1 38.0 6.|-- po2.core11.th2.ikoula.com 0.0% 100 3.8 14.2 3.7 310.8 43.6 7.|-- ge11-3-4.er1.rb.par.as8218.eu 0.0% 100 3.7 4.2 3.6 30.4 3.6 8.|-- ae6.tcr1.itx.mrs.core.as8218.eu 0.0% 100 14.2 15.2 14.1 97.0 8.3 9.|-- cloudflare.mrs.franceix.net 0.0% 100 14.7 14.8 14.5 16.4 0.2 10.|-- 104.24.118.221 0.0% 100 14.3 14.2 14.2 14.3 0.0

Adeli, au lieu de sortir sur equinix-paris, on sort via le transitaitre IELO qui peer avec le serveur en question sur AMS-IX :
$ mtr -rwc100 104.24.118.221 Start: Tue Dec 27 16:00:19 2016 HOST: lafibre Loss% Snt Last Avg Best Wrst StDev 1.|-- portevlan.adeli.biz 0.0% 100 1.0 1.7 0.2 39.8 5.1 2.|-- sw1-le9lyon-ge-1-4.ix-customers-le9lyon.ielo.net 0.0% 100 1.3 4.0 1.2 28.4 4.8 3.|-- te-2-3-frpar-th2-a9k1.rt.ielo.net 0.0% 100 19.9 19.9 19.6 21.0 0.1 4.|-- te-8-1-frpar05-c6k1.rt.ielo.net 0.0% 100 19.6 22.0 19.4 67.8 8.2 5.|-- nlams-tcy2-c7k1.rt.ielo.net 0.0% 100 20.3 22.5 19.4 44.6 6.2 6.|-- ams-ix.as13335.net 0.0% 100 18.2 18.2 17.9 18.6 0.0 7.|-- 104.24.118.221 0.0% 100 18.0 18.0 17.8 19.2 0.1

OVH : au lieu de sortir sur France-IX Paris, on va sur AMS-IX :
# mtr -rwc100 104.24.118.221 Start: Tue Dec 27 16:16:41 2016 HOST: ovh Loss% Snt Last Avg Best Wrst StDev 1.|-- 37.187.131.252 0.0% 100 2.9 6.0 0.6 103.4 15.6 2.|-- po109.gra-g2-a75.fr.eu 0.0% 100 0.3 0.3 0.2 0.5 0.0 3.|-- 10.95.33.10 0.0% 100 8.2 10.1 7.8 69.3 9.9 4.|-- be100-1112.ams-5-a9.nl.eu 0.0% 100 6.6 6.6 6.3 7.4 0.0 5.|-- ams-ix.as13335.net 0.0% 100 7.0 7.0 6.7 10.5 0.5 6.|-- 104.24.118.221 0.0% 100 7.2 6.8 6.6 7.2 0.0

Pour Orange, on gagne en latence par rapport à NextINpact : 27,6ms => 11,8ms
$ mtr -rwc100 104.24.118.221 Start: Tue Dec 27 16:03:18 2016 HOST: Orange Loss% Snt Last Avg Best Wrst StDev 1.|-- livebox.home 0.0% 100 0.5 0.5 0.4 1.3 0.0 2.|-- 80.10.233.189 0.0% 100 1.7 1.8 1.2 8.0 1.3 3.|-- ae116-0.ncidf303.Aubervilliers.francetelecom.net 0.0% 100 1.8 1.9 1.8 3.1 0.1 4.|-- ae43-0.nista301.Paris.francetelecom.net 0.0% 100 2.1 2.2 2.0 10.9 1.0 5.|-- ae40-0.nimsr302.Paris.francetelecom.net 0.0% 100 2.1 2.7 2.0 25.0 3.0 6.|-- 193.252.137.78 0.0% 100 6.1 4.4 2.5 6.4 0.9 7.|-- hundredgige0-4-0-1.pastr2.Paris.opentransit.net 0.0% 100 5.2 6.6 2.6 10.6 2.2 8.|-- tatateleglobe-2.GW.opentransit.net 0.0% 100 2.6 3.0 2.5 12.3 1.3 9.|-- if-ae-9-2.tcore2.FNM-Frankfurt.as6453.net 8.0% 100 12.3 12.8 12.1 24.3 1.5 10.|-- if-ae-14-3.thar1.F2C-Frankfurt.as6453.net 0.0% 100 11.9 13.4 11.8 79.3 7.9 11.|-- 195.219.148.122 0.0% 100 11.9 11.9 11.8 12.7 0.0 12.|-- 104.24.118.221 0.0% 100 11.8 11.8 11.7 12.7 0.0

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: Bengelly le 27 décembre 2016 à 16:18:38

Citation de: vivien le 27 décembre 2016 à 16:06:12

Je ne connais pas bien le fonctionnement de CloudFlare. C'est de l'unicast ou de l'anycast ?

Cloudflare, c'est de l'anycast. Il y a tout pleins d'articles intéressants sur leur infra / ingénierie sur leur blog : https://blog.cloudflare.com/

Sinon, leur page de statut n'annonce rien d'anormal sur Paris : https://www.cloudflarestatus.com/

@++

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: vivien le 27 décembre 2016 à 16:22:44

Je me suis toujours demandé comment gérer les certificats SSL Let's Encrypt quand on a plusieurs serveurs en Anycast (je séparerais si il y a une réponse, pour ne pas faire de hors-sujet)

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: TroniQ89 le 27 décembre 2016 à 16:28:03

Citation de: Bengelly le 27 décembre 2016 à 16:18:38

Cloudflare, c'est de l'anycast. Il y a tout pleins d'articles intéressants sur leur infra / ingénierie sur leur blog : https://blog.cloudflare.com/

Sinon, leur page de statut n'annonce rien d'anormal sur Paris : https://www.cloudflarestatus.com/

@++

Anycast je confirme.

Citation de: vivien le 27 décembre 2016 à 16:06:12

OVH : au lieu de sortir sur France-IX Paris, on va sur AMS-IX :
# mtr -rwc100 104.24.118.221 Start: Tue Dec 27 16:16:41 2016 HOST: ovh Loss% Snt Last Avg Best Wrst StDev 1.|-- 37.187.131.252 0.0% 100 2.9 6.0 0.6 103.4 15.6 2.|-- po109.gra-g2-a75.fr.eu 0.0% 100 0.3 0.3 0.2 0.5 0.0 3.|-- 10.95.33.10 0.0% 100 8.2 10.1 7.8 69.3 9.9 4.|-- be100-1112.ams-5-a9.nl.eu 0.0% 100 6.6 6.6 6.3 7.4 0.0 5.|-- ams-ix.as13335.net 0.0% 100 7.0 7.0 6.7 10.5 0.5 6.|-- 104.24.118.221 0.0% 100 7.2 6.8 6.6 7.2 0.0

Pour Orange, on gagne en latence par rapport à NextINpact : 27,6ms => 11,8ms
$ mtr -rwc100 104.24.118.221 Start: Tue Dec 27 16:03:18 2016 HOST: Orange Loss% Snt Last Avg Best Wrst StDev 1.|-- livebox.home 0.0% 100 0.5 0.5 0.4 1.3 0.0 2.|-- 80.10.233.189 0.0% 100 1.7 1.8 1.2 8.0 1.3 3.|-- ae116-0.ncidf303.Aubervilliers.francetelecom.net 0.0% 100 1.8 1.9 1.8 3.1 0.1 4.|-- ae43-0.nista301.Paris.francetelecom.net 0.0% 100 2.1 2.2 2.0 10.9 1.0 5.|-- ae40-0.nimsr302.Paris.francetelecom.net 0.0% 100 2.1 2.7 2.0 25.0 3.0 6.|-- 193.252.137.78 0.0% 100 6.1 4.4 2.5 6.4 0.9 7.|-- hundredgige0-4-0-1.pastr2.Paris.opentransit.net 0.0% 100 5.2 6.6 2.6 10.6 2.2 8.|-- tatateleglobe-2.GW.opentransit.net 0.0% 100 2.6 3.0 2.5 12.3 1.3 9.|-- if-ae-9-2.tcore2.FNM-Frankfurt.as6453.net 8.0% 100 12.3 12.8 12.1 24.3 1.5 10.|-- if-ae-14-3.thar1.F2C-Frankfurt.as6453.net 0.0% 100 11.9 13.4 11.8 79.3 7.9 11.|-- 195.219.148.122 0.0% 100 11.9 11.9 11.8 12.7 0.0 12.|-- 104.24.118.221 0.0% 100 11.8 11.8 11.7 12.7 0.0

Pour OVH l'ICMP sort toujours par AMS-IX vers CF, mais quand tu fais le même trace en TCP tu vois que ça bascule de temps en temps sur Paris via France-IX Paris ou Equinix IX (en temps normal, là ça reste sur AMS-IX quand je teste avec OVH)

Et pour Orange c'est un soucis qui vient de TATA visiblement.

EDIT: De AS48800 à CloudFlare, sur nextinpact: Pas de problèmes, ça passe bien sur Paris.
Start: Tue Dec 27 16:29:05 2016 HOST: v001 Loss% Snt Last Avg Best Wrst StDev 1.|-- 185.163.124.13 0.0% 15 0.2 0.4 0.1 1.9 0.4 2.|-- 10.234.185.54 0.0% 15 3.8 2.2 0.5 5.2 1.6 3.|-- 10.0.9.1 0.0% 15 1.0 1.2 0.5 2.6 0.4 4.|-- te0-1-0-0.rcr21.par02.atlas.cogentco.com 0.0% 15 1.8 2.1 1.0 6.5 1.6 5.|-- be2416.ccr42.par01.atlas.cogentco.com 0.0% 15 2.1 2.9 1.5 8.0 1.9 6.|-- be2108.agr22.par01.atlas.cogentco.com 0.0% 15 1.6 2.8 1.5 7.6 1.7 7.|-- 154.25.9.126 0.0% 15 2.0 3.0 1.8 7.3 1.4 8.|-- 149.11.0.126 0.0% 15 1.6 3.1 1.6 11.7 2.7 9.|-- 104.25.249.21 0.0% 15 2.0 2.6 1.3 4.4 0.8

Le même trace en TCp :
Start: Tue Dec 27 16:30:53 2016 HOST: v001 Loss% Snt Last Avg Best Wrst StDev 1.|-- 185.163.124.13 0.0% 15 18.3 12.9 5.5 26.9 6.2 2.|-- 10.234.185.54 0.0% 15 34.9 52.8 6.0 196.1 61.2 3.|-- 10.0.9.1 0.0% 15 6.7 15.1 6.7 31.8 5.9 4.|-- te0-1-0-0.rcr21.par02.atlas.cogentco.com 0.0% 15 13.8 14.4 8.6 24.2 4.7 5.|-- be2416.ccr42.par01.atlas.cogentco.com 0.0% 15 12.7 15.6 9.3 28.3 5.6 6.|-- be2108.agr22.par01.atlas.cogentco.com 0.0% 15 10.3 14.4 6.5 24.8 5.4 7.|-- te0-0-1-1.rcr11.b019498-0.par01.atlas.cogentco.com 0.0% 15 9.7 13.6 7.8 33.7 6.7 8.|-- 149.11.0.126 0.0% 15 7.8 14.9 6.9 28.6 6.8 9.|-- 104.25.249.21 6.7% 15 145.2 147.3 113.2 258.3 36.1

Trace vers mon site en TCP:
Start: Tue Dec 27 16:31:53 2016 HOST: v001 Loss% Snt Last Avg Best Wrst StDev 1. AS??? 185.163.124.13 0.0% 15 13.0 12.2 7.0 22.7 4.2 2. AS4565 10.234.185.54 0.0% 15 137.7 18.7 5.7 137.7 33.1 3. AS4565 10.0.9.1 0.0% 15 6.3 13.2 6.3 30.4 7.0 4. AS??? te0-1-0-0.rcr21.par02.atlas.cogentco.com 0.0% 15 20.1 12.1 8.4 20.1 3.7 5. AS174 be2416.ccr42.par01.atlas.cogentco.com 0.0% 15 17.6 14.1 6.9 25.4 4.9 AS174 be2415.ccr41.par01.atlas.cogentco.com 6. AS174 be2688.rcr21.bru01.atlas.cogentco.com 0.0% 15 24.3 19.6 14.8 31.4 4.3 AS174 be2683.rcr21.bru01.atlas.cogentco.com 7. AS174 149.11.170.82 0.0% 15 23.0 19.2 12.6 34.1 5.9 8. AS13335 104.24.119.221 6.7% 15 144.4 152.7 125.8 215.8 20.3

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: TroniQ89 le 28 décembre 2016 à 14:38:17

Hello,

Ce matin, tout est reparti normalement :

Start: Wed Dec 28 14:29:15 2016 HOST: clement-iMedia-S2883 Loss% Snt Last Avg Best Wrst StDev 1. AS4565 192.168.1.1 0.0% 10 0.4 0.3 0.3 0.4 0.0 2. AS??? 192.168.0.254 0.0% 10 0.5 0.5 0.5 0.6 0.0 3. AS12322 ava89-1-78-229-225-XXX.fbx.proxad.net 0.0% 10 22.0 21.9 21.4 22.2 0.0 4. AS12322 213.228.32.190 0.0% 10 23.1 23.2 22.5 23.9 0.0 5. AS12322 corbeil-6k-1-v800.intf.routers.proxad.net 0.0% 10 24.0 24.2 23.8 24.7 0.0 6. AS??? p11-crs16-1-be1114.intf.routers.proxad.net 0.0% 10 28.1 28.3 24.8 32.1 2.2 7. AS??? th2-9k-3-be1001.intf.routers.proxad.net 0.0% 10 25.0 25.2 24.0 29.3 1.5 8. AS174 be4204.ccr21.par04.atlas.cogentco.com 0.0% 10 25.6 24.8 24.3 25.6 0.0 9. AS174 be12309.ccr42.par01.atlas.cogentco.com 0.0% 10 25.2 25.0 24.4 25.8 0.0 10. AS174 be2140.agr21.par01.atlas.cogentco.com 0.0% 10 27.1 27.3 24.6 42.5 5.4 11. AS174 154.25.9.58 0.0% 10 25.9 25.8 25.0 26.2 0.0 12. AS174 149.11.0.126 0.0% 10 25.6 25.1 24.5 25.8 0.0 13. AS13335 104.24.118.221 0.0% 10 25.7 25.2 24.5 26.0 0.0

Le smokeping vers le serveur de cache CF qui héberge le site :
(http://i.imgur.com/BCZmxUd.png)

EDIT: C'est bizarre, je viens de m'apercevoir que la "panne" a duré une semaine pile.

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: Symbol le 28 décembre 2016 à 19:06:19

Citation de: TroniQ89 le 27 décembre 2016 à 15:26:51

Depuis plusieurs jours, je constate que CloudFlare Paris est down en IPv4 et n'est toujours pas revenu.

Pas du tout. Mauvaise conclusion.

Citation de: TroniQ89 le 27 décembre 2016 à 15:26:51

Je m'en suis aperçu dimanche avec ce graphe Smokeping hébergé sur AS48800 ONETSolutions, derrière le réseau AS62000 PulseHeberg:

Tracerouter une IP vers un CDN n'est pas pertinent dans ce cas.
Les IPs renvoyées par leurs DNS varient dans le temps. Il aurait fallu à chaque fois faire une résolution DNS et tracerouter une IP obtenue à ce moment là.

Que ça passe à droite ou à gauche vers tel ou tel serveur et que ça change de temps en temps, c'est leur tambouille ; ce qui compte c'est que la résolution DNS du moment renvoie une IP joignable avec une bonne latence.
Ceci dépend entre autres du resolveur choisi ; si on utilise un DNS hors de son réseau on a peu de chance d'avoir la meilleure latence, et si on a monté son propre DNS qui n'utilise pas les resolveurs de son ISP, on risque la même chose.

Bref, le test n'est pas pertinent à la base.

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: vivien le 28 décembre 2016 à 19:25:39

J'ai compris que CloudFlare utilise l'anycast : tous les clients obtiennent donc la même IP, non ?

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: Symbol le 28 décembre 2016 à 20:17:28

Citation de: vivien le 28 décembre 2016 à 19:25:39

J'ai compris que CloudFlare utilise l'anycast : tous les clients obtiennent donc la même IP, non ?

En l'occurrence oui, mais les IPs renvoyées pour un site donné peuvent quand même parfois changer (même si les problématiques de DNS sont réellement applicables aux autres CDNs).
Ici on ne sait pas:

si une résolution vers le site renvoyait effectivement vers cette IP au moment des tests (puisqu'on ne connait pas le FQDN)
si une autre IP Cloudflare traceroutait depuis ce réseau en restant en France. A priori oui, sinon il y aurait eu d'autres sites impactés

Bref, soit le bloc concerné n'était plus routé sur la plateforme parisienne de Cloudflare pendant quelques jours (mais on ne peut pas dire que Cloudflare était HS à Paris en IPv4 pour autant) et c'est un problème de Cloudflare ; soit l'IP avait changé à ce moment là et il n'y avait en fait pas de problème.

D'où l'importance de faire une résolution DNS avant de tester, en matière de site CDNisé...

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: TroniQ89 le 29 décembre 2016 à 00:16:37

Je faisais les MTR et le smokeping depuis le DNS ;)

Donc sur le niveau résolution DNS ça n'a rien à voir.

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: Aize147 le 30 décembre 2016 à 23:09:20

Citation de: TroniQ89 le 28 décembre 2016 à 14:38:17

Hello,

Ce matin, tout est reparti normalement :

Start: Wed Dec 28 14:29:15 2016 HOST: clement-iMedia-S2883 Loss% Snt Last Avg Best Wrst StDev 1. AS4565 192.168.1.1 0.0% 10 0.4 0.3 0.3 0.4 0.0 2. AS??? 192.168.0.254 0.0% 10 0.5 0.5 0.5 0.6 0.0 3. AS12322 ava89-1-78-229-225-XXX.fbx.proxad.net 0.0% 10 22.0 21.9 21.4 22.2 0.0 4. AS12322 213.228.32.190 0.0% 10 23.1 23.2 22.5 23.9 0.0 5. AS12322 corbeil-6k-1-v800.intf.routers.proxad.net 0.0% 10 24.0 24.2 23.8 24.7 0.0 6. AS??? p11-crs16-1-be1114.intf.routers.proxad.net 0.0% 10 28.1 28.3 24.8 32.1 2.2 7. AS??? th2-9k-3-be1001.intf.routers.proxad.net 0.0% 10 25.0 25.2 24.0 29.3 1.5 8. AS174 be4204.ccr21.par04.atlas.cogentco.com 0.0% 10 25.6 24.8 24.3 25.6 0.0 9. AS174 be12309.ccr42.par01.atlas.cogentco.com 0.0% 10 25.2 25.0 24.4 25.8 0.0 10. AS174 be2140.agr21.par01.atlas.cogentco.com 0.0% 10 27.1 27.3 24.6 42.5 5.4 11. AS174 154.25.9.58 0.0% 10 25.9 25.8 25.0 26.2 0.0 12. AS174 149.11.0.126 0.0% 10 25.6 25.1 24.5 25.8 0.0 13. AS13335 104.24.118.221 0.0% 10 25.7 25.2 24.5 26.0 0.0

21ms FBX <-> DSLAM, Ok...

Start: Fri Dec 30 23:11:29 2016 HOST: OpenWrt Loss% Snt Last Avg Best Wrst StDev 1.|-- 10.166.179.1 0.0% 5 12.4 12.7 12.4 13.2 0.0 2.|-- 164.132.32.1 0.0% 5 13.6 13.7 12.1 16.3 1.5 3.|-- 222.ip-92-222-54.eu 0.0% 5 12.8 13.1 12.5 14.3 0.5 4.|-- 151.80.49.126 0.0% 5 12.3 13.3 12.3 15.4 1.1 5.|-- 10.23.74.10 0.0% 5 13.4 13.3 12.5 15.6 1.2 6.|-- po38.p19-7-6k.fr.eu 0.0% 5 13.0 13.0 12.5 13.5 0.0 7.|-- be99-1208.th2-1-a9.fr.eu 0.0% 5 14.5 13.4 12.9 14.5 0.5 8.|-- equinix-paris.cloudflare.com 0.0% 5 12.9 13.4 12.6 14.4 0.5 9.|-- 104.24.118.221 0.0% 5 13.5 13.3 12.7 13.8 0.0

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: TroniQ89 le 30 décembre 2016 à 23:48:53

Citation de: Aize147 le 30 décembre 2016 à 23:09:20

21ms FBX <-> DSLAM, Ok...

Start: Fri Dec 30 23:11:29 2016 HOST: OpenWrt Loss% Snt Last Avg Best Wrst StDev 1.|-- 10.166.179.1 0.0% 5 12.4 12.7 12.4 13.2 0.0 2.|-- 164.132.32.1 0.0% 5 13.6 13.7 12.1 16.3 1.5 3.|-- 222.ip-92-222-54.eu 0.0% 5 12.8 13.1 12.5 14.3 0.5 4.|-- 151.80.49.126 0.0% 5 12.3 13.3 12.3 15.4 1.1 5.|-- 10.23.74.10 0.0% 5 13.4 13.3 12.5 15.6 1.2 6.|-- po38.p19-7-6k.fr.eu 0.0% 5 13.0 13.0 12.5 13.5 0.0 7.|-- be99-1208.th2-1-a9.fr.eu 0.0% 5 14.5 13.4 12.9 14.5 0.5 8.|-- equinix-paris.cloudflare.com 0.0% 5 12.9 13.4 12.6 14.4 0.5 9.|-- 104.24.118.221 0.0% 5 13.5 13.3 12.7 13.8 0.0

J'ai désactivé le mode Fastpath pour la TV (3,2km du NRA)
Tout le monde n'a pas la fibre ;)

Pour ton trace, testé depuis OVH hosting, où ? Roubaix l'ICMP c'est par AMS-IX depuis mon ancienne machine (que je n'ai plus ^^)

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: Aize147 le 30 décembre 2016 à 23:53:03

Citation de: TroniQ89 le 30 décembre 2016 à 23:48:53

Pour ton trace, testé depuis OVH hosting, où ? Roubaix l'ICMP c'est par AMS-IX depuis mon ancienne machine (que je n'ai plus ^^)

Lien VPN agrégé (100Mb/s) sur Paris 19ème depuis Lyon.

C'est pour ça qu'il y a 12ms dès le premier saut.

Et je n'ai pas non plus la Fibre.

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: TroniQ89 le 30 décembre 2016 à 23:54:50

Ok ;)

Donc en effet logique que ce soit sur TH2.

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: TroniQ89 le 07 janvier 2017 à 00:07:36

Ca repart sur Bruxelles depuis quelques jours pour mon IP CloudFlare...

Depuis Onetsolutions AS48800:
Start: Sat Jan 7 00:03:32 2017 HOST: v001 Loss% Snt Last Avg Best Wrst StDev 1. AS4565 10.50.4.32 0.0% 10 0.1 0.1 0.1 0.2 0.0 2. AS??? ??? 100.0 10 0.0 0.0 0.0 0.0 0.0 3. AS??? ??? 100.0 10 0.0 0.0 0.0 0.0 0.0 4. AS??? te0-1-0-0.rcr21.par02.atlas.cogentco.com 0.0% 10 0.8 0.9 0.8 1.2 0.0 5. AS174 be2415.ccr41.par01.atlas.cogentco.com 0.0% 10 1.7 1.4 1.2 1.7 0.0 6. AS174 be2688.rcr21.bru01.atlas.cogentco.com 0.0% 10 7.1 7.3 6.9 9.0 0.6 7. AS174 149.11.170.82 0.0% 10 6.5 6.5 6.4 6.7 0.0 8. AS13335 104.24.119.221 0.0% 10 6.5 6.4 6.4 6.5 0.0

Depuis SFR, passage par Telia vers Bruxelles au lieu du France-IX :-/ :
1 2 ms 3 ms 1 ms 192.168.1.1 2 37 ms 36 ms 37 ms 1.54.153.XX.rev.sfr.net [77.153.54.1] 3 37 ms 37 ms 37 ms 173.74.65.86.rev.sfr.net [86.65.74.173] 4 37 ms 38 ms 38 ms 165.74.65.86.rev.sfr.net [86.65.74.165] 5 92 ms 158 ms 69 ms 253.65.66.86.rev.sfr.net [86.66.65.253] 6 66 ms 45 ms 45 ms 77.190.96.84.rev.sfr.net [84.96.190.77] 7 46 ms 44 ms 47 ms 74.220.96.84.rev.sfr.net [84.96.220.74] 8 46 ms 46 ms 46 ms 113.122.3.109.rev.sfr.net [109.3.122.113] 9 50 ms 54 ms 53 ms 110.132.17.93.rev.sfr.net [93.17.132.110] 10 48 ms 46 ms 49 ms 182.74.24.109.rev.sfr.net [109.24.74.182] 11 47 ms 47 ms 46 ms 102.244.5.109.rev.sfr.net [109.5.244.102] 12 45 ms 47 ms 45 ms prs-b2-link.telia.net [62.115.41.177] 13 85 ms 48 ms 47 ms prs-bb3-link.telia.net [62.115.122.4] 14 53 ms 59 ms 54 ms brx-b2-link.telia.net [62.115.112.145] 15 52 ms 53 ms 52 ms cloudflare-ic-315171-brx-b2.c.telia.net [62.115.41.70] 16 54 ms 52 ms 54 ms 104.24.118.221

Et pour d'autres ISPs/transit, c'est le même résultat que la dernière fois...
Je m'en suis aperçu car j'ai ressenti un ralentissement ce midi depuis SFR uniquement vers CloudFlare, en faisant les trace je me suis aperçu que le problème était revenu.

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: Symbol le 07 janvier 2017 à 03:04:56

En effet pour ma part je vois 104.24.112.0/20 (et 104.24.96.0/20) uniquement au NL-IX à Amsterdam ainsi qu'en transit derrière Telia et NLayer/GTT, et ce depuis 48h.
Alors que dans le même temps il y a plein d'autres préfixes Cloudflare (exemple: 104.24.0.0/20) visibles partout et notamment en France.

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: vivien le 07 janvier 2017 à 10:01:41

Tu nous donnes le nom de domaine pour qu'on réalise des tests ?

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: lamidu63 le 07 janvier 2017 à 10:09:38

Même problème personnellement, je passe par Bruxelles par SFR/Num-Telia-Cloudflare. Mon accès à Cloudflare est bien ralentit.

1 192.168.0.1 (192.168.0.1) 1.325 ms 0.923 ms 0.853 ms
2 10.96.32.1 (10.96.32.1) 6.707 ms 7.592 ms 10.107 ms
3 man1rj-ge-0-1-5.100.numericable.net (195.132.11.225) 8.093 ms 8.034 ms 7.718 ms
4 ip-95.net-80-236-7.static.numericable.fr (80.236.7.95) 11.131 ms 10.809 ms 11.239 ms
5 prs-b7-link.telia.net (213.248.84.229) 26.351 ms 26.678 ms 26.649 ms
6 prs-bb2-link.telia.net (62.115.120.30) 46.563 ms
prs-bb2-link.telia.net (62.115.121.70) 79.176 ms
prs-bb2-link.telia.net (62.115.120.32) 28.138 ms
7 brx-b2-link.telia.net (62.115.112.147) 33.665 ms
brx-b2-link.telia.net (62.115.112.145) 34.116 ms
brx-b2-link.telia.net (62.115.140.65) 34.600 ms
8 cloudflare-ic-315171-brx-b2.c.telia.net (62.115.41.70) 34.083 ms 33.525 ms 33.960 ms
9 104.24.109.27 (104.24.109.27) 28.463 ms 30.696 ms 27.634 ms

Lami'

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: TroniQ89 le 07 janvier 2017 à 13:13:11

Domaine: tutomatik.fr

Citation de: Symbol le 07 janvier 2017 à 03:04:56

En effet pour ma part je vois 104.24.112.0/20 (et 104.24.96.0/20) uniquement au NL-IX à Amsterdam ainsi qu'en transit derrière Telia et NLayer/GTT, et ce depuis 48h.
Alors que dans le même temps il y a plein d'autres préfixes Cloudflare (exemple: 104.24.0.0/20) visibles partout et notamment en France.

C'est très étrange...

Pour tester un dl : https://webmail.tutomatik.fr/1000Mb.test

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: vivien le 07 janvier 2017 à 15:43:42

Traceroute Orange IPv4 sur Le Mée-sur-Seine (77) : 12,9ms via Tata
$ mtr -b4zrwc100 webmail.tutomatik.fr Start: Sat Jan 7 15:36:27 2017 HOST: vivien5 Loss% Snt Last Avg Best Wrst StDev 1. AS4565 livebox.home (192.168.1.1) 0.0% 100 1.9 1.9 1.6 3.3 0.1 2. AS??? 80.10.233.189 0.0% 100 3.3 3.6 2.8 47.0 4.5 3. AS??? ae116-0.ncidf303.Aubervilliers.francetelecom.net (193.253.82.46) 0.0% 100 4.4 3.3 2.7 5.3 0.2 4. AS??? ae43-0.nista301.Paris.francetelecom.net (193.252.159.149) 0.0% 100 3.5 4.6 3.1 58.8 6.0 5. AS??? ae40-0.nimsr302.Paris.francetelecom.net (193.252.103.38) 0.0% 100 3.4 4.6 3.0 105.4 10.2 6. AS??? 193.252.137.78 0.0% 100 4.4 6.6 4.1 25.2 2.2 7. AS5511 hundredgige0-4-0-1.pastr2.Paris.opentransit.net (193.251.128.80) 0.0% 100 6.1 8.3 4.3 12.5 2.2 8. AS??? tatateleglobe-2.GW.opentransit.net (193.251.250.48) 0.0% 100 3.9 4.3 3.7 33.3 2.9 9. AS6453 if-ae-9-2.tcore2.FNM-Frankfurt.as6453.net (195.219.87.9) 95.0% 100 14.9 14.0 13.6 14.9 0.5 10. AS6453 if-ae-14-3.thar1.F2C-Frankfurt.as6453.net (195.219.87.88) 0.0% 100 13.2 16.7 13.0 106.7 14.0 11. AS6453 195.219.148.122 0.0% 100 13.3 13.6 13.0 23.7 1.3 12. AS13335 104.24.118.221 0.0% 100 12.9 14.1 12.9 97.1 8.4

Traceroute Orange IPv6 sur Le Mée-sur-Seine (77) : 10,3ms via Telia
$ mtr -b6zrwc100 webmail.tutomatik.fr Start: Sat Jan 7 15:36:39 2017 HOST: vivien5 Loss% Snt Last Avg Best Wrst StDev 1. AS3215 livebox.home 0.0% 100 3.2 2.2 1.6 4.9 0.3 2. AS3215 2a01cb08a00402020193025300770039.ipv6.abo.wanadoo.fr 0.0% 100 4.2 5.4 2.8 115.9 11.5 3. AS5511 2a01:cfc4:0:400::a 0.0% 100 4.8 5.5 3.6 116.7 11.4 4. AS??? ? ? 100.0 100 5. AS5511 telia.GW.opentransit.net (2001:688:0:4::be) 0.0% 100 13.0 12.8 10.6 111.0 10.2 6. AS1299 cloudflare-ic-306325-ldn-b3.c.telia.net (2001:2000:3080:a4b::2) 0.0% 100 12.9 11.8 10.6 21.0 1.6 7. AS13335 2400:cb00:2048:1::6818:76dd 0.0% 100 11.8 11.1 10.3 14.9 0.5

Traceroute Bouygues Telecom IPv4 sur Paris : 12,2ms via France-IX Marselle
$ mtr -b4zrwc100 webmail.tutomatik.fr Start: Sat Jan 7 15:38:22 2017 HOST: testdebit.info Loss% Snt Last Avg Best Wrst StDev 1. AS5410 89.84.127.62 0.0% 100 0.5 0.6 0.4 4.6 0.6 2. AS5410 1.la10.bsr01-th2.net.bbox.fr (212.194.171.94) 2.0% 100 0.4 0.4 0.4 0.8 0.0 3. AS5410 be15.cbr01-cro.net.bbox.fr (212.194.171.92) 0.0% 100 13.7 13.6 10.3 18.4 2.2 4. AS5410 be5.cbr01-lyo.net.bbox.fr (212.194.171.140) 0.0% 100 17.1 14.4 10.6 18.3 2.2 5. AS5410 la64.bsr01-aix.net.bbox.fr (212.194.171.153) 0.0% 100 10.4 10.4 10.4 10.7 0.0 6. AS??? ? ? 100.0 100 7. AS13335 104.24.118.221 0.0% 100 12.2 12.2 12.2 12.3 0.0

Traceroute Bouygues Telecom IPv6 sur Paris : 10,8ms via AMS-IX
$ mtr -b6zrwc100 webmail.tutomatik.fr Start: Sat Jan 7 15:40:29 2017 HOST: 5.testdebit.info Loss% Snt Last Avg Best Wrst StDev 1. AS5410 2001:860:f70b::1 0.0% 100 0.5 0.7 0.4 5.5 0.7 2. AS5410 2001:860:bbee:7b::1 0.0% 100 1.5 1.4 1.4 1.9 0.0 3. AS1200 ams-ix.as13335.net (2001:7f8:1::a501:3335:1) 0.0% 100 11.0 11.2 10.8 20.4 1.1 4. AS13335 2400:cb00:2048:1::6818:76dd 0.0% 100 11.0 11.0 10.8 11.5 0.0

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: vivien le 07 janvier 2017 à 15:50:00

Traceroute IPv4 Ikoula Reims (51) : 14,2ms (via France-IX Marseille)
$ mtr -b4zrwc100 webmail.tutomatik.fr Start: Sat Jan 7 15:37:06 2017 HOST: ikoula Loss% Snt Last Avg Best Wrst StDev 1. AS21409 213.246.63.2 0.0% 100 0.3 4.7 0.3 181.0 25.2 2. AS21409 po2.core8.ikdc1.ikoula.com (213.246.32.118) 0.0% 100 0.4 1.8 0.3 133.0 13.2 3. AS21409 eth-trunk14.core14.ikdc1.ikoula.com (213.246.50.145) 0.0% 100 1.2 23.8 0.9 411.5 74.9 4. AS21409 po2.core13.ikdc2.ikoula.com (213.246.50.170) 0.0% 100 4.3 8.2 3.8 172.3 23.7 5. AS21409 po3.core12.ikdc2.ikoula.com (213.246.32.62) 0.0% 100 4.1 8.2 3.9 185.7 22.7 6. AS21409 po1.core9.rb.ikoula.com (213.246.50.214) 0.0% 100 4.0 11.2 3.9 198.8 28.4 7. AS21409 po2.core11.th2.ikoula.com (213.246.32.125) 0.0% 100 3.9 14.8 3.7 226.9 38.8 8. AS8218 ge11-3-4.er1.rb.par.as8218.eu (83.167.52.29) 0.0% 100 3.7 4.1 3.6 29.4 2.8 9. AS8218 ae6.tcr1.itx.mrs.core.as8218.eu (83.167.56.163) 0.0% 100 14.3 14.8 14.1 40.4 2.9 10. AS??? cloudflare.mrs.franceix.net (37.49.232.29) 0.0% 100 15.3 14.9 14.6 17.4 0.4 11. AS13335 104.24.119.221 0.0% 100 14.3 14.2 14.2 14.3 0.0

Traceroute IPv6 Ikoula Reims (51) : 3,8ms (via France-IX Paris)
$ mtr -b6zrwc100 webmail.tutomatik.fr Start: Sat Jan 7 15:40:36 2017 HOST: ikoula Loss% Snt Last Avg Best Wrst StDev 1. AS21409 2a00:c70:1:213:246:63:0:1 0.0% 100 0.5 5.3 0.5 426.4 42.6 2. AS21409 2a00:c70::1:14 0.0% 100 1.1 25.5 0.9 443.4 79.1 3. AS21409 2a00:c70::1:13 0.0% 100 1.5 3.2 1.2 75.1 9.8 4. AS21409 2a00:c70::1:12 0.0% 100 1.5 3.9 1.3 96.1 13.3 5. AS8218 2001:1b48:2:103::11a 0.0% 100 3.8 7.3 3.6 182.0 21.4 6. AS??? cloudflare.par.franceix.net (2001:7f8:54::1:49) 0.0% 100 4.1 4.2 3.9 9.6 0.6 7. AS13335 2400:cb00:2048:1::6818:77dd 0.0% 100 3.9 3.9 3.8 4.0 0.0

Traceroute IPv4 Maxnod Ain (01) : 17,7ms (via IELO Paris + AMS-IX)
$ mtr -b4zrwc100 webmail.tutomatik.fr Start: Sat Jan 7 15:37:37 2017 HOST: lafibre Loss% Snt Last Avg Best Wrst StDev 1. AS43142 portevlan.adeli.biz (46.227.16.1) 0.0% 100 0.2 2.4 0.2 59.8 7.0 2. AS29075 sw1-le9lyon-ge-1-4.ix-customers-le9lyon.ielo.net (212.85.148.225) 0.0% 100 4.4 3.4 1.2 25.1 4.5 3. AS29075 te-2-3-frpar-th2-a9k1.rt.ielo.net (212.85.145.172) 0.0% 100 19.9 19.8 19.6 20.1 0.0 4. AS29075 te-8-1-frpar05-c6k1.rt.ielo.net (212.85.145.54) 0.0% 100 20.0 24.1 19.5 147.9 17.0 5. AS??? nlams-tcy2-c7k1.rt.ielo.net (185.96.186.46) 0.0% 100 19.5 23.0 19.4 42.5 6.1 6. AS1200 ams-ix.as13335.net (80.249.211.140) 0.0% 100 18.0 18.2 17.9 26.7 0.9 7. AS13335 104.24.119.221 0.0% 100 17.9 17.8 17.7 18.7 0.0

Traceroute IPv4 Maxnod Ain (01) : 5,9ms (via Equinix-IX Paris)
$ mtr -b6zrwc100 webmail.tutomatik.fr Start: Sat Jan 7 15:40:16 2017 HOST: lafibre Loss% Snt Last Avg Best Wrst StDev 1. AS43142 bgp1.adeli.biz (2a01:6e00:10:410::1) 0.0% 100 0.3 2.6 0.2 76.1 9.9 2. AS??? equinix-paris.cloudflare.com (2001:7f8:43::1:3335:1) 0.0% 100 6.1 6.1 5.9 6.6 0.0 3. AS13335 2400:cb00:2048:1::6818:76dd 0.0% 100 6.3 6.0 5.9 6.4 0.0

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: TroniQ89 le 07 janvier 2017 à 16:27:41

Test d'un téléchargement avec 10 connexions simultanées : Le téléchargement stagne à ~100kBps...
[ 4%] [0 1 2 3 4 5 6 7 8 9 ] [ 125,8KB/s] [ 2h09]
(j'ai réalisé le download avec 10 connexions avec axel et son affichage alternatif)

EDIT: Pardon j'ai fumé la moquette avec ma commande, je recommence le test avec 1 connexion :

[ 0%] [0 ] [ 186,8KB/s] [ 1h31]
Stagne à 186kBps... No comment.

Ces tests ont été effectués depuis la machine qui héberge le fichier, donc aller-retour Vélizy <=> CloudFlare Bruxelles.

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: vivien le 07 janvier 2017 à 16:39:28

Traceroute IPv4 OVH Gravelines (59) : 6,6ms (via AMS-IX)
# mtr -b4zrwc100 webmail.tutomatik.fr Start: Sat Jan 7 15:38:01 2017 HOST: ovh.testdebit.info Loss% Snt Last Avg Best Wrst StDev 1. AS16276 37.187.131.252 0.0% 100 36.6 13.6 0.8 79.7 16.7 2. AS16276 po109.gra-g2-a75.fr.eu (37.187.231.89) 0.0% 100 0.3 0.4 0.2 1.3 0.0 3. AS4565 10.95.33.10 0.0% 100 8.1 8.1 7.8 13.4 0.5 4. AS16276 be100-1112.ams-5-a9.nl.eu (213.251.128.67) 0.0% 100 6.8 6.8 6.3 9.3 0.3 5. AS1200 ams-ix.as13335.net (80.249.211.140) 0.0% 100 6.9 7.2 6.6 12.7 0.9 6. AS13335 104.24.118.221 0.0% 100 7.1 6.9 6.6 8.2 0.1

Traceroute IPv6 OVH Gravelines (59) : 4,7ms (via Equinix-Paris)
# mtr -b6zrwc100 webmail.tutomatik.fr Start: Sat Jan 7 15:40:45 2017 HOST: ovh.testdebit.info Loss% Snt Last Avg Best Wrst StDev 1. AS16276 2001:41d0:a:41ff:ff:ff:ff:fe 13.0% 100 39.1 8.9 0.8 39.4 9.8 2. AS16276 po109.gra-g2-a75.fr.eu (2001:41d0::8ad) 0.0% 100 0.7 0.4 0.3 0.7 0.0 3. AS16276 be10-20.gra-g2-a9.fr.eu (2001:41d0::234) 7.0% 100 2.4 4.9 0.8 42.9 7.3 4. AS16276 be99-1191.th2-1-a9.fr.eu (2001:41d0::28f) 2.0% 100 4.8 5.0 4.7 5.6 0.0 5. AS??? equinix-paris.cloudflare.com (2001:7f8:43::1:3335:1) 0.0% 100 4.8 4.9 4.8 5.7 0.0 6. AS13335 2400:cb00:2048:1::6818:77dd 0.0% 100 4.8 4.8 4.7 5.1 0.0

Il y a visiblement un problème en IPv4 uniquement, vu qu'avec IPv6 on va sur Paris.

Je pense qu'il y a suffisamment pour ouvrir un incident.

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: vivien le 07 janvier 2017 à 16:44:07

Pour le test de débit, impossible d'utiliser wget, si vous avez une solution en ligne de commande sous linux...

wget -O /dev/null https://webmail.tutomatik.fr/1000Mb.test --2017-01-07 16:42:31-- https://webmail.tutomatik.fr/1000Mb.test Résolution de webmail.tutomatik.fr (webmail.tutomatik.fr)… 2400:cb00:2048:1::6818:76dd, 2400:cb00:2048:1::6818:77dd, 104.24.119.221, ... Connexion à webmail.tutomatik.fr (webmail.tutomatik.fr)|2400:cb00:2048:1::6818:76dd|:443… connecté. requête HTTP transmise, en attente de la réponse… 503 Service Temporarily Unavailable 2017-01-07 16:42:31 erreur 503 : Service Temporarily Unavailable.

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: TroniQ89 le 07 janvier 2017 à 19:41:46

Citation de: vivien le 07 janvier 2017 à 16:44:07

Pour le test de débit, impossible d'utiliser wget, si vous avez une solution en ligne de commande sous linux...

wget -O /dev/null https://webmail.tutomatik.fr/1000Mb.test --2017-01-07 16:42:31-- https://webmail.tutomatik.fr/1000Mb.test Résolution de webmail.tutomatik.fr (webmail.tutomatik.fr)… 2400:cb00:2048:1::6818:76dd, 2400:cb00:2048:1::6818:77dd, 104.24.119.221, ... Connexion à webmail.tutomatik.fr (webmail.tutomatik.fr)|2400:cb00:2048:1::6818:76dd|:443… connecté. requête HTTP transmise, en attente de la réponse… 503 Service Temporarily Unavailable 2017-01-07 16:42:31 erreur 503 : Service Temporarily Unavailable.

Très bizarre, c'est probablement à cause de la sécurité anti-bots...
Tu peux m'envoyer l'ip que tu as essayé en MP pour que je la whitelist ?

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: TroniQ89 le 07 janvier 2017 à 19:58:40

Citation de: vivien le 07 janvier 2017 à 16:39:28

Traceroute IPv4 OVH Gravelines (59) : 6,6ms (via AMS-IX)
# mtr -b4zrwc100 webmail.tutomatik.fr Start: Sat Jan 7 15:38:01 2017 HOST: ovh.testdebit.info Loss% Snt Last Avg Best Wrst StDev 1. AS16276 37.187.131.252 0.0% 100 36.6 13.6 0.8 79.7 16.7 2. AS16276 po109.gra-g2-a75.fr.eu (37.187.231.89) 0.0% 100 0.3 0.4 0.2 1.3 0.0 3. AS4565 10.95.33.10 0.0% 100 8.1 8.1 7.8 13.4 0.5 4. AS16276 be100-1112.ams-5-a9.nl.eu (213.251.128.67) 0.0% 100 6.8 6.8 6.3 9.3 0.3 5. AS1200 ams-ix.as13335.net (80.249.211.140) 0.0% 100 6.9 7.2 6.6 12.7 0.9 6. AS13335 104.24.118.221 0.0% 100 7.1 6.9 6.6 8.2 0.1

Traceroute IPv6 OVH Gravelines (59) : 4,7ms (via Equinix-Paris)
# mtr -b6zrwc100 webmail.tutomatik.fr Start: Sat Jan 7 15:40:45 2017 HOST: ovh.testdebit.info Loss% Snt Last Avg Best Wrst StDev 1. AS16276 2001:41d0:a:41ff:ff:ff:ff:fe 13.0% 100 39.1 8.9 0.8 39.4 9.8 2. AS16276 po109.gra-g2-a75.fr.eu (2001:41d0::8ad) 0.0% 100 0.7 0.4 0.3 0.7 0.0 3. AS16276 be10-20.gra-g2-a9.fr.eu (2001:41d0::234) 7.0% 100 2.4 4.9 0.8 42.9 7.3 4. AS16276 be99-1191.th2-1-a9.fr.eu (2001:41d0::28f) 2.0% 100 4.8 5.0 4.7 5.6 0.0 5. AS??? equinix-paris.cloudflare.com (2001:7f8:43::1:3335:1) 0.0% 100 4.8 4.9 4.8 5.7 0.0 6. AS13335 2400:cb00:2048:1::6818:77dd 0.0% 100 4.8 4.8 4.7 5.1 0.0

Il y a visiblement un problème en IPv4 uniquement, vu qu'avec IPv6 on va sur Paris.

Je pense qu'il y a suffisamment pour ouvrir un incident.

Pour l'incident, j'ai envoyé un ticket la première fois que ce problème est apparu, le problème a été résolu quelques jours avant la réponse, que voici (j'ai cut l'entête du ticket) :

Citer

Thank you for contacting Cloudflare Support. I am very glad that everything has resolved, in the future if you see a similar routing or any other network issues, you can refer to the status page, https://www.cloudflarestatus.com/ That will show if we are having locations down for maintenance or other issues.

Alternatively you would want to check into the status of the ISPs that are involved in the change and it's possible they could have a temporary network outage that is causing this.

Pour les non-anglophones :

Citer

Merci d'avoir contacté le support CloudFlare. Je suis heureux que tout ait été résolu, si vous rencontrez un problème de routage similaire ou un autre incident réseau dans le futur, vous pouvez vous rendre sur la page d'état ; cela vous montrera si des points de présences sont en maintenance ou en panne.

Autrement, vous devriez vérifier l'état des FAIs qui sont impliqués dans ces changements, il est possible qu'ils aient un incident réseau temporaire qui causerait cela.

J'avais joint au premier ticket un fichier texte contenant tous les traceroutes que j'avais fait et que vous m'avez fourni (merci à tous !), et un graphe smokeping montrant la hausse du ping et du léger packet loss.

J'ai ré-envoyé un ticket dans la nuit, pas encore de réponse (priorité aux offres payantes), que voici (j'avais prévenu dans le 1er ticket que j'étais naze niveau écriture de lettres en anglais ^^) :

Citer

Hi,

Since ~2 days, the problem is here again : All IPv4 traffic with my CloudFlare IP is going to Brussels or somewhere else, but doesn't use Paris location.
(The traceroutes in the attachment I sent ~1 week ago are the same, all ISPs and IP transits don't use traffic from Paris but from Brussels, Frankfurt, Marseille...)

The problem is only for my CloudFlare cache IPs : 104.24.119.221 and 104.24.118.221
But for example if I traceroute to cloudflare.com, it goes directly to Paris datacenter.

Thank you a lot!

Soit en français :

Citer

Depuis environ 2 jours, le problème est de nouveau présent : Tout le trafic IPv4 depuis/vers mon IP CloudFlare va à Bruxelles ou autre part, mais n'utilise pas le point de présence situé à Paris.
(Les traceroutes dans le fichier joint il y a environ une semaine sont identiques, tous les FAIs et transitaires IPs utilisent un point de présence autre que Paris: Bruxelles, Marseille, Francfort...)

Le problème est uniquement présent pour mes IPs 104.24.119.221 et 104.24.118.221
Mais si, par exemple, j'effectue un traceroute vers cloudflare.com, le trafic part directement au datacenter de Paris.

Merci

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: TroniQ89 le 08 janvier 2017 à 01:09:26

@vivien MP envoyé.

J'ai essayé de faire des requêtes bgp depuis différentes Looking glass, mais vu que je comprends pas trop le BGP...

Telia Paris v4
104.24.112.0/20 *[BGP/170] 3d 07:54:58, localpref 200, from 62.115.128.60 AS path: 13335 13335 13335 I, validation-state: unverified > to 213.155.135.190 via ae0.0 to 213.155.135.192 via ae1.0 to 62.115.122.4 via ae11.0 to 213.155.135.36 via ae12.0 to 213.155.135.38 via ae13.0 to 62.115.140.36 via ae19.0 to 213.155.135.194 via ae2.0 to 62.115.140.38 via ae20.0 to 62.115.140.202 via ae21.0 to 62.115.140.88 via ae22.0 to 62.115.122.6 via ae27.0 to 62.115.122.8 via ae28.0 to 62.115.122.10 via ae29.0 to 213.155.135.196 via ae3.0 to 213.155.135.198 via ae4.0 to 213.155.135.200 via ae5.0 to 62.115.122.0 via ae6.0 to 62.115.122.2 via ae7.0 [BGP/170] 3d 07:54:58, localpref 200, from 213.248.64.254 AS path: 13335 13335 13335 I, validation-state: unverified > to 213.155.135.190 via ae0.0 to 213.155.135.192 via ae1.0 to 62.115.122.4 via ae11.0 to 213.155.135.36 via ae12.0 to 213.155.135.38 via ae13.0 to 62.115.140.36 via ae19.0 to 213.155.135.194 via ae2.0 to 62.115.140.38 via ae20.0 to 62.115.140.202 via ae21.0 to 62.115.140.88 via ae22.0 to 62.115.122.6 via ae27.0 to 62.115.122.8 via ae28.0 to 62.115.122.10 via ae29.0 to 213.155.135.196 via ae3.0 to 213.155.135.198 via ae4.0 to 213.155.135.200 via ae5.0 to 62.115.122.0 via ae6.0 to 62.115.122.2 via ae7.0 [BGP/170] 3d 07:54:58, MED 0, localpref 150 AS path: 3257 4436 13335 13335 13335 I, validation-state: unverified > to 213.248.81.30 via ae8.0

Telia Paris v6
LG cassée :-/

TATA Paris v4:
BGP routing table entry for 104.24.112.0/20 Bestpath Modifiers: deterministic-med Paths: (2 available, best #1) Multipath: eBGP 13335 13335 13335 13335, (aggregated by 13335 1.84.158.162.in-addr.arpa has no PTR record) f2c-thar1. (metric ) from pvu-tcore1. (66.110.10.90) Origin IGP, valid, internal, best Community: Originator: 66.110.11.99 13335 13335 13335 13335, (aggregated by 13335 1.84.158.162.in-addr.arpa has no PTR record) f2c-thar1. (metric ) from pye-tcore1. (66.110.10.96) Origin IGP, valid, internal Community: Originator: 66.110.11.99

TATA Paris v6
Cassée aussi...

Je sais pas si il faut faire quelque chose de spécial pour que le bgp marche sur les looking glass en v6...

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: Symbol le 08 janvier 2017 à 01:41:42

Les LG des tier1: pas forcèment pertinent dans ce contexte, il faut plutôt des réseaux qui peerent à Paris et Amsterdam avec Cloudflare, pour bien illustrer la différence d'annonces.

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: TroniQ89 le 08 janvier 2017 à 01:46:00

Je ne connais pas de petit opérateur qui a une LG avec bgp ...

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: Symbol le 08 janvier 2017 à 01:52:32

Citation de: TroniQ89 le 08 janvier 2017 à 01:46:00

Je ne connais pas de petit opérateur qui a une LG avec bgp ...

Tu peux commencer par celui de IELO: http://as-ielo.net/lg

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: TroniQ89 le 08 janvier 2017 à 02:04:48

Merci !

Depuis IELO EQX-PA3:
Sun Jan 8 00:58:45.793 UTC RP/0/RSP0/CPU0:frpar-eqx3-a9k1#show bgp ipv4 unicast 104.24.118.221 Sun Jan 8 00:58:46.028 UTC BGP routing table entry for 104.24.112.0/20 Versions: Process bRIB/RIB SendTblVer Speaker 1704142846 1704142846 Last Modified: Jun 24 22:52:05.661 for 28w1d Paths: (7 available, best #7) Advertised to update-groups (with more than one peer): 0.7 0.9 0.23 Advertised to peers (in unique update groups): 178.248.237.29 212.85.148.38 Path #1: Received by speaker 0 Not advertised to any peer 6453 13335 13335 13335 13335, (aggregated by 13335 162.158.84.1) 80.231.154.181 from 80.231.154.181 (66.110.10.96) Origin IGP, metric 190, localpref 90, valid, external, group-best, import suspect Received Path ID 0, Local Path ID 0, version 0 Community: 6453:50 6453:2000 6453:2300 6453:2304 29075:7550 65009:3303 65009:4134 65009:4837 Origin-AS validity: not-found Path #2: Received by speaker 0 Not advertised to any peer 6453 13335 13335 13335 13335, (aggregated by 13335 162.158.84.1), (received-only) 80.231.154.181 from 80.231.154.181 (66.110.10.96) Origin IGP, localpref 50, valid, external, import suspect Received Path ID 0, Local Path ID 0, version 0 Community: 6453:50 6453:2000 6453:2300 6453:2304 65009:3303 65009:4134 65009:4837 Origin-AS validity: not-found Path #3: Received by speaker 0 Not advertised to any peer 5511 6453 13335 13335 13335 13335, (aggregated by 13335 162.158.84.1) 81.52.188.237 from 81.52.188.237 (193.251.245.10) Origin IGP, metric 190, localpref 90, valid, external, group-best, import suspect Received Path ID 0, Local Path ID 0, version 0 Community: 5511:502 5511:666 5511:710 5511:5511 29075:7100 Origin-AS validity: not-found Path #4: Received by speaker 0 Not advertised to any peer 5511 6453 13335 13335 13335 13335, (aggregated by 13335 162.158.84.1), (received-only) 81.52.188.237 from 81.52.188.237 (193.251.245.10) Origin IGP, localpref 50, valid, external, import suspect Received Path ID 0, Local Path ID 0, version 0 Community: 5511:502 5511:666 5511:710 5511:5511 Origin-AS validity: not-found Path #5: Received by speaker 0 Not advertised to any peer 174 13335 13335 13335 13335 13335, (aggregated by 13335 162.158.232.1) 149.6.161.129 from 149.6.161.129 (154.26.32.120) Origin IGP, metric 190, localpref 90, valid, external, group-best, import suspect Received Path ID 0, Local Path ID 0, version 0 Community: 174:21101 174:22002 29075:7500 Origin-AS validity: not-found Path #6: Received by speaker 0 Not advertised to any peer 174 13335 13335 13335 13335 13335, (aggregated by 13335 162.158.232.1), (received-only) 149.6.161.129 from 149.6.161.129 (154.26.32.120) Origin IGP, metric 11021, localpref 50, valid, external, import suspect Received Path ID 0, Local Path ID 0, version 0 Community: 174:21101 174:22002 Origin-AS validity: not-found Path #7: Received by speaker 0 Advertised to update-groups (with more than one peer): 0.7 0.9 0.23 Advertised to peers (in unique update groups): 178.248.237.29 212.85.148.38 13335 13335 13335, (aggregated by 13335 141.101.65.1) 80.249.211.140 (metric 1120) from 185.96.187.244 (185.96.187.244) Origin IGP, metric 100, localpref 90, valid, internal, best, group-best, import-candidate, import suspect Received Path ID 0, Local Path ID 1, version 1704142846 Community: 29075:6650

Depuis IELO EQX-PA3 vers cloudflare.com :
Sun Jan 8 01:02:24.638 UTC RP/0/RSP0/CPU0:frpar-eqx3-a9k1#show bgp ipv4 unicast 198.41.215.162 Sun Jan 8 01:02:24.868 UTC BGP routing table entry for 198.41.214.0/23 Versions: Process bRIB/RIB SendTblVer Speaker 1704151626 1704151626 Last Modified: Jun 24 22:56:46.662 for 28w1d Paths: (10 available, best #8) Advertised to update-groups (with more than one peer): 0.7 0.8 0.9 0.23 Advertised to peers (in unique update groups): 178.248.237.29 212.85.148.38 Path #1: Received by speaker 0 Not advertised to any peer 6453 13335 13335 13335, (aggregated by 13335 141.101.67.1) 80.231.154.181 from 80.231.154.181 (66.110.10.96) Origin IGP, metric 190, localpref 90, valid, external, group-best Received Path ID 0, Local Path ID 0, version 0 Community: 6453:50 6453:2000 6453:2200 6453:2203 29075:7550 65009:4134 65009:4837 Origin-AS validity: not-found Path #2: Received by speaker 0 Not advertised to any peer 6453 13335 13335 13335, (aggregated by 13335 141.101.67.1), (received-only) 80.231.154.181 from 80.231.154.181 (66.110.10.96) Origin IGP, localpref 50, valid, external Received Path ID 0, Local Path ID 0, version 0 Community: 6453:50 6453:2000 6453:2200 6453:2203 65009:4134 65009:4837 Origin-AS validity: not-found Path #3: Received by speaker 0 Not advertised to any peer 5511 6453 13335 13335 13335, (aggregated by 13335 141.101.67.1) 81.52.188.237 from 81.52.188.237 (193.251.245.10) Origin IGP, metric 190, localpref 90, valid, external, group-best Received Path ID 0, Local Path ID 0, version 0 Community: 5511:502 5511:666 5511:710 5511:5511 29075:7100 Origin-AS validity: not-found Path #4: Received by speaker 0 Not advertised to any peer 5511 6453 13335 13335 13335, (aggregated by 13335 141.101.67.1), (received-only) 81.52.188.237 from 81.52.188.237 (193.251.245.10) Origin IGP, localpref 50, valid, external Received Path ID 0, Local Path ID 0, version 0 Community: 5511:502 5511:666 5511:710 5511:5511 Origin-AS validity: not-found Path #5: Received by speaker 0 Not advertised to any peer 174 13335 13335 13335, (aggregated by 13335 141.101.67.1) 149.6.161.129 from 149.6.161.129 (154.26.32.120) Origin IGP, metric 190, localpref 90, valid, external, group-best Received Path ID 0, Local Path ID 0, version 0 Community: 174:21101 174:22008 29075:7500 Origin-AS validity: not-found Path #6: Received by speaker 0 Not advertised to any peer 174 13335 13335 13335, (aggregated by 13335 141.101.67.1), (received-only) 149.6.161.129 from 149.6.161.129 (154.26.32.120) Origin IGP, metric 2020, localpref 50, valid, external Received Path ID 0, Local Path ID 0, version 0 Community: 174:21101 174:22008 Origin-AS validity: not-found Path #7: Received by speaker 0 Not advertised to any peer 13335 13335, (aggregated by 13335 141.101.65.1) 80.249.211.140 (metric 1120) from 185.96.187.244 (185.96.187.244) Origin IGP, metric 100, localpref 90, valid, internal, import-candidate Received Path ID 0, Local Path ID 0, version 0 Community: 29075:6650 Path #8: Received by speaker 0 Advertised to update-groups (with more than one peer): 0.7 0.8 0.9 0.23 Advertised to peers (in unique update groups): 178.248.237.29 212.85.148.38 13335 13335, (aggregated by 13335 141.101.67.1) 195.42.144.143 from 195.42.144.143 (141.101.67.1) Origin IGP, metric 100, localpref 90, valid, external, best, group-best, import-candidate Received Path ID 0, Local Path ID 1, version 1704151626 Community: 13335:10019 13335:19020 13335:20000 13335:20500 13335:20530 29075:6550 Origin-AS validity: not-found Path #9: Received by speaker 0 Not advertised to any peer 13335 13335, (aggregated by 13335 141.101.67.1), (received-only) 195.42.144.143 from 195.42.144.143 (141.101.67.1) Origin IGP, localpref 50, valid, external Received Path ID 0, Local Path ID 0, version 0 Community: 13335:10019 13335:19020 13335:20000 13335:20500 13335:20530 Origin-AS validity: not-found Path #10: Received by speaker 0 Not advertised to any peer 13335 13335, (aggregated by 13335 141.101.67.1) 37.49.237.49 (metric 120) from 212.85.145.241 (212.85.145.241) Origin IGP, metric 100, localpref 90, valid, internal, import-candidate Received Path ID 0, Local Path ID 0, version 0 Community: 13335:10019 13335:19020 13335:20000 13335:20500 13335:20530 29075:6350

Je vois pas grande différences ...
Je note juste que sur la route qui serait la plus "directe" (AS13335 directement), la Local Pref est 0 pour mon domaine et 1 pour CloudFlare.com

Je ne sais pas si ça a quelque chose à voir (j'y connais rien en BGP ^^)

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: Symbol le 08 janvier 2017 à 04:33:11

Citation de: TroniQ89 le 08 janvier 2017 à 02:04:48

Je vois pas grande différences ...

Bah si...

Citation de: TroniQ89 le 08 janvier 2017 à 02:04:48

Je note juste que sur la route qui serait la plus "directe" (AS13335 directement), la Local Pref est 0 pour mon domaine et 1 pour CloudFlare.com

Pas du tout. C'est d'ailleurs un choix d'ingénierie très discutable de Ielo qui met les transits et les peerings à la même localpref de 90.

Pour le préfixe à problème (104.24.112.0/20) on voit notamment cet unique chemin en peering (en retirant toutes les routes vers les transits de Ielo - Cogent, Tata et Opentransit):
BGP routing table entry for 104.24.112.0/20 Paths: (7 available, best #7) Path #7: Received by speaker 0 13335 13335 13335, (aggregated by 13335 141.101.65.1) 80.249.211.140 (metric 1120) from 185.96.187.244 (185.96.187.244) Origin IGP, metric 100, localpref 90, valid, internal, best, group-best, import-candidate, import suspect

Si le choix d'ingénierie de Ielo de ne pas faire de next-hop self est aussi très discutable, il est vrai qu'il nous est utile dans le cadre du looking-glass, car on voit directement le next-hop final et donc un simple reverse DNS suffit pour voir où ça va (pas besoin d'aller regarder les communautés BGP).

Ici on a: 80.249.211.140 = ams-ix.as13335.net

En revanche pour un préfixe qui fonctionne comme il faut (ici 198.41.214.0/23), on a en peering (et en virant les received-only, redondantes):

BGP routing table entry for 198.41.214.0/23 Paths: (10 available, best #8) [...] Path #7: Received by speaker 0 13335 13335, (aggregated by 13335 141.101.65.1) 80.249.211.140 (metric 1120) from 185.96.187.244 (185.96.187.244) Origin IGP, metric 100, localpref 90, valid, internal, import-candidate Path #8: Received by speaker 0 13335 13335, (aggregated by 13335 141.101.67.1) 195.42.144.143 from 195.42.144.143 (141.101.67.1) Origin IGP, metric 100, localpref 90, valid, external, best, group-best, import-candidate Path #10: Received by speaker 0 13335 13335, (aggregated by 13335 141.101.67.1) 37.49.237.49 (metric 120) from 212.85.145.241 (212.85.145.241) Origin IGP, metric 100, localpref 90, valid, internal, import-candidate

Avec:

Path 7: 80.249.211.140 = ams-ix.as13335.net
Path 8: 195.42.144.143 = equinix-paris.cloudflare.com (best)
Path 10: 37.49.237.49 = cloudflare.par.franceix.net

Bref, on a bien des routes annoncées partout d'un coté et pas annoncées partout de l'autre, et c'est clairement visible avec Ielo qui peere à Paris et à Amsterdam avec Cloudflare.

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: vivien le 08 janvier 2017 à 07:38:20

Voici un graphe SmokePing depuis Adeli, dans l'Ain.

IPv4 : https://lafibre.info/dns/smokeping.cgi?target=fr.tutomatik4
IPv6 : https://lafibre.info/dns/smokeping.cgi?target=fr.tutomatik6
Looking glass : https://lg.adeli.biz/

Adeli peer sur 6 GIX :
- PARIS : France-IX Paris et Equinix Internet Exchange Paris
- AMSTERDAM : AMS-IX
- LYON : LyonIX
- GENÈVE : CIXP
- TURIN : TopIX

Si tu penses que cela impacte le débit, on pourrait faire un graphe avec le temps de téléchargement d'un fichier de 100ko (fichier à récupérer ici : http://ipv4v6.lafibre.info/100k.iso )

Ce fichier serait utilisé à la même fréquence que le ping ICMP : 5 téléchargements toutes les 5 minutes, soit 1440 téléchargement par jour => 144 Mo d'utilisé par jour par protocole => 288 Mo / jour consommé avec IPv4+IPv6.

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: TroniQ89 le 08 janvier 2017 à 12:36:55

Voici pour le graphe curl 100k depuis ma machine ONET vers Adeli, pour "innocenter" ma machine:

(http://i.imgur.com/olQLdt3.png)

URL du fichier derrière CloudFlare :
https://webmail.tutomatik.fr/100k.iso et en HTTP: http://webmail.tutomatik.fr/100k.iso

Graphe du Curl depuis ma machine ONET pour télécharger le fichier derrière CloudFlare:
En HTTPS :
(http://i.imgur.com/i8b87y4.png)

En HTTP :
(http://i.imgur.com/9jxAgXf.png)

Les ralentissements se sentaient surtout depuis SFR.

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: FloBaoti le 09 janvier 2017 à 21:49:25

Citation de: vivien le 07 janvier 2017 à 16:44:07

Pour le test de débit, impossible d'utiliser wget, si vous avez une solution en ligne de commande sous linux...

wget -O /dev/null https://webmail.tutomatik.fr/1000Mb.test --2017-01-07 16:42:31-- https://webmail.tutomatik.fr/1000Mb.test Résolution de webmail.tutomatik.fr (webmail.tutomatik.fr)… 2400:cb00:2048:1::6818:76dd, 2400:cb00:2048:1::6818:77dd, 104.24.119.221, ... Connexion à webmail.tutomatik.fr (webmail.tutomatik.fr)|2400:cb00:2048:1::6818:76dd|:443… connecté. requête HTTP transmise, en attente de la réponse… 503 Service Temporarily Unavailable 2017-01-07 16:42:31 erreur 503 : Service Temporarily Unavailable.

Petit hors sujet, il faut ouvrir le site dans un navigateur "normal", que Cloudflare vérifie tout ça, et récupérer les cookies pour les donner à wget :

Code: [Sélectionner]

wget https://webmail.tutomatik.fr/1000Mb.test -O /dev/null -U "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:50.0) Gecko/20100101 Firefox/50.0" --header="Accept: text/html" --header="Cookie: __cfduid=d70ca4f317104861e07c40ac8a30ef7b61483994508; cf_clearance=44dc4cf6d61f835a90e3db499eceda38f1330057-1483994512-10800;" -np

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: TroniQ89 le 10 janvier 2017 à 18:06:01

Citation de: FloBaoti le 09 janvier 2017 à 21:49:25

Petit hors sujet, il faut ouvrir le site dans un navigateur "normal", que Cloudflare vérifie tout ça, et récupérer les cookies pour les donner à wget :

Code: [Sélectionner]
wget https://webmail.tutomatik.fr/1000Mb.test -O /dev/null -U "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:50.0) Gecko/20100101 Firefox/50.0" --header="Accept: text/html" --header="Cookie: __cfduid=d70ca4f317104861e07c40ac8a30ef7b61483994508; cf_clearance=44dc4cf6d61f835a90e3db499eceda38f1330057-1483994512-10800;" -np

Yes, je savais qu'on pouvait résoudre ce soucis mais j'ai pas vraiment cherché ^^'

Problème toujours présent, très réactif le support CloudFlare !

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: vivien le 11 janvier 2017 à 09:16:19

Pour les fichiers de 100k que j'ai proposé pour tester l'impact débit, j'ai un souci : je ne sais pas comment forcer un test en IPv4 avec probe = EchoPingHttp ou probe = EchoPingHttps

Si il y a de l'IPv6, cela part en IPv6 donc sur Paris.

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: TroniQ89 le 11 janvier 2017 à 22:33:44

Faut rajouter le param

Code: [Sélectionner]

ipversion = 4
A ton probe.

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: vivien le 12 janvier 2017 à 22:25:14

Il me semble qu'il est impossible de faire un transfert en http (cela redirige vers https, comme recommandé)

ICMP IPv4 : https://lafibre.info/dns/smokeping.cgi?target=fr.tutomatik4
ICMP IPv6 : https://lafibre.info/dns/smokeping.cgi?target=fr.tutomatik6
Fichier 100Ko en https IPv4 : https://lafibre.info/dns/smokeping.cgi?target=fr.100ktutomatik4
Fichier 100Ko en https IPv6 : https://lafibre.info/dns/smokeping.cgi?target=fr.100ktutomatik6

Il sera peut-être pertinent de prendre un fichier de 1 Mo et de ne faire qu'un seul téléchargement par période de 5 minutes, je ne me souvenait pas qu'il était possible de modifier pour chaque test cette valeur.

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: TroniQ89 le 13 janvier 2017 à 11:52:54

Citation de: vivien le 12 janvier 2017 à 22:25:14

Il me semble qu'il est impossible de faire un transfert en http (cela redirige vers https, comme recommandé)

ICMP IPv4 : https://lafibre.info/dns/smokeping.cgi?target=fr.tutomatik4
ICMP IPv6 : https://lafibre.info/dns/smokeping.cgi?target=fr.tutomatik6
Fichier 100Ko en https IPv4 : https://lafibre.info/dns/smokeping.cgi?target=fr.100ktutomatik4
Fichier 100Ko en https IPv6 : https://lafibre.info/dns/smokeping.cgi?target=fr.100ktutomatik6

Il sera peut-être pertinent de prendre un fichier de 1 Mo et de ne faire qu'un seul téléchargement par période de 5 minutes, je ne me souvenait pas qu'il était possible de modifier pour chaque test cette valeur.

Hello,
Je testerais ça chez moi ce soir.

J'ai eu une réponse de CloudFlare, en disant que c'était "très bizarre", et me demandant si le problème était toujours présent aujourd'hui.
Je leur répondrais ce soir, avec qqs traceroutes que vous m'avez fourni (merci!)

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: TroniQ89 le 13 janvier 2017 à 21:19:15

Hello,

Je ne suis pas chez moi ce soir (changement de programme ^^')
J'ai eu une réponse de l'ingénieur Support ; il a envoyé mon cas aux net admins.

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: TroniQ89 le 14 janvier 2017 à 09:44:56

On m'a demande deffectuer des tests sur leurs URL de test, ils investiguent en interne...

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: vivien le 14 janvier 2017 à 16:46:08

Il y a une url de test publique ?

Si oui, je suis intéressé par un partage.

Tu sais pourquoi mes deux tests ne fonctionnent pas ?
https://lafibre.info/dns/smokeping.cgi?target=fr.100ktutomatik4
https://lafibre.info/dns/smokeping.cgi?target=fr.100ktutomatik6

La conf associée :

Code: [Sélectionner]

++ 100ktutomatik4
probe = EchoPingHttps
menu = Cloudflare: https 100ko IPv4
title = Cloudflare: Téléchargement https 100ko IPv4
host = webmail.tutomatik.fr
ipversion = 4
url = https://webmail.tutomatik.fr/100k.iso

++ 100ktutomatik6
probe = EchoPingHttps
menu = Cloudflare: https 100ko IPv6
title = Cloudflare: Téléchargement https 100ko IPv6
host = webmail.tutomatik.fr
ipversion = 6
url = https://webmail.tutomatik.fr/100k.iso

J'ai aussi essayé en mettant utl = /100k.iso sans sucés.

Avec wget, cela fonctionne :

Code: [Sélectionner]

$ wget -O /dev/null -4 https://webmail.tutomatik.fr/100k.iso
--2017-01-14 16:47:47--  https://webmail.tutomatik.fr/100k.iso
Résolution de webmail.tutomatik.fr (webmail.tutomatik.fr)… 104.24.119.221, 104.24.118.221
Connexion à webmail.tutomatik.fr (webmail.tutomatik.fr)|104.24.119.221|:443… connecté.
requête HTTP transmise, en attente de la réponse… 200 OK
Taille : 100000 (98K) [application/octet-stream]
Enregistre : «/dev/null»

100%[======================================>] 100 000     --.-K/s   ds 0,06s   

2017-01-14 16:47:47 (1,65 MB/s) - «/dev/null» enregistré [100000/100000]

$ wget -O /dev/null -6 https://webmail.tutomatik.fr/100k.iso
--2017-01-14 16:47:53--  https://webmail.tutomatik.fr/100k.iso
Résolution de webmail.tutomatik.fr (webmail.tutomatik.fr)… 2400:cb00:2048:1::6818:76dd, 2400:cb00:2048:1::6818:77dd
Connexion à webmail.tutomatik.fr (webmail.tutomatik.fr)|2400:cb00:2048:1::6818:76dd|:443… connecté.
requête HTTP transmise, en attente de la réponse… 200 OK
Taille : 100000 (98K) [application/octet-stream]
Enregistre : «/dev/null»

100%[======================================>] 100 000     --.-K/s   ds 0,02s   

2017-01-14 16:47:54 (4,89 MB/s) - «/dev/null» enregistré [100000/100000]

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: TroniQ89 le 15 janvier 2017 à 13:16:26

Dans "url" met http://%host%/fichier ou https://%host%/fichier
(Il faut faire ça avec Curl pour smokeping, pour EchoPing no idea...)

Les URL "de test" faut rajouter /cdn-cgi/trace à la fin de l'adresse d'un site.

Exemples:
https://www.cloudflare.com/cdn-cgi/trace
https://www.tutomatik.fr/cdn-cgi/trace

Ca donne quelques informations de debug pour les équipes (Datacenter, ...)

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: vivien le 16 janvier 2017 à 08:42:49

Citation de: TroniQ89 le 15 janvier 2017 à 13:16:26

Dans "url" met http://%host%/fichier ou https://%host%/fichier

Cela ne fonctionne pas mieux avec https://%host%/fichier

Pourtant, c'est ok avec curl :
$ curl -o /dev/null https://webmail.tutomatik.fr/100k.iso % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed 100 97k 100 97k 0 0 959k 0 --:--:-- --:--:-- --:--:-- 966k

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: TroniQ89 le 16 janvier 2017 à 12:56:27

Pour utiliser Curl avec smokeping faut pas mettre EchoPingHttp/EchoPingHttps mais "Curl" ;)

Faut créer un probe curl.

Soucis corrigé! J'envoie un ticket à CF pour les informer.

Code: [Sélectionner]

Détermination de l’itinéraire vers index.tutomatik.fr [104.24.119.221]
avec un maximum de 30 sauts :

  1     3 ms     1 ms     1 ms  192.168.1.1
  2    39 ms    39 ms    85 ms  1.54.153.77.rev.sfr.net [77.153.54.1]
  3    40 ms    38 ms    37 ms  173.74.65.86.rev.sfr.net [86.65.74.173]
  4    41 ms    37 ms    38 ms  165.74.65.86.rev.sfr.net [86.65.74.165]
  5    41 ms    45 ms    37 ms  253.65.66.86.rev.sfr.net [86.66.65.253]
  6   148 ms    70 ms    45 ms  77.190.96.84.rev.sfr.net [84.96.190.77]
  7    46 ms    46 ms    45 ms  74.220.96.84.rev.sfr.net [84.96.220.74]
  8    48 ms    46 ms    46 ms  v4083.tls1-co-1.n9uf.net [62.39.148.45]
  9    49 ms    53 ms    46 ms  110.132.17.93.rev.sfr.net [93.17.132.110]
 10    49 ms    56 ms    51 ms  182.74.24.109.rev.sfr.net [109.24.74.182]
 11    61 ms    55 ms    53 ms  237.29.3.109.rev.sfr.net [109.3.29.237]
 12    46 ms    47 ms    47 ms  cloudflare.par.franceix.net [37.49.237.49]
 13    48 ms    47 ms    48 ms  104.24.119.221

Itinéraire déterminé.

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: TroniQ89 le 16 janvier 2017 à 20:35:46

Le peering est reparti en cacahuètes dans l'aprèm :
(http://i.imgur.com/g0DscW3.png)

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: TroniQ89 le 18 janvier 2017 à 13:30:53

Hello, j'ai eu une répons ce matin en disant qu'ils avaient un soucis avec les IP Anycast.

A l'heure où j'envoie ce message, TOUS les sites CloudFlare que j'ai testé (le miens, Cloudflare.com, nextinpact.com, korben.info...) ne passent plus par Paris...

Graphe de CloudFlare sur l'AS TOP de k-net:
(https://i.imgur.com/SHhAt2O.png)

Pour mon site depuis Free ça fait Free -> Cogent Paris -> Amsterdam -> CloudFlare si je teste avec tutomatik.fr, sinon
CloudFlare.com : Free -> Cogent Paris -> Londres -> CloudFlare

Pour Hurricane Electric ça sort sur Francfort.

EDIT: Le trafic pour cloudflare.com repart sur Equinix.

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: Symbol le 18 janvier 2017 à 15:23:13

Citation de: TroniQ89 le 18 janvier 2017 à 13:30:53

A l'heure où j'envoie ce message, TOUS les sites CloudFlare que j'ai testé (le miens, Cloudflare.com, nextinpact.com, korben.info...) ne passent plus par Paris...
EDIT: Le trafic pour cloudflare.com repart sur Equinix.

Oui, ils tripotaient des trucs à Paris visiblement.
Des flaps BGP vers 2h35, et puis encore entre 12h00 et 13h (Equinix Paris et FranceIX, mais les deux arrivent sur le même routeur Cloudflare).

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: vivien le 18 janvier 2017 à 18:36:12

Avec la probe Curl, le téléchargement de fichier de 100Ko fonctionne tout de suite mieux :

Fichier 100Ko en https IPv4 : https://lafibre.info/dns/smokeping.cgi?target=fr.100ktutomatik4
Fichier 100Ko en https IPv6 : https://lafibre.info/dns/smokeping.cgi?target=fr.100ktutomatik6

Là on est sur un fichier de 100Ko téléchargé 5 fois par période de 5 min.

Je propose de tester en plus un fichier de 1 Mo, téléchargé une seule fois par période de 5minutes pour voir quel type de graphe est le plus pertinent. (je pars du principe que 5 téléchargement par période de 5minutes d'un fichier de 1Mo, c'est trop)

C'est possible de placer un fichier de 1 Mo sur ton serveur ?
Par exemple https://bouygues.testdebit.info/1M.iso

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: Phach le 18 janvier 2017 à 20:09:36

ca doit dépendre des range d'ip car moi je passe par tata sur Paris qui m'envoit je ne sais où (80.231.154.14 c'est encore Tata)

Code: [Sélectionner]

Start: Wed Jan 18 20:04:41 2017
HOST: raspberrypi                                    Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- livebox.home                                    0.0%    10    0.7   0.7   0.6   0.9   0.0
  2.|-- 80.10.235.121                                   0.0%    10   10.8  12.7   4.9  27.0   8.7
  3.|-- ae112-0.ncmon201.Montpellier.francetelecom.net  0.0%    10    4.7   4.5   4.1   4.9   0.0
  4.|-- ae44-0.nimar101.Marseille.francetelecom.net     0.0%    10    6.5   6.4   6.0   6.8   0.0
  5.|-- ae40-0.nimar102.Marseille.francetelecom.net     0.0%    10    7.5   8.2   6.3  21.4   4.6
  6.|-- 193.252.137.54                                  0.0%    10   16.3  21.7  15.6  46.8  11.5
  7.|-- 81.52.200.189                                   0.0%    10   16.5  19.7  16.1  23.1   2.3
  8.|-- tatateleglobe-2.GW.opentransit.net              0.0%    10   28.9  29.4  27.5  30.8   0.7
  9.|-- if-ae-11-2.tcore1.PYE-Paris.as6453.net          0.0%    10   29.3  29.9  27.4  31.2   1.0
 10.|-- 80.231.154.14                                   0.0%    10   40.0  40.3  38.5  41.4   0.6
 11.|-- 104.31.91.89                                    0.0%    10   39.1  40.3  38.7  41.1   0.7

j'ai testé avec korben.info :

Code: [Sélectionner]

Start: Wed Jan 18 20:07:51 2017
HOST: raspberrypi                                           Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- livebox.home                                           0.0%    10    0.8   0.7   0.6   0.9   0.0
  2.|-- 80.10.235.121                                          0.0%    10    8.2  10.6   4.8  19.4   5.8
  3.|-- ae112-0.ncmon201.Montpellier.francetelecom.net         0.0%    10    4.3   4.6   4.2   5.3   0.0
  4.|-- ae44-0.nimar101.Marseille.francetelecom.net            0.0%    10    6.4   6.6   6.4   6.8   0.0
  5.|-- 81.253.184.202                                         0.0%    10    7.5   7.1   6.6   7.5   0.0
  6.|-- gigabitethernet4-0-0.marcr4.Marseille.opentransit.net  0.0%    10    6.5   6.9   6.5   7.5   0.0
  7.|-- telecomitalia-5.GW.opentransit.net                     0.0%    10    6.6  18.8   6.6  95.4  28.5
  8.|-- 213.144.173.171                                        0.0%    10   56.5  60.3  44.4  74.2   9.7
  9.|-- 213.144.173.161                                        0.0%    10   38.4  40.2  37.8  41.8   1.2
 10.|-- 104.25.119.12                                          0.0%    10   41.5  41.3  39.1  42.6   0.7

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: TroniQ89 le 18 janvier 2017 à 20:38:12

@vivien fichier ajouté, nom du fichier : 1M.iso.

Titre: CloudFlare Paris down en IPv4 depuis 1 semaine
Posté par: TroniQ89 le 25 janvier 2017 à 14:02:49

Hello !

Le soucis semble être résolu depuis hier 16h.

Voici le graphe K-net, on voit un anéantissement du trafic CloudFlare via Telia/Cogent.
(http://i.imgur.com/LZ7Q6Ta.png)

Voici le graphe Smokeping depuis AS48800 ONETSOLUTIONS:
(http://i.imgur.com/owaO1Ye.png)

Voici les graphes du serveur LaFibre.info:
(http://i.imgur.com/WykhB4J.png)

Voici le smokeping d'une commande curl depuis AS48800 ONETSolutions (fichier de 100k de vivien):
(http://i.imgur.com/9eUpeIE.png)

Traceroute depuis AS48800 ONETSolutions :
Start: Wed Jan 25 13:58:38 2017 HOST: v001 Loss% Snt Last Avg Best Wrst StDev 1. AS4565 10.50.4.32 0.0% 10 0.1 0.2 0.1 0.3 0.0 2. AS??? ??? 100.0 10 0.0 0.0 0.0 0.0 0.0 3. AS??? equinix-paris.cloudflare.com 0.0% 10 4.1 1.5 0.9 4.1 0.9 4. AS13335 104.24.119.221 0.0% 10 0.9 1.1 0.9 1.8 0.0

Depuis Cogent Paris:
traceroute to tutomatik.fr (104.24.118.221), 30 hops max, 60 byte packets 1 gi0-7-0-18.5.agr22.par01.atlas.cogentco.com (130.117.254.73) 0.832 ms 0.859 ms 2 te0-0-1-1.rcr11.b019498-0.par01.atlas.cogentco.com (154.25.8.254) 1.082 ms 154.25.9.126 (154.25.9.126) 1.210 ms 3 149.11.0.126 (149.11.0.126) 0.624 ms 0.622 ms 4 104.24.118.221 (104.24.118.221) 0.597 ms 0.560 ms

Depuis Hurricane Electric TH2:
(http://i.imgur.com/OTQSffG.png)

Merci à tous pour vos graphes, vos smokepings, ça a pas mal aidé le support d'après ce qu'ils m'ont dit !