Auteur Sujet: CloudFlare Paris down en IPv4 depuis 1 semaine  (Lu 14032 fois)

0 Membres et 1 Invité sur ce sujet

TroniQ89

  • @TroniQ89
  • Abonné Free adsl
  • *
  • Messages: 743
CloudFlare Paris down en IPv4 depuis 1 semaine
« le: 27 décembre 2016 à 15:26:51 »
Hello.


Depuis plusieurs jours, je constate que CloudFlare Paris est down en IPv4 et n'est toujours pas revenu.
Je m'en suis aperçu dimanche avec ce graphe Smokeping hébergé sur AS48800 ONETSolutions, derrière le réseau AS62000 PulseHeberg:



Voici quelques traceroutes depuis différentes positions géographiques (pour les tests SFR, Orange et Bouygues j'ai utilisé Maplatency car je n'ai pas de lignes sous la main);


ONETSolutions, Vélizy:


HOST: v001                                             Loss%   Snt   Last   Avg  Best  Wrst StDev
  1. AS???   185.163.124.13                             0.0%    15    0.1   0.4   0.1   1.4   0.0
  2. AS4565  10.234.185.54                              0.0%    15    5.9   3.9   0.5  16.8   4.9
  3. AS4565  10.0.9.1                                   0.0%    15   27.8   3.1   0.3  27.8   6.9
  4. AS???   te0-1-0-0.rcr21.par02.atlas.cogentco.com   0.0%    15    1.0   2.4   0.8   8.5   2.3
  5. AS174   be2415.ccr41.par01.atlas.cogentco.com      0.0%    15    1.9   2.7   1.3   7.4   1.6
  6. AS174   be2688.rcr21.bru01.atlas.cogentco.com      0.0%    15    9.5   9.2   6.9  15.8   2.0
  7. AS174   149.11.170.82                              0.0%    15    7.4   7.4   6.5  10.1   0.7
  8. AS13335 104.24.119.221                             0.0%    15    6.6   7.7   6.4  16.2   2.4

Passage par Bruxelles, même résultat depuis ma connexion Free xDSL.


Depuis Hurricane Electric Paris/Telehouse 2

  1    22 ms   19 ms   30 ms 100ge5-2.core1.fra1.he.net
  2    78 ms   71 ms   75 ms as13335.ix.dataix.ru
  3    61 ms   63 ms   71 ms 104.24.118.221

Passage par le GIX DataIX.ru à Francfort.


Depuis une ligne SFR :

1  1.173.141.188.rev.sfr.net (188.141.173.1) 48ms 51ms 49ms
2  73.88.84.77.rev.sfr.net (77.84.88.73) 52ms 62ms 48ms
3  30.33.84.77.rev.sfr.net (77.84.33.30) 50ms 57ms 50ms
4  149.91.84.77.rev.sfr.net (77.84.91.149) 55ms 63ms 75ms
5  133.7.100.87.rev.sfr.net (87.100.7.133) 60ms 71ms 85ms
6  105.88.84.77.rev.sfr.net (77.84.88.105) 49ms 50ms 50ms
7  85.7.100.87.rev.sfr.net (87.100.7.85) 48ms 52ms 56ms
8  230.29.3.109.rev.sfr.net (109.3.29.230) 68ms 53ms 53ms
9  253.244.96.84.rev.sfr.net (84.96.244.253) 62ms 54ms 69ms
10  v3791.poi1-co-1.gaoland.net (84.96.251.165) 56ms 75ms 76ms
11  126.244.96.84.rev.sfr.net (84.96.244.126) 82ms 90ms 95ms
12  v3560.lor1-sec-1.gaoland.net (84.96.244.177) 74ms 69ms 64ms
13  cloudflare.mrs.franceix.net (37.49.232.29) 69ms 74ms 66ms
14  104.24.118.221 (104.24.118.221) 79ms 66ms 67ms

Passage par FranceIX Marseille



Depuis Orange Paris:

1  80.10.127.131 (80.10.127.131)  *
2  10.125.247.202 (10.125.247.202)  *
3  ae42-0.niidf202.Paris.francetelecom.net (193.252.159.125)  *
4  193.252.137.74 (193.252.137.74)  *
5  tatateleglobe-2.GW.opentransit.net (193.251.250.48) 33ms 31ms 30ms
6  if-ae-9-2.tcore2.FNM-Frankfurt.as6453.net (195.219.87.9) 41ms 40ms 41ms
7  if-ae-14-3.thar1.F2C-Frankfurt.as6453.net (195.219.87.88) 41ms 41ms 39ms
8  195.219.148.122 (195.219.148.122) 41ms 42ms 41ms
9  104.24.119.221 (104.24.119.221) 43ms 43ms 44ms

Ca part sur TATA à Francfort.


Depuis Bouygues Telecom, NRA MOU76.

1  mou76-h02-176-179-206-254.dsl.sta.abo.bbox.fr (176.179.206.254) * * *
2  62.35.252.141 (62.35.252.141) 38ms 39ms 42ms
3  10.26.161.91 (10.26.161.91) 65ms 25ms 37ms
4  10.26.161.20 (10.26.161.20) 39ms 32ms 38ms
5  10.26.85.184 (10.26.85.184) 30ms 28ms 32ms
6  212.194.172.32 (212.194.172.32) 32ms 96ms 25ms
7  be21.cbr01-ntr.net.bbox.fr (212.194.171.28) * * *
8  be1.cbr01-cro.net.bbox.fr (212.194.171.0) * * *
9  be5.cbr01-lyo.net.bbox.fr (212.194.171.140) * * *
10   * * *
11   * * *
12  104.24.118.221 (104.24.118.221) 44ms 39ms 45ms

J'imagine que ça passe aussi par Marseille, CloudFlare n'a rien sur Lyon.
(Boris, as-tu constaté une augmentation de trafic sur FranceIX Marseille ou d'autres PNIs depuis vendredi?)


Depuis Level3 Paris:

 1  ae-1-3104.edge3.Paris1.Level3.net (4.69.161.110)    0.680 ms  0.676 ms  0.655 ms
 2  telia-level3.paris1.Level3.net (4.68.111.194)    0.795 ms  0.765 ms  0.787 ms
 3  0.0.0.0  *
 3  prs-bb2-link.telia.net (213.155.135.196)    0.835 ms
 3  prs-bb2-link.telia.net (62.115.122.6)    0.670 ms
 4  brx-b2-link.telia.net (213.155.136.233)    13.2 ms
 4  brx-b2-link.telia.net (62.115.112.147)    13.2 ms  13.3 ms
 5  cloudflare-ic-315171-brx-b2.c.telia.net (62.115.41.70)    9.99 ms  10.4 ms  10.2 ms
 6  104.24.118.221 (104.24.118.221)    10.1 ms  10.0 ms  10.2 ms

Décroche sur Telia Paris puis sur CloudFlare Bruxelles.


Depuis Level3 Marseille:

 1  ae-8-3202.bar2.Marseille1.Level3.net (4.69.141.202)  1.202 ms  0.952 ms  0.916 ms
 2  ae-8-3202.bar2.Marseille1.Level3.net (4.69.141.202)  0.912 ms  0.942 ms  0.896 ms
 3  mei-b1-link.telia.net (62.115.61.69)  10.417 ms  2.496 ms  2.532 ms
 4  cloudflare-ic-310011-mei-b1.c.telia.net (62.115.52.226)  3.711 ms  2.659 ms  1.211 ms

Le trafic passe bien par Marseille.


C'est confirmé par cette page:

root@v001 ~# curl https://support.cloudflare.com/cdn-cgi/trace
fl=21f48
h=support.cloudflare.com
ip=185.163.127.160
ts=1482847669.684
visit_scheme=https
uag=curl/7.38.0
colo=LHR
spdy=off
http=http/1.1
loc=FR
D'habitude, l'entrée "colo" renvoie CDG (Paris), mais là c'est LHR (Bruxelles je suppose)


C'est étrange, car en v6 c'est bien Paris qui ressort (j'ai fait un test depuis Cogent et Hurricane, j'ai pas encore config l'ipv6 sur mon ERX) :
Cogent Paris
traceroute to index.tutomatik.fr (2400:cb00:2048:1::6818:77dd), 30 hops max, 80 byte packets
 1  2001:978:1:323::1 (2001:978:1:323::1)  0.837 ms  0.868 ms
 2  te0-0-1-1.rcr11.b019498-0.par01.atlas.cogentco.com (2001:550:0:1000::9a19:8fe)  1.236 ms  1.237 ms
 3  2001:978:2:3d::18:2 (2001:978:2:3d::18:2)  0.695 ms  0.693 ms
 4  2400:cb00:19:1024::8d65:42f2 (2400:cb00:19:1024::8d65:42f2)  0.635 ms 2400:cb00:19:1024::6ca2:e4a4 (2400:cb00:19:1024::6ca2:e4a4)  0.625 ms


Hurricane TH2
  1    <1 ms   <1 ms   <1 ms equinix-paris.cloudflare.com
  2    <1 ms   <1 ms   <1 ms 2400:cb00:2048:1::6818:77dd


J'ai envoyé un ticket au support il y a deux jours, en attendant une réponse.

vivien

  • Administrateur
  • *
  • Messages: 47 086
    • Twitter LaFibre.info
CloudFlare Paris down en IPv4 depuis 1 semaine
« Réponse #1 le: 27 décembre 2016 à 15:48:01 »
Tu réalises les tests comment ?

De mon coté, je fais un traceroute vers un client de CloudFlare et je vais sur Paris :

Traceroute IPv4, depuis Ikoula Reims (51) : On va sur CloudFlare via France-IX Paris
$ mtr -4rwc100 nextinpact.com
Start: Tue Dec 27 15:48:41 2016
HOST: ikoula                        Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- 213.246.63.2                 0.0%   100    0.6   9.9   0.3 582.8  65.8
  2.|-- po2.core8.ikdc1.ikoula.com   0.0%   100    0.3   1.7   0.3  50.5   7.3
  3.|-- po5.core13.ikdc2.ikoula.com  0.0%   100    3.9   7.3   3.6 184.0  24.3
  4.|-- po3.core12.ikdc2.ikoula.com  0.0%   100    1.3   5.3   1.1 280.2  29.5
  5.|-- po1.core9.rb.ikoula.com      0.0%   100    3.6   9.6   3.5 303.8  34.0
  6.|-- cloudflare.par.franceix.net  0.0%   100    4.0   3.9   3.8   4.5   0.0
  7.|-- 104.25.248.21                0.0%   100    3.8   3.8   3.8   3.9   0.0


Traceroute IPv6, depuis Ikoula Reims (51) : On va sur CloudFlare via France-IX Paris
$ mtr -6rwc100 nextinpact.com
Start: Tue Dec 27 15:50:34 2016
HOST: ikoula                        Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- 2a00:c70:1:213:246:63:0:1    0.0%   100    0.6   5.7   0.4 379.4  38.4
  2.|-- 2a00:c70::1:0:5              0.0%   100    0.6   4.5   0.5 175.6  21.8
  3.|-- ikoula.demarc.cogentco.com   0.0%   100    0.6   4.9   0.5 196.6  26.4
  4.|-- 2a00:c70::1:13               0.0%   100    1.4   2.2   1.3  52.5   5.2
  5.|-- 2a00:c70::1:12               0.0%   100    1.8   5.6   1.3 188.2  26.3
  6.|-- 2001:1b48:2:103::11a         0.0%   100    3.8  12.1   3.6 180.1  30.6
  7.|-- cloudflare.par.franceix.net  0.0%   100    4.1   4.1   3.9   5.2   0.1
  8.|-- 2400:cb00:2048:1::6819:f915  0.0%   100    3.9   3.9   3.8   3.9   0.0


Traceroute IPv4, depuis Maxnod dans l'Ain (01) : On va sur CloudFlare via Equinix Paris
$ mtr -4rwc100 nextinpact.com
Start: Tue Dec 27 15:45:25 2016
HOST: lafibre                        Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- portevlan.adeli.biz           0.0%   100    0.3   0.6   0.2   4.3   0.7
  2.|-- equinix-paris.cloudflare.com  0.0%   100    6.2   6.1   5.9   7.0   0.0
  3.|-- 104.25.249.21                 0.0%   100    6.0   6.0   5.9   6.3   0.0


Traceroute IPv6, depuis Maxnod dans l'Ain (01) : On va sur CloudFlare via Equinix Paris
$ mtr -6rwc100 nextinpact.com
Start: Tue Dec 27 15:46:45 2016
HOST: lafibre                        Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- bgp1.adeli.biz                0.0%   100    2.8   3.4   0.2 116.7  13.8
  2.|-- equinix-paris.cloudflare.com  0.0%   100    6.0   6.1   6.0   7.1   0.0
  3.|-- 2400:cb00:2048:1::6819:f815   0.0%   100    6.2   6.1   5.9   6.8   0.0


Traceroute IPv4, depuis OVH Gravelines (59) : On va sur CloudFlare via France-IX Paris
# mtr -4rwc100 nextinpact.com
Start: Tue Dec 27 16:09:34 2016
HOST: ovh                           Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- 37.187.131.252               0.0%   100    2.9  13.6   0.8 108.9  15.1
  2.|-- po109.gra-g2-a75.fr.eu       0.0%   100    0.3   0.2   0.2   0.7   0.0
  3.|-- 10.95.33.10                  0.0%   100    8.1   8.5   7.8  54.1   4.6
  4.|-- be99-1110.th2-1-a9.fr.eu     0.0%   100    4.7   4.9   4.6   5.4   0.0
  5.|-- cloudflare.par.franceix.net  0.0%   100    4.7   4.8   4.7   9.5   0.6
  6.|-- 104.25.249.21                0.0%   100    4.7   4.7   4.7   4.8   0.0


Traceroute IPv6, depuis OVH Gravelines (59) : On va sur CloudFlare via France-IX Paris
# mtr -6rwc100 nextinpact.com
Start: Tue Dec 27 16:10:19 2016
HOST: ovh                            Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- 2001:41d0:a:41ff:ff:ff:ff:fe 11.0%   100    2.1  12.9   0.8 104.1  17.4
  2.|-- po109.gra-g2-a75.fr.eu        0.0%   100    0.4   0.4   0.3   1.9   0.1
  3.|-- be10-20.gra-g2-a9.fr.eu       0.0%   100    1.4   2.7   0.9  23.4   3.5
  4.|-- be99-1191.th2-1-a9.fr.eu      3.0%   100    5.0   5.0   4.7   5.9   0.0
  5.|-- cloudflare.par.franceix.net   0.0%   100    5.6   4.9   4.8   6.4   0.2
  6.|-- 2400:cb00:2048:1::6819:f815   0.0%   100    4.7   4.8   4.7   6.8   0.2



Traceroute IPv4, depuis Orange FTTH Melun (77) :
$ mtr -4rwc100 nextinpact.com
Start: Tue Dec 27 15:50:26 2016
HOST: Orange                                             Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- livebox.home                                      0.0%   100    0.5   0.5   0.3   1.6   0.1
  2.|-- 80.10.233.189                                     0.0%   100    1.2   1.8   1.2   9.0   1.4
  3.|-- ae116-0.ncidf303.Aubervilliers.francetelecom.net  0.0%   100    8.5   2.1   1.8  14.7   1.4
  4.|-- ae43-0.nista301.Paris.francetelecom.net           0.0%   100    2.0   2.2   2.0   8.0   0.7
  5.|-- ae40-0.nimsr302.Paris.francetelecom.net           0.0%   100    2.2   2.3   2.0  16.3   1.5
  6.|-- 193.252.137.78                                    0.0%   100    5.7   6.2   2.4  10.4   2.3
  7.|-- hundredgige1-3-0-0.pastr2.Paris.opentransit.net   0.0%   100    5.6   6.6   2.5  10.5   2.2
  8.|-- tatateleglobe-2.GW.opentransit.net                0.0%   100    2.5   2.7   2.4   6.8   0.7
  9.|-- if-ae-11-2.tcore1.PYE-Paris.as6453.net            0.0%   100    2.8   3.1   2.8  22.5   2.0
 10.|-- 80.231.154.14                                     6.0%   100   27.9  28.0  27.7  36.5   0.8
 11.|-- 104.25.248.21                                    13.0%   100   27.6  27.6  27.5  28.1   0.0


Traceroute IPv6, depuis Orange FTTH Melun (77) :
$ mtr -6rwc100 nextinpact.com
Start: Tue Dec 27 15:52:58 2016
HOST: Orange                                                 Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- livebox.home                                          0.0%   100    0.8   0.8   0.8   3.3   0.2
  2.|-- 2a01cb08a00402020193025300770039.ipv6.abo.wanadoo.fr  0.0%   100    2.4   2.5   2.1  12.7   1.2
  3.|-- 2a01:cfc4:0:400::a                                    0.0%   100    2.9   3.2   2.9  12.8   1.2
  4.|-- ? ?                                                  100.0   100
  5.|-- telia.GW.opentransit.net                              0.0%   100   10.3  10.9   9.7  31.0   3.1
  6.|-- cloudflare-ic-306325-ldn-b3.c.telia.net               0.0%   100   10.0   9.9   9.6  13.5   0.4
  7.|-- 2400:cb00:2048:1::6819:f915                           0.0%   100    9.6   9.6   9.5  10.1   0.0

TroniQ89

  • @TroniQ89
  • Abonné Free adsl
  • *
  • Messages: 743
CloudFlare Paris down en IPv4 depuis 1 semaine
« Réponse #2 le: 27 décembre 2016 à 15:58:58 »
Je fais les trace vers un site que je développe avec un pote ;)

L'ip est 104.24.118.221

vivien

  • Administrateur
  • *
  • Messages: 47 086
    • Twitter LaFibre.info
CloudFlare Paris down en IPv4 depuis 1 semaine
« Réponse #3 le: 27 décembre 2016 à 16:06:12 »
Je ne connais pas bien le fonctionnement de CloudFlare. C'est de l'unicast ou de l'anycast ?

- Anycast : L'IP est la même dans le monde entier et BGP renvoi vers le serveur qui porte l'IP la plus proche.
- Unicast : Chaque serveur a des IP différentes et c'est le DNS qui aiguille les clients vers les serveurs le plus proche.

Voici le test avec ton IP avec les mêmes hébergements :

Ikoula : au lieu de sortir sur France-IX Paris, on va sur France-IX Paris qui renvoi vers France-IX Marseille :
$ mtr -rwc100 104.24.118.221
Start: Tue Dec 27 16:00:12 2016
HOST: ikoula                            Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- 213.246.63.2                     0.0%   100    0.7   6.9   0.3 192.0  27.0
  2.|-- po2.core8.ikdc1.ikoula.com       0.0%   100    0.3   4.8   0.2 190.8  24.7
  3.|-- po5.core13.ikdc2.ikoula.com      0.0%   100    4.0   7.3   3.7 190.6  22.2
  4.|-- po3.core12.ikdc2.ikoula.com      0.0%   100    3.9   6.3   3.7 138.2  14.6
  5.|-- po1.core9.rb.ikoula.com          0.0%   100    4.0  13.6   3.7 226.1  38.0
  6.|-- po2.core11.th2.ikoula.com        0.0%   100    3.8  14.2   3.7 310.8  43.6
  7.|-- ge11-3-4.er1.rb.par.as8218.eu    0.0%   100    3.7   4.2   3.6  30.4   3.6
  8.|-- ae6.tcr1.itx.mrs.core.as8218.eu  0.0%   100   14.2  15.2  14.1  97.0   8.3
  9.|-- cloudflare.mrs.franceix.net      0.0%   100   14.7  14.8  14.5  16.4   0.2
 10.|-- 104.24.118.221                   0.0%   100   14.3  14.2  14.2  14.3   0.0


Adeli, au lieu de sortir sur equinix-paris, on sort via le transitaitre IELO qui peer avec le serveur en question sur AMS-IX :
$ mtr -rwc100 104.24.118.221
Start: Tue Dec 27 16:00:19 2016
HOST: lafibre                                            Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- portevlan.adeli.biz                               0.0%   100    1.0   1.7   0.2  39.8   5.1
  2.|-- sw1-le9lyon-ge-1-4.ix-customers-le9lyon.ielo.net  0.0%   100    1.3   4.0   1.2  28.4   4.8
  3.|-- te-2-3-frpar-th2-a9k1.rt.ielo.net                 0.0%   100   19.9  19.9  19.6  21.0   0.1
  4.|-- te-8-1-frpar05-c6k1.rt.ielo.net                   0.0%   100   19.6  22.0  19.4  67.8   8.2
  5.|-- nlams-tcy2-c7k1.rt.ielo.net                       0.0%   100   20.3  22.5  19.4  44.6   6.2
  6.|-- ams-ix.as13335.net                                0.0%   100   18.2  18.2  17.9  18.6   0.0
  7.|-- 104.24.118.221                                    0.0%   100   18.0  18.0  17.8  19.2   0.1


OVH : au lieu de sortir sur France-IX Paris, on va sur AMS-IX :
# mtr -rwc100 104.24.118.221
Start: Tue Dec 27 16:16:41 2016
HOST: ovh                         Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- 37.187.131.252             0.0%   100    2.9   6.0   0.6 103.4  15.6
  2.|-- po109.gra-g2-a75.fr.eu     0.0%   100    0.3   0.3   0.2   0.5   0.0
  3.|-- 10.95.33.10                0.0%   100    8.2  10.1   7.8  69.3   9.9
  4.|-- be100-1112.ams-5-a9.nl.eu  0.0%   100    6.6   6.6   6.3   7.4   0.0
  5.|-- ams-ix.as13335.net         0.0%   100    7.0   7.0   6.7  10.5   0.5
  6.|-- 104.24.118.221             0.0%   100    7.2   6.8   6.6   7.2   0.0


Pour Orange, on gagne en latence par rapport à NextINpact : 27,6ms => 11,8ms
$ mtr -rwc100 104.24.118.221
Start: Tue Dec 27 16:03:18 2016
HOST: Orange                                             Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- livebox.home                                      0.0%   100    0.5   0.5   0.4   1.3   0.0
  2.|-- 80.10.233.189                                     0.0%   100    1.7   1.8   1.2   8.0   1.3
  3.|-- ae116-0.ncidf303.Aubervilliers.francetelecom.net  0.0%   100    1.8   1.9   1.8   3.1   0.1
  4.|-- ae43-0.nista301.Paris.francetelecom.net           0.0%   100    2.1   2.2   2.0  10.9   1.0
  5.|-- ae40-0.nimsr302.Paris.francetelecom.net           0.0%   100    2.1   2.7   2.0  25.0   3.0
  6.|-- 193.252.137.78                                    0.0%   100    6.1   4.4   2.5   6.4   0.9
  7.|-- hundredgige0-4-0-1.pastr2.Paris.opentransit.net   0.0%   100    5.2   6.6   2.6  10.6   2.2
  8.|-- tatateleglobe-2.GW.opentransit.net                0.0%   100    2.6   3.0   2.5  12.3   1.3
  9.|-- if-ae-9-2.tcore2.FNM-Frankfurt.as6453.net         8.0%   100   12.3  12.8  12.1  24.3   1.5
 10.|-- if-ae-14-3.thar1.F2C-Frankfurt.as6453.net         0.0%   100   11.9  13.4  11.8  79.3   7.9
 11.|-- 195.219.148.122                                   0.0%   100   11.9  11.9  11.8  12.7   0.0
 12.|-- 104.24.118.221                                    0.0%   100   11.8  11.8  11.7  12.7   0.0

Bengelly

  • AS12876 Expert Scaleway
  • Expert
  • *
  • Messages: 297
  • Paris (75)
CloudFlare Paris down en IPv4 depuis 1 semaine
« Réponse #4 le: 27 décembre 2016 à 16:18:38 »
Je ne connais pas bien le fonctionnement de CloudFlare. C'est de l'unicast ou de l'anycast ?

Cloudflare, c'est de l'anycast. Il y a tout pleins d'articles intéressants sur leur infra / ingénierie sur leur blog : https://blog.cloudflare.com/

Sinon, leur page de statut n'annonce rien d'anormal sur Paris : https://www.cloudflarestatus.com/

@++

vivien

  • Administrateur
  • *
  • Messages: 47 086
    • Twitter LaFibre.info
CloudFlare Paris down en IPv4 depuis 1 semaine
« Réponse #5 le: 27 décembre 2016 à 16:22:44 »
Je me suis toujours demandé comment gérer les certificats SSL Let's Encrypt quand on a plusieurs serveurs en Anycast (je séparerais si il y a une réponse, pour ne pas faire de hors-sujet)

TroniQ89

  • @TroniQ89
  • Abonné Free adsl
  • *
  • Messages: 743
CloudFlare Paris down en IPv4 depuis 1 semaine
« Réponse #6 le: 27 décembre 2016 à 16:28:03 »
Cloudflare, c'est de l'anycast. Il y a tout pleins d'articles intéressants sur leur infra / ingénierie sur leur blog : https://blog.cloudflare.com/

Sinon, leur page de statut n'annonce rien d'anormal sur Paris : https://www.cloudflarestatus.com/

@++

Anycast je confirme.


OVH : au lieu de sortir sur France-IX Paris, on va sur AMS-IX :
# mtr -rwc100 104.24.118.221
Start: Tue Dec 27 16:16:41 2016
HOST: ovh                         Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- 37.187.131.252             0.0%   100    2.9   6.0   0.6 103.4  15.6
  2.|-- po109.gra-g2-a75.fr.eu     0.0%   100    0.3   0.3   0.2   0.5   0.0
  3.|-- 10.95.33.10                0.0%   100    8.2  10.1   7.8  69.3   9.9
  4.|-- be100-1112.ams-5-a9.nl.eu  0.0%   100    6.6   6.6   6.3   7.4   0.0
  5.|-- ams-ix.as13335.net         0.0%   100    7.0   7.0   6.7  10.5   0.5
  6.|-- 104.24.118.221             0.0%   100    7.2   6.8   6.6   7.2   0.0


Pour Orange, on gagne en latence par rapport à NextINpact : 27,6ms => 11,8ms
$ mtr -rwc100 104.24.118.221
Start: Tue Dec 27 16:03:18 2016
HOST: Orange                                             Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- livebox.home                                      0.0%   100    0.5   0.5   0.4   1.3   0.0
  2.|-- 80.10.233.189                                     0.0%   100    1.7   1.8   1.2   8.0   1.3
  3.|-- ae116-0.ncidf303.Aubervilliers.francetelecom.net  0.0%   100    1.8   1.9   1.8   3.1   0.1
  4.|-- ae43-0.nista301.Paris.francetelecom.net           0.0%   100    2.1   2.2   2.0  10.9   1.0
  5.|-- ae40-0.nimsr302.Paris.francetelecom.net           0.0%   100    2.1   2.7   2.0  25.0   3.0
  6.|-- 193.252.137.78                                    0.0%   100    6.1   4.4   2.5   6.4   0.9
  7.|-- hundredgige0-4-0-1.pastr2.Paris.opentransit.net   0.0%   100    5.2   6.6   2.6  10.6   2.2
  8.|-- tatateleglobe-2.GW.opentransit.net                0.0%   100    2.6   3.0   2.5  12.3   1.3
  9.|-- if-ae-9-2.tcore2.FNM-Frankfurt.as6453.net         8.0%   100   12.3  12.8  12.1  24.3   1.5
 10.|-- if-ae-14-3.thar1.F2C-Frankfurt.as6453.net         0.0%   100   11.9  13.4  11.8  79.3   7.9
 11.|-- 195.219.148.122                                   0.0%   100   11.9  11.9  11.8  12.7   0.0
 12.|-- 104.24.118.221                                    0.0%   100   11.8  11.8  11.7  12.7   0.0


Pour OVH l'ICMP sort toujours par AMS-IX vers CF, mais quand tu fais le même trace en TCP tu vois que ça bascule de temps en temps sur Paris via France-IX Paris ou Equinix IX (en temps normal, là ça reste sur AMS-IX quand je teste avec OVH)

Et pour Orange c'est un soucis qui vient de TATA visiblement.

EDIT: De AS48800 à CloudFlare, sur nextinpact: Pas de problèmes, ça passe bien sur Paris.

Start: Tue Dec 27 16:29:05 2016
HOST: v001                                     Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- 185.163.124.13                            0.0%    15    0.2   0.4   0.1   1.9   0.4
  2.|-- 10.234.185.54                             0.0%    15    3.8   2.2   0.5   5.2   1.6
  3.|-- 10.0.9.1                                  0.0%    15    1.0   1.2   0.5   2.6   0.4
  4.|-- te0-1-0-0.rcr21.par02.atlas.cogentco.com  0.0%    15    1.8   2.1   1.0   6.5   1.6
  5.|-- be2416.ccr42.par01.atlas.cogentco.com     0.0%    15    2.1   2.9   1.5   8.0   1.9
  6.|-- be2108.agr22.par01.atlas.cogentco.com     0.0%    15    1.6   2.8   1.5   7.6   1.7
  7.|-- 154.25.9.126                              0.0%    15    2.0   3.0   1.8   7.3   1.4
  8.|-- 149.11.0.126                              0.0%    15    1.6   3.1   1.6  11.7   2.7
  9.|-- 104.25.249.21                             0.0%    15    2.0   2.6   1.3   4.4   0.8


Le même trace en TCp :

Start: Tue Dec 27 16:30:53 2016
HOST: v001                                               Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- 185.163.124.13                                      0.0%    15   18.3  12.9   5.5  26.9   6.2
  2.|-- 10.234.185.54                                       0.0%    15   34.9  52.8   6.0 196.1  61.2
  3.|-- 10.0.9.1                                            0.0%    15    6.7  15.1   6.7  31.8   5.9
  4.|-- te0-1-0-0.rcr21.par02.atlas.cogentco.com            0.0%    15   13.8  14.4   8.6  24.2   4.7
  5.|-- be2416.ccr42.par01.atlas.cogentco.com               0.0%    15   12.7  15.6   9.3  28.3   5.6
  6.|-- be2108.agr22.par01.atlas.cogentco.com               0.0%    15   10.3  14.4   6.5  24.8   5.4
  7.|-- te0-0-1-1.rcr11.b019498-0.par01.atlas.cogentco.com  0.0%    15    9.7  13.6   7.8  33.7   6.7
  8.|-- 149.11.0.126                                        0.0%    15    7.8  14.9   6.9  28.6   6.8
  9.|-- 104.25.249.21                                       6.7%    15  145.2 147.3 113.2 258.3  36.1



Trace vers mon site en TCP:

Start: Tue Dec 27 16:31:53 2016
HOST: v001                                             Loss%   Snt   Last   Avg  Best  Wrst StDev
  1. AS???   185.163.124.13                             0.0%    15   13.0  12.2   7.0  22.7   4.2
  2. AS4565  10.234.185.54                              0.0%    15  137.7  18.7   5.7 137.7  33.1
  3. AS4565  10.0.9.1                                   0.0%    15    6.3  13.2   6.3  30.4   7.0
  4. AS???   te0-1-0-0.rcr21.par02.atlas.cogentco.com   0.0%    15   20.1  12.1   8.4  20.1   3.7
  5. AS174   be2416.ccr42.par01.atlas.cogentco.com      0.0%    15   17.6  14.1   6.9  25.4   4.9
     AS174   be2415.ccr41.par01.atlas.cogentco.com
  6. AS174   be2688.rcr21.bru01.atlas.cogentco.com      0.0%    15   24.3  19.6  14.8  31.4   4.3
     AS174   be2683.rcr21.bru01.atlas.cogentco.com
  7. AS174   149.11.170.82                              0.0%    15   23.0  19.2  12.6  34.1   5.9
  8. AS13335 104.24.119.221                             6.7%    15  144.4 152.7 125.8 215.8  20.3

TroniQ89

  • @TroniQ89
  • Abonné Free adsl
  • *
  • Messages: 743
CloudFlare Paris down en IPv4 depuis 1 semaine
« Réponse #7 le: 28 décembre 2016 à 14:38:17 »
Hello,

Ce matin, tout est reparti normalement :


Start: Wed Dec 28 14:29:15 2016
HOST: clement-iMedia-S2883                               Loss%   Snt   Last   Avg  Best  Wrst StDev
  1. AS4565  192.168.1.1                                  0.0%    10    0.4   0.3   0.3   0.4   0.0
  2. AS???   192.168.0.254                                0.0%    10    0.5   0.5   0.5   0.6   0.0
  3. AS12322 ava89-1-78-229-225-XXX.fbx.proxad.net        0.0%    10   22.0  21.9  21.4  22.2   0.0
  4. AS12322 213.228.32.190                               0.0%    10   23.1  23.2  22.5  23.9   0.0
  5. AS12322 corbeil-6k-1-v800.intf.routers.proxad.net    0.0%    10   24.0  24.2  23.8  24.7   0.0
  6. AS???   p11-crs16-1-be1114.intf.routers.proxad.net   0.0%    10   28.1  28.3  24.8  32.1   2.2
  7. AS???   th2-9k-3-be1001.intf.routers.proxad.net      0.0%    10   25.0  25.2  24.0  29.3   1.5
  8. AS174   be4204.ccr21.par04.atlas.cogentco.com        0.0%    10   25.6  24.8  24.3  25.6   0.0
  9. AS174   be12309.ccr42.par01.atlas.cogentco.com       0.0%    10   25.2  25.0  24.4  25.8   0.0
 10. AS174   be2140.agr21.par01.atlas.cogentco.com        0.0%    10   27.1  27.3  24.6  42.5   5.4
 11. AS174   154.25.9.58                                  0.0%    10   25.9  25.8  25.0  26.2   0.0
 12. AS174   149.11.0.126                                 0.0%    10   25.6  25.1  24.5  25.8   0.0
 13. AS13335 104.24.118.221                               0.0%    10   25.7  25.2  24.5  26.0   0.0


Le smokeping vers le serveur de cache CF qui héberge le site :


EDIT: C'est bizarre, je viens de m'apercevoir que la "panne" a duré une semaine pile.

Symbol

  • AS52075 Wifirst
  • Expert
  • *
  • Messages: 349
CloudFlare Paris down en IPv4 depuis 1 semaine
« Réponse #8 le: 28 décembre 2016 à 19:06:19 »
Depuis plusieurs jours, je constate que CloudFlare Paris est down en IPv4 et n'est toujours pas revenu.
Pas du tout. Mauvaise conclusion.

Je m'en suis aperçu dimanche avec ce graphe Smokeping hébergé sur AS48800 ONETSolutions, derrière le réseau AS62000 PulseHeberg:
Tracerouter une IP vers un CDN n'est pas pertinent dans ce cas.
Les IPs renvoyées par leurs DNS varient dans le temps. Il aurait fallu à chaque fois faire une résolution DNS et tracerouter une IP obtenue à ce moment là.

Que ça passe à droite ou à gauche vers tel ou tel serveur et que ça change de temps en temps, c'est leur tambouille ; ce qui compte c'est que la résolution DNS du moment renvoie une IP joignable avec une bonne latence.
Ceci dépend entre autres du resolveur choisi ; si on utilise un DNS hors de son réseau on a peu de chance d'avoir la meilleure latence, et si on a monté son propre DNS qui n'utilise pas les resolveurs de son ISP, on risque la même chose.

Bref, le test n'est pas pertinent à la base.

vivien

  • Administrateur
  • *
  • Messages: 47 086
    • Twitter LaFibre.info
CloudFlare Paris down en IPv4 depuis 1 semaine
« Réponse #9 le: 28 décembre 2016 à 19:25:39 »
J'ai compris que CloudFlare utilise l'anycast : tous les clients obtiennent donc la même IP, non ?

Symbol

  • AS52075 Wifirst
  • Expert
  • *
  • Messages: 349
CloudFlare Paris down en IPv4 depuis 1 semaine
« Réponse #10 le: 28 décembre 2016 à 20:17:28 »
J'ai compris que CloudFlare utilise l'anycast : tous les clients obtiennent donc la même IP, non ?
En l'occurrence oui, mais les IPs renvoyées pour un site donné peuvent quand même parfois changer (même si les problématiques de DNS sont réellement applicables aux autres CDNs).
Ici on ne sait pas:
  • si une résolution vers le site renvoyait effectivement vers cette IP au moment des tests (puisqu'on ne connait pas le FQDN)
  • si une autre IP Cloudflare traceroutait depuis ce réseau en restant en France. A priori oui, sinon il y aurait eu d'autres sites impactés
Bref, soit le bloc concerné n'était plus routé sur la plateforme parisienne de Cloudflare pendant quelques jours (mais on ne peut pas dire que Cloudflare était HS à Paris en IPv4 pour autant) et c'est un problème de Cloudflare ; soit l'IP avait changé à ce moment là et il n'y avait en fait pas de problème.

D'où l'importance de faire une résolution DNS avant de tester, en matière de site CDNisé...

TroniQ89

  • @TroniQ89
  • Abonné Free adsl
  • *
  • Messages: 743
CloudFlare Paris down en IPv4 depuis 1 semaine
« Réponse #11 le: 29 décembre 2016 à 00:16:37 »
Je faisais les MTR et le smokeping depuis le DNS ;)

Donc sur le niveau résolution DNS ça n'a rien à voir.