Hello.


Depuis plusieurs jours, je constate que CloudFlare Paris est down en IPv4 et n'est toujours pas revenu.
Je m'en suis aperçu dimanche avec ce graphe Smokeping hébergé sur AS48800 ONETSolutions, derrière le réseau AS62000 PulseHeberg:



Voici quelques traceroutes depuis différentes positions géographiques (pour les tests SFR, Orange et Bouygues j'ai utilisé Maplatency car je n'ai pas de lignes sous la main);


ONETSolutions, Vélizy:


HOST: v001                                             Loss%   Snt   Last   Avg  Best  Wrst StDev
  1. AS???   185.163.124.13                             0.0%    15    0.1   0.4   0.1   1.4   0.0
  2. AS4565  10.234.185.54                              0.0%    15    5.9   3.9   0.5  16.8   4.9
  3. AS4565  10.0.9.1                                   0.0%    15   27.8   3.1   0.3  27.8   6.9
  4. AS???   te0-1-0-0.rcr21.par02.atlas.cogentco.com   0.0%    15    1.0   2.4   0.8   8.5   2.3
  5. AS174   be2415.ccr41.par01.atlas.cogentco.com      0.0%    15    1.9   2.7   1.3   7.4   1.6
  6. AS174   be2688.rcr21.bru01.atlas.cogentco.com      0.0%    15    9.5   9.2   6.9  15.8   2.0
  7. AS174   149.11.170.82                              0.0%    15    7.4   7.4   6.5  10.1   0.7
  8. AS13335 104.24.119.221                             0.0%    15    6.6   7.7   6.4  16.2   2.4

Passage par Bruxelles, même résultat depuis ma connexion Free xDSL.


Depuis Hurricane Electric Paris/Telehouse 2

  1    22 ms   19 ms   30 ms 100ge5-2.core1.fra1.he.net
  2    78 ms   71 ms   75 ms as13335.ix.dataix.ru
  3    61 ms   63 ms   71 ms 104.24.118.221
Passage par le GIX DataIX.ru à Francfort.


Depuis une ligne SFR :

1  1.173.141.188.rev.sfr.net (188.141.173.1) 48ms 51ms 49ms
2  73.88.84.77.rev.sfr.net (77.84.88.73) 52ms 62ms 48ms
3  30.33.84.77.rev.sfr.net (77.84.33.30) 50ms 57ms 50ms
4  149.91.84.77.rev.sfr.net (77.84.91.149) 55ms 63ms 75ms
5  133.7.100.87.rev.sfr.net (87.100.7.133) 60ms 71ms 85ms
6  105.88.84.77.rev.sfr.net (77.84.88.105) 49ms 50ms 50ms
7  85.7.100.87.rev.sfr.net (87.100.7.85) 48ms 52ms 56ms
8  230.29.3.109.rev.sfr.net (109.3.29.230) 68ms 53ms 53ms
9  253.244.96.84.rev.sfr.net (84.96.244.253) 62ms 54ms 69ms
10  v3791.poi1-co-1.gaoland.net (84.96.251.165) 56ms 75ms 76ms
11  126.244.96.84.rev.sfr.net (84.96.244.126) 82ms 90ms 95ms
12  v3560.lor1-sec-1.gaoland.net (84.96.244.177) 74ms 69ms 64ms
13  cloudflare.mrs.franceix.net (37.49.232.29) 69ms 74ms 66ms
14  104.24.118.221 (104.24.118.221) 79ms 66ms 67ms

Passage par FranceIX Marseille



Depuis Orange Paris:

1  80.10.127.131 (80.10.127.131)  *
2  10.125.247.202 (10.125.247.202)  *
3  ae42-0.niidf202.Paris.francetelecom.net (193.252.159.125)  *
4  193.252.137.74 (193.252.137.74)  *
5  tatateleglobe-2.GW.opentransit.net (193.251.250.48) 33ms 31ms 30ms
6  if-ae-9-2.tcore2.FNM-Frankfurt.as6453.net (195.219.87.9) 41ms 40ms 41ms
7  if-ae-14-3.thar1.F2C-Frankfurt.as6453.net (195.219.87.88) 41ms 41ms 39ms
8  195.219.148.122 (195.219.148.122) 41ms 42ms 41ms
9  104.24.119.221 (104.24.119.221) 43ms 43ms 44ms
Ca part sur TATA à Francfort.


Depuis Bouygues Telecom, NRA MOU76.

1  mou76-h02-176-179-206-254.dsl.sta.abo.bbox.fr (176.179.206.254) * * *
2  62.35.252.141 (62.35.252.141) 38ms 39ms 42ms
3  10.26.161.91 (10.26.161.91) 65ms 25ms 37ms
4  10.26.161.20 (10.26.161.20) 39ms 32ms 38ms
5  10.26.85.184 (10.26.85.184) 30ms 28ms 32ms
6  212.194.172.32 (212.194.172.32) 32ms 96ms 25ms
7  be21.cbr01-ntr.net.bbox.fr (212.194.171.28) * * *
8  be1.cbr01-cro.net.bbox.fr (212.194.171.0) * * *
9  be5.cbr01-lyo.net.bbox.fr (212.194.171.140) * * *
10   * * *
11   * * *
12  104.24.118.221 (104.24.118.221) 44ms 39ms 45ms
J'imagine que ça passe aussi par Marseille, CloudFlare n'a rien sur Lyon.
(Boris, as-tu constaté une augmentation de trafic sur FranceIX Marseille ou d'autres PNIs depuis vendredi?)


Depuis Level3 Paris:

 1  ae-1-3104.edge3.Paris1.Level3.net (4.69.161.110)    0.680 ms  0.676 ms  0.655 ms
 2  telia-level3.paris1.Level3.net (4.68.111.194)    0.795 ms  0.765 ms  0.787 ms
 3  0.0.0.0  *
 3  prs-bb2-link.telia.net (213.155.135.196)    0.835 ms
 3  prs-bb2-link.telia.net (62.115.122.6)    0.670 ms
 4  brx-b2-link.telia.net (213.155.136.233)    13.2 ms
 4  brx-b2-link.telia.net (62.115.112.147)    13.2 ms  13.3 ms
 5  cloudflare-ic-315171-brx-b2.c.telia.net (62.115.41.70)    9.99 ms  10.4 ms  10.2 ms
 6  104.24.118.221 (104.24.118.221)    10.1 ms  10.0 ms  10.2 ms

Décroche sur Telia Paris puis sur CloudFlare Bruxelles.


Depuis Level3 Marseille:

 1  ae-8-3202.bar2.Marseille1.Level3.net (4.69.141.202)  1.202 ms  0.952 ms  0.916 ms
 2  ae-8-3202.bar2.Marseille1.Level3.net (4.69.141.202)  0.912 ms  0.942 ms  0.896 ms
 3  mei-b1-link.telia.net (62.115.61.69)  10.417 ms  2.496 ms  2.532 ms
 4  cloudflare-ic-310011-mei-b1.c.telia.net (62.115.52.226)  3.711 ms  2.659 ms  1.211 ms
Le trafic passe bien par Marseille.


C'est confirmé par cette page:

root@v001 ~# curl https://support.cloudflare.com/cdn-cgi/trace
fl=21f48
h=support.cloudflare.com
ip=185.163.127.160
ts=1482847669.684
visit_scheme=https
uag=curl/7.38.0
colo=LHR
spdy=off
http=http/1.1
loc=FR
D'habitude, l'entrée "colo" renvoie CDG (Paris), mais là c'est LHR (Bruxelles je suppose)


C'est étrange, car en v6 c'est bien Paris qui ressort (j'ai fait un test depuis Cogent et Hurricane, j'ai pas encore config l'ipv6 sur mon ERX) :
Cogent Paris
traceroute to index.tutomatik.fr (2400:cb00:2048:1::6818:77dd), 30 hops max, 80 byte packets
 1  2001:978:1:323::1 (2001:978:1:323::1)  0.837 ms  0.868 ms
 2  te0-0-1-1.rcr11.b019498-0.par01.atlas.cogentco.com (2001:550:0:1000::9a19:8fe)  1.236 ms  1.237 ms
 3  2001:978:2:3d::18:2 (2001:978:2:3d::18:2)  0.695 ms  0.693 ms
 4  2400:cb00:19:1024::8d65:42f2 (2400:cb00:19:1024::8d65:42f2)  0.635 ms 2400:cb00:19:1024::6ca2:e4a4 (2400:cb00:19:1024::6ca2:e4a4)  0.625 ms

Hurricane TH2
  1    <1 ms   <1 ms   <1 ms equinix-paris.cloudflare.com
  2    <1 ms   <1 ms   <1 ms 2400:cb00:2048:1::6818:77dd

J'ai envoyé un ticket au support il y a deux jours, en attendant une réponse.

Je fais les trace vers un site que je développe avec un pote

L'ip est 104.24.118.221

Je ne connais pas bien le fonctionnement de CloudFlare. C'est de l'unicast ou de l'anycast ?

Cloudflare, c'est de l'anycast. Il y a tout pleins d'articles intéressants sur leur infra / ingénierie sur leur blog : https://blog.cloudflare.com/

Sinon, leur page de statut n'annonce rien d'anormal sur Paris : https://www.cloudflarestatus.com/

@++

Cloudflare, c'est de l'anycast. Il y a tout pleins d'articles intéressants sur leur infra / ingénierie sur leur blog : https://blog.cloudflare.com/

Sinon, leur page de statut n'annonce rien d'anormal sur Paris : https://www.cloudflarestatus.com/

@++

Anycast je confirme.

OVH : au lieu de sortir sur France-IX Paris, on va sur AMS-IX :
# mtr -rwc100 104.24.118.221
Start: Tue Dec 27 16:16:41 2016
HOST: ovh                         Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- 37.187.131.252             0.0%   100    2.9   6.0   0.6 103.4  15.6
  2.|-- po109.gra-g2-a75.fr.eu     0.0%   100    0.3   0.3   0.2   0.5   0.0
  3.|-- 10.95.33.10                0.0%   100    8.2  10.1   7.8  69.3   9.9
  4.|-- be100-1112.ams-5-a9.nl.eu  0.0%   100    6.6   6.6   6.3   7.4   0.0
  5.|-- ams-ix.as13335.net         0.0%   100    7.0   7.0   6.7  10.5   0.5
  6.|-- 104.24.118.221             0.0%   100    7.2   6.8   6.6   7.2   0.0

Pour Orange, on gagne en latence par rapport à NextINpact : 27,6ms => 11,8ms
$ mtr -rwc100 104.24.118.221
Start: Tue Dec 27 16:03:18 2016
HOST: Orange                                             Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- livebox.home                                      0.0%   100    0.5   0.5   0.4   1.3   0.0
  2.|-- 80.10.233.189                                     0.0%   100    1.7   1.8   1.2   8.0   1.3
  3.|-- ae116-0.ncidf303.Aubervilliers.francetelecom.net  0.0%   100    1.8   1.9   1.8   3.1   0.1
  4.|-- ae43-0.nista301.Paris.francetelecom.net           0.0%   100    2.1   2.2   2.0  10.9   1.0
  5.|-- ae40-0.nimsr302.Paris.francetelecom.net           0.0%   100    2.1   2.7   2.0  25.0   3.0
  6.|-- 193.252.137.78                                    0.0%   100    6.1   4.4   2.5   6.4   0.9
  7.|-- hundredgige0-4-0-1.pastr2.Paris.opentransit.net   0.0%   100    5.2   6.6   2.6  10.6   2.2
  8.|-- tatateleglobe-2.GW.opentransit.net                0.0%   100    2.6   3.0   2.5  12.3   1.3
  9.|-- if-ae-9-2.tcore2.FNM-Frankfurt.as6453.net         8.0%   100   12.3  12.8  12.1  24.3   1.5
 10.|-- if-ae-14-3.thar1.F2C-Frankfurt.as6453.net         0.0%   100   11.9  13.4  11.8  79.3   7.9
 11.|-- 195.219.148.122                                   0.0%   100   11.9  11.9  11.8  12.7   0.0
 12.|-- 104.24.118.221                                    0.0%   100   11.8  11.8  11.7  12.7   0.0

Pour OVH l'ICMP sort toujours par AMS-IX vers CF, mais quand tu fais le même trace en TCP tu vois que ça bascule de temps en temps sur Paris via France-IX Paris ou Equinix IX (en temps normal, là ça reste sur AMS-IX quand je teste avec OVH)

Et pour Orange c'est un soucis qui vient de TATA visiblement.

EDIT: De AS48800 à CloudFlare, sur nextinpact: Pas de problèmes, ça passe bien sur Paris.

Start: Tue Dec 27 16:29:05 2016
HOST: v001                                     Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- 185.163.124.13                            0.0%    15    0.2   0.4   0.1   1.9   0.4
  2.|-- 10.234.185.54                             0.0%    15    3.8   2.2   0.5   5.2   1.6
  3.|-- 10.0.9.1                                  0.0%    15    1.0   1.2   0.5   2.6   0.4
  4.|-- te0-1-0-0.rcr21.par02.atlas.cogentco.com  0.0%    15    1.8   2.1   1.0   6.5   1.6
  5.|-- be2416.ccr42.par01.atlas.cogentco.com     0.0%    15    2.1   2.9   1.5   8.0   1.9
  6.|-- be2108.agr22.par01.atlas.cogentco.com     0.0%    15    1.6   2.8   1.5   7.6   1.7
  7.|-- 154.25.9.126                              0.0%    15    2.0   3.0   1.8   7.3   1.4
  8.|-- 149.11.0.126                              0.0%    15    1.6   3.1   1.6  11.7   2.7
  9.|-- 104.25.249.21                             0.0%    15    2.0   2.6   1.3   4.4   0.8


Le même trace en TCp :

Start: Tue Dec 27 16:30:53 2016
HOST: v001                                               Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- 185.163.124.13                                      0.0%    15   18.3  12.9   5.5  26.9   6.2
  2.|-- 10.234.185.54                                       0.0%    15   34.9  52.8   6.0 196.1  61.2
  3.|-- 10.0.9.1                                            0.0%    15    6.7  15.1   6.7  31.8   5.9
  4.|-- te0-1-0-0.rcr21.par02.atlas.cogentco.com            0.0%    15   13.8  14.4   8.6  24.2   4.7
  5.|-- be2416.ccr42.par01.atlas.cogentco.com               0.0%    15   12.7  15.6   9.3  28.3   5.6
  6.|-- be2108.agr22.par01.atlas.cogentco.com               0.0%    15   10.3  14.4   6.5  24.8   5.4
  7.|-- te0-0-1-1.rcr11.b019498-0.par01.atlas.cogentco.com  0.0%    15    9.7  13.6   7.8  33.7   6.7
  8.|-- 149.11.0.126                                        0.0%    15    7.8  14.9   6.9  28.6   6.8
  9.|-- 104.25.249.21                                       6.7%    15  145.2 147.3 113.2 258.3  36.1



Trace vers mon site en TCP:

Start: Tue Dec 27 16:31:53 2016
HOST: v001                                             Loss%   Snt   Last   Avg  Best  Wrst StDev
  1. AS???   185.163.124.13                             0.0%    15   13.0  12.2   7.0  22.7   4.2
  2. AS4565  10.234.185.54                              0.0%    15  137.7  18.7   5.7 137.7  33.1
  3. AS4565  10.0.9.1                                   0.0%    15    6.3  13.2   6.3  30.4   7.0
  4. AS???   te0-1-0-0.rcr21.par02.atlas.cogentco.com   0.0%    15   20.1  12.1   8.4  20.1   3.7
  5. AS174   be2416.ccr42.par01.atlas.cogentco.com      0.0%    15   17.6  14.1   6.9  25.4   4.9
     AS174   be2415.ccr41.par01.atlas.cogentco.com
  6. AS174   be2688.rcr21.bru01.atlas.cogentco.com      0.0%    15   24.3  19.6  14.8  31.4   4.3
     AS174   be2683.rcr21.bru01.atlas.cogentco.com
  7. AS174   149.11.170.82                              0.0%    15   23.0  19.2  12.6  34.1   5.9
  8. AS13335 104.24.119.221                             6.7%    15  144.4 152.7 125.8 215.8  20.3

Depuis plusieurs jours, je constate que CloudFlare Paris est down en IPv4 et n'est toujours pas revenu.

Pas du tout. Mauvaise conclusion.

Je m'en suis aperçu dimanche avec ce graphe Smokeping hébergé sur AS48800 ONETSolutions, derrière le réseau AS62000 PulseHeberg:

Tracerouter une IP vers un CDN n'est pas pertinent dans ce cas.
Les IPs renvoyées par leurs DNS varient dans le temps. Il aurait fallu à chaque fois faire une résolution DNS et tracerouter une IP obtenue à ce moment là.

Que ça passe à droite ou à gauche vers tel ou tel serveur et que ça change de temps en temps, c'est leur tambouille ; ce qui compte c'est que la résolution DNS du moment renvoie une IP joignable avec une bonne latence.
Ceci dépend entre autres du resolveur choisi ; si on utilise un DNS hors de son réseau on a peu de chance d'avoir la meilleure latence, et si on a monté son propre DNS qui n'utilise pas les resolveurs de son ISP, on risque la même chose.

Bref, le test n'est pas pertinent à la base.

J'ai compris que CloudFlare utilise l'anycast : tous les clients obtiennent donc la même IP, non ?

En l'occurrence oui, mais les IPs renvoyées pour un site donné peuvent quand même parfois changer (même si les problématiques de DNS sont réellement applicables aux autres CDNs).
Ici on ne sait pas:

• si une résolution vers le site renvoyait effectivement vers cette IP au moment des tests (puisqu'on ne connait pas le FQDN)
• si une autre IP Cloudflare traceroutait depuis ce réseau en restant en France. A priori oui, sinon il y aurait eu d'autres sites impactés

Bref, soit le bloc concerné n'était plus routé sur la plateforme parisienne de Cloudflare pendant quelques jours (mais on ne peut pas dire que Cloudflare était HS à Paris en IPv4 pour autant) et c'est un problème de Cloudflare ; soit l'IP avait changé à ce moment là et il n'y avait en fait pas de problème.

D'où l'importance de faire une résolution DNS avant de tester, en matière de site CDNisé...