Auteur Sujet: Serveur "lafibre.info" - ça sature! (Lu 3307 fois)

Leon · « **le:** 22 octobre 2011 à 06:46:30 »

Bonjour,

Je constate que depuis une connexion FREE en région parisienne, ça sature pas mal vers le serveur "Lafibre.info". Je pense que c'est particulièrement gênant, vu que ce serveur héberge beaucoup de services de test de la qualité de connexion (speedtest, pingtest, iperf, etc...).

Je ne sais pas si Viven et les autres constatent la même chose ou non. Ca doit être assez facile pour Vivien, vu tous les graphes automatiques que tu réalises.

Le ping augmente de 15ms, et il y a pas mal de pertes de paquets (voire graphe). On a 2.5% de perte de paquets (moyenne lissée 10 minutes) au plus fort de la saturation. Le traceroute montre que ça sature entre ILEO et ADELI, à Lyon. Le traceroute nous montre des liaisons "Gigabit", ce qui me parait surprenant pour héberger des serveurs en gigabit. A moins qu'il n'y ait plusieurs liens gigabit en parallèle.

Traceroute quand ça sature

Code: [Sélectionner]

  4    22 ms    22 ms    21 ms  th2-crs16-1-be1011.intf.routers.proxad.net [212.27.50.21]
  5    21 ms    21 ms    21 ms  free-pni2.xe3-0-0.th2.par.as8218.eu [212.27.40.82]
  6    21 ms    21 ms    21 ms  83.167.55.23
  7    21 ms    23 ms    24 ms  ge1-5.br1.rdb.par.ielo.net [83.167.52.182]
  8    22 ms    22 ms    21 ms  ge-1-3-ve45-man-cr2.th2-prs.fr.rt.ielo.net [212.85.145.74]
  9    28 ms    29 ms    29 ms  2ge-e1-17-e1-18-cr5.le9-lyon.fr.rt.ielo.net [212.85.145.41]
 10    46 ms    46 ms    45 ms  adeli-l2.peers.lyonix.net [77.95.71.11]                                  <-- C'est là que ça sature
 11    47 ms    46 ms    46 ms  speedtest.lafibreinfo.com [46.227.16.8]

Traceroute quand c'est normal

Code: [Sélectionner]

  4    21 ms    21 ms    21 ms  th2-crs16-1-be1011.intf.routers.proxad.net [212.27.50.21]
  5    31 ms    20 ms    20 ms  free-pni2.xe3-0-0.th2.par.as8218.eu [212.27.40.82]
  6    21 ms    95 ms    20 ms  83.167.55.23
  7    32 ms    24 ms    24 ms  ge1-5.br1.rdb.par.ielo.net [83.167.52.182]
  8    22 ms    24 ms    25 ms  ge-1-3-ve45-man-cr2.th2-prs.fr.rt.ielo.net [212.85.145.74]
  9    28 ms    28 ms    28 ms  2ge-e1-17-e1-18-cr5.le9-lyon.fr.rt.ielo.net [212.85.145.41]
 10    31 ms    31 ms    31 ms  adeli-l2.peers.lyonix.net [77.95.71.11]
 11    31 ms    31 ms    31 ms  speedtest.lafibreinfo.com [46.227.16.8]

Leon.

Leon · « **Réponse #1 le:** 22 octobre 2011 à 07:03:02 »

A priori, la saturation est valable pour tous les abonnés Free, mais pas pour les autres.

https://lafibre.info/dns/smokeping.cgi?target=Free.ADSL

Leon.

vivien · « **Réponse #2 le:** 22 octobre 2011 à 07:11:18 »

Le routage est asymétrique, voicice que j'ai ce matin vers ton IP (j'ai supprimé les 2 derniers hop)

Code: [Sélectionner]

HOST: lafibre.info                          Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- portevlan.adeli.biz                    0.0%   100    0.2   0.7   0.1  49.6   4.9
  2.|-- ge-6-8.car1.Geneva1.Level3.net         0.0%   100    3.1  16.9   3.0 205.7  41.2
  3.|-- ae-5-5.car1.Lyon1.Level3.net           0.0%   100    5.6  11.5   5.5 192.0  24.6
  4.|-- ae-9-9.ebr1.Paris1.Level3.net          0.0%   100   12.0  13.5  11.9  23.5   3.1
  5.|-- ae-2-52.edge5.Paris1.Level3.net        0.0%   100   12.3  15.7  12.1  77.9  12.1
  6.|-- ix-20-0.tcore1.PVU-Paris.as6453.net    0.0%   100   12.8  13.0  12.4  30.3   2.5
  7.|-- 195.219.241.174                        1.0%   100   11.0  11.5  10.9  26.1   1.5
  8.|-- cbv-6k-2-po21.intf.routers.proxad.net 19.0%   100   40.0  13.5  11.0  40.1   7.0

Dans le graphes SmokePing (là je ping free.fr, mais j'ai vérifié avec d'autres destinations) on note bien un changement de route le 18 octobre 2011 vers 17h, le nouveau chemin étant saturé en heure de pointe :

cali · « **Réponse #3 le:** 22 octobre 2011 à 07:41:02 »

Super, même en France le réseau free sature, c'est de mieux en mieux.

Leon · « **Réponse #4 le:** 22 octobre 2011 à 07:50:37 »

Comme dit dans mon post, ça ne vient pas du réseau de Free, contrairement à ce que tu dis!

Leon.

vivien · « **Réponse #5 le:** 22 octobre 2011 à 09:59:29 »

Il faut préciser que plus le temps passe, moins Free peer...

Il a encore fait une campagne de de-peerage il y a un mois...

Seul les gros opérateurs avec beaucoup de trafic symétrique peuvent prétendre peerer avec Free

La politique de Free ne permet pas d'avoir un réseau de bonne qualité (constitué de nombreux peering). Free suit Orange dans cette mauvais voie malheureusement...

Sacrifier la QoS pour quelques euros de paid-peering...

Citation de: http://www.as12322.net/as12322_policy.html

Paid Peering

For applicants who do not qualify for a Settlement Free Interconnection
or who do not have a nation wide network to establish Regional Settlement
Free Interconnection, it's possible to request a Paid Peering. The
benefits are:

- Direct access to all Free S.A.S content
- Direct access to more than 2.6 million eyeballs
- No traffic volume and restrictive ratio requirements
- A single Point of Presence to collect/deliver traffic
- A monthly flat price depending on the interface capacity

Point of Presence Interfaces available Price (euros/month VAT not included)
Telehouse 2 Telehouse 1 Netcenter Neuf Courbevoie GigabitEthernet 6000
Telehouse 2 Telehouse 1 Netcenter Neuf Courbevoie Additionnal GigabitEthernet (maximum 3) 7000
Telehouse 2 Telehouse 1 Netcenter Neuf Courbevoie TenGigabitEthernet 35000

(tarifs de mars 2008, depuis le site ne semble plus afficher publiquement les tarifs de paid-peering de Free...)

Leon · « **Réponse #6 le:** 22 octobre 2011 à 10:19:17 »

Je suis d'accord sur la politique de Free, qui devient gros, donc chiant. Dommage.

Mais ici, ça ne semble pas venir d'un problème entre Free et le reste du monde, mais entre d'autres opérateurs : peut-être entre ADELI et IELO, mais on n'en n'est pas certain. Voir mes traceroute.

Vivien, pour être certain de là où ça sature, je pense qu'il faudrait refaire des traceroute dans l'autre sens: du serveurs Lafibre vers Free, aux heures de pointe.
Après ça, on pourra y voir un peu plus clair.

Leon.

ldrevon · « **Réponse #7 le:** 22 octobre 2011 à 11:16:40 »

Bonjour,
oui c'est assez étrange car c'est le calme plat sur nos infras!
On a eu une micro-coupure vers 18h hier sur la liaison vers Genève. La session vers Level3 est tombée, cela a du perturber le fonctionnement et le routage de certains FAI.
Mais rien de prévu/constaté vers 17h.

Leon · « **Réponse #8 le:** 22 octobre 2011 à 15:19:28 »

C'est sympa d'avoir un professionnel d'Adeli ici. Merci.

En regardant les traceroutes et l'IP du serveur de Vivien (déclarée par Adeli), j'en conclus que le serveur est connecté sur le même réseau qu'Adeli. Et ce qui est sur, c'est qu'il y a saturation quelque part entre Adeli et Free.

Donc je pense que vous pouvez analyser ce problème plus facilement que nous. Vous avez certainement toutes les courbes de débit (montant et descendant) de chacun de vos peering/transit. Est-ce que vous ne suivez pas le ping/packloss vers les destinations les plus intéressantes? N'avez-vous pas des remontées d'alerte automatique en cas de perte de paquet vers les destinations les plus intéressantes? C'est apparemment assez facile à mettre en place.

J'ai compris que ce genre de problème peut se régler en modifiant vos annonces BGP vers les autres réseaux (poids de chaque route) ou en modifiant l'écoulement du trafic sortant. Donc même si la saturation n'est pas sur votre réseau, je pense qu'il y a des solutions.

Leon.

Leon · « **Réponse #9 le:** 22 octobre 2011 à 18:32:08 »

Je me permet de continuer mon analyse. N'hésitez pas à me dire si je fais fausse route quelque part, je ne suis pas un pro.

Ca sature légèrement en ce moment. On a un ping élevé, mais peu de pertes de paquets.

Code: [Sélectionner]

  4    22 ms    21 ms    20 ms  th2-crs16-1-be1011.intf.routers.proxad.net [212.27.50.21]
  5    20 ms    21 ms    20 ms  free-pni2.xe3-0-0.th2.par.as8218.eu [212.27.40.82]
  6    21 ms    21 ms    21 ms  83.167.55.23
  7    21 ms    20 ms    23 ms  ge1-5.br1.rdb.par.ielo.net [83.167.52.182]
  8    21 ms    22 ms    23 ms  ge-1-3-ve45-man-cr2.th2-prs.fr.rt.ielo.net [212.85.145.74]
  9    29 ms    28 ms    38 ms  2ge-e1-17-e1-18-cr5.le9-lyon.fr.rt.ielo.net [212.85.145.41]
 10    45 ms    43 ms    45 ms  adeli-l2.peers.lyonix.net [77.95.71.11]                            <- on prend 15ms de manière inexpliquée
 11    45 ms    46 ms    46 ms  speedtest.lafibreinfo.com [46.227.16.8]

Mais en faisant un traceroute depuis Completel, on passe aussi par IELO, et pourtant, ça ne sature pas : le ping ne change pas entre IELO et ADELI.
http://lg.completel.fr/

Code: [Sélectionner]

traceroute to 46.227.16.8 (46.227.16.8), 30 hops max, 38 byte packets
[...]
 5  reverse.completel.net (213.244.0.230)  1.445 ms  1.428 ms  1.397 ms
 6  reverse.completel.net (213.244.0.242)  24.103 ms  197.278 ms  114.575 ms
 7  ielo-lostoasissarl.sfinx.tm.fr (194.68.129.108)  2.022 ms  2.039 ms  2.005 ms
 8  2ge-e1-17-e1-18-cr5.le9-lyon.fr.rt.ielo.net (212.85.145.41)  9.061 ms  9.034 ms  9.039 ms
 9  adeli-l2.peers.lyonix.net (77.95.71.11)  10.081 ms  10.093 ms  9.966 ms
10  speedtest.lafibreinfo.com (46.227.16.8)  10.515 ms  10.103 ms  10.134 ms

Bref, j'en conclus que ça vient du trajet ADELI -> FREE, et non FREE-> ADELI. Sinon, on prendrait dans les 2 cas 10 à 15ms de ping en passant d'IELO à ADELI.

Comme ADELI utilise (=choisit d'utiliser) LEVEL3 pour joindre FREE (voir le traceroute de Vivien), on peut en conclure que level3 est un mauvais choix pour joindre FREE.

Donc je fais un traceroute depuis LEVEL3 à Paris vers ma propre adresse IP... et BINGO! On a trouvé! Ca sature apparemment au sein même du réseau de TATA. Etrange que ça sature au sein même d'un réseau, et non entre 2 opérateurs... Bref, passer par TATA ou LEVEL3 pour joindre Free, c'est un mauvais choix.

http://lookingglass.level3.net/traceroute/traceroute.cgi?site=gen1&target=88.190.254.12

Code: [Sélectionner]

  1 ae-5-5.car1.Lyon1.Level3.net (4.69.137.82) 0 msec 4 msec 4 msec
  2 ae-9-9.ebr1.Paris1.Level3.net (4.69.134.50) 8 msec 12 msec 8 msec
  3 ae-2-52.edge5.Paris1.Level3.net (4.69.139.235) 8 msec 8 msec 12 msec
  4 ix-20-0.tcore1.PVU-Paris.as6453.net (80.231.153.65) [AS6453 {TELEGLOBE}] 8 msec 8 msec 8 msec
  5 195.219.241.174 [AS6453 {TELEGLOBE}] 36 msec 32 msec 32 msec
  6 th2-6k-3-po21.intf.routers.proxad.net (212.27.58.29) [AS12322 {PROXAD}] 100 msec 32 msec 32 msec
  7 dedibox-vty-2-p.intf.routers.proxad.net (212.27.50.42) [AS12322 {PROXAD}] 32 msec 32 msec 32 msec
  8 sys-6k1-po2.vty.dedibox.fr (88.190.3.2) [AS12322 {PROXAD}] 32 msec 40 msec 32 msec
  9 web-vit.online.net (88.190.254.12) [AS12322 {PROXAD}] 32 msec 32 msec 32 msec

Et les pertes de paquet sont confirmées par LEVEL3 depuis Geneve (pas mieux depuis Paris d'ailleurs):
http://lookingglass.level3.net/ping/ping.cgi?site=gen1&target=88.190.254.12&size=64&count=100

Code: [Sélectionner]

Show Level 3 (Geneva, Switzerland) Ping to 88.190.254.12 
---- 88.190.254.12 statistics ----
100 packets transmitted, 95 packets received, 5% packet loss
rtt min/avg/median/max/mdev/stddev = 28/32.505/32/72/1.061/4.195 ms

ADELI a un 2ieme transitaire, qui est NEO TELECOM. Et visiblement, aucune saturation de NEO vers FREE. C'est du peering direct, propre. Donc je conseillerai à ADELI de faire sortir le trafic à destination de FREE par NEO Telecom.
Traceroute depuis NEO TELECOM: http://lg.as8218.eu/

Code: [Sélectionner]

traceroute to 212.27.51.62 (212.27.51.62), 30 hops max, 40 byte packets
 1  xe0-0-0.tcr1.gs.par.as8218.eu (83.167.56.172)  0.668 ms  0.539 ms  0.521 ms
 2  th2-crs16-1.routers.proxad.net (212.27.40.81)  1.114 ms  0.789 ms  0.830 ms
 3  cbv-6k-2-po21.intf.routers.proxad.net (212.27.50.22)  0.992 ms *  1.292 ms

Leon.

ldrevon · « **Réponse #10 le:** 22 octobre 2011 à 18:46:02 »

Le saut N°10 est plus long car nous ressortons à partir de ce routeur par Level3 pour accéder à Free.
Je vais de ce pas dérouté ce trafic , car je pense que L3 est entrain de migrer son réseau avec celui de GlobalCrossing (suite à son rachat), mais ce n'est qu'une pensée

8 21 ms 22 ms 23 ms ge-1-3-ve45-man-cr2.th2-prs.fr.rt.ielo.net [212.85.145.74]
9 29 ms 28 ms 38 ms 2ge-e1-17-e1-18-cr5.le9-lyon.fr.rt.ielo.net [212.85.145.41]
10 45 ms 43 ms 45 ms adeli-l2.peers.lyonix.net [77.95.71.11] <- on prend 15ms de manière inexpliquée
11 45 ms 46 ms 46 ms speedtest.lafibreinfo.com [46.227.16.8]

ldrevon · « **Réponse #11 le:** 22 octobre 2011 à 19:06:11 »

Bon voilà c'est fait, je rejoins free via Ielo.
Pour info, nous n'utilisons plus Néo télécom pour des raisons commerciales.
Cordialement

Point of Presence	Interfaces available	Price (euros/month VAT not included)
Telehouse 2 Telehouse 1 Netcenter Neuf Courbevoie	GigabitEthernet	6000
Telehouse 2 Telehouse 1 Netcenter Neuf Courbevoie	Additionnal GigabitEthernet (maximum 3)	7000
Telehouse 2 Telehouse 1 Netcenter Neuf Courbevoie	TenGigabitEthernet	35000