La Fibre
Télécom => Peering Transit (appairage) => 
Peering entre opérateurs => Discussion démarrée par: K-net le 06 septembre 2012 à 15:15:19
-
K-net :
Double connexion sur Genève et Lyon, pas de saturation de lien
http://bgp.he.net/AS24904 (http://bgp.he.net/AS24904)
Transit Ielo, cogent, level3, peering ouvert
Kiwi :
Connecté sur Genève, pas de saturation de lien à ma connaissance, routage fait sur Paris dégradant la vitesse des connexions régionales
http://bgp.he.net/AS39473 (http://bgp.he.net/AS39473)
Transit principale Interoute, backup Cogent, pas de peering
Wimifi :
connecté sur Lyon
http://bgp.he.net/AS50133 (http://bgp.he.net/AS50133)
Transit unique Cogent, pas de backup
Adeli :
FTTH passe par Lyon pour rejoindre Maxnod qui est connecté sur Genève et Lyon, pas de saturation de lien.
http://bgp.he.net/AS43142 (http://bgp.he.net/AS43142)
Transit Ielo, level3, cogent, peering ouvert
Tel&Go :
connecté sur Lyon en passant par un lien 100Mbs de Lasotel
pas d'AS à ma connaissance
Declic :
connecté sur Lyon
http://bgp.he.net/AS49466 (http://bgp.he.net/AS49466)
Transit Lasotel, pas de backup
Wibox :
connecté sur Lyon
37.220.48.0/20 sous traité à Altitude infrastructure
http://bgp.he.net/AS49594 (http://bgp.he.net/AS49594)
46.162.128.0/18 sous traité à Lasotel
http://bgp.he.net/AS39180 (http://bgp.he.net/AS39180)
Alsatis :
connecté sur Lyon
http://bgp.he.net/AS48072 (http://bgp.he.net/AS48072)
Transit Cogent, ielo, alphalink
-
Très intéressant comme comparatif même cela ne parle par forcèment à Mme Michu.
Tel&Go :
connecté sur Lyon en passant par un lien 100Mbs de Lasotel
pas d'AS à ma connaissance
Tel&Go possède l'AS 198126.
En attendant la mise en place d'un routeur BGP prochainement (avec livraison transit en BGP), c'est effectivement Lasotel qui annonce ses IP.
-
A noter que K-Net semble privilégier le peering en IPV6 avec pratiquement autant de peer qu'en IPV4.
il ne manque plus qu'un peering costaud en IPV6 vers le Suisse pour être bien (Adelli en dispose d'un chez Init7).
-
Notre objectif est de fournir la route la plus rapide sur les 20 destinations les plus utilisées par nos clients.
Pour y parvenir, nous mettons en service sur le mois de septembre une boucle 10Gps Genève-Lyon-Paris-Amsterdam- Genève.
Nous serons présent sur amsix et franceix.
Top 10 netflow (download/upload)
France Télécom 20/100
Free 40/100
Ovh 80/50
Level3 100/10
Leaseweb 100/10
Google 80/10
SFR 10/70
France Télécom 10/60
Numericable 10/30
Akàmai 30/0
Limelight, giganews, newshosting, upc, ric, Télécom italia, telianer, edgecast, Google, neoTélécom
-
Je suis étonné par plusieurs points de ce Netflow :
- France Telecom est présent deux fois.
- Je m'attendrais à voir Google et Akamai dans les 3 première places.
- Le trafic vers Free/SFR/Orange semble sur-représentatif (Free = trois fois celui d'Akamai !) et fortement asymétrique pour SFR et Orange alors que le trafic devrait être symétrique entre FAI.
-
Free = Online ?
-
Qui se sent de faire une carte représentant les liens??? (pour mde michu)
-
J'ai troqué mon smartphone pour un PC, je vais donné le classement du jour :
1. AS12322: Free SAS 40/100
2. AS3215: France Telecom - Orange 20/70
3. AS16276: OVH 40/20
4. AS3356: Level 3 Communications 40/10
5. AS15169: Google Inc. 30/10
6. AS15557: NEUF CEGETEL 10/60
7. AS16265: LEASEWEB AS 50/10
8. AS5511: France Telecom - Orange - Worldwide IP Backbone 30/1
9. AS20940: Akamai Technologies European AS 30/1
10. AS36040: Google Inc. 80/1
11. AS21502: NUMERICABLE 10/30
12. AS30094: Giganews, Inc. 70/1
13. AS5432: Belgacom regional ASN 2/10
14. AS5410: Bouygues Telecom ISP 5/40
15. AS40069: Rsp Infrastructure LLC 30/1
16. AS3269: Telecom Italia S.p.a. 1/10
17. AS8218: AS Confederation of Neotelecoms, 10/1
18. AS22822: Limelight Networks, Inc. 20/1
19. AS12392: AS Object for Brutele SC 1/10
20. AS513: CERN 20/2
J'en conclus que nos abonnés partagent facilement leurs fichiers d'images iso opensource et que les abonnés des opérateurs nationaux sont des grands consommateurs d'ISO linux.
le classement est en volume de données échangés.
- France Telecom est présent deux fois.
- Je m'attendrais à voir Google et Akamai dans les 3 première places.
- Le trafic vers Free/SFR/Orange semble sur-représentatif (Free = trois fois celui d'Akamai !) et fortement asymétrique pour SFR et Orange alors que le trafic devrait être symétrique entre FAI.
FT est présent sous 2 AS tout comme google.
En cumulant, FT arrive en tête suivi de Free et de Google.
Pour moi le trafic est asymétrique en raison de l'upload à 100Mbs, les abonnés K-net envoie en moyenne 3x plus de données qu'ils n'en reçoivent en direction des abonnés des opérateurs nationaux.
Le débit global est plus ou moins symétrique 3.7To téléchargé et 3To envoyé
-
C'est très intéressant cette asymétrie vers les autres FAI.
On voit clairement que Les abonnés Free (AS12322) font trois fois plus de peer to peer que les abonnés Orange (ne pas oublier que Orange a deux fois plus d'abonnés que Free). 100 Mb/s pour Free pour 70 Mb/s pour Orange.
Coté FAI :
Telecom italia : ratio de 10
SFR : ratio de 6
Bouygues Telecom : ratio de 5
Belgacom : ratio de 5
Orange : ratio de 3,5
Numericable : ratio de 3
Free : ratio de 2,5
Coté hébergeur :
OVH : ratio de 0,5
Google (hors Youtube) : ration de 0,3
Level 3 (ex: M6 replay) : ratio de 0,3
Leaseweb : ratio de 0,2
Youtube : ratio de 0,1
Limelight : ratio 0,05
Akamai : ratio de 0,03
Giganews : ratio de 0,01
Pour info pour peerer avec Orange une des condition est d'avoir un ratio entre 2 et 0,5 (d'où les problèmes avec Cogent à l'époque de MegaUpload)
Aucun commentaire sur la présence de Giganews en haut du classement (100% piratage). dépassant plus du double le trafic d'Akamai (trafic 99% légal).
Savez-vous le service qui se cache derrière
15. AS40069: Rsp Infrastructure LLC 30/1
19. AS12392: AS Object for Brutele SC 1/10
-
Je connaissais pas giganews.
La quantité de données en provenance d'Akamai et de giganews est sensiblement identique. Akamai est plus linéaire. Giganews plafonne à 100 Mbs et retombe à 0.
AS40069 ça sent l'hebergeur
AS12392 ça sent l'opérateur TVcablenet.be
-
Attention, Orange (AS) n'est pas qu'un FAI. Orange est aussi hébergeur, et certaines entreprises hébergent leur serveurs derrière une connexion Orange. Free a également plusieurs clients "entreprise", dans ses datacenters notamment. Donc je pense qu'il est quand même difficile de tirer des conclusions. Mais c'est vrai que les chiffres restent intéressants.
Pour K-Net : peut-on savoir combien d'abonnés au total tirent/possent ces débits?
En tout cas, on voit bien que le P2P n'est pas mort!
Leon.
-
Attention, Free n'est pas qu'un FAI. Free (AS12322) inclut aussi Online.
-
Online comme FreeMobile a sa propre AS.
Par contre j'ai trouvé des IP de serveurs Online dans les IP de Free (découverte faite sur mon baromètre et je supprime donc ces plages IP)
Je ne connais pas le % de serveur Online sur AS Free et le % sur AS Online.
Pour Orange, je me demande qu'est-ce qui est fait sur AS5511. Le trafic est relativement important.
Je connaissais pas giganews.
Giganews offre un accès aux newsgroups binaire pour télécharger à haut débit des films contre un abonnement de 25€/mois.
Je n'ai jamais entendu parler de téléchargement de distribution linux sur les newsgroups donc pour moi c'est 100% piratage.
Je pense que giganews a bien profité de la fin de MegaUpload.
-
Giganews marchait déjà pas mal avant, c'est un fournisseur de newsgroups qui a plutôt la côte. Après c'est cher, j'ai le même service (1500 days retention, saturation de mon FTTH) pour <9€.
Après on y trouve des distrib linux, mais c'est rarement pour ça qu'on s'abonne.
-
Giganews essaye aussi de diversifier son offre notamment avec son service VPN (openvpn). Cela voudrait le coup d'essayer avec une connexion 100Mbits.
-
Je m'inquiète pas trop vu comment ça marche chez les différents FAIs :)
Par contre pas mal du tout l'offre Diamond avec NG + VPN + Storage !
-
Online comme FreeMobile à sa propre AS.
Par contre j'ai trouvé des IP de serveurs Online dans les IP de Free (découverte faite sur mon baromètre et je supprime donc ces plages IP)
Je ne connais pas le % de serveur Online sur AS Free et le % sur AS Online.
Quel bordel, entre ça et le nombre de préfixes de Free...
-
Wimifi :
connecté sur Lyon
http://bgp.he.net/AS50133 (http://bgp.he.net/AS50133)
Transit unique Cogent, pas de backup
Declic :
connecté sur Lyon
http://bgp.he.net/AS49466 (http://bgp.he.net/AS49466)
Transit Lasotel, pas de backup
Alsatis :
connecté sur Lyon
http://bgp.he.net/AS48072 (http://bgp.he.net/AS48072)
Transit Cogent, ielo, alphalink
Bonjour la team.
Du transit seulement mais sa doit leur couter horiblement cher.
Une connexion cher franceix cest pas mieux. Non?. La je conprend pas.
-
Quand tu es petit, tu écoules peu de trafic en peering vu que les gros AS peer avec les gros AS uniquement.
Depuis Lyon aller sur FranceIX c'est plusieurs milliers d'euros par mois pour le lien, plusieurs milliers d'euros par mois pour les équipements sur Paris et le lien FranceIX.
=> Le transit IP est souvent financièrement moins cher que le peering. Il faut un volume minimal pour rentabiliser le peering. Par contre le peering même si il est peu avantageux financièrement améliore la qualité et la robustesse face à un incident.
Dans ton projet de FAI dans un petit village, il faut démarrer sur une facturation de 20€/mb au 95 percentil dans tes calculs.
Si Orange, Free et SFR ne sont pas sur FranceIX c'est bien qu'ils ne sont pas intéressés pour faire du peering avec les "petits".
-
Je me permet aussi de faire une remarque supplèmentaire sur l'absence de redondance du transit, l'absence de "multi homing" (connexion via plusieurs fournisseurs de transit). Le multi-homing n'est clairement pas indispensable!
Il est tout à fait possible d'assurer une bonne prestation, avec un bon taux de disponibilité avec un seul opérateur de transit sérieux. Si les connexions entre les 2 réseaux sont redondantes bien sur.
Leon.
-
Pour etre sur un pop ( franceix p ) par exemple il sufit d obtenir l'As. D ajouter des equipement (routeur ...)dans le DCenter conserne. Conclure un accord et biensur avoir de largent.
En grossierement parlant. Ci je ne me trompe pas.
sfr free orange il sont sur franceix. et ci tes sur franceix tu peer avec toute la communauter connecter!!
K-net ne fait pas seulement du transit aparament. Pas mal de peering
http://www.robtex.com/as/as24904.html (http://www.robtex.com/as/as24904.html)
Plussieur millier d euro... De lyon a franceix tu parle de Lien optique ??
Pour mon projet tous depend de la connecivite entre batiment -client.
-
sfr free orange il sont sur franceix.
Ah bon ?
Plussieur millier d euro... De lyon a franceix tu parle de Lien optique ??
Oui, le lien entre Lyon et TH2 en gros. Et encore c'est surement pas la destination la plus chère à joindre depuis Paris vu la concurrence par les infra possible.
-
Ah bon ?
Oui bin. Non enfait pourtant. Javais cru.
Donc franceix cest pour les petits fai ? Mais des gros tout de meme. Comme ovh...
-
C'est pas sympa pour ByTel :)
-
Pour Ashemta: tu te trompes sur une chose.
Un opérateur peut être présent dans un GIX (FranceIX) sans pour autant être obligé de peerer avec tout le monde. C'est au choix de l'opérateur. Certains gros opérateurs ont une politique de peering assez fermée.
Leon.
-
Pour OVH, ce n'est pas le bon exemple, il a fallu les pousser pour venir sur France-IX (c'est tout récent, je ne sais même pas si il y a du trafic OVH qui va sur France-IX). OVH ne voyait pas l'intérêt d'être sur France-IX.
Aujourd'hui OVH est plus dans la catégorie hébergeur que FAI.
Sur France-IX il y a 2 FAI français nationaux : Bouygues Telecom (40 Gb/s) et Numeriable (20 Gb/s).
France-IX est le successeur du Panap (le plus gros GIX Français en 2010, hébergé directement sur la backbone de Bouygues Telecom) et SFR et Free étaient présent sur le Panap.
Lors de la migration vers France-IX, Free qui avait déjà de-peeré de nombreux opérateurs et n'a pas donné suite. SFR a demandé 30 Gb/s gratuit (sous-entend on est sympa on ne vous le fait pas payer). Refus de France-IX (tout le monde paye sans exception) et donc SFR n'est pas venu.
-
nous mettons en service sur le mois de septembre une boucle 10Gps Genève-Lyon-Paris-Amsterdam- Genève.
Nous serons présent sur amsix et franceix.
Promesse tenue, K-Net viens d'arriver sur AMS-IX et apparaît dans la longe liste des 526 opérateurs présents (https://www.ams-ix.net/connected_parties). Les FAI nationaux y sont (Orange / Free / SFR / Bouygues Telecom) sauf Numericable. Free dit même avoir une peering policy ouverte (pour ceux qui suivent le sujet Free est, après Orange, le FAI le plus fermé au niveau peering)
Petite subtilité que Arnaud pourra nous expliquer : Pourquoi K-Net n’utilise pas les route serveur.
Les route serveur permettent de monter des peering automatiquement entre tous ceux qui utilisent les route serveur.
Utiliser les route serveur permet donc de récupérer 397 peer (généralement uniquement les petits opérateurs)
A noter que seul les annoncent passent par les route serveur, en aucun cas le trafic.
Les gros opérateurs n'utilisent pas les route serveur car ils veulent contrôler avec qui ils peer et où. Cela permet d'éviter par exemple qu'un peer qui vous envoi 10 Gb/s passent d'un GIX à un autre au risque de saturer un GIX.
La page peerindb (http://www.peeringdb.com/view.php?asn=24904) de K-Net a été mise à jour :
(https://lafibre.info/images/k-net/201210_peering_AMS-IX_k-net.png)
On devine que le lien est mutualisé avec un autre opérateur, vu que le débit affiché est de 500 Mb/s (donc 500 Mb/s pour K-Net et 500 Mb/s pour le second opérateur)
-
Petite subtilité que Arnaud pourra nous expliquer : Pourquoi K-Net n’utilise pas les route serveur.
La connexion est toute fraîche. Pour filtrer correctement nos annonces (et notamment ne pas risquer d'annoncer nos préfixes a certains transitaires présents également a l'AMS-IX) il faut que
je configure correctement nos filtres IRRdb.
Tant que ce ne sera pas fait, je ne monterais pas les sessions sur les route server. J'espère avoir le temps de m'occuper de ça demain, ce sera prêt cette semaine en tous cas.
-
Je n'avais pas pensé qu'un transitaire pouvait être sur un GIX avec les "route serveur" actif.
C'est le cas d'IELO, transitaire de K-Net, qui a une peering policy ouverte et qui est sur AMS-IX et les route serveur.
A noter que IELO ne donne pas d’indication sur sa taille (Traffic Levels) : http://www.peeringdb.com/view.php?asn=29075 (http://www.peeringdb.com/view.php?asn=29075)
Il est pourtant possible de donner une information assez floue (supérieur à) et non une tranche.
-
Les gros opérateurs n'utilisent pas les route serveur car ils veulent contrôler avec qui ils peer et où. Cela permet d'éviter par exemple qu'un peer qui vous envoi 10 Gb/s passent d'un GIX à un autre au risque de saturer un GIX.
Ce qui AMHA relève plutôt de l'excuse que de la vérité vrai ;). Tous les GIX modernes proposent, et depuis longtemps, des solutions de filtrage (souvent basé sur des communautés BGP). Chacun peut de fait maîtriser ce qu'il sera fait de ses annonces.
Prenons l'exemple de Google qui n'est pas complètement Joe l'clodo en terme de trafic tu en conviendra; ces gens là préfèrent utiliser les RS pour les échanges de faible volume, et monter des sessions directes pour les plus gros consommateurs.
Peers in Europe with less than 100Mbps peak Google traffic can peer via the route servers at any participating European Internet Exchange
Peers in North America or Europe with more than 100Mbps peak Google traffic can peer via a bilateral BGP session over an Internet Exchange
source : https://peering.google.com/about/peering_policy.html
-
Je déterre le sujet : A quand l’arrivée de K-Net sur un GIX parisien ?
K-Net và avoir de plus en plus de collecte de trafic sur Paris dans les prochains mois (Le réseau du Calvados arrive sur Paris, Europ'Essonne arrive sur Paris, je suppose que le trafic du SIVU va lui aussi arriver sur Paris,...)
Ce n'est pas forcèment une bonne idée de tout envoyer (Peering / transit) sur Lyon.
-
Moi je dis qu'il faut voir.
Prends LDLC par exemple : (presque ?) tout passe par Lyonix.
De la meme manière que les "gros" FAI ont du mal à utiliser les peerings régionaux car ça leur coute moins cher de tout faire passer par Paris, K-Net a p'tet tout intéret à rester sur Lyon.
-
C'est quand même dommage d'avoir un RIP>Paris>Lyon (GIX) pour peerer, sachant que le trafic va surement remonter à Paris ensuite.
-
La différence c'est que LDLC est hébergé uniquement sur Lyon.
Quand K-Net avait tous ses clients dans l'Ain, il était inutile d'aller sur Paris.
Quand tu commences à avoir un % non négligeable de clients sur Paris et que tu as déjà une infrastructure sur Paris, il est dommage d'avoir tous ses transits et peering sur Lyon.
Il me semble qu'un client K-Net du Calvados (14) passe systématiquement par Lyon ou Genève, même pour aller sur AMS-IX (Amsterdam) ou sortir via des transit-IP, cela entraîne un ping supplèmentaire vers 90% de l'Internet.
Exemple en pingant la première IP K-Net dans le calvados qui répond au ping depuis Free en région parisienne (je passe donc par un transitaire de K-Net, IELO qui a un Paid-peering avec Free) :
$ mtr -rwc100 185.4.76.3
Loss% Snt Last Avg Best Wrst StDev
1.|-- 192.168.1.254 0.0% 100 0.3 0.3 0.3 0.5 0.0
2.|-- 82.236.202.254 0.0% 100 22.7 23.3 22.1 26.5 0.7
3.|-- 213.228.8.254 35.0% 100 24.2 24.8 22.1 98.3 9.7
4.|-- th2-crs16-1-be1013.intf.routers.proxad.net 7.0% 100 23.5 23.8 22.4 41.2 1.9
5.|-- th2-6k-3-po21.intf.routers.proxad.net 2.0% 100 24.6 25.7 22.1 60.2 5.9
6.|-- ge1-17-cr2.th2-prs.fr.rt.ielo.net 0.0% 100 23.3 25.9 22.4 34.2 3.4
7.|-- 2ge-e1-17-e1-18-cr5.le9-lyon.fr.rt.ielo.net 0.0% 100 29.7 33.1 29.6 40.7 3.4
8.|-- kwaoo.ix-customers-le9lyon.ielo.net 0.0% 100 31.2 31.3 29.5 34.1 1.0
9.|-- core1-toq.dea.kwaoo.net 0.0% 100 42.1 43.9 41.3 73.7 4.6
10.|-- 3-76-4-185.ftth.cust.dea.kwaoo.net 0.0% 100 40.8 40.8 39.4 44.1 1.0
Autre-exemple en pingant la même IP K-Net dans le calvados depuis Numericable en région parisienne :
$ mtr -rwc100 185.4.76.3
Loss% Snt Last Avg Best Wrst StDev
1.|-- 10.105.96.1 0.0% 100 7.2 7.6 4.3 16.6 2.3
2.|-- vss1rj-ae1.100.numericable.net 0.0% 100 8.0 9.1 4.4 62.7 7.0
3.|-- ip-254.net-80-236-0.static.numericable.fr 0.0% 100 9.5 11.6 6.3 99.6 10.6
4.|-- ip-249.net-80-236-0.static.numericable.fr 0.0% 100 9.7 10.5 5.9 59.2 6.0
5.|-- 172.19.130.174 0.0% 100 24.6 28.6 22.6 87.2 9.4
6.|-- 172.19.130.174 0.0% 100 25.4 29.5 21.8 85.4 12.2
7.|-- ip-95.net-80-236-7.static.numericable.fr 0.0% 100 42.9 27.8 22.4 86.8 9.8
8.|-- kwaoo.peers.lyonix.net 1.0% 100 25.9 26.1 22.3 39.3 2.7
9.|-- core1-toq.dea.kwaoo.net 0.0% 100 38.9 38.8 34.1 54.3 3.7
10.|-- 3-76-4-185.ftth.cust.dea.kwaoo.net 1.0% 100 37.8 35.7 32.5 49.2 2.8
-
Sauf que l'infrastructure parisienne n'est sans doute pas du genre à pouvoir gérer du trafic de GIX.
L'upgrade est du coup loin d'etre négligeable vu la taille de K-Net.
-
Je suppose qu'aujourd'hui ce n'est pas un routeur qui est sur Paris et que le calvados est rattaché directement à un routeur sur Lyon/Genève, mais avec l’arrivée de deux nouvelles DSP dans les prochains mois, un routeur sur Paris me semble indispensable et donc la venue sur les GIX me semble pas trop coûteux.
Maintenant, ce sont des suppositions.
-
Nous avons actuellement 3 routeurs CISCO ASR avec une capacité de routage de 2.5Gbs chacun et nos deux GIX principaux sont Lyon et Genève.
Plusieurs éléments ont été pris en compte pour le choix de l'upgrade.
- les disponibilités financières, attendre le bouclement de la compta au 30.06 pour montrer aux banquiers qu'on travail bien et qu'ils peuvent nous prêter un peu de sous pour financer nos investissements.
- l'arrivée à saturation aux heures de pointes d'ici 3 mois avec l'augmentation d'abonnés.
- notre volonté d'être présent sur Paris pour éviter que le trafic face Deauville - Paris - Lyon - Paris
La solution retenu est de passer sur 4 routeurs Brocade (GIX Paris, Lyon, Genève + RIP Ain) capable de router chacun 40Gbs en ajoutant Paris comme GIX principal.
La mise en service sera effective avant la fin juin.
Nous en profitons pour séparer les cluster de services globaux (Hébergement, mail, SI) réparties sur Paris et Genève et les cluster de services locaux (DHCP, DNS, TV) qui restent au plus près de l'abonné à St-Genis-Pouilly, Deauville et Paris.
-
Très belle architecture réseau.
Je ne savais pas qu'un remplacement des routeurs était déjà nécessaire.
Un seul Brocade sur Paris, on ne peux pas prolonger la vie des autres ?
Cela risque de poser problème avec le Flux TV Multicast pour CanalSat (plusieurs centaines de Mb/s à descendre sur l'Ain depuis Paris)
Certains transitaire (Level3 par exemple) proposent de sortir sur x portes (par exemple Lyon et Paris), d’additionner le trafic des ces x portes avant de facturer au 95 percentile. Excepté les frais de mises en service des ports, le coût d'avoir deux portes au lieu d'une est donc nul.
-
Chaque plaque est connecté aux 3 routeurs de bordure en iBGP.
En cas de défaillance matériel d'un routeur, le trafic est automatiquement redirigé sur les autres routeurs.
avec une capacité de routage de 40Gbs, les 1.5Gbs pour la TV ne devrait pas poser de problème.
Pour le raccordement des transitaires sur plusieurs GIX, c'est prévu.