La Fibre
Hébergeurs et opérateurs pro / entreprises => Hébergeurs et opérateurs pro / entreprises => 
Scaleway => Discussion démarrée par: Damien06 le 03 juillet 2017 à 13:44:00
-
|------------------------------------------------------------------------------------------|
| WinMTR statistics |
| Host - % | Sent | Recv | Best | Avrg | Wrst | Last |
|------------------------------------------------|------|------|------|------|------|------|
| LIVEBOX - 17 | 18 | 15 | 0 | 0 | 0 | 0 |
| Request timed out. - 100 | 3 | 0 | 0 | 0 | 0 | 0 |
| ae118-0.ncnic101.Nice.francetelecom.net - 0 | 3095 | 3095 | 3 | 3 | 19 | 3 |
|ae45-0.nrmar101.Marseille.francetelecom.net - 0 | 1790 | 1790 | 6 | 6 | 47 | 7 |
| ae44-0.nrlyo201.Lyon.francetelecom.net - 0 | 1178 | 1178 | 9 | 10 | 51 | 22 |
| ae43-0.nolyo101.Lyon.francetelecom.net - 3 | 130 | 127 | 9 | 10 | 18 | 16 |
| 193.252.227.98 - 0 | 1184 | 1184 | 10 | 10 | 13 | 10 |
| lag-pop-ly-1.th2-1.rt.hopus.net - 0 | 744 | 744 | 15 | 16 | 21 | 16 |
| lag-pop-dc3-1.th2-2.rt.hopus.net - 0 | 739 | 739 | 16 | 16 | 22 | 16 |
| lag-online-1.dc3-1.rt.hopus.net - 0 | 720 | 720 | 16 | 16 | 20 | 16 |
| bb1-dc3-bb1.ams1.poneytelecom.eu - 2 | 96 | 95 | 75 | 77 | 80 | 79 |
| bb1-n9k1-be101.ams1.poneytelecom.eu - 0 | 158 | 158 | 75 | 77 | 80 | 78 |
| 163.172.208.7 - 1 | 116 | 115 | 74 | 77 | 80 | 77 |
|________________________________________________|______|______|______|______|______|______|
C'est normal où c'est un problème technique ?
-
Faut voir quoi ?
-
Une saturation entre DC3 et Amsterdam
-
C'est un problème connu :
pas AMSIX , l'interco DC3<->AMS plutot,
c'est en cours (3x100g qui arrivent ...)
Normalement il y a un 100 Gbps qui devrait être mis en production très bientôt.
-
Y'a pas moyen de router un peu plus via le transit sur place le temps que ça se calme ?
-
Oui aujourd'hui c'est la catastrophe.
-
Ca fait plusieurs mois que ça sature. Et ça sature beaucoup beaucoup, pas qu'un peu.
Quelqu'un a un smokeping pour voir à quel point ça sature? Ca ne doit pas être joli à voir.
Online n'est pas sérieux sur ce coup là, il n'ont pas suffisamment anticipé.
Ca m'étonne effectivement qu'ils n'aient pas pris de mesure drastique en attendant l'upgrade : notamment ne plus écouler le trafic depuis les serveurs de Paris vers les peerings d'Amsterdam, et vice versa.
Ca serait clairement faisable, vu la variété de transitaire qu'ils ont.
Leon.
-
Aujourd'hui il y a un problème particulier (coupure fibre) : https://status.online.net/index.php?do=details&task_id=937
We have lost lots of capacity between DC3 and AMS,
our 2 providers are impacted, we are waiting for more information from them
RPN is completely isolated in AMS (2 fibers on 2 providers down ...), we are trying to reroute traffic on other remaining links to restore connectivity
Online n'est pas sérieux sur ce coup là, il n'ont pas suffisamment anticipé.
"Our AMS-DC3 links are saturated due to late deliveries of our 100gb/s upgrades (ordered 4 months ago ...)"
-
@Leon : Je viens d'en mettre un, wait&see :)
-
On la voit bien http://netmap.online.net/
-
"Our AMS-DC3 links are saturated due to late deliveries of our 100gb/s upgrades (ordered 4 months ago ...)"
Oui, mais apparement ça ne les empêchent pas de continuer les ventes.
-
Ah ça je ne dis pas. :)
-
Aujourd'hui il y a un problème particulier (coupure fibre) : https://status.online.net/index.php?do=details&task_id=937
our 2 providers are impacted, we are waiting for more information from them
Je confirme. Nous aussi on a perdu une wave Amsterdam - Paris (réseau Zayo / ex-Viatel / ex-VTLWavenet) depuis 13h ce jour. Coupure net ;-)
@++
-
Ah, c'est pour ça ?
J'ai noté une légère saturation :
(https://pix.milkywan.xyz/nCey7LdV.png)
2/3 speedtests depuis une machine de test Scaleway à Amsterdam:
Leaseweb (via PNI à AMS) : (https://www.speedtest.net/result/6425040370.png)
ONLINE.net Paris : (https://www.speedtest.net/result/6425071008.png)
Bouygues Telecom Paris : (https://www.speedtest.net/result/6425077506.png)
Trace vers BouygTel:
ubuntu@server-instantcloud-1497521082:~$ mtr ns1.bouyguesbox.fr -4rwz
Start: Mon Jul 3 12:51:20 2017
HOST: server-instantcloud-1497521082 Loss% Snt Last Avg Best Wrst StDev
1. AS??? 10.9.163.58 0.0% 10 0.4 0.5 0.4 0.6 0.0
2. AS??? 10.9.255.1 0.0% 10 0.8 0.8 0.6 0.9 0.0
3. AS??? ??? 100.0 10 0.0 0.0 0.0 0.0 0.0
4. AS12876 28-33-15-51.rev.cloud.scaleway.com 0.0% 10 0.9 0.9 0.9 1.1 0.0
5. AS12876 254-32-15-51.rev.cloud.scaleway.com 0.0% 10 1.2 1.4 1.1 1.8 0.0
6. AS12876 bb1-ams1-bb1.dc3.poneytelecom.eu 0.0% 10 61.1 62.1 59.3 63.2 1.1
7. AS??? bouyguestelecom.par.franceix.net 0.0% 10 63.4 62.5 59.1 63.8 1.4
8. AS5410 be13.cbr01-ntr.net.bbox.fr 0.0% 10 66.6 64.8 61.5 66.8 1.7
9. AS5410 la41.bsr01-and.net.bbox.fr 0.0% 10 64.4 63.0 60.5 65.0 1.5
10. AS5410 89.89.100.77 0.0% 10 62.2 63.3 60.0 64.8 1.4
11. AS??? ??? 100.0 10 0.0 0.0 0.0 0.0 0.0
12. AS5410 ns1.bouyguesbox.fr 0.0% 10 64.1 63.7 62.9 65.0 0.3
-
le smokeping commence fort :D
(https://pix.milkywan.xyz/JTWDr1ZR.png)
-
|------------------------------------------------------------------------------------------|
| WinMTR statistics |
| Host - % | Sent | Recv | Best | Avrg | Wrst | Last |
|------------------------------------------------|------|------|------|------|------|------|
| LIVEBOX - 0 | 6 | 6 | 0 | 0 | 0 | 0 |
| No response from host - 0 | 0 | 0 | 0 | 0 | 0 | 0 |
| ae118-0.ncnic101.Nice.francetelecom.net - 0 | 249 | 249 | 3 | 3 | 12 | 4 |
|ae45-0.nrmar101.Marseille.francetelecom.net - 0 | 144 | 144 | 6 | 6 | 18 | 6 |
| ae44-0.nrlyo201.Lyon.francetelecom.net - 0 | 92 | 92 | 9 | 10 | 14 | 10 |
| ae43-0.nolyo101.Lyon.francetelecom.net - 0 | 38 | 38 | 9 | 10 | 11 | 10 |
| 193.252.227.98 - 0 | 85 | 85 | 10 | 10 | 11 | 10 |
| lag-pop-ly-1.th2-1.rt.hopus.net - 0 | 52 | 52 | 15 | 16 | 23 | 16 |
| lag-pop-dc3-1.th2-2.rt.hopus.net - 0 | 50 | 50 | 16 | 16 | 17 | 17 |
| lag-online-1.dc3-1.rt.hopus.net - 0 | 47 | 47 | 16 | 16 | 18 | 16 |
| bb1-dc3-bb1.ams1.poneytelecom.eu - 0 | 29 | 29 | 26 | 26 | 30 | 26 |
| bb1-n9k1-be101.ams1.poneytelecom.eu - 0 | 28 | 28 | 26 | 26 | 26 | 26 |
| 163.172.208.7 - 0 | 27 | 27 | 25 | 25 | 26 | 26 |
|________________________________________________|______|______|______|______|______|______|
WinMTR v1.00 GPLv2 (original by Appnor MSP - Fully Managed Hosting & Cloud Provider)
retour a la normal ?
-
le smokeping commence fort :D
(https://pix.milkywan.xyz/JTWDr1ZR.png)
[hs]C'quoi ton outil de smokeping/mtr ? :o
Ca ressemble à smokeping avec un thème pour le graph[/hs]
-
Mystère !
-
|------------------------------------------------------------------------------------------|
| WinMTR statistics |
| Host - % | Sent | Recv | Best | Avrg | Wrst | Last |
|------------------------------------------------|------|------|------|------|------|------|
| LIVEBOX - 0 | 6 | 6 | 0 | 0 | 0 | 0 |
| No response from host - 0 | 0 | 0 | 0 | 0 | 0 | 0 |
| ae118-0.ncnic101.Nice.francetelecom.net - 0 | 249 | 249 | 3 | 3 | 12 | 4 |
|ae45-0.nrmar101.Marseille.francetelecom.net - 0 | 144 | 144 | 6 | 6 | 18 | 6 |
| ae44-0.nrlyo201.Lyon.francetelecom.net - 0 | 92 | 92 | 9 | 10 | 14 | 10 |
| ae43-0.nolyo101.Lyon.francetelecom.net - 0 | 38 | 38 | 9 | 10 | 11 | 10 |
| 193.252.227.98 - 0 | 85 | 85 | 10 | 10 | 11 | 10 |
| lag-pop-ly-1.th2-1.rt.hopus.net - 0 | 52 | 52 | 15 | 16 | 23 | 16 |
| lag-pop-dc3-1.th2-2.rt.hopus.net - 0 | 50 | 50 | 16 | 16 | 17 | 17 |
| lag-online-1.dc3-1.rt.hopus.net - 0 | 47 | 47 | 16 | 16 | 18 | 16 |
| bb1-dc3-bb1.ams1.poneytelecom.eu - 0 | 29 | 29 | 26 | 26 | 30 | 26 |
| bb1-n9k1-be101.ams1.poneytelecom.eu - 0 | 28 | 28 | 26 | 26 | 26 | 26 |
| 163.172.208.7 - 0 | 27 | 27 | 25 | 25 | 26 | 26 |
|________________________________________________|______|______|______|______|______|______|
WinMTR v1.00 GPLv2 (original by Appnor MSP - Fully Managed Hosting & Cloud Provider)
retour a la normal ?
Je te confirme que non :
Start: Mon Jul 3 15:10:09 2017
HOST: clement-iMedia-S2883 Loss% Snt Last Avg Best Wrst StDev
1. AS??? 192.168.2.1 0.0% 10 0.3 0.3 0.3 0.4 0.0
2. AS??? 172.27.232.1 0.0% 10 32.6 32.4 32.0 33.5 0.0
3. AS50535 141.138.157.253 0.0% 10 33.3 37.3 32.9 60.0 8.8
4. AS50535 gi3.core1.sxb.as50535.net 0.0% 10 32.6 35.4 31.9 64.2 10.1
5. AS8218 ge-1-0-0.ter1.sfr.sxb.core.as8218.eu 0.0% 10 39.5 45.0 32.0 120.2 28.2
6. AS8218 xe-0-0-2.tcr1.vtl.sxb.core.as8218.eu 0.0% 10 48.6 36.7 32.2 58.1 9.0
7. AS8218 ae3.tcr2.th2.par.core.as8218.eu 0.0% 10 38.6 83.1 38.6 280.0 93.9
8. AS8218 ae1.ter2.ild.par.core.as8218.eu 0.0% 10 38.3 72.4 38.3 188.3 59.6
9. AS8218 online-pni.ter1.ild.par.core.as8218.eu 0.0% 10 39.8 53.6 39.5 136.2 31.7
10. AS12876 a9k2-pni-dc2.dc3.poneytelecom.eu 0.0% 10 41.3 47.3 38.7 83.7 15.7
11. AS12876 bb2-dc3-bb1.ams1.poneytelecom.eu 10.0% 10 121.8 127.9 112.6 214.6 32.7
12. AS12876 253-32-15-51.rev.cloud.scaleway.com 0.0% 10 120.7 120.3 109.1 155.8 13.0
13. AS??? ??? 100.0 10 0.0 0.0 0.0 0.0 0.0
14. AS??? ??? 100.0 10 0.0 0.0 0.0 0.0 0.0
15. AS??? ??? 100.0 10 0.0 0.0 0.0 0.0 0.0
16. AS??? ??? 100.0 10 0.0 0.0 0.0 0.0 0.0
17. AS12876 175-49-15-51.rev.cloud.scaleway.com 0.0% 10 113.4 118.3 112.4 132.4 6.1
(trace vers le serveur Looking glass à AMS1 de mtr.sh)
-
|------------------------------------------------------------------------------------------|
| WinMTR statistics |
| Host - % | Sent | Recv | Best | Avrg | Wrst | Last |
|------------------------------------------------|------|------|------|------|------|------|
| LIVEBOX - 10 | 11 | 10 | 0 | 0 | 0 | 0 |
| Request timed out. - 100 | 1 | 0 | 0 | 0 | 0 | 0 |
| ae118-0.ncnic101.Nice.francetelecom.net - 0 | 1287 | 1287 | 3 | 3 | 37 | 3 |
|ae45-0.nrmar101.Marseille.francetelecom.net - 0 | 753 | 753 | 6 | 6 | 42 | 6 |
| ae44-0.nrlyo201.Lyon.francetelecom.net - 0 | 495 | 495 | 9 | 10 | 49 | 10 |
| ae43-0.nolyo101.Lyon.francetelecom.net - 2 | 63 | 62 | 9 | 10 | 21 | 10 |
| 193.252.227.98 - 0 | 491 | 491 | 10 | 10 | 11 | 10 |
| lag-pop-ly-1.th2-1.rt.hopus.net - 0 | 306 | 306 | 15 | 16 | 23 | 18 |
| lag-pop-dc3-1.th2-2.rt.hopus.net - 0 | 305 | 305 | 16 | 16 | 17 | 16 |
| lag-online-1.dc3-1.rt.hopus.net - 0 | 295 | 295 | 16 | 16 | 18 | 16 |
| bb1-dc3-bb1.ams1.poneytelecom.eu - 0 | 174 | 174 | 28 | 28 | 30 | 28 |
| 253-32-15-51.rev.cloud.scaleway.com - 0 | 176 | 176 | 28 | 28 | 30 | 28 |
| Request timed out. - 100 | 1 | 0 | 0 | 0 | 0 | 0 |
| Request timed out. - 100 | 1 | 0 | 0 | 0 | 0 | 0 |
| Request timed out. - 100 | 1 | 0 | 0 | 0 | 0 | 0 |
| Request timed out. - 100 | 1 | 0 | 0 | 0 | 0 | 0 |
| 175-49-15-51.rev.cloud.scaleway.com - 0 | 169 | 169 | 28 | 28 | 33 | 28 |
|________________________________________________|______|______|______|______|______|______|
WinMTR v1.00 GPLv2 (original by Appnor MSP - Fully Managed Hosting & Cloud Provider)
-
Au lieu de faire une battle de traceroutes, on peut p-e juste attendre l'évolution du truc, non ? :p
-
Au lieu de faire une battle de traceroutes, on peut p-e juste attendre l'évolution du truc, non ? :p
Après les Epic Pixel Battle, découvrez les Epic Traceroute Battle !
-
je passe par le bb1 qui est a 74% c'est pour ça que je ne vois plus la saturation
-
bb2-dc3-bb1.ams1.poneytelecom.eu 10.0% 10 121.8 127.9 112.6 214.6 32.7
bb1-dc3-bb1.ams1.poneytelecom.eu - 0 | 29 | 29 | 26 | 26 | 30 | 26
-
Pour c'est retour à la saturation habituelle :-)
-
https://status.online.net/index.php?do=details&task_id=937
we are rerouting traffic to have a more acceptable load on links between DC3 and AMS
-
Mais... Ils le reroutent où leur traff ?
Y'a que deux liens sur la map, si ça tombe, ça passe par où ?...
Forcing sur les transits pour éviter de passer par DC3 ?
(d'ailleurs, remarque HS : Ce serait bien un port NL-Ix à Ams, avec éventuellement un NL-Routing ou truc du genre, ça permettrait de sortir un peu de traff des transits et du port NL-ix parisien.)
-
Par cogent ?
-
Par cogent ?
et Level3 ?
-
J'avais pas vu le lien L3, oui c'est l'idée :p
-
Le support du NL-IX a envoyé ça il y a 1h :
"Around 3rd of July 12:00 CEST there is a major incident ongoing currently in Zaventem Belgium area. For NL-ix multiple backbone links are affected due to fiber outages. From our suppliers we are seeing updates that multiple cables are damaged by construction works.
Impact for customers is increased latency to/via/from Belgium.
Engineers just arrived on site, repair works will start shortly and currently ETR unknown."
#ALERTE-PELETEUSE
@++
-
Du coup, SPOF des 2 providers d'Online ? https://status.online.net/index.php?do=details&task_id=937
-
ca y ressemble... sauf si y'avait plusieurs pelleteuses de sortie :D
-
Du coup, SPOF des 2 providers d'Online ? https://status.online.net/index.php?do=details&task_id=937
Commentaire de mikmak sur Twitter : "l'un des deux providers avait deja des chemins diversifiés, la moitié de ses liens sont encore up, le 2eme op doit nous livrer 2x100g en fin de semaine , sur sa fibre en propre normalement #pasdebolquoi"
-
C'est en train de revenir (un opérateur sur les deux) d'après mikmak sur IRC.
-
C'est en train de revenir (un opérateur sur les deux) d'après mikmak sur IRC.
En effet, la Netmap a une meilleure tête !!
-
Elle a aussi une meilleure tête parce que mikmak fait du délestage. ^^'
-
Parce que ces derniers mois, à cette heure ci, les liens sont normalement rouge.
Attendons de voir le smokeping de Hugues sur plusieurs jours, au moins 48h.
Leon.
-
Si les 200 Gbps supplèmentaires arrivent en fin de semaine comme prévu ça devrait aller mieux.
Sinon mikmak vient d'annoncer sur IRC que tout est remonté (280 Gbps de capacité actuellement).
-
Oui, je vois du trafic de leur réseau qui arrive à Amsterdam par Telia (AS1299) maintenant.
-
Délestage en vigueur au moins jusqu'à demain matin à priori (tant que les techniciens trifouillent les câbles).
-
un SPOF c'est quand ca coupe complètement, le POP d'AMS n'a jamais été totalement isolé, seul le RPN a été violemment impacté (2 fibres de 2 providers différents, pour le moment, je pouvais pas faire mieux, le RPN(v1) là-bas ne faisant pas de 100g mais dès que tous les 100g sont up, on pourra réutiliser les chemins diversifiés des 10g pour ca)
on a 3 providers différents et c'est ce qui a évité la coupure complète hier avec 3 chemins distincts (cela dit il est quasi impossible d'affirmer que 2 providers n'utilisent pas le meme bout de tuyau à un endroit), on peut déléguer cette mise en oeuvre à un provider par contre, et c'est justement ce qui était en cours avec provider #3 ... :
la nuit dernière level3 a transformé la premiere wave 100g vers AMS en wave sécurisée (prévu de longue date aussi ce truc là....mais ils ont du changer *tout* leur matos optique, ca a pris du temps, c'est aussi ce qui retarde la livraison du +100g chez eux),
donc niveau 100g, ca devrait survivre aux fibercut, la 2è wave qu'ils vont nous livrer sera elle aussi sécurisée.
les 2x100g qui vont arriver chez provider #2 seront aussi sécurisées, donc je pense que d'ici quelques semaines vous n'entendrez plus parler de fiber cut sur DC3<->AMS ;)
Mik
PS: sécurisée = 2 chemins fibres distincts sur toute la distance (mais c'est le fournisseur qui le dit, impossible à vérifier ...), le seul SPOF restant l'équipement optique en bout de chaine qui fait la bascule niveau 1
-
PS: sécurisée = 2 chemins fibres distincts sur toute la distance (mais c'est le fournisseur qui le dit, impossible à vérifier ...), le seul SPOF restant l'équipement optique en bout de chaine qui fait la bascule niveau 1
Hello,
C'est effectivement extrêmement difficile à vérifier pour énormèment de raisons, surtout quand le fournisseur lui-même ne le sait pas (suite à de multiples rachats par exemple). Tu pourras toujours demander les tracés en kmz, si ce n'est pas fidèle à 100% à la réalité, tu ne seras jamais à l'abri de mauvaises surprises.
###BEGIN-JOKE-RANT
Ça nous est arrivé une fois ça, où $fournisseur nous a envoyé un avis de maintenance simultané sur deux waves terminant à Amsterdam supposèment complètement redondées en terme de chemin physique. Après enquête, il s'avérait que les deux câbles passaient par la même chambre juste avant de rentrer dans notre DC, la dite chambre étant entrain de s'affaisser, cassant les câbles au passage. Et bien évidement, le fournisseur ne l'avait pas détecté parce que rachats successifs. Je ne vous raconte pas l'escalade qu'on a fait pour sécuriser le truc au plus vite ;-)
###END-JOKE-RANT
Après, tu peux demander aux $fournisseurs de se mouiller contractuellement en termes de pénalités. Mais tout le monde ici sait parfaitement que cela n'arrive jamais parce qu'un opérateur ne se mouille pas par définition.
En tous les cas, l'avantage de ce genre d'incidents est de repérer ce genre de défauts pour les corriger, mais aussi de tester sa résilience. Quand bien même cela peut-être impactant pour la production, il n'y a rien de mieux que les tests terrains à l'aveugle. Pour ce qui est du capacity planning, c'est une toute autre histoire.
My 2 cents.
@++
-
merci pour ces infos! toujours intéressant de lire tout ce qui se passe derrière :)
-
Bien, les liens devraient bientòt arriver ! :)
-
Les 200 Gb/s sont arrivés le 27 juillet :
(https://lafibre.info/images/online/201707_online_upgrade_dc3_amsterdam.png)
Cela manquait pour clôturer ce sujet.
-
Il y 2x100 Gbps de plus qui vont être ajoutés prochainement aussi : https://status.online.net/index.php?do=details&task_id=971