La Fibre

Télécom => Peering Transit (appairage) => reseau BGP (technique, questions générales) => Discussion démarrée par: PhilippeMarques le 04 octobre 2021 à 18:29:36

Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: PhilippeMarques le 04 octobre 2021 à 18:29:36
On dirait qu'ils ont un pb DNS chez Facebook 
Le monde s'arrète et s'écroule.  ;D ;D
Titre: PB DNS Facebook
Posté par: Optix le 04 octobre 2021 à 18:36:28
Ouaip.... petite pensée à notre astreinte qui doit se farcir les appels là  ;D
Titre: PB DNS Facebook
Posté par: butler_fr le 04 octobre 2021 à 18:45:32
punaise j'étais entrain de me demander ce qui merdait avec mon serveur DNS mais enfaite non c'est pas moi ^^
un joli servfail en réponse DNS

les articles des médias c'est  :-X
Citer
Plus précisément, le problème semble être lié à la disparition du système de routage BGP (Border Gateway Protocol) des serveurs de Facebook. Il s'agit d'un protocole imaginé pour que les données puissent transiter par Internet par des chemins optimaux lorsqu'un internaute tente de se connecter à une plateforme.
Titre: PB DNS Facebook
Posté par: kgersen le 04 octobre 2021 à 18:46:57
L'hypothese pour le moment est qu'ils ont du carrément couper au niveau DNS pour arrêter tout le traffic qu'ils recevaient  de façon a soulager  leur infra (y'avait des erreurs 500 avant la coupure DNS).

C'est drole l'impact sur les autres sites:
- speedtest.net recoit plein de traffic de gens qui testent si c'est leur connexion qui a un problème
- hackernews en surcharge de gens tech qui cherchent a savoir ce qui se passe
- Slack et Github semblent recevoir un pic de traffic aussi
- y'a guerre que Google qui bronche pas mais vu leur infra c'est pas étonnant.

et sur Twitter ca se déchaine aussi. J'aime beaucoup la 'fausse pub' de Signal: https://twitter.com/signalapp/status/1445062426739855366

Titre: PB DNS Facebook
Posté par: butler_fr le 04 octobre 2021 à 18:50:28
C'est un peu des bourrins quand même ^^

des erreurs 500? t'inquiètes on va shooter les enregistrements DNS comme ça y'aura plus d'erreurs  ;D
Titre: PB DNS Facebook
Posté par: kgersen le 04 octobre 2021 à 19:00:23
C'est un peu des bourrins quand même ^^

des erreurs 500? t'inquiètes on va shooter les enregistrements DNS comme ça y'aura plus d'erreurs  ;D

C'est une hypothèse. On verra au post-mortem.

Mais c'est effectivement une technique bourrin mais efficace de circuit breaker.  ;D
Titre: PB DNS Facebook
Posté par: Tounet le 04 octobre 2021 à 19:04:01
Ca parait quand même hyper bourrin. Curieux d'avoir le mot de la fin.   :P
Ils se sont p-e fait chiffrer leur infra  ;D ;D
Titre: PB DNS Facebook
Posté par: Tounet le 04 octobre 2021 à 19:17:37
Il y a un thread sur reddit :
(https://lafibre.info/images/peering/202110_panne_bgp_facebook_1.png)

https://www.reddit.com/r/sysadmin/comments/q181fv/looks_like_facebook_is_down/

Information intéressante
Citer
Update 1440 UTC:

As many of you know, DNS for FB services has been affected and this is likely a symptom of the actual issue, and that's that BGP peering with Facebook peering routers has gone down, very likely due to a configuration change that went into effect shortly before the outages happened (started roughly 1540 UTC).

There are people now trying to gain access to the peering routers to implement fixes, but the people with physical access is separate from the people with knowledge of how to actually authenticate to the systems and people who know what to actually do, so there is now a logistical challenge with getting all that knowledge unified.

Part of this is also due to lower staffing in data centers due to pandemic measures.
Titre: PB DNS Facebook
Posté par: butler_fr le 04 octobre 2021 à 19:23:41
no router bgp
commit
...
oups, chef j'ai fait une pitite boulette!

Citer
Part of this is also due to lower staffing in data centers due to pandemic measures.

alors ça faut un peu oser quand même après 1.5ans...
Titre: PB DNS Facebook
Posté par: Tounet le 04 octobre 2021 à 19:31:14
Je pense pas qu'un seul mec puisse être a l'origine d'une telle boulette, il y a probablement autre chose.
Titre: PB DNS Facebook
Posté par: butler_fr le 04 octobre 2021 à 19:38:43
perso je pense que c'est tout à fait possible :)
si tu te plante et que tu vautre toute ta conf bgp et que tu isoles ton réseau/tes équipements entre eux...

la c'est le début des emmerdes.
tes accès à distance : finito (coucou le télétravail)
ta doc hébergés en interne : disparue
ton si : cassé

te reste a prier pour avoir un accès de secours totalement indépendant
on avait ça dans mon ancien taff, des vieux cisco console branché d'un coté sur les ports console des équipements critiques du réseau et de l'autre sur une ligne adsl orange toute pourrie
ça nous avait jamais servi mais ...
Titre: PB DNS Facebook
Posté par: iMarco27 le 04 octobre 2021 à 19:39:09
Ou un acte interne de malveillance, vraiment bizarre cette histoire. Comment un système aussi redondé que Facebook et des accès qui doivent être très stricts au niveau de la conf des routeurs peut tomber comme ça ?

Quelques news en plus :

Citer
Update from /u/ramenporn
No discussion that I'm aware of yet that is considering a threat/attack vector.
I believe the original change was 'automatic' (as in configuration done via a web interface). However, now that connection to the outside world is down, remote access to those tools don't exist anymore, so the emergency procedure is to gain physical access to the peering routers and do all the configuration locally.
Titre: PB DNS Facebook
Posté par: xp25 le 04 octobre 2021 à 19:56:26
Ca touche Instagram aussi  :)

5xx Server Error
Titre: PB DNS Facebook
Posté par: Optix le 04 octobre 2021 à 19:57:09
Ca touche Instagram aussi  :)
Et Whatsapp. Tout le groupe Facebook quoi.
Titre: PB DNS Facebook
Posté par: iMarco27 le 04 octobre 2021 à 20:00:46
Les opérateurs Américains tombent en même temps apparement :

https://metro.co.uk/2021/10/04/verizon-att-t-mobile-outages-as-facebook-instagram-whatsapp-down-15363402/ (https://metro.co.uk/2021/10/04/verizon-att-t-mobile-outages-as-facebook-instagram-whatsapp-down-15363402/)
Titre: PB DNS Facebook
Posté par: PhilippeMarques le 04 octobre 2021 à 20:01:32
Mouais Bizarre

Deux serveurs répondent encore :

Holtsville NY, United States
OpenDNS
fr-fr.facebook.com    A 157.240.196.17

Shenzhen, China
Shenzhen Sunrise Technology Co

fr-fr.facebook.com    A 157.240.196.17

Et à 18h il y avait une réponse en Russie et en Afrique du sud aussi, c'est peut être la configuration des expirations DNS de ces serveurs qui les ont encore avant expiration.
J'ai pas investigué plus que ça, cela fonctionne pas, il reste à attendre qu'ils rétablissent.
Titre: PB DNS Facebook
Posté par: nicoz le 04 octobre 2021 à 20:02:33
ils prennent cher quand même : https://threatmap.fortiguard.com
Titre: PB DNS Facebook
Posté par: nicoz le 04 octobre 2021 à 20:04:50
leurs NS commencent à re répondre :

https://www.whatsmydns.net/#NS/facebook.com
Titre: PB DNS Facebook
Posté par: BadMax le 04 octobre 2021 à 20:06:09
Mouais Bizarre

Deux serveurs répondent encore :

Holtsville NY, United States
OpenDNS
fr-fr.facebook.com    A 157.240.196.17

Shenzhen, China
Shenzhen Sunrise Technology Co

fr-fr.facebook.com    A 157.240.196.17

Et à 18h il y avait une réponse en Russie et en Afrique du sud aussi, c'est peut être la configuration des expirations DNS de ces serveurs qui les ont encore avant expiration.
J'ai pas investigué plus que ça, cela fonctionne pas, il reste à attendre qu'ils rétablissent.

Répondent aux ping, oui, car peut-etre hosté sur une branche isolée.
Mais niveau DNS il n'y a plus de réponse.
Titre: PB DNS Facebook
Posté par: Tounet le 04 octobre 2021 à 20:15:21
Attend les mecs se sont littéralement effacés de l'internet. Ca sent quand même le truc volontaire la

(https://lafibre.info/images/peering/202110_panne_bgp_facebook_2.png)
https://twitter.com/jgrahamc/status/1445068309288951820

Un employé pas content ?  ;D
Titre: PB DNS Facebook
Posté par: PhilippeMarques le 04 octobre 2021 à 20:15:47
Répondent aux ping, oui, car peut-etre hosté sur une branche isolée.
Mais niveau DNS il n'y a plus de réponse.
Non, ceux là sont des serveurs externes à FB, les autres en Russie et Afrique du sud aussi d'ailleurs, mais les records ont expiré.
Je suis d'accord, c'est un pb DNS actuellement vu de l'extérieur, bien que cela puisse être aussi un pb BGP n'inaccessibilité de leur AS.
Titre: PB DNS Facebook
Posté par: Tounet le 04 octobre 2021 à 20:21:01
Cause conséquence, la source est bien le problème de conf Bgp et l'inaccessibilité de leur AS. Le dns n'est qu'une conséquence.
Titre: PB DNS Facebook
Posté par: XaTriX le 04 octobre 2021 à 20:25:07
http://157.240.196.17/

C'est marrant parce que ça sert du HTTP sur cette IP :D
Bon "servir" c'est p'tet un grand mot mais quand même ^^
Titre: PB DNS Facebook
Posté par: thedark le 04 octobre 2021 à 20:28:30
Belle baisse chez K-NET :

(https://lafibre.info/images/peering/202110_panne_bgp_facebook_3.png)
Titre: PB DNS Facebook
Posté par: alain_p le 04 octobre 2021 à 20:28:49
http://157.240.196.17/

C'est marrant parce que ça sert du HTTP sur cette IP :D
Bon "servir" c'est p'tet un grand mot mais quand même ^^

Une adresse IP ne peut servir que du HTTP, car il n'y a pas de nom de domaine pour le certificat.
Titre: PB DNS Facebook
Posté par: Mathias Basire le 04 octobre 2021 à 20:29:21
Non, ceux là sont des serveurs externes à FB, les autres en Russie et Afrique du sud aussi d'ailleurs, mais les records ont expiré.
Je suis d'accord, c'est un pb DNS actuellement vu de l'extérieur, bien que cela puisse être aussi un pb BGP n'inaccessibilité de leur AS.

Pas totalement mort, certains serveur réponde encore mais il n'ont plus de serveur a qui envoyer la requêtes [j'ai forcé l'ip]
(https://sde.f4q.xyz/1DLJJPU9PUGGFBdz.png) (https://sde.f4q.xyz/Hza29Ql09tbtydZ9.png)
(https://sde.f4q.xyz/nwDpAruYhApjKMfJ.png)
Titre: PB DNS Facebook
Posté par: iMarco27 le 04 octobre 2021 à 20:30:21
Attend les mecs se sont littéralement effacés de l'internet. Ca sent quand même le truc volontaire la

https://twitter.com/jgrahamc/status/1445068309288951820

Un employé pas content ?  ;D

J’adore le commentaire en dessous  ;D

Titre: PB DNS Facebook
Posté par: Optix le 04 octobre 2021 à 20:34:40
Belle baisse chez K-NET :

(https://lafibre.info/images/peering/202110_panne_bgp_facebook_3.png)
Same here.

(https://lafibre.info/images/peering/202110_panne_bgp_facebook_4.png)

N'empêche, un putain de bon courage aux équipes   :-[
Titre: PB DNS Facebook
Posté par: kgersen le 04 octobre 2021 à 20:38:30
c'est si long a corriger si c'est juste un problème BGP ?
Titre: PB DNS Facebook
Posté par: cayenne le 04 octobre 2021 à 20:40:40
L'incident de facebook a créer un incident chez AdGuard DNS : https://status.adguard.com

Les DNS ont des montées de ping et sont injoignables des fois
Titre: PB DNS Facebook
Posté par: Optix le 04 octobre 2021 à 20:41:45
J'espère que ça fera réfléchir tous les sites qui ont des scripts Facebook en arrière plan et qui rament comme pas possible.  ;D
Titre: PB DNS Facebook
Posté par: Symbol le 04 octobre 2021 à 20:42:12
c'est si long a corriger si c'est juste un problème BGP ?
Quand tu perds l'accès à tes routeurs, certes.
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: iMarco27 le 04 octobre 2021 à 20:43:58
Ils doivent en avoir un paquet en plus…
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: Nico le 04 octobre 2021 à 20:44:34
Quand tu perds l'accès à tes routeurs, certes.
La légende dit les techs sont actuellement à l'accueil de PA2/PA3. En attente d'un badge.
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: Tounet le 04 octobre 2021 à 20:50:25
Ou en train de chercher les password des accès secours qui sont eux même sur site intranet auquel évidemment ils n'ont plus accès.
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: Kianouch le 04 octobre 2021 à 20:52:45
La légende dit les techs sont actuellement à l'accueil de PA2/PA3. En attente d'un badge.

Ben... d'après ce message pas officiel du tout et donc non vérifié, trouvé sur Twitter ici (https://twitter.com/zkikvidze/status/1445080289643016197) y a 1h, ça se tient  ;D

Edit : screenshot rétrécit
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: vivien le 04 octobre 2021 à 20:54:59
Transduction en Français :

(https://lafibre.info/images/peering/202110_panne_bgp_facebook_1.png)
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: vivien le 04 octobre 2021 à 20:58:16
Oui, leur bgp n'annonce plus rien en peering direct aussi. Ça sent la propagation de route qui est cassée côté coeur de réseau.

Source : Jérémy Martin (https://twitter.com/caaptusss/status/1445098923102724099) (CEO Techcrea / FirstHeberg)
 
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: Tounet le 04 octobre 2021 à 20:59:24
Apres le compte qui a posté sur reddit comme quoi il était de la tech team de facebook et qu'ils devaient désormais passer par un accès physique aux routeurs, a été delete...

Mais ca n'empêche que c'est bien un problème bgp.
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: vivien le 04 octobre 2021 à 21:01:18
Les scénario de la perte total de l'AS ne semble pas avoir été bien prévu vu le temps de remise en service.
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: Kianouch le 04 octobre 2021 à 21:01:54
Et quelle idée de génie d'avoir tous ses NS sur un seul AS...
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: sxpert le 04 octobre 2021 à 21:05:26
Et quelle idée de génie d'avoir tous ses NS sur un seul AS...

ca change pas grand chose, si tous tes serveurs sont derriere ton AS qu'a disparu de la DFZ
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: Tounet le 04 octobre 2021 à 21:06:00
Il sera intéressant de savoir ensuite, c'est quoi la perte en millions par minute d'arrêt ?  ;D

Sans compter la chute du titre évidemment.
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: dj54 le 04 octobre 2021 à 21:06:18
sur PC ça fonctionne PAS sur mobile ça fonctionne mais Messenger le message est pas délivrer
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: Tounet le 04 octobre 2021 à 21:07:21
sur PC ça fonctionne PAS sur mobile ça fonctionne mais Messenger le message est pas délivrer

Appli qui s'ouvre <> ca fonctionne  ;)
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: Kianouch le 04 octobre 2021 à 21:08:04
ca change pas grand chose, si tous tes serveurs sont derriere ton AS qu'a disparu de la DFZ

Même réponse pour les serveurs, il est où le DRP ?  ???

Ils n'ont même possibilité de faire apparaitre une pauvre statique page de maintenance...
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: dj54 le 04 octobre 2021 à 21:10:08
Appli qui s'ouvre <> ca fonctionne  ;)

ça dépendant quelle appli FB ou Messenger les 2 s'ouvre mais Messenger les messages sont pas délivrer mais FB on peu scroller ça fonctionne uniquement sur mobile
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: vivien le 04 octobre 2021 à 21:10:37
Tout le groupe Facebook sur le monde a perdu l’accès à Internet.

Les serveurs sont donc injoignable et pas que les serveurs DNS.

Impossible de mettre  une pauvre statique page de maintenance dans ces conditions.
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: Symbol le 04 octobre 2021 à 21:11:57
Oui, leur bgp n'annonce plus rien en peering direct aussi. Ça sent la propagation de route qui est cassée côté coeur de réseau.
Plus rien, pas par ici. Manque 10 préfixes, de notre point de vue.
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: Tounet le 04 octobre 2021 à 21:15:45
C'est clair que quand tu gères le bgp en propre et que tu paumes ton AS. La page statique, ca devient compliquer.

Ceci dit, on est sûr que certaines choses de leurs infras vont changer après ca  :D

Vu le temps de remise en service ... quand même j'ai du mal a croire qu'il y ait un si gros trou dans la raquette d'un point de vue RPO / RTO sur le bgp ...
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: iMarco27 le 04 octobre 2021 à 21:21:36
Là c’est clair que y’a quelques dollars qui partent en fumée
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: alain_p le 04 octobre 2021 à 21:22:00
C'est un incident assez extraordinaire, qui va rester dans l'histoire, un peu comme l'incendie OVH à Strasbourg. Cela paraissait inimaginable avant.
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: xp25 le 04 octobre 2021 à 21:26:28
La page de maintenance est bien présente  ::)
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: PeGGaaSuSS le 04 octobre 2021 à 21:27:18
La communication laconique c'est quand même hallucinant aussi.
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: sxpert le 04 octobre 2021 à 21:28:49
La page de maintenance est bien présente  ::)

ici ca timeout sans autre forme de procès
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: PhilippeMarques le 04 octobre 2021 à 21:30:00
Plus rien, pas par ici. Manque 10 préfixes, de notre point de vue.
Bien, la source du problème est comprise, 10 préfixe qui ont sauté, dont les adresses des serveurs DNS -> Blackout
Cela va prendre un peu de temps à rétablir.
C'est demain ou cela va faire du foin dans les médias. J'attends de voir les élucubrations.
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: iMarco27 le 04 octobre 2021 à 21:31:08
Y’a plus de dns déjà donc la page de maintenance ça va être compliqué (servfail)
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: butler_fr le 04 octobre 2021 à 21:33:19
La communication laconique c'est quand même hallucinant aussi.

qu'est ce que vous voulez qu'ils disent?
Désolé on est des gros nazs on a perdu l'accès à nos équipements on est avec la bite et le couteau entrain de discuter par téléphone avec les techs en DC qui nous envoient les photos de la console et a qui on dicte les commandes à taper?
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: thedark le 04 octobre 2021 à 21:33:23
(https://lafibre.info/images/peering/202110_panne_bgp_facebook_6.png)
https://twitter.com/MikeIsaac/status/1445085022503899137

Citer
another factor adding to the chaos: per a Source, Facebook employees can't receive external emails right now
i imagine this will not make it easier to get things back online
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: sxpert le 04 octobre 2021 à 21:36:27
(https://lafibre.info/images/peering/202110_panne_bgp_facebook_5.png)
https://twitter.com/sheeraf/status/1445099150316503057?s=20

Citer
Was just on phone with someone who works for FB who described employees unable to enter buildings this morning to begin to evaluate extent of outage because their badges weren’t working to access doors.
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: caaptusss le 04 octobre 2021 à 21:36:52
Twitter commence a montrer de gros signes de souffrance. La surcharge de trafic lié à la panne du groupe Facebook doit être très violente...
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: noabeuh le 04 octobre 2021 à 21:38:09
On est sur qu'il s'agisse d'un pb technique ?
Y'a t-il un rapport avec leurs (nos) données mise en vente sur un forum ?
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: thedark le 04 octobre 2021 à 21:41:43
Y'a t-il un rapport avec leurs (nos) données mise en vente sur un forum ?
Alors ça ce que j'ai compris ça date de 1/2 semaines, c'est un robot qui a "Scraped" les données publics des profils facebook donc ce n'est pas un piratage.
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: iMarco27 le 04 octobre 2021 à 21:42:57
Les experts ici disent que la propagation d’une mauvaise configuration est plausible, donc pour l’instant c’est la théorie retenue
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: Captain Bumper le 04 octobre 2021 à 21:42:59
On est sur qu'il s'agisse d'un pb technique ?

C’est Mr. Robot 🤖 😂

Citer
Y'a t-il un rapport avec leurs (nos) données mise en vente sur un forum ?

Un lien peut-être ? J’ai pas vu passer le truc (récemment?).
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: iMarco27 le 04 octobre 2021 à 21:45:38
C’est Mr. Robot 🤖 😂

Ou Whiterose  ;D
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: thedark le 04 octobre 2021 à 21:46:06
Linkedin bug un peu depuis quelques minutes.
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: BadMax le 04 octobre 2021 à 21:47:18
Linkedin bug un peu depuis quelques minutes.

Tu veux dire que des gens ont vraiment commencé à s'en servir ?
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: thedark le 04 octobre 2021 à 21:48:02
Tu veux dire que des gens ont vraiment commencé à s'en servir ?
Surement   :P
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: Tounet le 04 octobre 2021 à 21:50:07
Tu veux dire que des gens ont vraiment commencé à s'en servir ?

C'est la qu'on voit l'addiction aux reseaux sociaux. Tiens facebook et instagram ne marchent plus, qu'est ce que je vais bien pouvoir foutre ce soir ?

Allez sur lafibre bien sur. @Vivien, tu nous feras un point sur la montée en charge  ;D
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: Jojo78 le 04 octobre 2021 à 21:54:04
Allez sur lafibre bien sur. @Vivien, tu nous feras un point sur la montée en charge  ;D
Pas faux, moi qui ne vient plus trop ici depuis quelques semaines je suis venu trouver une explication à cette panne.
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: vivien le 04 octobre 2021 à 21:57:42
J'ai des comportement incompréhensible sur des serveurs.

https://bouygues.testdebit.info/ reçois énormément de requêtes Apache sur le port 80 :

(ce serveur n'héberge que https://bouygues.testdebit.info/ )
(https://lafibre.info/images/peering/202110_panne_bgp_facebook_7.png)

Voici le contenu des log, c'est de l'Android en non strop a une vitesse fulgurante :

2a01:e0a:9bf:e260:848d:426a:af4b:e662 38604 80 [04/Oct/2021:21:52:25 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 455 "-" "Dalvik/2.1.0 (Linux; U; Android 11; Mi 9T Pro Build/RKQ1.200826.002)"
2a01:cb0c:83ec:cd00:7094:77ba:9eff:9229 49994 80 [04/Oct/2021:21:52:25 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 455 "-" "Dalvik/2.1.0 (Linux; U; Android 10; SM-G973F Build/QP1A.190711.020)"
2a01:e0a:9bf:e260:848d:426a:af4b:e662 38604 80 [04/Oct/2021:21:52:25 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 455 "-" "Dalvik/2.1.0 (Linux; U; Android 11; Mi 9T Pro Build/RKQ1.200826.002)"
2a01:e0a:9bf:e260:848d:426a:af4b:e662 38604 80 [04/Oct/2021:21:52:25 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 455 "-" "Dalvik/2.1.0 (Linux; U; Android 11; Mi 9T Pro Build/RKQ1.200826.002)"
2a01:e0a:9bf:e260:848d:426a:af4b:e662 38604 80 [04/Oct/2021:21:52:25 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 455 "-" "Dalvik/2.1.0 (Linux; U; Android 11; Mi 9T Pro Build/RKQ1.200826.002)"
37.165.80.205 35391 80 [04/Oct/2021:21:52:25 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 456 "-" "Dalvik/2.1.0 (Linux; U; Android 11; SM-N986B Build/RP1A.200720.012)"
2a01:e0a:9bf:e260:848d:426a:af4b:e662 38604 80 [04/Oct/2021:21:52:25 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 455 "-" "Dalvik/2.1.0 (Linux; U; Android 11; Mi 9T Pro Build/RKQ1.200826.002)"
2a01:cb0c:83ec:cd00:7094:77ba:9eff:9229 49994 80 [04/Oct/2021:21:52:25 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 455 "-" "Dalvik/2.1.0 (Linux; U; Android 10; SM-G973F Build/QP1A.190711.020)"
2a01:e0a:9bf:e260:848d:426a:af4b:e662 38604 80 [04/Oct/2021:21:52:25 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 455 "-" "Dalvik/2.1.0 (Linux; U; Android 11; Mi 9T Pro Build/RKQ1.200826.002)"
2a01:e0a:9bf:e260:848d:426a:af4b:e662 38604 80 [04/Oct/2021:21:52:25 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 455 "-" "Dalvik/2.1.0 (Linux; U; Android 11; Mi 9T Pro Build/RKQ1.200826.002)"
2a01:e0a:9bf:e260:848d:426a:af4b:e662 38604 80 [04/Oct/2021:21:52:25 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 420 "-" "Dalvik/2.1.0 (Linux; U; Android 11; Mi 9T Pro Build/RKQ1.200826.002)"
2a01:cb0c:83ec:cd00:7094:77ba:9eff:9229 49994 80 [04/Oct/2021:21:52:25 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 455 "-" "Dalvik/2.1.0 (Linux; U; Android 10; SM-G973F Build/QP1A.190711.020)"
37.165.80.205 35391 80 [04/Oct/2021:21:52:26 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 456 "-" "Dalvik/2.1.0 (Linux; U; Android 11; SM-N986B Build/RP1A.200720.012)"
37.164.118.157 29605 80 [04/Oct/2021:21:52:26 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 456 "-" "Dalvik/2.1.0 (Linux; U; Android 10; YAL-L41 Build/HUAWEIYAL-L41)"
2a01:e0a:9bf:e260:848d:426a:af4b:e662 39322 80 [04/Oct/2021:21:52:26 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 457 "-" "Dalvik/2.1.0 (Linux; U; Android 11; Mi 9T Pro Build/RKQ1.200826.002)"
2a01:cb19:8b3d:c500:69ed:9e27:8f06:bb60 52658 80 [04/Oct/2021:21:52:26 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 456 "-" "Dalvik/2.1.0 (Linux; U; Android 10; SM-N960F Build/QP1A.190711.020)"
2a01:e0a:9bf:e260:848d:426a:af4b:e662 39322 80 [04/Oct/2021:21:52:26 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 456 "-" "Dalvik/2.1.0 (Linux; U; Android 11; Mi 9T Pro Build/RKQ1.200826.002)"
2a01:cb0c:83ec:cd00:7094:77ba:9eff:9229 49994 80 [04/Oct/2021:21:52:26 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 455 "-" "Dalvik/2.1.0 (Linux; U; Android 10; SM-G973F Build/QP1A.190711.020)"
2a01:e0a:9bf:e260:848d:426a:af4b:e662 39322 80 [04/Oct/2021:21:52:26 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 456 "-" "Dalvik/2.1.0 (Linux; U; Android 11; Mi 9T Pro Build/RKQ1.200826.002)"
2a01:e0a:9bf:e260:848d:426a:af4b:e662 39322 80 [04/Oct/2021:21:52:26 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 456 "-" "Dalvik/2.1.0 (Linux; U; Android 11; Mi 9T Pro Build/RKQ1.200826.002)"
37.165.80.205 35391 80 [04/Oct/2021:21:52:26 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 456 "-" "Dalvik/2.1.0 (Linux; U; Android 11; SM-N986B Build/RP1A.200720.012)"
2a01:e0a:9bf:e260:848d:426a:af4b:e662 39322 80 [04/Oct/2021:21:52:26 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 456 "-" "Dalvik/2.1.0 (Linux; U; Android 11; Mi 9T Pro Build/RKQ1.200826.002)"
2a01:cb0c:83ec:cd00:7094:77ba:9eff:9229 49994 80 [04/Oct/2021:21:52:26 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 455 "-" "Dalvik/2.1.0 (Linux; U; Android 10; SM-G973F Build/QP1A.190711.020)"
2a01:e0a:9bf:e260:848d:426a:af4b:e662 39322 80 [04/Oct/2021:21:52:26 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 456 "-" "Dalvik/2.1.0 (Linux; U; Android 11; Mi 9T Pro Build/RKQ1.200826.002)"
2a01:cb0c:83ec:cd00:7094:77ba:9eff:9229 49994 80 [04/Oct/2021:21:52:26 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 420 "-" "Dalvik/2.1.0 (Linux; U; Android 10; SM-G973F Build/QP1A.190711.020)"
2a01:e0a:9bf:e260:848d:426a:af4b:e662 39322 80 [04/Oct/2021:21:52:26 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 456 "-" "Dalvik/2.1.0 (Linux; U; Android 11; Mi 9T Pro Build/RKQ1.200826.002)"
2a01:e0a:9bf:e260:848d:426a:af4b:e662 39322 80 [04/Oct/2021:21:52:26 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 456 "-" "Dalvik/2.1.0 (Linux; U; Android 11; Mi 9T Pro Build/RKQ1.200826.002)

C'est incompréhensible, le nom de domaine n'a jamais hébergé de serveur SpeedTest.
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: BadMax le 04 octobre 2021 à 22:01:00
Coté cause, je note que ces 2 serveurs mettent plusieurs secondes avant de répondre avec leur message d'erreur:
- 2a03:2880:f130:83:face:b00c:0:25de
- 2a03:2880:f030:f:face:b00c:0:2

Sous-entendu, ils essayent de joindre le backend avant de tomber en timeout et d'afficher la page d'erreur.

On n'est donc pas sur une erreur BGP en bordure de réseau mais d'une partie du coeur de réseau, contenant aussi probablement le SI interne.
Ca explique pourquoi on n'a vu seulement 10 prefixes disparaitre mais ces 10-là tiennent quasi tout facebook.
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: vivien le 04 octobre 2021 à 22:01:26
Les serveur SpeedTest de Massy voit effectivement plus de trafic que d'habitude :

(https://lafibre.info/images/peering/202110_panne_bgp_facebook_8.png)
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: BadMax le 04 octobre 2021 à 22:03:30
J'ai des comportement incompréhensible sur des serveurs.

https://bouygues.testdebit.info/ reçois énormément de requêtes Apache sur le port 80 :

(ce serveur n'héberge que https://bouygues.testdebit.info/ )
(https://lafibre.info/images/peering/202110_panne_bgp_facebook_7.png)

Voici le contenu des log, c'est de l'Android en non strop a une vitesse fulgurante :

2a01:e0a:9bf:e260:848d:426a:af4b:e662 38604 80 [04/Oct/2021:21:52:25 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 455 "-" "Dalvik/2.1.0 (Linux; U; Android 11; Mi 9T Pro Build/RKQ1.200826.002)"
2a01:cb0c:83ec:cd00:7094:77ba:9eff:9229 49994 80 [04/Oct/2021:21:52:25 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 455 "-" "Dalvik/2.1.0 (Linux; U; Android 10; SM-G973F Build/QP1A.190711.020)"
2a01:e0a:9bf:e260:848d:426a:af4b:e662 38604 80 [04/Oct/2021:21:52:25 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 455 "-" "Dalvik/2.1.0 (Linux; U; Android 11; Mi 9T Pro Build/RKQ1.200826.002)"
2a01:e0a:9bf:e260:848d:426a:af4b:e662 38604 80 [04/Oct/2021:21:52:25 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 455 "-" "Dalvik/2.1.0 (Linux; U; Android 11; Mi 9T Pro Build/RKQ1.200826.002)"
2a01:e0a:9bf:e260:848d:426a:af4b:e662 38604 80 [04/Oct/2021:21:52:25 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 455 "-" "Dalvik/2.1.0 (Linux; U; Android 11; Mi 9T Pro Build/RKQ1.200826.002)"
37.165.80.205 35391 80 [04/Oct/2021:21:52:25 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 456 "-" "Dalvik/2.1.0 (Linux; U; Android 11; SM-N986B Build/RP1A.200720.012)"
2a01:e0a:9bf:e260:848d:426a:af4b:e662 38604 80 [04/Oct/2021:21:52:25 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 455 "-" "Dalvik/2.1.0 (Linux; U; Android 11; Mi 9T Pro Build/RKQ1.200826.002)"
2a01:cb0c:83ec:cd00:7094:77ba:9eff:9229 49994 80 [04/Oct/2021:21:52:25 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 455 "-" "Dalvik/2.1.0 (Linux; U; Android 10; SM-G973F Build/QP1A.190711.020)"
2a01:e0a:9bf:e260:848d:426a:af4b:e662 38604 80 [04/Oct/2021:21:52:25 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 455 "-" "Dalvik/2.1.0 (Linux; U; Android 11; Mi 9T Pro Build/RKQ1.200826.002)"
2a01:e0a:9bf:e260:848d:426a:af4b:e662 38604 80 [04/Oct/2021:21:52:25 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 455 "-" "Dalvik/2.1.0 (Linux; U; Android 11; Mi 9T Pro Build/RKQ1.200826.002)"
2a01:e0a:9bf:e260:848d:426a:af4b:e662 38604 80 [04/Oct/2021:21:52:25 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 420 "-" "Dalvik/2.1.0 (Linux; U; Android 11; Mi 9T Pro Build/RKQ1.200826.002)"
2a01:cb0c:83ec:cd00:7094:77ba:9eff:9229 49994 80 [04/Oct/2021:21:52:25 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 455 "-" "Dalvik/2.1.0 (Linux; U; Android 10; SM-G973F Build/QP1A.190711.020)"
37.165.80.205 35391 80 [04/Oct/2021:21:52:26 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 456 "-" "Dalvik/2.1.0 (Linux; U; Android 11; SM-N986B Build/RP1A.200720.012)"
37.164.118.157 29605 80 [04/Oct/2021:21:52:26 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 456 "-" "Dalvik/2.1.0 (Linux; U; Android 10; YAL-L41 Build/HUAWEIYAL-L41)"
2a01:e0a:9bf:e260:848d:426a:af4b:e662 39322 80 [04/Oct/2021:21:52:26 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 457 "-" "Dalvik/2.1.0 (Linux; U; Android 11; Mi 9T Pro Build/RKQ1.200826.002)"
2a01:cb19:8b3d:c500:69ed:9e27:8f06:bb60 52658 80 [04/Oct/2021:21:52:26 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 456 "-" "Dalvik/2.1.0 (Linux; U; Android 10; SM-N960F Build/QP1A.190711.020)"
2a01:e0a:9bf:e260:848d:426a:af4b:e662 39322 80 [04/Oct/2021:21:52:26 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 456 "-" "Dalvik/2.1.0 (Linux; U; Android 11; Mi 9T Pro Build/RKQ1.200826.002)"
2a01:cb0c:83ec:cd00:7094:77ba:9eff:9229 49994 80 [04/Oct/2021:21:52:26 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 455 "-" "Dalvik/2.1.0 (Linux; U; Android 10; SM-G973F Build/QP1A.190711.020)"
2a01:e0a:9bf:e260:848d:426a:af4b:e662 39322 80 [04/Oct/2021:21:52:26 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 456 "-" "Dalvik/2.1.0 (Linux; U; Android 11; Mi 9T Pro Build/RKQ1.200826.002)"
2a01:e0a:9bf:e260:848d:426a:af4b:e662 39322 80 [04/Oct/2021:21:52:26 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 456 "-" "Dalvik/2.1.0 (Linux; U; Android 11; Mi 9T Pro Build/RKQ1.200826.002)"
37.165.80.205 35391 80 [04/Oct/2021:21:52:26 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 456 "-" "Dalvik/2.1.0 (Linux; U; Android 11; SM-N986B Build/RP1A.200720.012)"
2a01:e0a:9bf:e260:848d:426a:af4b:e662 39322 80 [04/Oct/2021:21:52:26 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 456 "-" "Dalvik/2.1.0 (Linux; U; Android 11; Mi 9T Pro Build/RKQ1.200826.002)"
2a01:cb0c:83ec:cd00:7094:77ba:9eff:9229 49994 80 [04/Oct/2021:21:52:26 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 455 "-" "Dalvik/2.1.0 (Linux; U; Android 10; SM-G973F Build/QP1A.190711.020)"
2a01:e0a:9bf:e260:848d:426a:af4b:e662 39322 80 [04/Oct/2021:21:52:26 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 456 "-" "Dalvik/2.1.0 (Linux; U; Android 11; Mi 9T Pro Build/RKQ1.200826.002)"
2a01:cb0c:83ec:cd00:7094:77ba:9eff:9229 49994 80 [04/Oct/2021:21:52:26 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 420 "-" "Dalvik/2.1.0 (Linux; U; Android 10; SM-G973F Build/QP1A.190711.020)"
2a01:e0a:9bf:e260:848d:426a:af4b:e662 39322 80 [04/Oct/2021:21:52:26 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 456 "-" "Dalvik/2.1.0 (Linux; U; Android 11; Mi 9T Pro Build/RKQ1.200826.002)"
2a01:e0a:9bf:e260:848d:426a:af4b:e662 39322 80 [04/Oct/2021:21:52:26 +0200] "GET /speedtest/random4000x4000.jpg HTTP/1.1" 302 456 "-" "Dalvik/2.1.0 (Linux; U; Android 11; Mi 9T Pro Build/RKQ1.200826.002)

C'est incompréhensible, le nom de domaine n'a jamais hébergé de serveur SpeedTest.

Pourquoi ton serveur répond des 302 ?
Il devrait répondre des 404.
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: butler_fr le 04 octobre 2021 à 22:04:30
Les experts ici disent que la propagation d’une mauvaise configuration est plausible, donc pour l’instant c’est la théorie retenue

totalement possible :)
visiblement il se passe ce que j'avais indiqué en page 1 et que j'ai déjà vécu.
dans mon cas une simple stack de switch qui se casse la figure et le secours qui ne bascule pas et on avait perdu l'accès à tout notre système d'information (les plans de câblage / emplacement des baies dans le DC / mails / messagerie interne /...).
à la suite de ça en plus de fixer le soucis de bascule et de créer un site de pra on a sorti le plan du datacenter en version papier (un bon gros catalogue ^^)
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: thedark le 04 octobre 2021 à 22:08:23
(https://lafibre.info/images/peering/202110_panne_bgp_facebook_9.png)
https://twitter.com/schrep/status/1445114730151043073

Citer
*Sincere* apologies to everyone impacted by outages of Facebook powered services right now.  We are experiencing networking issues and teams are working as fast as possible to debug and restore as fast as possible
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: vivien le 04 octobre 2021 à 22:08:48
Pourquoi ton serveur répond des 302 ?
Il devrait répondre des 404.
J'ai mis un ErrorDocument 404 "https://bouygues.testdebit.info/" quand l'URL est en erreur.

C'est pas la bonne pratique ?

<VirtualHost *:80>
        ServerName "bouygues.testdebit.info"
        ServerAlias "ipv4.bouygues.testdebit.info"
        ServerAlias "ipv6.bouygues.testdebit.info"

        DocumentRoot "/home/net-test/tmpfs"
        <Directory "/home/net-test/tmpfs">
                DirectoryIndex index.html
                Options Indexes FollowSymLinks
                IndexOptions +SuppressDescription
                AllowOverride None
                #php_admin_flag engine off
                Require all granted
        </Directory>

        ErrorDocument 404 "https://bouygues.testdebit.info/"
        ErrorLog "${APACHE_LOG_DIR}/apache2-net-test-error.log"
        CustomLog "${APACHE_LOG_DIR}/apache2-net-test-http80-bouygues.log" combiport
</VirtualHost>
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: noabeuh le 04 octobre 2021 à 22:09:31
totalement possible :)
visiblement il se passe ce que j'avais indiqué en page 1 et que j'ai déjà vécu.
dans mon cas une simple stack de switch qui se casse la figure et le secours qui ne bascule pas et on avait perdu l'accès à tout notre système d'information (les plans de câblage / emplacement des baies dans le DC / mails / messagerie interne /...).
à la suite de ça en plus de fixer le soucis de bascule et de créer un site de pra on a sorti le plan du datacenter en version papier (un bon gros catalogue ^^)

Ok mais toute l'infra du groupe facebook ne peut pas tomber (?). On a là, le plus beau spof du siècle. GG le cto
Titre: PB DNS Facebook
Posté par: mirtouf le 04 octobre 2021 à 22:10:51
J'espère que ça fera réfléchir tous les sites qui ont des scripts Facebook en arrière plan et qui rament comme pas possible.  ;D
oui, le cancer du web ce genre de trucs.
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: thedark le 04 octobre 2021 à 22:15:47
La bourse.

(https://pix.milkywan.fr/kcEZv7sb.png)
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: Johann le 04 octobre 2021 à 22:16:37
On n'est donc pas sur une erreur BGP en bordure de réseau mais d'une partie du coeur de réseau, contenant aussi probablement le SI interne.
Ca explique pourquoi on n'a vu seulement 10 prefixes disparaitre mais ces 10-là tiennent quasi tout facebook.

De mon côté, je m'aperçois que le nombre de préfixe que j'ai perdu dépend grandement de la localisation géographique.
Je ne reçois plus qu'un prefixe sur Zurich par exemple, deux sur Bruxelles, alors que je n'ai perdu que 6-7 préfixes sur Marseille, Amsterdam et Viennes.
Sur Paris, Londres ou Francfort on j'ai plus de préfixes (5-10 de plus) et j'en ai perdu environ 8-10.

Hors EU, j'en ai perdu 8-9 sur Washington, Singapour. Environ 7 sur Hong Kong, Sydney et Tokyo
Une douzaine sur Miami. J'ai pas les stats pour ailleurs sous la main.
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: JCLB le 04 octobre 2021 à 22:17:04
On parle des probables causes techniques, erreur de configuration BGP, mauvaise annonce RTBH comme c'est arrivé chez Cogent ou je ne sais plus qui l'année dernière,...
On lit ça et là que des ingés vont sur place en jet car il n'y a pas d'accès distant.
On voit ce fameux compte reddit cité partout et effacé depuis.

Je ne crois pas que FB n'ait pas d'Out of Band avec le listing minimal de survie au vu des têtes qu'ils emploient. On parle quand même d'une boite avec des gens qui écrivent des RFC.

Hier CBS diffusait un reportage avec une ancienne salariée faisant état du rollback sur les mécanismes anti fake news mis en place pendant la campagne US, au motif que ça diminué les revenus.
Bah oui, moins de sensationnel, moins de trafic, moins de fric.

Possiblement, en ultime protection, la société aurait pris la décision de lancer un vaste ménage, une mise à l'abime des éléments concernés et un redéploiement complet de ses algos dans leur état de janvier avec les ajustements nécessaires à l'évolution depuis.
On parle quand même du risque de l'enquête de trop du sénat US à venir.
Tout ça corroborant les efforts de FB d'empêcher les chercheurs de comprendre leur impact sur la société, et les récentes propositions de pairs de les aider à contourner cette forme de censure.

Je ne penche pas spécialement plus pour cette explication que les autres, mais je pense qu'elle doit être évoquée.
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: cmer le 04 octobre 2021 à 22:17:21
La bourse.

(https://pix.milkywan.fr/kcEZv7sb.png)

buy the dip  ;D
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: iMarco27 le 04 octobre 2021 à 22:17:33
Facebook perd 160 millions de dollars par heure

Source : https://twitter.com/Joyce_Karam/status/1445111562939817991 (https://twitter.com/Joyce_Karam/status/1445111562939817991)
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: BadMax le 04 octobre 2021 à 22:17:53
J'ai mis un ErrorDocument 404 "https://bouygues.testdebit.info/" quand l'URL est en erreur.

C'est pas la bonne pratique ?

Dans ton cas, il répond 302 pour renvoyer sur https://bouygues.testdebit.info/" au lieu de répondre directement 404.

Si le client attend un code de retour HTTP lui indiquant une erreur, de fait, il n'en voit jamais...

Donc bonne pratique si le site/url est utilisée par des humains, mais pas terrible quand utilisée par des applis/bots.
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: xp25 le 04 octobre 2021 à 22:20:26
Les serveurs SMS des FAI mondiaux ne peuvent pas supporter 5 milliards de SMS envoyés qui avertissent leurs clients que FB, Whatsapp et Instagram sont down jusqu'à nouvel ordre et qui les invitent à ne pas appeler, tester leur débit toute les 2min et saturer le SAV et que ça va revenir d'ici 48H ?
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: cali le 04 octobre 2021 à 22:23:14
Hors EU, j'en ai perdu 8-9 sur Washington, Singapour. Environ 7 sur Hong Kong, Sydney et Tokyo
Une douzaine sur Miami. J'ai pas les stats pour ailleurs sous la main.

Moi c'est les 3/4 des réseaux qui ont disparus. Il y a quelques préfixes qui reviennent.

Sinon le mois dernier j'ai eu beaucoup de messages du noc@fb.com pour me dire qu'ils allaient faire des travaux. Peut-être qu'à la fin ça s'est pas bien passé. :P

« We will be performing maintenance on a device which you have a BGP peering session with Facebook. »
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: Tounet le 04 octobre 2021 à 22:26:03
On parle des probables causes techniques, erreur de configuration BGP, mauvaise annonce RTBH comme c'est arrivé chez Cogent ou je ne sais plus qui l'année dernière,...
On lit ça et là que des ingés vont sur place en jet car il n'y a pas d'accès distant.
On voit ce fameux compte reddit cité partout et effacé depuis.

Je ne crois pas que FB n'ait pas d'Out of Band avec le listing minimal de survie au vu des têtes qu'ils emploient. On parle quand même d'une boite avec des gens qui écrivent des RFC.

Hier CBS diffusait un reportage avec une ancienne salariée faisant état du rollback sur les mécanismes anti fake news mis en place pendant la campagne US, au motif que ça diminué les revenus.
Bah oui, moins de sensationnel, moins de trafic, moins de fric.

Possiblement, en ultime protection, la société aurait pris la décision de lancer un vaste ménage, une mise à l'abime des éléments concernés et un redéploiement complet de ses algos dans leur état de janvier avec les ajustements nécessaires à l'évolution depuis.
On parle quand même du risque de l'enquête de trop du sénat US à venir.
Tout ça corroborant les efforts de FB d'empêcher les chercheurs de comprendre leur impact sur la société, et les récentes propositions de pairs de les aider à contourner cette forme de censure.

Je ne penche pas spécialement plus pour cette explication que les autres, mais je pense qu'elle doit être évoquée.

Théorie intéressante, mais tout de même, t'imagines le nombres de personnes internes à la société pour réaliser une telle opération ? Ca fuiterait forcément.
Souvent on refuse les explications les plus simples... Sans compter l'adage des cordonniers les plus mal chaussés qui se vérifie tellement souvent, en particulier dans l'IT. Apres je suis d'accord que ca parait surprenant qu'ils n'aient pas un plan béton sur leur cœur de réseau...
C'est pour cela que je pensais plus à de la malveillance interne.  ::)
Il faudra attendre, si un jour
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: Chicken le 04 octobre 2021 à 22:26:29
Petite question d'un non initié, depuis le début de cet incident j'avais plus d'acces web sur mon mobile orange, j'ai tilté ensuite que j'utilisais le dns cloudfare, après l'avoir retiré j'ai récupéré l'accès web, y'a t'il un lien entre les 2 ? Merci à vous
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: BadMax le 04 octobre 2021 à 22:27:40
De mon côté, je m'aperçois que le nombre de préfixe que j'ai perdu dépend grandement de la localisation géographique.
Je ne reçois plus qu'un prefixe sur Zurich par exemple, deux sur Bruxelles, alors que je n'ai perdu que 6-7 préfixes sur Marseille, Amsterdam et Viennes.
Sur Paris, Londres ou Francfort on j'ai plus de préfixes (5-10 de plus) et j'en ai perdu environ 8-10.

Hors EU, j'en ai perdu 8-9 sur Washington, Singapour. Environ 7 sur Hong Kong, Sydney et Tokyo
Une douzaine sur Miami. J'ai pas les stats pour ailleurs sous la main.

Tiens et si c'était les RR/RS internes qui s'étaient barrés au ski lors d'un upgrade ? ça expliquerait toutes ces différences.

Et je mettrai bien une pièce qu'il s'agit de services maisons et/ou virtualisés en coeur de réseau.
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: butler_fr le 04 octobre 2021 à 22:35:06
Je ne crois pas que FB n'ait pas d'Out of Band avec le listing minimal de survie au vu des têtes qu'ils emploient. On parle quand même d'une boite avec des gens qui écrivent des RFC.

ce genre de procédure n'est jamais testé en réel a si grande échelle.
peut être n'ont-ils pas prévu que leur base de mot de passe root d'équipements / listing d'ip ne serait pas accessible?
le problème d'un groupe aussi énorme que facebook c'est comment organiser tout ce bazar quand tu n'as plus accès à une partie (tout?) de tes outils de communication.

et tu as beau être grand/énorme avoir des procédures de fou, des trous dans la raquette sont toujours possibles.
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: JCLB le 04 octobre 2021 à 22:36:56
Théorie intéressante, mais tout de même, t'imagines le nombres de personnes internes à la société pour réaliser une telle opération ? Ca fuiterait forcément

Tu fais une taskforce des 3 maîtres absolus de l'edge de l'AS et de qulequ'un qui Blacklist le radius et le syslog et ça suffit.
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: Tounet le 04 octobre 2021 à 22:42:46
Tu fais une taskforce des 3 maîtres absolus de l'edge de l'AS et de qulequ'un qui Blacklist le radius et le syslog et ça suffit.

Je reponds principalement a l'argument "une mise à l'abime des éléments concernés et un redéploiement complet de ses algos dans leur état de janvier avec les ajustements nécessaires à l'évolution depuis"

Evidemment que sur la partie bgp, il ne faut pas être des centaines. ;)
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: JCLB le 04 octobre 2021 à 22:46:58
Je reponds principalement a l'argument "une mise à l'abime des éléments concernés et un redéploiement complet de ses algos dans leur état de janvier avec les ajustements nécessaires à l'évolution depuis"

Evidemment que sur la partie bgp, il ne faut pas être des centaines. ;)
Il en faut, mais pas forcément des centaines. Je pense qu'une 50aine de leur spécialistes en algo, IA suffisent à migrer.

Avec un bon NDA et un paquet de fric lissé sur 3 ans
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: thedark le 04 octobre 2021 à 22:50:28
Citer
La panne de Facebook est si grave que l'entreprise envoie des ingénieurs dans des centres de données pour la réparer… cela pourrait prendre un certain temps !

(https://lafibre.info/images/peering/202110_panne_bgp_facebook_10.png)
https://twitter.com/alexeheath/status/1445121130960855041
https://www.theverge.com/2021/10/4/22708989/instagram-facebook-outage-messenger-whatsapp-error
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: JCLB le 04 octobre 2021 à 22:52:10
Je viens d'avoir des contacts en Cote d'Ivoire via téléphone, plus rien ne marche sur internet.
Pas de playstore, pas de signal/telegram pour ceux qui l'ont,...
Tout semble saturé par des gens qui testent leur accès.

Je sens que la neutralité du net va en prendre un coup suite à cet épisode, certains FAI diront que l'effet à été trop intense et demanderont de se réserver le droit de couper ou de QoSer les sites de tests dans le cas de fortes anomalies de volume.

Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: Ptigarstheone le 04 octobre 2021 à 22:54:24
Presque 5h HS, dites les pros, il semble que des effets collatéraux sur des sites ou services sont déjà présents, mais y a t-il des conséquences positives en termes de traffic, bande passante, autres paramètres... ? Ou c'est encore trop tôt pour l'évaluer, tout le monde ayant le nez dans le guidon ? Question de néophyte, merci.
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: thedark le 04 octobre 2021 à 22:55:32
https://twitter.com/BNONews/status/1445120484270649345

Citer
Facebook a envoyé une équipe dans l'un de ses centres de données californiens pour tenter de réinitialiser manuellement ses serveurs - NYT
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: Nico le 04 octobre 2021 à 22:56:15
Petite question d'un non initié, depuis le début de cet incident j'avais plus d'acces web sur mon mobile orange, j'ai tilté ensuite que j'utilisais le dns cloudfare, après l'avoir retiré j'ai récupéré l'accès web, y'a t'il un lien entre les 2 ? Merci à vous
Oui, la "charge" DNS a fortement augmenté (bah oui y a du FB partout sur Internet, pas que sur www.facebook.com) entraînant qqs perturbations.

Ex : https://twitter.com/awlnx/status/1445073290708533258
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: Ptigarstheone le 04 octobre 2021 à 22:58:31
https://twitter.com/BNONews/status/1445120484270649345
Version moderne: "Vous avez pensé a redémarrer la Box ?" Version vintage: "Le fil rouge sur le bouton rouge, le fil vert sur le bouton vert."
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: JCLB le 04 octobre 2021 à 22:59:07
Twitter regorge des stats de points d'échanges, des sites de tests de débit prennent cher, les sites du style downdetector, downforeveryone etc sont pour certains par terre.
Signal enregistre des inscriptions records.
Les sites gavés de boutons Sign IN with FB et autre tracker de tonton Zuck sont parfois long à s'afficher, la faute au timeout.

Je suis certain que certains organismes comme les Transitaires, l'ICANN, les RIR, les CDN, reviendront sur le sujet.

Cette fois on a la preuve qu'on y presque, le minitel 2 est bien là, 3615 Facebook est tombé
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: Tounet le 04 octobre 2021 à 23:01:12
Sans compter les Ads facebook ... plutôt cohérent la montée en charge des dns.

edit : si c'était google, ce serait pire.  ;D
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: Optix le 04 octobre 2021 à 23:02:40
edit : si c'était google, ce serait pire.  ;D
Surtout tous les systèmes qui comptent sur une réponse de "8.8.8.8"  :-X
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: Ptigarstheone le 04 octobre 2021 à 23:05:55
Rien qu'avec Youtube down, vous verriez direct l'impact sur la bande passante non ?
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: Optix le 04 octobre 2021 à 23:09:46
Rien qu'avec Youtube down, vous verriez direct l'impact sur la bande passante non ?
En fait ça c'est déjà produit, l'an dernier. Plein d'applis Google HS pendant une petite heure, dont GMail, le Drive, des outils utiles à bcp d'utilisateurs et à des... entreprises !

Pendant une heure, tu n'as plus accès à ta vie numérique, plus accès aux datas de ta boite, etc. Ca fait réfléchir.
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: Ptigarstheone le 04 octobre 2021 à 23:13:10
Ah oui, je m'en souviens effectivement. Dans la série "Les Dominos": https://www.frandroid.com/marques/oculus-vr/1085353_panne-mondiale-de-facebook-attention-vos-jeux-oculus-quest-peuvent-disparaitre?utm_term=Autofeed&utm_medium=Social&utm_source=Twitter#Echobox=1633381437
Titre: PB DNS Facebook
Posté par: Nh3xus le 04 octobre 2021 à 23:13:44
no router bgp
commit
...
oups, chef j'ai fait une pitite boulette!

alors ça faut un peu oser quand même après 1.5ans...

reload in 5  :D
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: alain_p le 04 octobre 2021 à 23:14:19
Rien qu'avec Youtube down, vous verriez direct l'impact sur la bande passante non ?

Plus de YouTube, beaucoup moins de trafic sur Internet, plus de fluidité !
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: caaptusss le 04 octobre 2021 à 23:18:36
Et Twitter en remet une couche en précisant que l'affluence a été forte, ça a ramé un peu, mais c'est bon c'est corrigé.
Ces mecs sont excellents.

https://twitter.com/TwitterSupport/status/1445130599547772936
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: thedark le 04 octobre 2021 à 23:19:17
Il y a du mieux.

https://www.facebook.com/

Citer
Sorry, something went wrong.
We're working on it and we'll get it fixed as soon as we can.

Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: PhilippeMarques le 04 octobre 2021 à 23:19:33
Pendant une heure, tu n'as plus accès à ta vie numérique, plus accès aux datas de ta boite, etc. Ca fait réfléchir.
Je reste dubitatif à ce sujet.
Cela devrait faire réfléchir oui, beaucoup se considèrent "informaticiens" parce qu'ils savent faire bouger une souris.
C'est un métier de regarder tout ce qui peux mal se passer et prendre les précautions nécessaires.
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: Thornhill le 04 octobre 2021 à 23:23:39
Understanding How Facebook Disappeared from the Internet

https://blog.cloudflare.com/october-2021-facebook-outage/ (https://blog.cloudflare.com/october-2021-facebook-outage/)

Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: BadMax le 04 octobre 2021 à 23:24:14
Il y a du mieux.

https://www.facebook.com/

Non on l'avait déjà.
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: Ptigarstheone le 04 octobre 2021 à 23:28:20
Je ne sais pas si c'est vrai, mais si oui...
https://twitter.com/sheeraf/status/1445099150316503057?s=21
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: xp25 le 04 octobre 2021 à 23:28:29
Non on l'avait déjà.
https://lafibre.info/bgp/pb-dns-facebook/msg897087/#msg897087

Notez le 2020 en Octobre 2021...  ::) ::) ::)
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: xp25 le 04 octobre 2021 à 23:29:14
Understanding How Facebook Disappeared from the Internet

https://blog.cloudflare.com/october-2021-facebook-outage/ (https://blog.cloudflare.com/october-2021-facebook-outage/)

Très instructif, merci Thornhill  ;)
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: iMarco27 le 04 octobre 2021 à 23:31:21
Non on l'avait déjà.

En forçant l'ip alors ? Car mon dns retournait un servfail donc pas de page de maintenance, maintenant le dns me retourne une IP (157.240.21.35 (uniquement v4, pas de v6 retournée)) et du coup j'ai la page.

edit : nouvelle IP (179.60.192.36) et juste écrit "Service Unavailable"

Et oui top le résumé de Cloudflare
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: BadMax le 04 octobre 2021 à 23:35:42
J'ai IPv4 et IPv6 qui viennent de résoudre en meme temps que les 4 DNS principaux de FB.


Si leur DNS est bien de retour, les backend semblent encore injoignables.
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: cali le 04 octobre 2021 à 23:37:43
La plupart de leurs préfixes sont de nouveau annoncés.

Ça comprend les IP des serveurs de noms. Donc les noms de domaines de Facebook peuvent de nouveau être résolus.
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: Thornhill le 04 octobre 2021 à 23:39:16
L’euphémisme de communication de FB :


 "some people"  :D
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: Optix le 04 octobre 2021 à 23:41:01
Ca permet déjà que les résolveurs DNS puissent remplir leurs caches.
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: Tounet le 04 octobre 2021 à 23:44:06
C'est effectivement en train de revenir.
J'imagine pas la charge qu'ils vont se prendre à la reconnexion 😅
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: xp25 le 04 octobre 2021 à 23:45:04
Instagram est de retour  8)

le CDN de photo, pas encore !
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: JCLB le 04 octobre 2021 à 23:45:21
Les sismographes du monde entier viennent de détecter le retour de whatsapp via les vibreurs... oupas
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: Ptigarstheone le 04 octobre 2021 à 23:49:13
Instagram est de retour  8)

le CDN de photo, pas encore !
Attention, gros traffic à prévoir à Dubaï ! ;D
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: xp25 le 04 octobre 2021 à 23:59:05
Allez its over tout est revenu à la normale  ;D
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: Optix le 04 octobre 2021 à 23:59:53
Aaah ! C'était sympa.

Bon sur ce, bonne nuit hein !  ;D
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: buddy le 05 octobre 2021 à 00:01:40
Tout c'est un bien grand mot, Whatsapp semble toujours HS ...
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: xp25 le 05 octobre 2021 à 00:03:22
Flusher vos DNS
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: dj54 le 05 octobre 2021 à 00:04:55
ça remarche FB et What app
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: xp25 le 05 octobre 2021 à 00:09:53
MAJ -> https://blog.cloudflare.com/october-2021-facebook-outage/
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: buddy le 05 octobre 2021 à 00:12:13
Cloudflare, ils semblent être fachés avec les heures.
22h28 UTC c'est dans 16 minutes .. ;)

De mon côté j'ai bien messenger sur le portable (j'ai reçu des messages) mais pas Whatsapp.
Je ne vais pas me prendre la tête à essayer de flush les DNS sur le tel, ça attendra demain !
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: butler_fr le 05 octobre 2021 à 00:16:35
flush tes dns c'est vraiment une réponse bateau.
Si problème de cache il y a, ce sera principalement sur le serveur résolveur que tu utilises et pas sur ton périphérique!

bref ça sert pas à grande chose
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: Kianouch le 05 octobre 2021 à 00:18:37
Installe un serveur DNS et configure le pour attaquer les root servers, fais ensuite pointer ton tél dessus... ou alors attend  un peu  ;D
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: cayenne le 05 octobre 2021 à 00:42:05
flush t'es dns c'est vraiment une réponse bateau.
Si problème de cache il y a ce sera principalement sur le serveur résolveur que tu utilises et pas sur ton périphérique!

bref ça sert pas à grande chose

Chez moi, c'est pas la peine.
Sur mon unbound, j'ai mis :
cache-max-negative-ttl: 60
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: xp25 le 05 octobre 2021 à 01:06:59
Un petit article de mon fournisseur habituel de news qui vulgarise la panne :

https://www.20minutes.fr/high-tech/3140039-20211004-facebook-instagram-whatsapp-messenger-panne

On y apprend que le domaine facebook.com aurait été disponible à la vente un instant chez certains registrar  ;D
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: xp25 le 05 octobre 2021 à 02:01:10
Vous auriez donné combien pour être chez FB ce jour (god/ghost mode) pour voir et filmer l'intervention des techs suite au down ?  ;D
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: Synack le 05 octobre 2021 à 02:18:59
Il ne devait pas y avoir grand chose à voir, le gros du truc s'est surement passé en remote hands. Ca ne vaut pas une bonne panne générale de datacenter où physiquement t'as tout le monde qui se pointe sur site ;D (never forget Redbus 2006)
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: sxpert le 05 octobre 2021 à 09:23:16
Je viens d'avoir des contacts en Cote d'Ivoire via téléphone, plus rien ne marche sur internet.
Pas de playstore, pas de signal/telegram pour ceux qui l'ont,...
Tout semble saturé par des gens qui testent leur accès.

Je sens que la neutralité du net va en prendre un coup suite à cet épisode, certains FAI diront que l'effet à été trop intense et demanderont de se réserver le droit de couper ou de QoSer les sites de tests dans le cas de fortes anomalies de volume.

ca montre surtout à quel point le réseau en Côte d'Ivoire est sous-dimensionné...
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: Leon le 05 octobre 2021 à 10:19:33
Transduction en Français :

(https://lafibre.info/images/peering/202110_panne_bgp_facebook_1.png)
Est-ce qu'il faut comprendre que les routeurs utilisés par Facebook n'ont pas d'out-of-band-monitoring?
J'avoue que ça me semble très surprenant.

Leon.
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: butler_fr le 05 octobre 2021 à 12:16:00
pas les serveurs mais les équipements réseau.
de mémoire c'est out-of-band-management pas monitoring ;)

Peut être qu'ils en avaient mais après encore une fois si tu as perdu tes outils internes / ta base d'ip/mot de passe / peut être même plus internet du tout.
bah le meilleur moyen ça reste encore d'aller sur site fixer le bazar
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: PhilippeMarques le 05 octobre 2021 à 12:27:24
pas les serveurs mais les équipements réseau.
de mémoire c'est out-of-band-management pas monitoring ;)

Peut être qu'ils en avaient mais après encore une fois si tu as perdu tes outils internes / ta base d'ip/mot de passe / peut être même plus internet du tout.
bah le meilleur moyen ça reste encore d'aller sur site fixer le bazar
Habituellement, quand ça merde, cela fait pas semblant, "les emmerdes ça vole en escadrille"
A la taille de FB, le nombre de process de gestion qu'il doit exister derrière ( surtout au niveau de ces changements névralgiques ) un retour à la normale pas trop long.
J'interdisait tout changement à la veille d'un WE, pont ou vacances.
Etre à 2000 km et avoir un appel, ça merde, c'est source de stress.
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: thedark le 05 octobre 2021 à 15:39:32
Chez FREE.

Citer
The Facebook effect sur nos serveurs DNS pendant la panne

(https://pix.milkywan.fr/QJEvFQD9.image)

https://twitter.com/Free_1337/status/1445366087441428483
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: Optix le 05 octobre 2021 à 16:16:59
Oui. Pour ça que c'était malin de d'abord annoncer les préfixes pour que les NS soient joinables et commencent déjà à distribuer les réponses aux résolveurs qui mettent en cache. Ca élimine déjà 1 problème.
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: PhilippeMarques le 05 octobre 2021 à 17:39:11
Chez FREE.

(https://pix.milkywan.fr/QJEvFQD9.image)

https://twitter.com/Free_1337/status/1445366087441428483
C'est le serpent du petit prince.
Les adultes comprendront pas.
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: Mat753 le 05 octobre 2021 à 21:39:24
Fb à peut-etre été victime d'une faille 0 day, c'est pour cela qu'ils aurais temporairement "désactiver" leurs DNS et cie. le temps de patcher tout ça ; bon de toute façon on ne saura jamais la vrai raison de la panne, ils peuvent dire ce qu'ils veulent.
Le timing est étrange, juste qques jours après qu'un employé à fait des révélations  ::)
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: FloBaoti le 05 octobre 2021 à 22:54:54
Une faille 0 day sur des routeurs et qui ne concernent qu'eux ? Ok...
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: Synack le 05 octobre 2021 à 22:58:02
L'explication officielle de FB : https://engineering.fb.com/2021/10/05/networking-traffic/outage-details/
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: vivien le 06 octobre 2021 à 10:15:32
La traduction en Français :

Plus de détails sur la panne de Facebook du 4 octobre
Par Santosh Janardhan

Maintenant que nos plates-formes sont opérationnelles comme d’habitude après la panne d’hier, j’ai pensé qu’il serait utile de partager un peu plus de détails sur ce qui s’est passé et pourquoi – et surtout, comment nous apprenons pour que cela ne se reproduise pas.

Cette panne a été déclenchée par le système qui gère la capacité de notre backbone mondial. Le backbone est le réseau que Facebook a construit pour connecter toutes nos installations informatiques ensemble, qui se compose de dizaines de milliers de kilomètres de câbles à fibre optique traversant le monde et reliant tous nos centres de données.

Ces centres de données se présentent sous différentes formes. Certains sont des bâtiments massifs qui abritent des millions de machines qui stockent des données et exécutent les lourdes charges de calcul qui permettent à nos plates-formes de fonctionner, et d’autres sont des installations plus petites qui connectent notre backbone à l’Internet plus large et aux personnes qui utilisent nos plates-formes.

Lorsque vous ouvrez l’une de nos applications et chargez votre flux ou vos messages, la demande de données de l’application se déplace de votre appareil à l’installation la plus proche, qui communique ensuite directement via réseau backbone vers un centre de données plus grand. C’est là que les informations nécessaires à votre application sont récupérées et traitées, puis renvoyées sur le réseau vers votre téléphone.

Le trafic de données entre toutes ces installations informatiques est géré par des routeurs, qui déterminent où envoyer toutes les données entrantes et sortantes. Et dans le travail quotidien de maintenance de cette infrastructure, nos ingénieurs doivent souvent mettre une partie du backbone hors ligne pour maintenance - peut-être réparer une fibre optique, ajouter plus de capacité ou mettre à jour le logiciel sur le routeur lui-même.

C’était la source de la panne d’hier. Au cours de l’un de ces travaux de maintenance de routine, une commande a été émise dans le but d’évaluer la disponibilité de la capacité du backbone mondiale, qui a involontairement détruit toutes les connexions de notre backbone, déconnectant efficacement les centres de données Facebook à l’échelle mondiale. Nos systèmes sont conçus pour auditer des commandes comme celles-ci afin d’éviter de telles erreurs, mais un bogue dans cet outil d’audit l’a empêché d’arrêter correctement la commande.

Ce changement a entraîné une déconnexion complète entre nos centres de données et Internet. Et cette perte totale de connexion a causé un deuxième problème qui a aggravé les choses.

L’une des tâches effectuées par nos petites installations consiste à répondre aux requêtes DNS. DNS est le carnet d’adresses d’Internet, permettant aux noms Web simples que nous tapons dans les navigateurs d’être traduits en adresses IP de serveur spécifiques. Les réponses DNS sont assurées par des serveurs DNS faisant autorité qui occupent eux-mêmes des adresses IP bien connues, qui à leur tour sont annoncées au reste d’Internet via un autre protocole appelé protocole de passerelle frontalière (BGP).

Pour assurer un fonctionnement fiable, nos serveurs DNS désactivent ces annonces BGP s’ils ne peuvent pas parler à nos centres de données, car il s’agit d’une indication d’une connexion réseau malsaine. Lors de la récente panne, toute le backbone a été retirée de l’exploitation, ce qui a fait que ces emplacements se sont déclarés malsains et ont retirés ces annonces BGP. Le résultat final a été que nos serveurs DNS sont devenus inaccessibles même s’ils étaient encore opérationnels. Cela a rendu impossible pour le reste de l’Internet de trouver nos serveurs.

Tout cela s’est passé très vite. Et alors que nos ingénieurs s’efforçaient de comprendre ce qui se passait et pourquoi, ils ont dû faire face à deux grands obstacles : premièrement, il n’était pas possible d’accéder à nos centres de données par nos moyens normaux parce que leurs réseaux étaient en panne, et deuxièmement, la perte totale de DNS a brisé de nombreux outils internes que nous utilisions normalement pour enquêter et résoudre des pannes comme celle-ci.

Notre accès réseau principal et celui out-of-band était en panne, nous avons donc envoyé des ingénieurs sur site dans les centres de données pour qu'ils déboguent le problème et redémarrent les systèmes. Mais cela a pris du temps, car ces installations sont conçues avec des niveaux élevés de sécurité physique et système à l'esprit. Il est difficile d'y accéder, et une fois à l'intérieur, le matériel et les routeurs sont conçus pour être difficiles à modifier, même lorsque vous y avez physiquement accès. Il a donc fallu plus de temps pour activer les protocoles d'accès sécurisés nécessaires pour que les gens soient sur place et capables de travailler sur les serveurs. Ce n'est qu'alors que nous pourrions confirmer le problème et remettre notre backnone en ligne.

Une fois la connectivité de notre réseau fédérateur restaurée dans les régions de nos centres de données, tout a été rétabli. Mais le problème n'était pas résolu : nous savions que le fait de réactiver nos services d'un seul coup pouvait potentiellement provoquer une nouvelle série de plantages en raison d'une augmentation du trafic. Les centres de données signalaient des baisses de consommation d'énergie de l'ordre de dizaines de mégawatts, et l'inversion soudaine d'une telle baisse de consommation d'énergie pourrait mettre en danger tout, des systèmes électriques aux caches.   

Heureusement, c'est un événement auquel nous sommes bien préparés grâce aux exercices « tempête » que nous organisons depuis longtemps maintenant. Dans un exercice de tempête, nous simulons une panne système majeure en mettant un service, un centre de données ou une région entière hors ligne, en testant sous contrainte toute l'infrastructure et les logiciels impliqués. L'expérience de ces exercices nous a donné la confiance et l'expérience nécessaires pour remettre les choses en ligne et gérer avec soin les charges croissantes. En fin de compte, nos services sont revenus relativement rapidement sans aucune autre panne à l'échelle du système. Et bien que nous n'ayons jamais eu auparavant de tempête simulant la mise hors ligne de notre épine dorsale mondiale, nous chercherons certainement des moyens de simuler des événements comme celui-ci à l'avenir. 

Chaque échec comme celui-ci est une opportunité d'apprendre et de s'améliorer, et il y a beaucoup à apprendre de celui-ci. Après chaque problème, petit ou grand, nous effectuons un processus d'examen approfondi pour comprendre comment nous pouvons rendre nos systèmes plus résilients. Ce processus est déjà en cours. 

Nous avons beaucoup travaillé pour renforcer nos systèmes afin d'empêcher les accès non autorisés, et il était intéressant de voir comment ce renforcement nous ralentissait alors que nous essayions de nous remettre d'une panne causée non pas par une activité malveillante, mais par une erreur de notre propre chef. Je pense qu'un compromis comme celui-ci en vaut la peine - une sécurité quotidienne considérablement accrue par rapport à une récupération plus lente après un événement, espérons-le rare, comme celui-ci. À partir de maintenant, notre travail consiste à renforcer nos tests, nos exercices et notre résilience globale pour nous assurer que des événements comme celui-ci se produisent aussi rarement que possible.


Source : Facebok le 5 octobre 2021 (https://engineering.fb.com/2021/10/05/networking-traffic/outage-details/)
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: macmonac le 06 octobre 2021 à 10:20:22
Une analyse de Bortzmeyer que je n'ai pas encore eu le temps de lire : https://www.bortzmeyer.org/facebook-octobre-2021.html
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: butler_fr le 06 octobre 2021 à 13:33:06
Je trouve que L'article en question n'apporte pas grand chose de plus par rapport a l'analyse de cloudflare ou du compte rendu de facebook.

Honnêtement je pense que ce type de panne peut arriver a n'importe quel acteur.
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: vivien le 06 octobre 2021 à 13:46:44
Le régulateur du Gabon se nomme Arcep, comme en France, mais il n'y a pas de lien entre les deux Arcep, qui régulent chacun leur pays respectif.

Panne Facebook : Au Gabon, l’Arcep assure avoir travaillé pour un retour à la normale des différents services

Durant près de 7 heures de lundi en fin de journée, un bug mondial a interrompu les réseaux Facebook. Au Gabon, le régulateur des communications électriques a dit avoir travaillé avec Facebook pour réparer cette panne. Son communiqué a enflammé la toile et été tourné en dérision par les internautes gabonais.

Le 4 octobre en fin d’après-midi, les réseaux du groupe Facebook étaient déconnectés. Pendant près de 7 heures chrono, à partir de l’après-midi de lundi, Facebook, Instagram, WhatsApp et Messenger, les deux réseaux sociaux et les deux messageries du géant californien étaient hors service. Ce qui a affecté plusieurs millions d’utilisateurs dans le monde et au Gabon.

«Nous voulons d’abord rassurer les abonnés des différents opérateurs en disant qu’il s’agit d’une coupure mondiale qui impacte tous les continents et non d’une coupure locale», a dit sur les antennes de la télévision nationale, Serge Essongue Ewanpango, un membre du Conseil de régulation de l’Autorité de régulation des communications électroniques et des postes (Arcep).

Mieux, a voulu rassurer Serge Essongue poursuivant sa lecture, «les différents opérateurs et le régulateur sont actuellement à pied d’œuvre pour travailler à un retour à la normale des différents services». Si durant les premières heures de cette coupure, le porte-parole de Facebook indiquait, sur son compte Twitter, que les équipes travaillaient pour un retour à la normale le plus rapidement possible, l’Arcep a pour sa part assuré que les techniciens de ses démembrements travaillaient avec les représentants de Facebook à l’étranger. En clair, a laissé entendre Serge Essongue, durant de longues heures de la nuit du 4 au 5 octobre, les techniciens de l’Arcep ont dû gérer avec Facebook, une crise causée par un bug mondial.

Or, dans la nuit, Facebook a déclaré qu’un «changement dans la configuration» des routeurs du coeur de son réseau (backbone) «qui coordonnent le trafic entre nos data centers a provoqué un problème qui a interrompu les communications. Cela a perturbé le trafic et a eu un effet boule de neige sur la façon dont nos data centers communiquent, mettant tous nos services à l’arrêt». Au terme d’une recherche sur la toile, on note qu’acun autre régulateur national n’a indiqué avoir travaillé avec Facebook sur ses data centers pour la résolution du bug… sauf l’Arcep au Gabon.

L’Arcep moquée par les internautes

Très vite sur la toile mardi matin, les internautes gabonais ont tourné en dérision le communiqué de l’Arcep qui se voulait pourtant sérieux. «Franchement, chapeau au Gabon qui a déployé ses techniciens pour résoudre les problèmes de Facebook», a posté l’un d’eux avant d’ajouter, «les gars de l’Arcep ont fait des heures sup». «Jouer les plaisantins et dire des choses aussi stupides, c’est tout ce qu’on sait faire dans ce pays. Bravo à l’Arcep qui était à pied d’œuvre pour gérer ce bug !», aposté un autre. «L’Arcep peut travailler pour remettre Facebook en marche ? On comprend pourquoi n’importe quel charlatan peut faire prendre aux dirigeants de ce pays des vessies pour des lanternes», a commenté un autre.

Ceci d’autant plus que, indique-t-on, pour rétablir le bug «les ingénieurs de Facebook ont été envoyés dans l’un de ses principaux centres de données américains en Californie pour restaurer le service, ce qui signifie que le correctif ne pouvait pas être effectué à distance». Se confondant en excuses et insistant sur le fait que la panne était indépendante de la volonté des différents opérateurs qui exercent en République gabonaise, Serge Essongue a fini par «conseiller à ceux qui aiment utiliser les réseaux sociaux, ceux-là qui sont uniquement sur WhatsApp de télécharger s’ils ne l’ont pas déjà fait, des réseaux sociaux comme Signal et Telegram».

Un conseil qui n’a d’ailleurs pas laissé indifférents les internautes gabonais. «Le comble de la bêtise, on a atteint et dépassé le point de non-retour. C’est triste pour ce pays», a lâché l’un d’eux.


Source : Gabonreview.com | Actualité du Gabon (https://www.gabonreview.com/panne-facebook-au-gabon-larcep-assure-avoir-travaille-pour-un-retour-a-la-normal-des-differents-services/), le 5 octobre 2021.

Peut-être en lien avec le fait que le pic de requêtes DNS lié à la panne Facebook n'a pas été géré correctement par tous les opérateurs :

Je viens d'avoir des contacts en Cote d'Ivoire via téléphone, plus rien ne marche sur internet.
Pas de playstore, pas de signal/telegram pour ceux qui l'ont,...
Tout semble saturé par des gens qui testent leur accès.

Je sens que la neutralité du net va en prendre un coup suite à cet épisode, certains FAI diront que l'effet à été trop intense et demanderont de se réserver le droit de couper ou de QoSer les sites de tests dans le cas de fortes anomalies de volume.

Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: cali le 06 octobre 2021 à 14:07:58
Peut-être en lien avec le fait que le pic de requêtes DNS lié à la panne Facebook n'a pas été géré correctement par tous les opérateurs :

Il est dit, mais j'en doute un peu, que les DNS ouverts de Google avaient eu un peu de mal à ce moment là. De nombreux opérateurs peu scrupuleux dans le monde ne se préoccupent pas d'avoir leur résolveur (parce que c'est vraiment très difficile à mettre en place...) et poussent ceux de Google à leurs clients. Ça expliquerait pourquoi beaucoup pouvaient penser que l'Internet ne fonctionnait plus...
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: PhilippeMarques le 06 octobre 2021 à 16:03:23
Panne Facebook : Au Gabon, l’Arcep assure avoir travaillé pour un retour à la normale des différents services
Je suis quand même étonné, au Gabon et en côte d'Ivoire les brouteurs fonctionnent bien.
C'est sur qu'avec une panne FB, cela en mets beaucoup au chômage, et des rentrées de devises en berne, les autorités mettent tout en oeuvre.
 ;D ;D
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: nicoz le 06 octobre 2021 à 16:06:50
Je suis quand même étonné, au Gabon et en côte d'Ivoire les brouteurs fonctionnent bien.
C'est sur qu'avec une panne FB, cela en mets beaucoup au chômage, et des rentrées de devises en berne, les autorités mettent tout en oeuvre.
 ;D ;D

surtout que les brouteurs utilisent beaucoup whatsapp :)
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: vivien le 06 octobre 2021 à 17:38:56
Oui, WhatApp est bien plus utilisé en Afrique qu'en France.

Un exemple avec ce communiqué de Free Sénégal, qui annonce la fermeture des agences Free jusqu’à nouvel ordre suite à des manifestations nécessitant le déploient de blindés de l’armée dans Dakar pour assurer le maintien de l'ordre et la protection des institutions (13 victimes).

Seul moyen de joindre Free dans le communiqué : whatApp


(https://lafibre.info/images/international/202103_free_senegal.jpg)
Source : Free Sénégal (https://twitter.com/free_senegal/status/1368912250606661636)
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: Symbol le 07 octobre 2021 à 01:10:29
Il est dit, mais j'en doute un peu, que les DNS ouverts de Google avaient eu un peu de mal à ce moment là. De nombreux opérateurs peu scrupuleux dans le monde ne se préoccupent pas d'avoir leur résolveur (parce que c'est vraiment très difficile à mettre en place...) et poussent ceux de Google à leurs clients. Ça expliquerait pourquoi beaucoup pouvaient penser que l'Internet ne fonctionnait plus...
Tous les DNS résolveurs de tout le monde ont pris cher, pas seulement Google. Voir le tweet de Free.
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: mirtouf le 08 octobre 2021 à 21:58:56
Les emmerdes ça vole en escadrille.
https://www.theverge.com/2021/10/8/22716860/facebook-instagram-outage-issues
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: dj54 le 03 novembre 2021 à 20:08:32
Facebook encore en panne accès a Messenger impossible  :(
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: TI@RY le 03 novembre 2021 à 20:20:32
Facebook encore en panne accès a Messenger impossible  :(

Aucun problème de mon côté
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: xp25 le 03 novembre 2021 à 20:26:12
Pareil, Messenger OK ;)
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: vocograme le 03 novembre 2021 à 20:27:42
Salut tout le monde, l'accès à la page https://www.facebook.com/messages provoque une erreur de mon côté (je passe par la pour utiliser messenger). Par contre l'application mobile n'a à priori pas de soucis... A suivre

EDIT : Passer par https://www.messenger.com provoque le même soucis chez moi  :-[
(je mets une capture d'écran en PJ)
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: TI@RY le 03 novembre 2021 à 20:51:59
Salut tout le monde, l'accès à la page https://www.facebook.com/messages provoque une erreur de mon côté (je passe par la pour utiliser messenger). Par contre l'application mobile n'a à priori pas de soucis... A suivre

EDIT : Passer par https://www.messenger.com provoque le même soucis chez moi  :-[
(je mets une capture d'écran en PJ)

Pas de problème de mon côté, les 2 liens fonctionnent.
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: vocograme le 03 novembre 2021 à 20:55:37
Pas de problème de mon côté, les 2 liens fonctionnent.

Je te confirme que tout remarche de mon côté. Tant mieux ça n'a pas duré longtemps ;D
@dj54 c'est de nouveau OK de ton côté aussi ?

Bonne soirée
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: dj54 le 03 novembre 2021 à 23:08:53
oui c'est revenu un peu avant 22h  :)
Titre: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet
Posté par: Mat753 le 03 novembre 2021 à 23:18:57
Youtube hs j'ai l'impression