Auteur Sujet: Facebook / WhatApp HS suite à une suppression des routes BGP de l'internet  (Lu 34123 fois)

0 Membres et 1 Invité sur ce sujet

Anonyme

  • Invité
On dirait qu'ils ont un pb DNS chez Facebook 
Le monde s'arrète et s'écroule.  ;D ;D

Optix

  • AS41114 - Expert OrneTHD
  • Abonné Orne THD
  • *
  • Messages: 4 632
  • WOOHOO !
    • OrneTHD
PB DNS Facebook
« Réponse #1 le: 04 octobre 2021 à 18:36:28 »
Ouaip.... petite pensée à notre astreinte qui doit se farcir les appels là  ;D

butler_fr

  • Client Bbox adsl
  • Modérateur
  • *
  • Messages: 3 605
  • FTTH orange
PB DNS Facebook
« Réponse #2 le: 04 octobre 2021 à 18:45:32 »
punaise j'étais entrain de me demander ce qui merdait avec mon serveur DNS mais enfaite non c'est pas moi ^^
un joli servfail en réponse DNS

les articles des médias c'est  :-X
Citer
Plus précisément, le problème semble être lié à la disparition du système de routage BGP (Border Gateway Protocol) des serveurs de Facebook. Il s'agit d'un protocole imaginé pour que les données puissent transiter par Internet par des chemins optimaux lorsqu'un internaute tente de se connecter à une plateforme.

kgersen

  • Modérateur
  • Abonné Bbox fibre
  • *
  • Messages: 9 076
  • Paris (75)
PB DNS Facebook
« Réponse #3 le: 04 octobre 2021 à 18:46:57 »
L'hypothese pour le moment est qu'ils ont du carrément couper au niveau DNS pour arrêter tout le traffic qu'ils recevaient  de façon a soulager  leur infra (y'avait des erreurs 500 avant la coupure DNS).

C'est drole l'impact sur les autres sites:
- speedtest.net recoit plein de traffic de gens qui testent si c'est leur connexion qui a un problème
- hackernews en surcharge de gens tech qui cherchent a savoir ce qui se passe
- Slack et Github semblent recevoir un pic de traffic aussi
- y'a guerre que Google qui bronche pas mais vu leur infra c'est pas étonnant.

et sur Twitter ca se déchaine aussi. J'aime beaucoup la 'fausse pub' de Signal: https://twitter.com/signalapp/status/1445062426739855366


butler_fr

  • Client Bbox adsl
  • Modérateur
  • *
  • Messages: 3 605
  • FTTH orange
PB DNS Facebook
« Réponse #4 le: 04 octobre 2021 à 18:50:28 »
C'est un peu des bourrins quand même ^^

des erreurs 500? t'inquiètes on va shooter les enregistrements DNS comme ça y'aura plus d'erreurs  ;D

kgersen

  • Modérateur
  • Abonné Bbox fibre
  • *
  • Messages: 9 076
  • Paris (75)
PB DNS Facebook
« Réponse #5 le: 04 octobre 2021 à 19:00:23 »
C'est un peu des bourrins quand même ^^

des erreurs 500? t'inquiètes on va shooter les enregistrements DNS comme ça y'aura plus d'erreurs  ;D

C'est une hypothèse. On verra au post-mortem.

Mais c'est effectivement une technique bourrin mais efficace de circuit breaker;D

Tounet

  • Abonné SFR fibre FttH
  • *
  • Messages: 51
  • FTTH 500 Mb/s sur Lyon 7ème (69)
PB DNS Facebook
« Réponse #6 le: 04 octobre 2021 à 19:04:01 »
Ca parait quand même hyper bourrin. Curieux d'avoir le mot de la fin.   :P
Ils se sont p-e fait chiffrer leur infra  ;D ;D

Tounet

  • Abonné SFR fibre FttH
  • *
  • Messages: 51
  • FTTH 500 Mb/s sur Lyon 7ème (69)
PB DNS Facebook
« Réponse #7 le: 04 octobre 2021 à 19:17:37 »
Il y a un thread sur reddit :


https://www.reddit.com/r/sysadmin/comments/q181fv/looks_like_facebook_is_down/

Information intéressante
Citer
Update 1440 UTC:

As many of you know, DNS for FB services has been affected and this is likely a symptom of the actual issue, and that's that BGP peering with Facebook peering routers has gone down, very likely due to a configuration change that went into effect shortly before the outages happened (started roughly 1540 UTC).

There are people now trying to gain access to the peering routers to implement fixes, but the people with physical access is separate from the people with knowledge of how to actually authenticate to the systems and people who know what to actually do, so there is now a logistical challenge with getting all that knowledge unified.

Part of this is also due to lower staffing in data centers due to pandemic measures.

butler_fr

  • Client Bbox adsl
  • Modérateur
  • *
  • Messages: 3 605
  • FTTH orange
PB DNS Facebook
« Réponse #8 le: 04 octobre 2021 à 19:23:41 »
no router bgp
commit
...
oups, chef j'ai fait une pitite boulette!

Citer
Part of this is also due to lower staffing in data centers due to pandemic measures.

alors ça faut un peu oser quand même après 1.5ans...

Tounet

  • Abonné SFR fibre FttH
  • *
  • Messages: 51
  • FTTH 500 Mb/s sur Lyon 7ème (69)
PB DNS Facebook
« Réponse #9 le: 04 octobre 2021 à 19:31:14 »
Je pense pas qu'un seul mec puisse être a l'origine d'une telle boulette, il y a probablement autre chose.

butler_fr

  • Client Bbox adsl
  • Modérateur
  • *
  • Messages: 3 605
  • FTTH orange
PB DNS Facebook
« Réponse #10 le: 04 octobre 2021 à 19:38:43 »
perso je pense que c'est tout à fait possible :)
si tu te plante et que tu vautre toute ta conf bgp et que tu isoles ton réseau/tes équipements entre eux...

la c'est le début des emmerdes.
tes accès à distance : finito (coucou le télétravail)
ta doc hébergés en interne : disparue
ton si : cassé

te reste a prier pour avoir un accès de secours totalement indépendant
on avait ça dans mon ancien taff, des vieux cisco console branché d'un coté sur les ports console des équipements critiques du réseau et de l'autre sur une ligne adsl orange toute pourrie
ça nous avait jamais servi mais ...

iMarco27

  • Abonné Orange Fibre
  • *
  • Messages: 1 421
PB DNS Facebook
« Réponse #11 le: 04 octobre 2021 à 19:39:09 »
Ou un acte interne de malveillance, vraiment bizarre cette histoire. Comment un système aussi redondé que Facebook et des accès qui doivent être très stricts au niveau de la conf des routeurs peut tomber comme ça ?

Quelques news en plus :

Citer
Update from /u/ramenporn
No discussion that I'm aware of yet that is considering a threat/attack vector.
I believe the original change was 'automatic' (as in configuration done via a web interface). However, now that connection to the outside world is down, remote access to those tools don't exist anymore, so the emergency procedure is to gain physical access to the peering routers and do all the configuration locally.