La Fibre
Fournisseurs d'accès à Internet fixe en France métropolitaine => Orange / Sosh => 
Actus Orange => Discussion démarrée par: thibault64 le 15 mai 2018 à 23:28:08
-
L'incident d'hier provient d'un bug entre 2 switchs Juniper sur une infra qui supporte une très grosse partie de la voix (et aussi une partie du service TV apparemment..) dans le DC Orange de Val-de-Reuil. Cela a eu pour effet de planté totalement l'infra en question. L'infra de secours à Aubervilliers a été activé mais le transfert de charge a rendu l'infra de secours instable. Voilà en gros ce qui s'est passé.
L'incident d'aujourd'hui provient apparemment de la tentative de repasser sur l'infra nominale.
Source: un ami très bien informé chez Orange
EDIT 17/05/2018 : l'incident voix du 14 mai 2018 à eu pour élèment déclencheur un bug de la QFabric sur le backbone 2 de Val-de-Reuil.
En effet, suite à un défaut survenu la veille sur l'un des 2 Director Group que compte le backbone, décision est prise de continuer les investigation sur l'état du Director Group défectueux.
Pour éviter qu'il ne perturbe le service à tout moment, mais aussi pour récupérer des données sur l'équipement (nécessaire pour alimenter le case Juniper) la décision est prise d'isoler totalement celui-ci par la fermeture de ses ports le reliant aux 2 Control-Plane.
La coupure du lien d'interconnexion entre le Director Group défectueux et le Director Group encore fonctionnel provoque un redémarrage inattendu de ce dernier et isole le backbone de la Qfabric. De plus, le redémarrage du Director Group encore fonctionnel provoque simultanèment le reboot des Redundant Server Node Group (comportement prévu par design sur perte des Director Group) ainsi que de l'ensemble des QFnodes associées au backbone générant des effets de bords applicatifs.
L'incident a également été aggravé par un défaut sur un port physique d'un équipement de l'agrégat vers la Qfabric qui générait de multiples erreurs CRC matérialisé par des bagots VRRP récurrents et impactant fortement plusieurs applications.
Lexique :
Director Group : Les Director Group sont le cerveau de la fabric et le point d'administration centrale.
Control-Plane : Les Control Plane sont les composants intermédiaires pour transmettre les ordres issus des Director Group vers les Redundant Server Node Group.
Il a été malencontreux de ma part de parler simplement d'un "bug entre 2 switchs Juniper". Par cela, je voulais éviter de rentrer dans les détails pour les profanes Juniper dont je fais parti puisque je ne fais que relater des informations venant d'une source interne à Orange souhaitant rester discrète.
Concernant le reste de mes déclarations, mon contact chez Orange (un ami), m'a indiqué avoir interprété cela d'après différents tickets internes qui semblait être en lien. Il a été encore une fois malencontreux de ma part d'avancer ces informations en me basant uniquement sur ses propres constatations, d'autant plus que je ne disposais pas d'éléments probants pour étayer ses propos. Mea culpa :-[
A l'avenir je ferais preuve d'un peu plus de rigueur quant à mes déclarations.
-
On sait pourquoi Orange arrive à impacter des appels intra SFR ?
-
On sait pourquoi Orange arrive à impacter des appels intra SFR ?
Oui, très certainement parce que l'abonné SFR appelé par un autre abonné SFR appelant a un numéro Orange porté sur le réseau SFR. De ce fait, l'appel part de chez SFR, transit par Orange, et revient chez SFR. Or, étant donné que le backbone voix d'Orange tousse un peu, cela provoque des échecs..
En effet, lorsque qu'un opérateur (Orange dans ce cas de figure) reçoit du trafic pour un numéro fixe interpersonnel précédemment attribué à un de ses abonnés et porté chez un autre opérateur (SFR dans ce cas de figure) en conservant son numéro de téléphone (portabilité des numéros fixes), l'opérateur cédant (Orange) :
- achemine l’appel vers l’opérateur preneur (SFR) selon les informations présentes dans la base de données de référence des numéros fixes portés en France Métropolitaine gérée par l’Association de la Portabilité des Numéros Fixes
- facture à l’opérateur preneur le réacheminement effectué par ses soins vers le réseau de l’opérateur preneur
Source: j'ai été pendant 1 an et demi responsable technique en charge (entre autre) de la portabilité chez un opérateur de VoIP français.
-
J'ai eu le problème en mobile de SFR à SFR et 100m entre les 2, d'où mon interrogation.
-
J'ai eu le problème en mobile de SFR à SFR et 100m entre les 2, d'où mon interrogation.
Si je ne m'abuse, le principe de portabilité est le même en mobile. Là dessus, je n'affirme rien car ma spécialité c'est le RTC, la ToIP, et les réseaux IP au sens large (gestion d'AS etc..)
EDIT : j'ai vérifié grâce à des leaks Orange et des docs Free, oui cela fonctionne de la même manière.
-
bonjour, pouvez vous nous en dire plus sur la "portabilité" de ces numéros.
Est que l'on revient à l'origine de chez origine des N° mobile ou l'on avait des plages par opérateur (par exemple je ne me rappelle pas de 06 01 xx xx xx à 06 50 xx xx xx pour orange, 06 51 xx xx xx à 06 80 xx xx xx pour SFR et 06 81 xx xx xx à 06 99 xx xx xx pour Bouygues tel) et que du coup tous les N° portés depuis sont obligatoirement acheminés par l'opérateur d'origine de ces plages ?
-
L'incident d'hier provient d'un bug entre 2 switchs Juniper sur une infra qui supporte une très grosse partie de la voix (et aussi une partie du service TV apparemment..) dans le DC Orange de Val-de-Reuil. Cela a eu pour effet de planté totalement l'infra en question. L'infra de secours à Aubervilliers a été activé mais le transfert de charge a rendu l'infra de secours instable. Voilà en gros ce qui s'est passé.
L'incident d'aujourd'hui provient apparemment de la tentative de repasser sur l'infra nominale.
Source: un ami très bien informé chez Orange
Surement un PB ECC ( ecran clavier chaise ) :) Meme s'il s'agit d'un bug, que la plateforme soit aussi impactée et pendant aussi longtemps c'est que forcement il y a de l'humain dedans :) ( avec surement un soucis d'ingénierie car l'infra de "secours" qui crashe, c'est que bon voila quoi
-
Si je ne m'abuse, le principe de portabilité est le même en mobile. Là dessus, je n'affirme rien car ma spécialité c'est le RTC, la ToIP, et les réseaux IP au sens large (gestion d'AS etc..)
EDIT : j'ai vérifié grâce à des leaks Orange et des docs Free, oui cela fonctionne de la même manière.
c'est moche comme fonctionnement, mais ca peut se comprendre avec la segmentation d'origine des plages de numéros... mais ca serait peut etre l'occaz de se dire que c'est un système à remettre à plat :p
-
bonjour, pouvez vous nous en dire plus sur la "portabilité" de ces numéros.
Est que l'on revient à l'origine de chez origine des N° mobile ou l'on avait des plages par opérateur (par exemple je ne me rappelle pas de 06 01 xx xx xx à 06 50 xx xx xx pour orange, 06 51 xx xx xx à 06 80 xx xx xx pour SFR et 06 81 xx xx xx à 06 99 xx xx xx pour Bouygues tel) et que du coup tous les N° portés depuis sont obligatoirement acheminés par l'opérateur d'origine de ces plages ?
Oui, en fixe ou mobile, l'ARCEP attribue plusieurs blocs de numéros (de 01 à 09) aux opérateurs qui en font la demande et qui justifient leur utilisation.
SFR à par exemple les blocs suivants pour le mobile : 0601 / 06026 / 06027 / 06028 / 06029 / 0603 / 06045 / 06046 / 06047 / 06048 / 06049 / 0609 / 061 / 062 / 0634 / 0635 / 0646 / 07501 / 07502 / 07503 / 07504 / 07508 / 07509 / 07516 / 07526 / 07703 / 07704 / 07713 / 07714 / 077150 / 077151 / 077152 / 077153 / 077154 / 07750 / 07751 / 07752 / 07753 / 07754 / 0776 / 0777 / 0778 / 0779
Comme pour le fixe, la portabilité mobile exige que l'opérateur cédant route l'appel vers l'opérateur prenant (je viens de vérifier sur des docs Orange et Free). Le routage de ces appels se fait au moyen de préfixes de portabilité transparent coté client (car filtré côté opérateurs).
-
Surement un PB ECC ( ecran clavier chaise ) :) Meme s'il s'agit d'un bug, que la plateforme soit aussi impactée et pendant aussi longtemps c'est que forcement il y a de l'humain dedans :) ( avec surement un soucis d'ingénierie car l'infra de "secours" qui crashe, c'est que bon voila quoi
C'est aussi mon avis et celui de ma source :D
Après, je ne peux pas trop m'étendre sur les circonstances, juste de donner la principale cause et les principales actions. Disons que dans cette histoire, Orange a dû faire face à la loi de Murphy.. (la conception de l'infra y est prépondérante..)
-
C'est aussi mon avis et celui de ma source :D
Après, je ne peux pas trop m'étendre sur les circonstances, juste de donner la principale cause et les principales actions. Disons que dans cette histoire, Orange a dû faire face à la loi de Murphy.. (la conception de l'infra y est prépondérante..)
J'y crois pas une seconde que 2 sw peuvent autant impacter une infra nationale comme Orange. Bref, je pense que l'info est completement bullshit ou transformée ^^
-
J'ai des sources internes concordantes, moi j'y crois.
-
Oui, en fixe ou mobile, l'ARCEP attribue plusieurs blocs de numéros (de 01 à 09) aux opérateurs qui en font la demande et qui justifient leur utilisation.
SFR à par exemple les blocs suivants pour le mobile : 0601 / 06026 / 06027 / 06028 / 06029 / 0603 / 06045 / 06046 / 06047 / 06048 / 06049 / 0609 / 061 / 062 / 0634 / 0635 / 0646 / 07501 / 07502 / 07503 / 07504 / 07508 / 07509 / 07516 / 07526 / 07703 / 07704 / 07713 / 07714 / 077150 / 077151 / 077152 / 077153 / 077154 / 07750 / 07751 / 07752 / 07753 / 07754 / 0776 / 0777 / 0778 / 0779
Comme pour le fixe, la portabilité mobile exige que l'opérateur cédant route l'appel vers l'opérateur prenant (je viens de vérifier sur des docs Orange et Free). Le routage de ces appels se fait au moyen de préfixes de portabilité transparent coté client (car filtré côté opérateurs).
Bonjour, merci d'avoir pris le temps de me répondre !
Par contre pas content car du coup j'ai toujours un petit pied chez SFR :-\ :'( :'( :'(
-
C'est bien la cause du bordel. Par contre la réaction en chaine, c'est autre chose, et pas le droit d'en parler :)
-
C'est bien la cause du bordel. Par contre la réaction en chaine, c'est autre chose, et pas le droit d'en parler :)
Vous étiez tous à la machine à café et vous n'avez rien vu c'est ça ? ;D ;D ;D ;D
8)
-
Aucune idée, je ne bosse pas chez l'opérateur hystérique :p
-
2 switch qui plantent tout une infra nationale c'est louche comme explication quand meme. Si c'est le cas faut revoir l'archi quand meme la.
Generalement c'est un bug logiciel (suite a une maj par exemple) ou une attaque (hack/ddos) qui peut causer ce genre de chose a cette echelle.
-
Broadcast Storm ?
-
Je pense pareil, la cause est bien liée a un switch, l'impact aussi grand est lié a autre chose.
-
2 switch qui plantent tout une infra nationale c'est louche comme explication quand meme. Si c'est le cas faut revoir l'archi quand meme la.
Generalement c'est un bug logiciel (suite a une maj par exemple) ou une attaque (hack/ddos) qui peut causer ce genre de chose a cette echelle.
Comme dit Hugues, il y a surtout eu une réaction en chaine apparemment ;D
-
Non, plein de monde chez Orange et ailleurs.
-
Si je comprends bien, le seul qui connait le fin mot de l'histoire c'est ce "David Roy".
Sur ce genre d'incident, ce sont à minima des dizaines de personnes qui savent. Entre les équipes de l'opérateur et les équipes supports des équipements tiers, cela en fait du monde.
-
Comme dit Hugues, il y a surtout eu une réaction en chaine apparemment ;D
oui ca fait plus de sens. mais quand meme ouch quoi.
-
Avec 3 routeurs mal paramétrés, interconnectés entre eux en triangle, et mis en cœur de réseau, je réussi à faire tomber tout un réseau local.
Pour que 2 switchs seulement face de même, j'ai du mal à voir ce qui peut provoquer ceci. Même si ce sont des switchs paramétrables, il en faut minimum 3, théoriquement, et avec les autres prérequis ci-dessus pour faire tomber tout un réseau.
Mais bon, il y a l'air d'y avoir un NDA sur cette histoire/affaire/panne.
Donc je pari qu'on n'aura jamais publiquement les détails.
Par contre, est-ce que l'ANSSI a ou aura toutes les infos? Il 'agit tout de même de la majorité des appels IP de France. C'est central en "sécurité numérique nationale".
-
Une piste
https://en.m.wikipedia.org/wiki/Switching_loop
-
Si je comprends bien, le seul qui connait le fin mot de l'histoire c'est ce "David Roy".
Vachement rassurant pour une aussi grosse boite qu'une seule personne soit au courant du pb réel...
-
Vachement rassurant pour une aussi grosse boite qu'une seule personne soit au courant du pb réel...
On a jamais dit ça. On dit juste que lui est relativement crédible du fait de son poste. Après, de chez Orange, il n'y a que lui qui s'est exprimé publiquement sur Twitter à ma connaissance donc bon..
Et puis vu le bordel généré, ils ont pas spécialement envie de gueuler les détails sur tous les toits non plus ;)
-
D'accord mais Source: un ami très bien informé chez Orange ou J'ai des sources internes concordantes
c'est digne de propos de comptoir d'autant qu'une personne relativement crédible du fait de son poste infirme ;)
Tu n'auras pourtant RIEN d'autres.
Si un gars qui y travaille le met en publique, et qu'on remonte jusqu'à lui en interne, cela va très mal se passer pour lui sans autorisation d'en parler publiquement...
Il y a un NDA (accord de non divulgation en français), ou équivalent (secret professionnel par exemple).
C'est bien la cause du bordel. Par contre la réaction en chaine, c'est autre chose, et pas le droit d'en parler :)
Donc dans ce genre de cas, que 2 possibilités:
- ce qui semble être la tendance dans ce sujet, on prend la chose comme vraie, mais en se doutant que ce n'est qu'une partie de la vérité. Tant pis pour des sources facilement interrogeables.
- ou comme NextInpact par exemple, on se contente de "cause inconnue", en espérant qu'il y ai un jour un communique officielle, publique et détaillée dessus. Mais c'est sans garantie que cela arrive.
-
On saura la vérité.
Sur un incident aussi grave, qui a impacté des milliers de sociétés, Orange va communiquer, mais il faut laisser le temps de vérifier les choses avant de faire un rapport publique.
En 2012 on avait eu le droit à une explication détaillée :
Voici les explications de Stéphane Richard sur la panne de vendredi. Ceci est tiré de son audition devant la commission économique du parlement.
"D'où vient la panne ?
Tout d'abord, pour le patron d'Orange, « la réactivité technique de l'entreprise face au problème n'est pas critiquable ». L'opérateur, du fait du caractère nouveau et imprévisible de la panne et de la cause, ne pouvait résoudre plus rapidement l'incident a estimé Stéphane Richard.
La cause de la panne est bien d'origine logicielle a rapidement confirmé le PDG. Elle a affecté l'un des éléments principaux du réseau mobile, à savoir le coeur du réseau (le coeur du système), qui gère tous les abonnés, notamment leur localisation a t-il expliqué. Les autres opérateurs, dont Free Mobile, ne sont donc en rien responsables de la panne.
Techniquement, Orange dispose d'un HLR (Home Location Register) comprenant 27 machines. Plus précisèment, il y a deux types de machines : 6 machines dédiées à la base de données (back end), chacune d'entre elles étant triplée afin d'assurer le bon fonctionnement du réseau en cas de panne, soit 18 machines en tout. Enfin, il y a le "front end" comprenant 9 machines et qui n'est pas ici concerné par la panne.
Alcatel-Lucent est le fournisseur de ce HLR. Il s'agit d'un produit de dernière génération, mis en place en mai dernier a tenu à préciser Richard. Le matériel n'était donc pas obsolète. Néanmoins, une mise à jour du HLR a été réalisée 48h avant la panne. Il est ainsi fort probable que cette mise à jour soit la cause de ladite panne estime Stéphane Richard.
Et selon ce dernier, l'anomalie qui a été créée par cette mise à jour n'a créé aucune alerte. Peut-être s'agit-il d'un défaut de conception ou d'une défaillance humaine, le patron d'Orange n'en a aucune idée pour le moment. Le triplement des machines du back-end n'a donc pas servi puisque l'alerte automatique n'a pas été donnée."
Source: www.pcinpact.com (https://www.nextinpact.com/news/72366-panne-nationa-pdg-dorange-confirme-panne-logicielhlr.htm)
Enfin voici une vidéo explicative d'Orange :
https://lafibre.info/videos/orange/201207_orange_details_panne_hlr_6_juillet_2012.mp4
-
D'accord mais Source: un ami très bien informé chez Orange ou J'ai des sources internes concordantes
c'est digne de propos de comptoir d'autant qu'une personne relativement crédible du fait de son poste infirme ;)
Super, un truc intéressant a ajouter ? J'vais pas balancer les noms des gens qui me filent des infos. A chacun de juger de ma crédibilité, mais si ça t'amuse, pense ce que tu veux.
-
Tu n'auras pourtant RIEN d'autres.
Si un gars qui y travaille le met en publique, et qu'on remonte jusqu'à lui en interne, cela va très mal se passer pour lui sans autorisation d'en parler publiquement...
Il y a un NDA (accord de non divulgation en français), ou équivalent (secret professionnel par exemple).Donc dans ce genre de cas, que 2 possibilités:
- ce qui semble être la tendance dans ce sujet, on prend la chose comme vraie, mais en se doutant que ce n'est qu'une partie de la vérité. Tant pis pour des sources facilement interrogeables.
- ou comme NextInpact par exemple, on se contente de "cause inconnue", en espérant qu'il y ai un jour un communique officielle, publique et détaillée dessus. Mais c'est sans garantie que cela arrive.
C'est ça, moi j'ai pas tous les éléments, j'en ai quelques uns, pour le reste, étant client transit voix Orange, j'aurais le RFO quand il sortira :)
-
Après, il faut voir quel genre de switch s'est emballé.
En switch de cœur, Orange utilise pas mal de Juniper EX8200, mais je doute que le soucis vienne de ce genre d'équipement.
Je penche plutôt pour un incident sur la QFabric de Juniper qu'Orange utilise également.
Elle est très sensible aux upgrades...
-
Je verrai bien un bug sur un LAG inter-chassis avec 1 serveur/service un peu critique : re-ordering de paquets à cause d'une (mauvaise) répartition de trafic entre les liens, lien inter-switch qui flappe/déconne (joli bug sur N7K en NX-OS < 6.2.10 qui boucle s'il voit une @MAC à 0) ou simplement un LACP qui a décidé de stopper les négotiations pour avoir des frittes à la cantine.
Ca c'est pour le L2, en couche L3 on doit pouvoir faire un combo par-dessus, au choix: routage asymétrique, trafic blackholé par la couche L3 qui a raté sa résolution ARP à cause du bug en L2, un ASIC qui a ses tables pleines, etc.
Dans tous les cas, 3 jours pour trouver ce genre de problème ça me parait énorme et je pense que ce David Roy doit être le plus proche de la réalité: la VoIP s'est mise en vrac. Avec ou sans l'aide de Juniper.
-
On est cité :)
http://www.zdnet.fr/actualites/panne-chez-les-operateurs-apres-deux-journees-noires-les-questions-demeurent-39868300.htm (http://www.zdnet.fr/actualites/panne-chez-les-operateurs-apres-deux-journees-noires-les-questions-demeurent-39868300.htm)
-
Pour revenir au sujet, si on ne croit en rien dans ce sujet, le mieux est d'attendre une éventuelle info officielle.
On saura la vérité.
Sur un incident aussi grave, qui a impacté des milliers de sociétés, Orange va communiquer, mais il faut laisser le temps de vérifier les choses avant de faire un rapport publique.
En 2012 on avait eu le droit à une explication détaillée
Mouais, il a fallu attendre une commission pour cela.
On verra dans les prochains jours ou semaines.
S'il n'y a rien dans les tout prochains mois, je considère que ce sera mort.^^
-
Note: J'ai du modérer quelques attaques personnelles entre deux membres du forum
-
Note: J'ai du modérer quelques attaques personnelles entre deux membres du forum
Ok.
Par contre, tu devrais faire gaffe aux "sources internes", absolument invérifiables, en osant affirmer cela sur ta page d'accueil. L'utilisation du conditionnel (est->serait) et d'inviter les gens à la prudence aurait été plus judicieux. Résultat, tout est relayé dans la presse, là aussi, sans vérification. Mais bon, ça fait des visites, donc balécouilles qq part :p
Si beaucoup d'opérateurs gueulent contre Orange, c'est simplement qu'ils s'appuyent sur lui comme un bête trunk, notamment pour acheminer les appels de numéros portés. L'APNF fournit un super fichier de chaque numéro et chez qui il est. Vous faites un lookup du numéro dans une base clé-valeur et hop, vous composez le numéro via l'interco de l'opérateur en direct, sans passer via Orange !
In fine, il y a tout pour faire une archi P2P nationale. Mais bon, certains restent attachés à la taxe d'acheminement (y a qu'à voir le succès d'hopus) et pas prêts techniquement à de telles intercos. J'espère que cet incident va donner un coup de boost à tout ça :)
D'ailleurs, qqn sait comment c'est gérer dans les autres pays ?
-
J'ai fais attention de mettre du conditionnel partout dans mon tweet (https://twitter.com/lafibreinfo/status/996722088676352001) : L'incident #voix #Orange du 14 mai proviendrait d'un bug entre 2 switchs Juniper. L'infra de secours aurait été activée, mais le transfert de charge aurait rendu l'infra de secours instable. Le 15 mai, l'incident serait lié au passage sur l'infra nominale: https://lafibre.info/orange-les-news/incident-voix-bug-entre-switchs-juniper/
Généralement quand il y a une information fausse de relayée par un membre, j'ai tout de suite des retours en off.
Sur la page d’accueil, on est limité a 7/8 mots ce qui ne permet pas de mettre le conditionnel, j'ai toutefois attendu pour mettre l'information, voir si une personne d'Orange dèmentais l'information. Je n'ai eu aucun retour en privé et un seul retour en public, celui de David Roy.
-
Nous, rien que le taux d'échec vers Orange seulement posait des soucis, il y'a énormèment de monde chez/derrière Orange, donc nos clients étaient impactés...
-
Mais bon, ça fait des visites, donc balécouilles qq part :p
Je suis pas certain que ce soit le but recherché, on peut pas dire que l'arrivée de monte améliore le SNR en général :).
-
J'ai pris soins de mettre du conditionnel partout dans mon tweet (https://twitter.com/lafibreinfo/status/996722088676352001) : L'incident #voix #Orange du 14 mai proviendrait d'un bug entre 2 switchs Juniper. L'infra de secours aurait été activée, mais le transfert de charge aurait rendu l'infra de secours instable. Le 15 mai, l'incident serait lié au passage sur l'infra nominale: https://lafibre.info/orange-les-news/incident-voix-bug-entre-switchs-juniper/
Généralement quand il y a une information fausse de relayée par un membre, j'ai tout de suite des retours en off.
Sur la page d’accueil, on est limité a 7/8 mots ce qui ne permet pas de mettre le conditionnel, j'ai toutefois attendu pour mettre l'information, voir si une personne d'Orange dèmentais l'information. Je n'ai eu aucun retour en privé et un seul retour en public, celui de David Roy.
Ok, merci pour les précisions :)
Je suis pas certain que ce soit le but recherché, on peut pas dire que l'arrivée de monte améliore le SNR en général :).
Mine de rien, à force, LaFibre.info est cité dans pas mal d'articles de presse à destination du grand public dès lors qu'il s'agit de couvrir un événement (incident, nouvelle techno ou protocole), donc qq part, ça met un peu de beurre dans les épinards :p
-
Mais vivien, ne tire aucun profit du référencement de lafibre.info, si ? :D
-
Après, il faut voir quel genre de switch s'est emballé.
En switch de cœur, Orange utilise pas mal de Juniper EX8200, mais je doute que le soucis vienne de ce genre d'équipement.
Puis-je savoir quel type de switch il s'agit ? Quel protocole de la pile 2 OSI ? ???
-
Mais vivien, ne tire aucun profit du référencement de lafibre.info, si ? :D
Non non, avec ou sans adblock y a pas de pub.
-
Sur la page d’accueil, on est limité a 7/8 mots ce qui ne permet pas de mettre le conditionnel
Un petit point d'interrogation à la fin du titre et ça devient du conditionnel ;)
-
Bonne suggestion.
Je n'ai pas la place de mettre le point d'interrogation sur Incident voix déclenché par un bug sur 2 switchs donc j'ai surimué "sur 2 switchs" et j'ai eu la place pour rajouter Orange et le point d'interrogation : Incident voix Orange déclenché par un bug ?
Je confirme que le forum n'a aucune publicité et que le but du site n'est pas d'avoir des vues, mais des contributions de qualité. Il m'a semblé que celle de thibault64 qui a été pendant 1 an et demi responsable technique en charge (entre autre) de la portabilité chez un opérateur de VoIP français qui n'est malheureusement plus en activité aujourd'hui était pertinente pour être mis en avant, après avoir attendu le délais pour voir si mes interlocuteurs Orange pensait à une info bullshit.
-
De source interne :)
Il y aurait eu plusieurs incidents.
- un sur le réseau qui effectivement, serait sur la Qfrabric (GROS SWITCH) d'un des deux backbone du datacenter de Val de Reuil.
- le deuxième serait sur les équipements de PROD VOIP mais la pas bcp d'info.
-
Je n'ai pas la place de mettre le point d'interrogation sur Incident voix déclenché par un bug sur 2 switchs donc j'ai surimué "sur 2 switchs" et j'ai eu la place pour rajouter Orange et le point d'interrogation : Incident voix Orange déclenché par un bug ?
Je proposerais comme nouveau titre : Selon une source proche du dossier : incident KAMOULOX !
Ça me parait pas mal non ? :)
-
- un sur le réseau qui effectivement, serait sur la Qfrabric (GROS SWITCH) d'un des deux backbone du datacenter de Val de Reuil.
Une Fabric c'est pas un gros switch, c'est un ensemble de switchs qui forment une fabrique Ethernet. Tu pourrais induire des gens en erreur qui pourraient encore interpreter et dire : Ouah , chez Orange ils ont tout sur un seul gros switch , mais c'est pas du Netgear, c'est une marque inconnue qui vient de je ne sais pas ou, Juniper, jamais entendu parler ( comme on est entouré d'expert il est important de le préciser hein )
-
Tu as raison mais je ne voulais pas non plus rentrer dans les détails ;)
Mais pour ceux qui veulent :http://www.clubic.com/pro/it-business/actualite-399892-juniper-qfabric-voulu-remettre-plat-reseaux-datacenters.html
-
Je proposerais comme nouveau titre : Selon une source proche du dossier : incident KAMOULOX !
Ça me parait pas mal non ? :)
J'ai vu le ticket moi-même, donc je suis en mesure de confirmer moi même les propos de thibault64, Hugues et guiz67.
Le message a par contre peut-être été trop vulgarisé.
Parler d'un défaut sur le Director Group DG1, c'est tout de suite moins compréhensible pour le grand public. (Les Director Group sont en quelque sorte le cerveau de la fabric).
-
Globalement, la QFabric est un sujet sensible chez Orange, car elle est très souvent sujette aux bugs / plantages.
Il y a un ingénieur de chez Juniper qui travaille sur un site d'Orange de manière quasi-permanente avec les équipes qui s'occupent de la QFabric à cause de cela.
-
Parler d'un défaut sur le Director Group DG1, c'est tout de suite moins compréhensible pour le grand public. (Les Director Group sont en quelque sorte le cerveau de la fabric).[/size]
Espérons que le même genre de bug n'existe pas sur les APIC d'ACI ;D (espoir fait vivre...)
-
J'ai mis a jour mon post initial pour rectifier et étoffer mes déclarations.
La QFabric étant un sujet sensible chez Orange comme le dit si justement Nh3xus, je vous ai indiqué le maximum de détails permis.
-
J'ai mis a jour mon post initial pour rectifier et étoffer mes déclarations.
La QFabric étant un sujet sensible chez Orange comme le dit si justement Nh3xus, je vous ai indiqué le maximum de détails permis.
C'est beaucoup mieux !
Il ne faut pas oublier que lorsque l'on simplifie trop les messages et surtout pour un opérateur de la taille d'Orange, les messages seront relayés et souvent tres mal interpretéSans compter, qu'il y a les ingés qui bossent dessus ( et c'est pas des boulets chez Orange ), et ce genre de rumeurs apres, pourrait leur deservir :)
Des fois, on peut taper dessus ( quand les mecs ont fait les gros boulets ), mais la l'impact etait quand meme enorme, donc , on est plutot solidaire ( et sur la reserve ) ^^
-
Globalement, la QFabric est un sujet sensible chez Orange, car elle est très souvent sujette aux bugs / plantages.
Il y a un ingénieur de chez Juniper qui travaille sur un site d'Orange de manière quasi-permanente avec les équipes qui s'occupent de la QFabric à cause de cela.
Et pourtant tout le monde sait qu'il faut changer la techno :) Depuis, tout a évolué, j'espere qu'ils vont se decider a migrer, car la qfabric a fait son temps, C'etait une techno qui est sortie lorsqu'il n'y avait pas encore evpn et les fabrique IP pas vraiment pretes. il est temps pour eux de passer sur une ipfabric, y a des chances que ce plantage booste un peu le planning :)
-
Qui se souvient du gros bordel en tel classique FT survenu il y a quelques années de ça quand plusieurs grands centraux était tombés l'un après l'autre dans plusieurs départements un soir (je dirais fin 90, début 2000) ?
Ah la belle époque ce blackout total ou même les appels d'urgence était impossible ;D
Là, il y avait personne pour faire le beau et se la ramener sur twitter hahaha.
-
Espérons que le même genre de bug n'existe pas sur les APIC d'ACI ;D (espoir fait vivre...)
Pas besoin des APIC pour fonctionner, ACI c'est un EVPN sur VxLAN piloté par une couche spécifique. Sans les APIC tu ne peux plus gérer la fabric mais elle continue de se gérer toute seule. Avec ACI le problème c'est plutôt d'arriver à lui faire comprendre ce que tu veux faire et de trouver par quel moyen lui faire faire. Tant qu'il ne t'a pas jeté, c'est que ça marche ! Ou alors pas comme tu le voulais ^^
Note pour les non-experts: ACI est le SDN de Cisco pour les réseaux Datacenters, l'acronyme signifie Application Centric Infrastructure car ses contrôleurs ont la capacité d'aller intégrer dans la fabric les équipements Load-Balancer (F5 BigIP), les firewalls (Palo Alto, Checkpoint...) et des hyperviseurs (vSphere, Hyper-V, Openstack).
Il parait que ça été déployé chez le carré rouge, si y'a le même problème que chez Orange, on verra si ça sera la même cause ^^
-
Pas besoin des APIC pour fonctionner, ACI c'est un EVPN sur VxLAN piloté par une couche spécifique. Sans les APIC tu ne peux plus gérer la fabric mais elle continue de se gérer toute seule. Avec ACI le problème c'est plutôt d'arriver à lui faire comprendre ce que tu veux faire et de trouver par quel moyen lui faire faire. Tant qu'il ne t'a pas jeté, c'est que ça marche ! Ou alors pas comme tu le voulais ^^
Oui je suis d'accord sur le principe... mais en pratique parfois tu ne vois des choses qu'après expérimentation...
Je verrais bien dans le temps car la montée en charge est pour bientot par chez moi.
-
J'ai du nouveau : La communication en Interne Orange sur cet incident a été très limitée (et pour la communication externe, je ne ferais pas de commentaire).
Comme l'explique bien thibault64, il y a eu un incident majeur sur la QFabric Juniper de DC Orange de Val-de-Reuil : Lundi matin, la coupure du lien d'interconnexion entre un Director Group défectueux et le Director Group encore fonctionnel provoque un redémarrage inattendu de ce dernier et isole le backbone de la Qfabric. Le redémarrage du dernier Director Group encore fonctionnel provoque simultanèment le reboot des Redundant Server Node Group.
Cet incident a une coïncidence temporelle troublante avec l'incident Voix, mais les équipements voix ne sont pas connecté à ce backbone.
Peut-être les investigations montrerons que cet incident sur la QFabric Juniper est lié à l'incident VoIP, mais pour l'instant ce n'est pas l'hypothèse retenue par Orange.
Pour rappel en 2012, pour un incident d'une même gravité (perturbation d'une grande partie des appels voix sur le réseau mobile d'Orange pendant 7h), on avait eu le droit a un post-mortem bien expliqué, accessible au grand public avec un vidéo :
https://lafibre.info/videos/orange/201207_orange_details_panne_hlr_6_juillet_2012.mp4
-
Voilà ce qu'est Orange quand il y a un pépin, je n'invente rien ! MDR !
Facile de pomper les abonnés aux concurrents, mais quand il y a un problème ... :)
-
Voilà ce qu'est Orange quand il y a un pépin, je n'invente rien ! MDR !
Facile de pomper les abonnés aux concurrents, mais quand il y a un problème ... :)
Mon chien ne peut pas nager, ça veut dire qu'il faut le remplacer par un dauphin.
-
Ce qui est étonnant, c'est l'absence de post-mortem de l'incident national des 14 et 15 mai.
Une cause de l’absence de post-mortem pourrait être que le bug est aujourd'hui juste contourné et non résolut.
Une hypothèse pourrait être un problème si profond que cela oblige a changer l'infrastructure. Tout ne se corrige pas par logiciel (cf la faille Spectre (https://lafibre.info/serveurs/grave-probleme-de-design-des-cpu-intel-depuis-10ans/) qui est aujourd'hui juste atténuée mais pas corrigé)
J'ai vu des articles qui ont parlé de l'incident majeur sur la QFabric Juniper de DC Orange de Val-de-Reuil, mais toujours rien d'officiel.
C'est sur que si c'est la coupure du lien d'interconnexion entre un Director Group défectueux et le Director Group encore fonctionnel d'une infra qui n'est pas connecté à la voix qui est la cause de tout, c'est pas très glorieux.
-
Une cause de l’absence de post-mortem pourrait être que le bug est aujourd'hui juste contourné et non résolut.
Des dernières infos que j'ai, c'est en effet le cas.
-
Incident Voix chez Orange : l’AOTA demande l’ouverture d’une enquête
Suite aux incidents majeurs des 14 et 15 mai dernier, les opérateurs clients des services Voix de l’opérateur Orange n’ont pas reçu d’informations officielles de la part de leur prestataire.
Ces bulletins détaillés après incident, appelés RFO (Reason For Outage), sont essentiels dans la relation entre opérateurs. Ils participent à la compréhension des incidents puis permettent à la communauté des opérateurs de mieux s’organiser pour améliorer la résilience de leurs infrastructures.
La disponibilité des services Voix est essentielle, en particulier pour la connexion des usagers aux services d’urgence. Les heures d’indisponibilité des interconnexions ont pu créer des situations particulièrement délicates dans de nombreux territoires pour les populations en sus du préjudice économique pour les opérateurs et les entreprises : cette situation ne peut de toute évidence pas se reproduire.
L’AOTA a donc demandé au Président de l’ARCEP d’ouvrir une enquête administrative pour permettre de lever les doutes qui entourent cet incident. L’association a également suggéré la création d’un groupe de travail qui pourra réfléchir et agir sous l’égide du régulateur dans l’objectif de simplifier les interconnexions entre opérateurs et la migration des services Voix (services de collecte en particulier).
Source : AOTA (https://www.aota.fr/2018/06/21/incident-voix-chez-orange-laota-demande-louverture-dune-enquete/), le 21 juin 2018
-
Le bug n'a pas été corrigé, il n'y aura donc aucun RFO avant résolution complète, certains parlent même d'un changement d'architecture/topologie pour le résoudre.
-
Précision que aujourd'hui il n'y a plus d'impact sur le trafic voix (certains risquent de mal interpréter tes propos)
La solution de contournement n'est toutefois pas pérenne, car elle ne permet pas d'avoir le niveau de redondance souhaité par Orange.
-
Lire l’interview de Laurent Benatar Directeur Technique et du SI d'Orange France :
https://www.zdnet.fr/actualites/mega-panne-voix-ce-n-etait-pas-une-panne-affirme-orange-39871371.htm (https://www.zdnet.fr/actualites/mega-panne-voix-ce-n-etait-pas-une-panne-affirme-orange-39871371.htm)
-
En synthèse :
Je cite Laurent Bénatar, Directeur Technique et du Système Information d'Orange : "c'est un dysfonctionnement provoquant une saturation dans un équipement Oracle qui a touché une fraction des appels. Cette saturation a eu une incidence plus forte qu'on ne l'imaginait et le diagnostic a été difficile à établir. Cela aurait du durer une journée, pas deux"
Un équipement Oracle, c'est très très vague.
Je rappelle que Oracle c'est :
- Logiciels de bases de données : MySQL Server, MySQL Workbench, Oracle Database, Oracle SQL Developer, Oracle TimesTen In-Memory Database et Oracle In-Memory Database Cache
- Logiciels de messagerie électronique : Oracle Communications Unified Communications Suite
- Logiciels de virtualisation : Oracle VM et VirtualBox
- Logiciels Java : Java EE, Java ME, Java SE, JavaFX
- Logiciels de développement : JDeveloper, NetBeans et Oracle Application Express
- Logiciels serveurs d'applications : Oracle GlassFish Server, Oracle iPlanet Web Server et Oracle WebLogic Server
Orange reconnaît qu'il y a pu avoir un impact fort pour les entreprises et les centres d'appels, mais il n'y aura pas de compensation, étant donné que la grande majorité des appels continuait à passer.
-
On se rapproche de la verité en tout cas ::)
-
La chose la plus VoIP que fait Oracle, c'est des SBC (Session Border Controller SIP), hérités du rachat de la société Acme Packet en 2013.
Et si on recherche des sources publiques, c'est étonnant, Orange recherche des experts en fiabilité technique avec connaissance des SBC Oracle depuis cet été : https://www.linkedin.com/jobs/view/voip-architect-integration-expert-at-orange-747655834/
-
Merci Marin.
Sinon, avec plus d'humour, Oracle avait aussi avec Open Office un pare-feu : (enfin selon Christine Albanel)
https://lafibre.info/videos/logiciels/200903_assemblee_nationale_albanel_pare-feu_open_office_hadopi.mp4
-
Orange reconnaît qu'il y a pu avoir un impact fort pour les entreprises et les centres d'appels, mais il n'y aura pas de compensation, étant donné que la grande majorité des appels continuait à passer.
c'est quand même du gros foutage de gueule.
Ils ont foutu la merde chez tous les opérateurs français mais comme le fait si bien orange : Service dégradé (même si c'est quasi inutilisable) = pas de gtr/indemnisations
heureusement qu'ils ont un statut d'opérateur historique/monopole sur le cuivre sinon je pense qu'ils auraient un peu moins de clients.
-
Et si on recherche des sources publiques, c'est étonnant, Orange recherche des experts en fiabilité technique avec connaissance des SBC Oracle depuis cet été : https://www.linkedin.com/jobs/view/voip-architect-integration-expert-at-orange-747655834/
En fait, mes confuses, il semblerait qu'il s'agisse d'une offre pour la Pologne (« Orange Labs Polska » est mentionné en bas malgré que la ville soit mise à Toulon, et quand on cherche des offres sur orange.jobs on tombe sur des offres bien indiquées comme polonaises avec ces phrases).
De plus, pas grand chose sur le sujet sur Viadeo/Linkedin.
Par contre, on trouve des bases Oracles embarquées sur divers équipements télécoms (HLR...). Donc le problème vient peut-être plus de là.
-
Je confirme que le souci venait (vient ? Pas encore totalement réglé a ce qu'il parait) des SBC.
-
D'autant que le terme 'équipement Oracle' désigne du matériel. un DSI n'utilisera jamais le terme 'équipement' pour parler de logiciel.
-
J'ai un problème de téléphone fixe sur ma livebox 4 (sosh). Hier j'ai redémarré la box et 1 ou 2h plus j'ai vu un message : "problème de téléphone, redémarrer la livebox" ça fait 1 semaine que ça dure.
Je ne sais pas si ça viens de l'indicent voix orange
-
bonjour, @Mat753, il te faut appeler le service technique Orange pour qu'ils vérifient.
-
ok merci :)