Auteur Sujet: USA : Offre 10 Gbps grand public  (Lu 21173 fois)

0 Membres et 2 Invités sur ce sujet

miky01

  • Expert. Réseau RESO-LIAin (01)
  • Abonné K-Net
  • *
  • Messages: 3 829
  • Farges (01)
USA : Offre 10 Gbps grand public
« Réponse #12 le: 10 juin 2015 à 00:35:12 »
Merci pour l'article, ca m'interesse d'autant plus que j'ai participé a ce projet, ca date effectivment, mais bon a l'époque j'avais un modem 56k, alors quand on te demande de fourinire du 10 GBs sur des seveurs avec des cartes ethernet 10 MBs et une connection 10 GBs, tu reste sur le cul...

Faut que je retrouve aussi les photos du storage qu'ils ont concu eux meme spcialement pour les GB de données du LHC collectéée et a stocker en qques secondes, rien de commercial existait, toujours utilisé aujourd'hui.

Ils ont 2 datacenter, un a Meyrin (Geneve) et un a Prevesin (Ain), c'est des monstres avec le nombre de systems installés.

Optrolight

  • Client Orange Fibre
  • Modérateur
  • *
  • Messages: 4 673
  • Grenoble (38) @Optrolight
    • Optroastro
USA : Offre 10 Gbps grand public
« Réponse #13 le: 10 juin 2015 à 08:30:31 »
La Grille de calcul mondiale pour le LHC

La Grille de calcul mondiale pour le LHC (WLCG) est une collaboration entre plusieurs centres de calcul répartis dans le monde entier. Lancée en 2002, elle a pour but de fournir les ressources nécessaires au stockage, à la distribution et à l’analyse des 15 pétaoctets (15 millions de gigaoctets) de données générées chaque année par le Grand collisionneur de hadrons (LHC).
En 1999, lorsqu’ont débuté les travaux de conception d’un système informatique pour l’analyse des données du LHC, il est vite apparu que la puissance informatique requise dépassait largement les ressources financières disponibles au CERN. Par ailleurs, la plupart des laboratoires et universités qui travaillaient ensemble sur le LHC avaient accès à des installations informatiques nationales ou régionales.
En 2002, celles-ci ont été rassemblées au sein d’une même infrastructure informatique pour le LHC – la Grille – qui relie désormais des milliers d’ordinateurs et de systèmes de stockage dans plus de 170 centres répartis dans 41 pays. Hiérarchisés en niveaux (« Tiers »), ces centres de calcul sont utilisés par une communauté de plus de 8 000 chercheurs qui ont ainsi accès aux données du LHC en temps quasi réel. Grâce à la Grille, ces données peuvent être traitées, analysées, et, dans certains cas, stockées par les utilisateurs.
La Grille de calcul mondiale pour le LHC est la plus grande grille de calcul du monde. Elle repose sur deux grilles principales, l’infrastructure de grille européenne (link is external) (EGI), en Europe, et l’Open Science Grid (link is external) (OSG), aux États-Unis, mais dispose de nombreuses grilles associées au niveau régional ou national, telles que TWGrid, à Taïwan, ou EU-IndiaGrid (link is external), qui soutient les infrastructures de grilles en Europe et en Asie.
Une telle infrastructure de grille est la solution la plus efficace au problème posé par l’analyse des données du LHC, présentant de nombreux avantages par rapport à un système centralisé : plusieurs copies des données peuvent être conservées dans des lieux différents, ce qui garantit leur accès à tous les scientifiques indépendamment de l'endroit où ils se trouvent ; la grille assure aussi la redistribution des tâches informatiques en cas de problème sur un site ; en outre, la présence de centres de calcul dans différents fuseaux horaires facilite la surveillance du système et permet de bénéficier de l’appui de spécialistes 24 heures sur 24 ; enfin, les ressources peuvent être réparties dans le monde entier, en fonction d’enjeux politiques et financiers.
La Grille et son utilisation
Avec plus de 8 000 chercheurs du LHC travaillant sur les quatre grandes expériences – ALICE, ATLAS, CMS et LHCb – qui sollicitent activement les données et les analysent en temps quasi-réel, le système informatique conçu pour exploiter ces données se doit d’être extrêmement flexible.
La Grille de calcul mondiale pour le LHC offre un accès fluide et sans faille à des ressources informatiques (capacité de stockage, puissance de traitement, capteurs, outils de visualisation, etc.). Les utilisateurs effectuent des demandes de calculs depuis l’un des nombreux points d’entrée du système. Une demande de calculs peut porter aussi bien sur le stockage, la capacité de traitement, ou encore la disponibilité de logiciels d’analyse des données, pour ne citer que ces éléments. La Grille de calcul vérifie l’identité de l’utilisateur et ses identifiants, puis recherche parmi les sites ceux en mesure de lui fournir les ressources demandées. Les utilisateurs n’ont pas à se soucier de la provenance des ressources informatiques : ils peuvent exploiter la puissance de la Grille et disposer de la capacité de stockage dont ils ont besoin sur simple demande.
Le niveau 0 de la Grille traite plus d’un million de calculs par jour. Les pics de distribution de données de 10 gigaoctets par seconde, soit l’équivalent de deux DVD de données par seconde, n’ont rien d’inhabituel.



Optrolight

  • Client Orange Fibre
  • Modérateur
  • *
  • Messages: 4 673
  • Grenoble (38) @Optrolight
    • Optroastro
USA : Offre 10 Gbps grand public
« Réponse #14 le: 10 juin 2015 à 08:38:45 »
Les expériences du CERN produisent des quantités astronomiques de données, qui sont stockées et envoyées partout dans le monde par le Centre de données.
Dans le Grand collisionneur de hadrons (LHC), des particules entrent en collision environ 600 millions de fois par seconde.  Chaque collision produit des particules qui se décomposent souvent de façon très complexe en formant des particules plus nombreuses. Des circuits électroniques enregistrent le passage de chaque particule à travers un détecteur sous la forme d’une série de signaux électroniques, puis envoient les données au Centre de données du CERN afin qu’elles soient reconstituées numériquement. Le résultat numérisé est alors enregistré comme un « événement de collision ». Les chercheurs doivent passer au crible environ 15 pétaoctets de données produites annuellement afin de déterminer si les collisions recèlent des résultats de physique intéressants.
Le CERN ne dispose ni des moyens informatiques, ni des ressources financières pour analyser toutes les données sur place. Pour cette raison, le Laboratoire utilise depuis 2002 la technologie de la grille pour confier une partie du travail à des centres de calcul répartis dans le monde entier.  La Grille de calcul mondiale pour le LHC (WLCG) – une infrastructure informatique décentralisée organisée par niveaux – fournit à une communauté de plus de 8 000 chercheurs un accès aux données du LHC en temps quasi réel. La Grille s’appuie sur la technologie du World Wide Web, inventé au CERN en 1989.
L'ensemble des serveurs situés dans la salle principale de 1 450 m2 du Centre de données (photo) correspond au niveau 0, le premier point de contact entre les données expérimentales du LHC et la Grille. Outre des serveurs et des systèmes de stockage de données pour le niveau 0 et pour des analyses de physique ultérieures, le Centre de données héberge également des systèmes indispensables au fonctionnement quotidien du Laboratoire. Les serveurs sont soumis à des mises à jour et à des opérations de maintenance permanentes afin que leur fonctionnement continue d’être assuré en cas d’incident sérieux tel qu'une coupure de courant prolongée. Les serveurs critiques ont leur propre pièce et sont alimentés et refroidis par des équipements dédiés.
Début 2013, le CERN a accru la capacité informatique du centre, qui est passée de 2,9 MW à 3,5 MW, ce qui a permis d’installer davantage d’ordinateurs. Parallèlement, les améliorations de 2011 en termes d’efficacité énergétique ont permis de réaliser une économie d’énergie estimée à 4,5 GWh par an.
Venant à l’appui des efforts pour répondre aux besoins informatiques croissants du LHC, le Centre de recherche Wigner (link is external) pour la physique, à Budapest (Hongrie), forme une extension du Centre de données. Il s’agit d’un centre de niveau 0 distant, hébergeant des installations du CERN en vue d’accroître la capacité de la Grille.  Le site garantit également la continuité du fonctionnement des systèmes critiques en cas de problème important sur le site de Meyrin du CERN, en Suisse. Celui-ci offre actuellement une capacité de stockage sur disque d’environ 30 pétaoctets et regroupe la majorité des 65 000 cœurs de processeurs dans le Centre de données du CERN. Le Centre de données Wigner ajoutera à cette capacité de calcul 20 000 processeurs et une capacité de stockage sur disque de 5,5 Po ; des chiffres qui doubleront d'ici trois ans.
La Grille traite plus d’un million de calculs par jour. Lors des pics de distribution de données, ses serveurs peuvent transférer chaque seconde jusqu’à 10 gigaoctets de données.




la vidéo de cette page explique le fonctionnement réseau de l'acquisition de donné et du traitement !!

http://home.web.cern.ch/fr/about/computing/processing-what-record

Optrolight

  • Client Orange Fibre
  • Modérateur
  • *
  • Messages: 4 673
  • Grenoble (38) @Optrolight
    • Optroastro
USA : Offre 10 Gbps grand public
« Réponse #15 le: 10 juin 2015 à 08:41:17 »
Il ont augmenter leur lien pour la deuxième saison d'exploitation


Cette semaines, les expériences du Grand collisionneur de hadrons LHC vont commencer à enregistrer les données des collisions aux énergies inédites de 13 téraélectronvolts (TeV) – presque deux fois l’énergie de l’exploitation précédente. Jusqu'à 1 milliard de collisions se produiront chaque seconde, générant des avalanches de particules dans les détecteurs.
A chaque seconde de fonctionnement du LHC et de ses expériences, plusieurs gigaoctets de données parviendront au Centre de calcul du CERN pour y être stockés, triés et partagés avec des physiciens dans le monde entier. Afin de faire face à cet afflux massif de données, le groupe Stockage des données et services des données du CERN s’est concentré sur trois aspects : vitesse, capacité et fiabilité.
« Pendant la première période d’exploitation, nous stockions 1 gigaoctet par seconde (Go/s), avec des pics occasionnels de 6 Go/s, explique Alberto Pace, qui dirige le groupe Stockage des données et services des données au sein du département informatique du CERN. Pour la deuxième période d’exploitation, le débit qui constituait notre maximum sera maintenant considéré comme une moyenne, et nous pensons pouvoir aller jusqu’à 10 Go/s si nécessaire. »

Au CERN, l’essentiel des données sont stockées sur des bandes magnétiques  grâce au système de stockage perfectionné CASTOR et le reste est stocké sur le système commun sur disques EOS, un système optimisé permettant un accès rapide pour l’analyse à un grand nombre d'utilisateurs concurrents. La technologie des bandes magnétiques peut paraître dépassée. C’est pourtant une solution de stockage robuste, permettant d’enregistrer des énormes quantités de données et donc idéale pour la conservation à long terme. Les équipes informatiques ont amélioré le logiciel du système de stockage CASTOR. Les dérouleurs et les bibliothèques de bandes magnétiques peuvent ainsi être utilisés de manière plus efficace, sans temps mort ni retard. Le Centre de calcul peut ainsi augmenter le rythme auquel les données sont transférées sur bande et en sont extraites.
Autre défi informatique de la deuxième période d’exploitation du LHC : réduire le risque de perte de données et le problème du stockage massif de données que cela représente. Les équipes informatiques ont ajouté au système EOS une option de "découpage" des données. Cette option segmente les données et permet de garder sur disque les données récemment enregistrées afin qu’elles soient accessibles rapidement. « Cela nous a permis d’augmenter nettement notre capacité totale de données en ligne, ajoute Alberto Pace. Nous avons 140 pétaoctets d’espace brut sur disque disponible pour les données de la deuxième période d’exploitation, répartis entre le Centre de calcul du CERN et le Centre de calcul Wigner à Budapest (Hongrie). Cela signifie environ 60 pétaoctets de capacité de stockage, en comptant les fichiers de secours. »
140 pétaoctets (soit 140 millions de gigaoctets), cela fait vraiment beaucoup – c’est l’équivalent de plus de mille ans de films en haute définition.
Désormais, en plus d’utiliser la technique habituelle de la « réplication » – par laquelle une copie dupliquée est conservée pour toutes les données –, les expériences pourront répartir les données entre plusieurs disques. Cette technique de « découpage » divise les données en fragments. L’utilisation d’algorithmes de reconstruction signifie que le contenu ne sera pas perdu, même si plusieurs disques connaissent une défaillance. Cela permet non seulement de diminuer le risque de perte de données, mais aussi de diviser par deux l’espace nécessaire au stockage des fichiers de secours.
Enfin, le système EOS a été amélioré pour atteindre une disponibilité de plus de 99,5 % pour la durée de la deuxième période d’exploitation.
Avec une plus grande vitesse et de nouvelles solutions de stockage, le Centre de calcul du CERN est fin prêt à relever tous les grands défis de la deuxième période d'exploitation.

miky01

  • Expert. Réseau RESO-LIAin (01)
  • Abonné K-Net
  • *
  • Messages: 3 829
  • Farges (01)
USA : Offre 10 Gbps grand public
« Réponse #16 le: 10 juin 2015 à 10:54:05 »
Oui c'est impressionant, a eux tout seul il ont des plus gros DC que des centre de hosting, c'est le plus gros client pour lequel j'ai bossé, bon quand tu passe une nuit la dedans, tu rigole moins  :)
 
mais bon c'est des scientifiques, ils te mettent pas la meme pression que une banque qui a un soucis sur son cluster qui sert a gèrer les distributeurs de billets qui marche plus...

Encore merci d'avoir ressorti ces articles.

Paul

  • Abonné Orange Fibre
  • *
  • Messages: 4 269
  • Vannes (56)
    • Twitter
USA : Offre 10 Gbps grand public
« Réponse #17 le: 10 juin 2015 à 13:18:17 »
Il y a des speedtest depuis chez la mémé connectée en Suède avec 40 Gb/s ?

vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
USA : Offre 10 Gbps grand public
« Réponse #18 le: 10 juin 2015 à 13:43:38 »
Pour ceux qui se demandent de quoi on parle : Une connexion de 40 Gb/s pour une Suédoise de 75 ans

Cela date de 2008 :  Pas de carte 40 Gb/s et SpeedTest incompatible avec des débits de plus de 1 Gb/s (il n'affiche rien au-delà de 1 Gb/s, j'ai testé)

miky01

  • Expert. Réseau RESO-LIAin (01)
  • Abonné K-Net
  • *
  • Messages: 3 829
  • Farges (01)
USA : Offre 10 Gbps grand public
« Réponse #19 le: 10 juin 2015 à 21:01:37 »
Une photo d'un arrivage de serveurs au CERN, chaque chassis a 16 serveurs blades,  ils mettent  les moyens....


kgersen

  • Modérateur
  • Abonné Bbox fibre
  • *
  • Messages: 9 078
  • Paris (75)
USA : Offre 10 Gbps grand public
« Réponse #20 le: 16 octobre 2015 à 16:40:27 »
Au tour de la ville de la ville de Chattanooga aux USA de lancer des offres d'acces Internet grand public a 10 Gbps ($300/mois).

Contrairement aux autres, ils font clairement état de la techno utilisé: du TWDM-PON d'Alcatel-Lucent

source: https://www.epb.net/media-relations/news/news_archive/chattanooga-implements-worlds-first-community-wide-10-gigabit-internet-service/

LordGPON

  • Abonné FAI autre
  • *
  • Messages: 9
  • Guadarrama (ESP)
USA : Offre 10 Gbps grand public
« Réponse #21 le: 09 janvier 2016 à 01:29:10 »
10 gbps a Minneapolis chez http://fiber.usinternet.com/ 399 $/mois

10 gbps a Détroit chez https://rocketfiber.com/ 299 $/mois

La vidéo de la deuxième est assez marrant mais cote sérieux je trouve qu'ils sont plus précis quand même chez US Internet (Carte couverture par exemple)

corrector

  • Invité
USA : Offre 10 Gbps grand public
« Réponse #22 le: 09 janvier 2016 à 07:49:58 »
Alors que le CERN joue la transparence, Météo France cache à la population les données historiques de température sous prétexte de leur valeur commerciale, ainsi que sa méthode de calcul des moyennes, et les gentils bureaucrates ignares de la CADA lui donnent raison!

corrector

  • Invité
USA : Offre 10 Gbps grand public
« Réponse #23 le: 09 janvier 2016 à 08:18:39 »
Au CERN, l’essentiel des données sont stockées sur des bandes magnétiques grâce au système de stockage perfectionné CASTOR et le reste est stocké sur le système commun sur disques EOS, un système optimisé permettant un accès rapide pour l’analyse à un grand nombre d'utilisateurs concurrents.
À ne surtout pas confondre avec un autre "système de stockage perfectionné CASTOR" :

« Modifié: 28 octobre 2016 à 02:15:29 par corrector »