Auteur Sujet: Record de transfert de débit !!! (Lu 9327 fois)

Optrolight · « **le:** 30 janvier 2012 à 20:54:01 »

Dans le cadre du traitement de donnée fourni par le LHC (l'accélérateur de particule du CERN) le caltech continue ses recherches pour augmenter le transfert des données vers les centres de calcul dans le monde entier.
Voici un extrait du bulletin du cern:
"Des données plus rapides que jamais

En utilisant des ordinateurs standards et des câbles de fibre optique commercialisés, des chercheurs de l’Institut de technologie de Californie (Caltech), de l’Université de Victoria, de l’Université du Michigan, du CERN et de l’Université internationale de Floride ont battu le record du monde de vitesse pour le transfert de données du LHC. Ils ont attiré l’attention de plusieurs collaborations de physique des hautes énergies (dont celles du LHC), toujours en quête de meilleures technologies pour la communication de leurs résultats.

Le matériel utilisé par l'équipe de Caltech pour battre le record de transfert de données.

Lors de la conférence SuperComputing 2011 (SC11), qui s’est tenue en novembre dernier à Seattle, l’équipe de Caltech a envoyé des données LHC entre l’Université de Victoria et le hall d’exposition de Seattle, dans les deux sens, au débit de 186 gigabits par seconde (Gb/s) sur un circuit 100 Gb/s fourni par CANARIE et BCnet : un débit dix fois plus élevé que sur les circuits 10 Gb/s actuellement en place entre le CERN et chacun des 11 centres de niveau 1 de la Grille de calcul, qui reçoivent des données du LHC. Pas étonnant que le résultat ait fait la une dans le milieu des technologies de l'information !

« Ce qui est extraordinaire dans l’expérience de Caltech, c’est l’utilisation d’une technologie "standard", c’est-à-dire de ressources informatiques commercialisées, pour la conception soignée d’un système couvrant toute la chaîne de communication, explique David Foster, adjoint du chef du département IT et participant de la conférence SC11. Tandis que la technologie térabit (qui correspond à un débit de 1024 Gb/s) fait l’objet d’une démonstration dans des conditions de laboratoire, la technologie 100 Gb/s est en train de s'imposer sur le marché de masse. L’équipe de Caltech a combiné ce matériel standard avec un logiciel des plus avancés pour fournir des résultats de pointe. Le CERN déploie déjà des circuits de 100 Gbps en interne, et en fera de même à l'échelle internationale cette année. »

Le transfert de données d’un lieu à un autre exige beaucoup plus qu’un simple câble de réseau haut débit : il faut tout un système de composantes comprenant des ordinateurs, des interfaces, des disques et des logiciels, qui doivent être réglés pour fonctionner ensemble efficacement. Augmenter la bande passante du réseau ne suffit pas pour obtenir d’excellents débits de transfert de données. L’équipe de Caltech a adopté cette « approche globale » pour résoudre le problème du transfert de données et a obtenu ces résultats records.

Cette démonstration décisive pourrait être d’une grande portée pour les expériences LHC et d'autres expériences de physique des hautes énergies du monde entier. L’année dernière, le LHC a produit plus de 22 Po de données expérimentales, soit l'équivalent de plus de 5,5 millions de DVD de données, alors qu'on en avait prévu 15 Po. Si la production de données continue d'augmenter, le débit de transfert entre le CERN et ses instituts partenaires devra en faire de même.

« Nous suivons toujours de très près ce type de démonstration, explique David Foster. En collaborant avec des instituts comme Caltech et l’Université de Victoria pour améliorer la technologie du transfert de données, nous pourrons ajuster et améliorer la manière de distribuer les données aux instituts partenaires. »"

On notera que l'on parle d'une production de donnée de 22Péta octet !!!

Voici les informations techniques qui pourront intéresser plus d'un ici !! (traduction à venir pour les non anglophones)

"Moving Towards Terabit/sec Scientific Dataset Transfers
High Energy Physicists Set New Record
for Network Data Transfer
With 186 Gbps Sustained Data Rates High Energy Physicists Demonstrate
Efficient Use of Long Range Networks to Support Leading Edge Science
SEATTLE, Washington – During the SuperComputing 2011 (SC11) conference in
November, an international team of high energy physicists, computer scientists, and
network engineers led by the California Institute of Technology (Caltech), University of
Victoria, the University of Michigan, CERN, and Florida International University,
together with other partners, has set a new record in data transfer rate over a 100 Gbps
wide area network circuit. Using a 100 Gbps circuit set up by CANARIE and BCnet, the
team was able to reach transfer rates of 98 Gbps between the University of Victoria
Computing Centre located in Victoria, British Columbia, and the Washington State
Convention Centre in Seattle, Washington. Together with the simultaneous data rate of
88 Gbps in the opposite direction, the team reached a sustained bidirectional data rate of
186 Gbps, demonstrating the capability of efficiently moving 2 Petabytes of data per day
between two data centers.
Partners from the University of Florida, the University of California at San Diego,
Vanderbilt University, Brazil (Rio de Janeiro State University, UERJ, and the São Paulo
State University, UNESP) and Korea (Kyungpook National University, KISTI), were
involved in the larger demonstration of massive data transfers to and from the Caltech
booth at the SC11 conference, to locations within the US as well as in Brazil and Korea.
Caltech's exhibit at SC11 by the High Energy Physics (HEP) group and the Center for
Advanced Computing Research (CACR) also demonstrated applications for globally
distributed data analysis for the Large Hadron Collider (LHC) at CERN, along with its
global network and grid monitoring system MonALISA (http://monalisa.caltech.edu) as
well as its Fast Data Transfer application (http://monalisa.caltech.edu/FDT) developed in
collaboration with the Polytechnica University (Bucharest). Caltech’s worldwide
collaboration system EVO (Enabling Virtual Organizations; http://evo.caltech.edu)
developed with UPJS in Slovakia, and SeeVogh (http://www.seeogh.com) aimed at the
private sector also were shown.
A focus of the exhibit was the HEP team’s record-breaking demonstration of storage-tostorage data transfer over wide area networks, using a small set of data servers. The team
achieved an aggregate disk-to-disk data rate of over 60 Gbps (7.5 GBytes/s), between
clusters equipped with SSD disk arrays at the University of Victoria (10 servers) and
Caltech booth at the convention center in Seattle (7 servers).
By setting new records for sustained data transfer among storage systems over
continental and transoceanic distances, using simulated and real LHC datasets, the HEP
team demonstrated its readiness to enter a new era in the use of state of the art cyberinfrastructure to enable physics discoveries at the high energy frontier, while demonstrating some of the groundbreaking tools and systems they have developed to
enable a global collaboration of thousands of scientists located at 350 universities and
laboratories in more than 100 countries to make the next round of physics discoveries.
Advanced Networks, Servers and State of the Art Applications
The record-setting demonstrations were made possible through the use of a dedicated
100 Gbps wave between the Caltech booth and the University of Victoria Computing
Centre, provided by the Canadian Research and Education Network CANARIE, and
BCnet, the regional R&E network in British Columbia. Optical transport used for the
demonstration was provided by Ciena's OME 6500 Optical-Packet Platforms.
The University of Victoria setup consisted of a Brocade MLXe-4 router with equipped
with a 100GE line card connecting to the Ciena OME 6500 client interface. One 16 port
10GE line card on the MLXe-4 was used to connect directly to a cluster of 10 Dell
servers equipped with raid arrays with six SSD disks each. Each of the servers was able
to read from disk and deliver data to the network at 9.4 Gbps.
The network setup at the Caltech booth used one Brocade MLXe-4 router with a 100GE
and one 16 port 10GE line card. A Dell/Force10 Zetascale Z9000 data center switch was
used to interconnect the 40GE server interfaces. An aggregated link of 12 10GE ports
was used to interconnect the Z9000 and the MLXe-4. Force10 switch was also connected
to ESnet ANI 100G testbed using the 40GE QSFP LR Optics from ColorChip.
The Caltech booth’s cluster consisted of a set of servers equipped with 40GE Mellanox
CX3 network interface cards. Three of the servers were using PCIe Generation 3
motherboards, enabling data rates of up to 35 Gbps per single network interface. Each of
these servers was equipped with raid arrays of 16 SSD disks each, with a measured data
rate to disk of 12.5 Gbps.
One of the key elements in this demonstration was Fast Data Transfer (FDT), an open
source Java application developed by Caltech in collaboration with Polytehnica
University in Bucharest. FDT runs on all major platforms and uses the NIO libraries to
achieve stable disk reads and writes coordinated with smooth data flow using TCP across
long-range networks. The FDT application streams a large set of files across an open
TCP socket, so that a large data set composed of thousands of files, as is typical in high
energy physics applications, can be sent or received at full speed, without the network
transfer restarting between files. FDT can work on its own, or together with Caltech’s
MonALISA system, to dynamically monitor the capability of the storage systems as well
as the network path in real-time, and send data out to the network at a moderated rate
that achieves smooth data flow across long range networks.
Since it was first deployed at SC06, FDT has been shown to reach sustained throughputs
among storage systems at 100% of network capacity where needed, in production use,
including among systems on different continents. FDT also achieved a smooth
bidirectional throughput of 191 Gbps (199.90 Gbps peak) using an optical system
carrying an OTU-4 wavelength over 80 km provided by Ciena during SC08.
Lessons Learned: Towards A Compact Terabit/sec Facility The SC11 demonstration also achieved its goal of clearing the way to Terabit/sec data
transfers. The latest generation of servers based on the recently released PCIe v3 standard
and equipped with line-rate 40GE interface cards from Mellanox as well as raid arrays
with high-speed SSD disks allowed the team to reach a stable throughput of 12.5 Gbps
from network to disk per 2U server. It is important to underline that pre-production
systems with relatively few SSDs were used during this demo, and no in-depth tuning
was performed due to limited amount of time in the preparation. We therefore expect
these numbers will improve further, and approach the 40GE line rate within the next year.
Such devices could be used as front-end caches for larger storage systems, or as a standalone storage system capable of delivering 100 Gbps of data with half a rack of
equipment.

source : http://supercomputing.caltech.edu/SC11PressRelease.pdf

Optrolight · « **Réponse #1 le:** 06 mars 2012 à 14:18:10 »

Voici un autre record sur réseau réel : http://www.01net.com/editorial/560760/deutsche-telekom-atteint-un-debit-record-de-512-gbit-s-sur-fibre-optique/

Citer

Les ingénieurs de Deutsche Telekom ont réussi à transmettre des données, sur un seul canal en fibre optique, à 512 Gbit/s, ce qui correspond à un débit utilisable de 400 Gbit/s (soit le contenu musical de 77 CD par seconde !), contre 100 Gbit/s par canal actuellement.

Si des débits plus élevés ont déjà été atteints sur des connexions fibres optiques, Deutsche Telekom a atteint ce record sur une infrastructure réelle et non dans un laboratoire. La transmission ayant été effectuée sur une distance de plus de 734 km, entre Berlin et Hanovre, et retour.

Outre l’infrastructure, pour laquelle Alcatel Lucent a « apporté son expertise », ce record a été rendu possible par l’adoption d’un nouveau processus de transmission, utilisant notamment deux fréquences porteuses, des plans de polarisation des ondes et d’autres technologies, comme la modulation d’amplitude en quadrature. Autant de choses qui nous laissent aussi impressionnés que perplexes au vu de notre incompréhension.

Quoi qu’il en soit, Deutsche Telekom indique qu’en recourant à sa méthode de transmission et en utilisant tous les canaux d’une fibre optique, et pas seulement un seul, il serait possible d’obtenir un début de 24,6 Tbit/s, soit un peu plus de 60 Blu-ray par seconde…

Optrolight · « **Réponse #2 le:** 06 août 2014 à 14:15:04 »

43 Tbit/s, nouveau record pour la fibre optique

Pour le grand public, la fibre optique c'est l'accès à internet à 100 Mbit/s (voire 1 Gbit/s pour les plus chanceux). Pour les professionnels, elle est synonyme d'interconnexion réseau 40 GbE ou 100 GbE. Pour les chercheurs cependant, elle peut aller beaucoup plus loin. En 2011, le Karlsruhe Institut für Technologie avait établi un record avec une transmission à 26 térabits par seconde. Ce record vient d'être battu par une équipe de la Technical University of Denmark (DTU) et de belle manière puisque les chercheurs danois l'ont plus que doublé, atteignant 43 Tbit/s.

Soulignons qu'il est ici question de transmission sur une seule fibre via un seul laser. Des liens plus rapides ont déjà été réalisés, mais ils tiraient parti de plusieurs fibres ou d'un multiplexage de plusieurs lasers de longueurs d'onde différentes dans une même fibre. Les chercheurs du DTU ont tout de même eu recours à une fibre spéciale. Fournie par l'opérateur japonais NTT, elle possède sept coeurs au lieu d'un seul comme les fibres traditionnelles, ce qui multiplie d'autant la bande passante.

Au final on peut se demander à quoi peuvent bien servir des connexions aussi rapides. Les chercheurs ont une réponse évidente : absorber la hausse du trafic sur internet, estimée à 40 ou 50 % par an, sans faire exploser la consommation électrique. Selon le DTU, internet génère autant d'émissions de carbone que les transports. Tout ça pour regarder des vidéos de chat et des photos de hamburger...

Source: Tom's hardware Matthieu Lamelot 5 AOÛT 2014 15:42

mattmatt73 · « **Réponse #3 le:** 06 août 2014 à 14:49:33 »

j'aimerais bien savoir quelle largeure de bande ça utilise et quelle modulation ils utilisent

Optrolight · « **Réponse #4 le:** 06 août 2014 à 15:53:53 »

Pas de largeur de bande ici. Mais une fibre multicoeur.

Ralph · « **Réponse #5 le:** 07 août 2014 à 08:47:59 »

Pas vraiment doublé, mais quand j'ai vu la source, j'ai compris l'erreur =)

Optrolight · « **Réponse #6 le:** 07 août 2014 à 08:58:49 »

Ralph · « **Réponse #7 le:** 07 août 2014 à 09:57:31 »

Bah 26 x 2 < 43, ça coince un peu pour moi ou alors pour de très très grosses valeurs de 43 =)

PS! Tom's Hardware n'est pas franchement connu pour être un site de qualité technique, c'était le cas il y a 15 ans, mais plus depuis un bboonnn moment.

Optrolight · « **Réponse #8 le:** 07 août 2014 à 10:13:38 »

Ha oui pardon je voyais pas de quoi tu parlais. Sur la qualité global du site tu as raison.

mattmatt73 · « **Réponse #9 le:** 07 août 2014 à 20:56:29 »

Citation de: Optrolight le 06 août 2014 à 15:53:53

Pas de largeur de bande ici. Mais une fibre multicoeur.

comment pas de bande passante ? le laser n'est pas sur une fréquence pure

Optrolight · « **Réponse #10 le:** 07 août 2014 à 21:19:19 »

J'arrive pas à trouver le papier pour avoir toutes les infos. Apparement il n'est pas encore sortie et les résultats ont été présentés à la conférence CLEO 2014.

Néanmoins par rapport aux autres records le type de laser est le même. pas d'innovation de ce coté la. L'innovation est vraiment dans l'utilisation d'une fibre multicoeurs d'une forme nouvelle et la manière d'injecter le laser dedans.D'autre part il y a des améliorations dans la manière d'éviter le "crosstalk" entre les coeurs pour éviter le brouillage du signal.

mattmatt73 · « **Réponse #11 le:** 07 août 2014 à 21:38:47 »

Citation de: Optrolight le 07 août 2014 à 21:19:19

J'arrive pas à trouver le papier pour avoir toutes les infos. Apparement il n'est pas encore sortie et les résultats ont été présentés à la conférence CLEO 2014.

Néanmoins par rapport aux autres records le type de laser est le même. pas d'innovation de ce coté la. L'innovation est vraiment dans l'utilisation d'une fibre multicoeurs d'une forme nouvelle et la manière d'injecter le laser dedans.D'autre part il y a des améliorations dans la manière d'éviter le "crosstalk" entre les coeurs pour éviter le brouillage du signal.

ha mais si on change le type de fibre, c'est un peut triché !

ça ressemblerait à du bonding alors?