Auteur Sujet: Audio immersif: Eclipsa Audio et IAMF (Lu 811 fois)

vivien · « **le:** 10 novembre 2023 à 07:57:56 »

AOMedia fait progresser l'ère de l'innovation audio avec la toute première spécification audio proposée sous sa licence libre de droits

Communiqué de l'alliance AOMedia (qui à crée AV1) du 9 novembre 2023 sur la spécification du conteneur de modèles et formats audio immersifs (IAMF)

Les progrès de l’audio spatial immersif influencent les attentes audio des consommateurs. Cependant, pour permettre des déploiements d'écosystèmes à grande échelle, les services OTT et les fournisseurs de périphériques bénéficieront de technologies audio spatiales sans licence. De même, les créateurs recherchent des formats dotés d’options de mixage audio immersives qui fonctionneraient facilement avec les systèmes de streaming et de lecture actuels. Pour résoudre ce défi, l'Alliance for Open Media (AOMedia) a annoncé aujourd'hui la publication de la spécification de conteneur Immersive Audio Model and Formats (IAMF), la toute première spécification de conteneur audio de l'organisation à être proposée sous la licence libre de droits d'AOMedia. IAMF est conçu pour permettre aux créatifs de révolutionner les expériences audio immersives dans une myriade d'applications, du streaming et des jeux à la réalité augmentée et virtuelle, en passant par la diffusion traditionnelle.

Qu'il s'agisse de diffuser des sports en direct ou de regarder une émission préférée, l'audio immersif prend de plus en plus de place dans la vie quotidienne des consommateurs. AOMedia a développé IAMF spécifiquement pour l'ère de l'audio sur Internet, ouvrant la voie aux entreprises pour intégrer l'audio immersif aux appareils, produits et services que les consommateurs adorent. Grâce à ces efforts, IAMF est une spécification de conteneur indépendante du codec qui peut transporter des informations pour les algorithmes de rendu du temps de lecture et le mixage audio.

« IAMF représente une avancée significative dans les normes audio immersives ouvertes. Non seulement il répond à divers cas d’utilisation, notamment le streaming, les jeux, la réalité augmentée, la réalité virtuelle et la diffusion, mais il fournira également aux créateurs les outils nécessaires pour créer des expériences audio immersives qui captivent le public. En tant que projet médiatique ouvert, l'IAMF est facilement accessible aux réalisateurs du monde entier, il favorise l'innovation, responsabilise les développeurs et garantit la large disponibilité d'expériences audio riches et immersives que les consommateurs souhaitent », a déclaré Matt Frost, président d'AOMedia. « Je tiens à remercier le groupe de travail sur les formats de stockage et de transport (STF) pour son travail sur cette spécification audio. L'IAMF continue d'évoluer et il est passionnant de voir comment ce groupe de travail réfléchit déjà aux fonctionnalités de la prochaine version.

Les points forts de la toute première spécification audio IAMF d'AOMedia comprennent :

- Audio spatial pour tous les appareils : IAMF permet la diffusion transparente de présentations audio spatiales ambisoniques basées sur des canaux et des scènes sur une large gamme d'appareils, notamment des écouteurs, des téléphones mobiles, des téléviseurs, des barres de son, des systèmes de cinéma maison et le Web. Cette polyvalence garantit une expérience audio cohérente et de haute qualité sur différentes plates-formes.

- Livraison audio flexible : IAMF propose une approche flexible pour fournir différents types d'éléments audio aux appareils finaux. Qu'il s'agisse d'un audio 3.1.2 canaux combiné à un audio stéréo ou d'ambisoniques de troisième ordre associés à un audio stéréo non diégétique, l'IAMF rend cela possible. IAMF fournit des moyens pour signaler des algorithmes de rendu, tels que EAR et BEAR, pour la lecture dans des configurations de haut-parleurs et des écouteurs.

- Adapté aux créateurs : les créateurs peuvent se plonger dans la création de contenu audio immersif conforme à l'IAMF avec les plugins open source existants tels que EAR Production Suite, qui comprend des moteurs de rendu pour les dispositions multienceintes et la surveillance binaurale, conformes aux directives des spécifications de l'IAMF. La capacité de l'IAMF à transporter et à inclure plusieurs configurations de mixage audio permet aux créateurs et aux utilisateurs d'ajuster le volume sonore pour différentes préférences de lecture. Dans un futur proche, le logiciel de référence open source AOMedia ajoutera un outil d'encodage IAMF pour compresser divers mixages sonores en IAMF.

Spécifications AOMedia IAMF et disponibilité du décodeur de logiciel de référence

La spécification IAMF et le décodeur logiciel de référence, ainsi que les flux de tests, sont facilement accessibles sur le GitHub d'AOMedia, favorisant la collaboration et le développement communautaire. Pour plus d'informations sur l'IAMF et ses applications potentielles, veuillez visiter la page d'AOMedia.

À propos de l'Alliance pour les médias ouverts

Lancée en 2015, l'Alliance for Open Media (AOMedia) a été créée pour définir et développer des technologies permettant de répondre à la demande du marché en matière de normes ouvertes pour la compression et la diffusion des médias. Au niveau du conseil d'administration, les membres fondateurs comprennent Amazon, Apple, Cisco, Google, Intel, Meta, Microsoft, Mozilla, Netflix, NVIDIA, Samsung Electronics et Tencent.

Source : Communiqé Alliance for Open Media traduit rapidement

vida18 · « **Réponse #1 le:** 03 décembre 2023 à 19:16:53 »

Cette alternative open source au Dolby Atmos pourrait arriver sur de nombreux produits

Google et Samsung ont développé leur propre alternative au Dolby Atmos. Baptisée Immersive Audio Model and Formats (IAMF), cette technologie de simulation d'un son surround a pour principal atout d'être open source.

© Samsung

Partenaires depuis 2015 dans le cadre de l'Alliance for Open Media, Google et Samsung œuvrent en compagnie d'autres géants de la Tech (dont Nvidia, Apple, Netflix, Microsoft, Meta, Huawei ou encore Intel) à l'élaboration de technologies informatiques open source et standardisées. C'est dans ce contexte que Samsung a d'abord commencé à travailler en interne, puis avec l'aide de Google, sur l'audio 3D afin de mettre au point une technologie libre de droits, capable de simuler un son surround.

Débutés en 2020, ces travaux aboutissent désormais à ce que les deux firmes surnomment l'IAMF, pour "Immersive Audio Model and Formats". Cette alternative à la technologie Dolby Atmos pourrait, de par sa nature ouverte, intégrer de nombreux produits au cours des prochaines années, allant des téléviseurs aux barres de son, en passant par les casques audio et les enceintes connectées.

"Les compétences respectives de Samsung et de Google en matière d'appareils et de contenu en ont fait des partenaires idéaux pour créer la technologie IAMF", commente l'un des cadres de Samsung Research dans un communiqué publié début novembre par le géant coréen. "En nous associant pour développer cette technologie sans précédent, nous ouvrons la voie aux consommateurs pour qu'ils puissent profiter de l'audio 3D chez eux".

Une technologie prometteuse, surtout pour son ouverture

En dépit de ce que Samsung laisse entendre, l'audio spatialisé, ou 3D, n'est pas nouveau. Il est utilisé depuis des années par les standards Dolby Atmos et DTS:X, du moins dans une certaine mesure. La vraie nouveauté avec l'IAMF, c'est que cette technologie pourra désormais se développer en dehors du pré carré de l'américain Dolby et de quelques autres ténors du secteur. Entièrement open source, ce nouveau codec a d'ailleurs été adopté par l'Alliance for Open Media en octobre dernier... ouvrant la voie à une prise en charge par de nombreuses marques, et potentiellement par une foule de services et contenus.

"Pour permettre aux gens de créer librement du contenu à l'aide de la technologie audio 3D, celle-ci doit être ouverte à tous. La mise à disposition d'un cadre open source complet pour l'audio 3D, de la création à la diffusion et à la lecture, permettra à l'avenir d'offrir des expériences de contenu audio encore plus diversifiées", commente Samsung.

Sur le plan technologique à proprement parler, l'IAMF mise sur un son vertical (pour permettre une meilleure immersion), mais aussi sur une analyse de la scène audio dopée à l'IA, et enfin sur des paramètres personnalisables par l'utilisateur final. Grâce à l'IA, Samsung explique que l'IAMF est notamment capable d'ajuster le son de manière dynamique (pour mieux faire ressortir les dialogues dans un film, par exemple), ou encore de prendre en compte l'environnement de l'utilisateur pour s'y adapter au mieux.

Source : Les Numériques, écrit le 3 décembre 2023 par Nathan Le Gohlisse.

vivien · « **Réponse #2 le:** 03 décembre 2023 à 20:32:32 »

Trois caractéristiques de la technologie IAMF : audio vertical, audio basé sur l'IA et audio personnalisé

La technologie IAMF offre trois fonctionnalités distinctes qui améliorent l'expérience audio.

1. Capacité à exprimer le son verticalement

Les codecs audio open source précédents ne prenaient en charge que l'expression sonore horizontale. Grâce à la technologie IAMF, l'audio peut désormais être exprimé verticalement afin que le son soit de plus en plus multidirectionnel. "IAMF rend le son plus réaliste, en permettant aux auditeurs d'entendre l'audio devant, derrière ou de chaque côté et également au-dessus ou en dessous d'eux", a déclaré Nam. "En tant que telle, lorsque la technologie IAMF est appliquée aux haut-parleurs et aux barres de son des téléviseurs domestiques, elle permet aux auditeurs d'entendre des sons tels que ceux des oiseaux volant au-dessus de leur tête sur leur téléviseur à la maison."

2. Analyse de scène basée sur l'IA et effets audio 3D

IAMF utilise l'IA et la technologie d'apprentissage en profondeur pour analyser les scènes et mettre l'accent sur certains aspects du contenu, en ajustant les niveaux audio pour un son plus amélioré tout au long de l'expérience visuelle. "À la télévision et au cinéma, il y a certaines scènes où la bande sonore ou la musique de fond est au centre de l'attention", a déclaré Nam. « L’IAMF équilibrera le son dans ces cas-là. De même, la technologie affinera l’audio lorsqu’il y a un dialogue entre les personnages pour permettre à l’auditeur de se concentrer sur la conversation.

De plus, la technologie IAMF offre un son optimal malgré les changements dans l'environnement de l'appareil. "En ajustant les données audio d'analyse de scène en fonction de l'environnement de l'appareil, la technologie IAMF permet aux auditeurs de profiter de la qualité sonore originale du contenu sur les téléviseurs domestiques standard", a ajouté Hwang.

3. Audio hautement personnalisé

Les utilisateurs pourront ajuster librement le son selon leurs préférences grâce à la technologie IAMF. Que les téléspectateurs cherchent à amplifier les effets sonores d'une scène d'action ou à améliorer les dialogues, IAMF leur offre la possibilité de personnaliser le contenu audio pour une expérience plus personnalisée.

IAMF analyse les données du contenu et permet aux téléspectateurs d'ajuster et de personnaliser les paramètres audio. Lorsqu'ils regardent un match de sport, les utilisateurs peuvent directement choisir de mettre l'accent sur la voix du commentateur ou sur les sons du jeu lui-même :

Source : Samsung

vida18 · « **Réponse #3 le:** 20 janvier 2025 à 19:38:34 »

Eclipsa Audio, le bébé de Samsung et Google, arrive sur Android (y compris sur les Galaxy)

Publié avec une licence libre de droits, Eclipsa Audio, le nouveau format d'audio spatial né de l'entente entre Google et Samsung,
devrait bientôt être disponibles sur une vaste gamme d'appareils.

La nouvelle barre de son Samsung HW-Q990F © Samsung

Au début du mois, Google et Samsung ont dévoilé leur offensive face au Dolby Atmos, avec un nouveau format d'audio spatial baptisé Eclipsa Audio. Présenté plus en détail à l'occasion du CES 2025, le format dont l'objectif est de démocratiser l'audio spatial pourrait arriver très prochainement sur les appareils Android.

Un top départ avec Android 16 ?

Dans une récente note de blog, Google a partagé quelques informations sur l'arrivée imminente d'Eclipsa Audio au sein de ses appareils et solutions logicielles. Alors que nous savons déjà que Samsung l'intégrera sur ses gammes de téléviseurs et de barres de son pour 2025, à l'image de ses références NeoQLED et QD-OLED, Google tient également ses plans pour diffuser ce format et les outils de créations liés à celui-ci.

On apprend ainsi que Google publiera, dès le printemps, un plugin gratuit pour le logiciel de production audio AVID Pro Tools Digital Audio Workstation. La firme prévoit aussi d'intégrer le support natif d'Eclipsa Audio sous Google Chrome et indique que le format pourrait également faire son apparition chez plusieurs fabricants de TV et de barres de son au cours de l'année. Surtout, Google annonce préparer son lancement dans une prochaine version d'Android. On imagine ainsi que son intégration pourrait se faire sous Android 16, dont la version bêta serait imminente à en croire les dernières rumeurs que l'on peut lire chez nos camarades d'Android Authority.

Eclipsa Audio : un format "béni" pour les créateurs ?

Les premiers formats d'audio spatial ont été développés il y a maintenant plusieurs dizaines d'années. Mais, pour Google, aucun format ne laisse pour le moment la possibilité à tous les créateurs d'introduire cette spatialisation audio à leurs contenus : "La création de ce type d'audio est restée majoritairement réservée aux professionnels du cinéma ou de la musique", peut-on lire sur le Google Open Source blog.

La tâche d'Eclipsa Audio sera donc de combler cette lacune, en alternative à des formats comme le Dolby Atmos et DTS:X. Pour ce faire, Google et Samsung compte sur la formidable base de créateurs sur YouTube. Bien que l'essor d'Eclipsa Audio paraisse délicat face au Dolby Atmos, bien installé dans le monde de l'audio, le format open source pourra compter sur la puissance de frappe de la plateforme vidéo pour se faire une place.

Source : Clubic, écrit le 20 janvier 2025 par Matthieu Legouge.

vivien · « **Réponse #4 le:** 21 janvier 2025 à 09:02:47 »

Présentation d'Eclipsa Audio : un son immersif pour tous

Dans le monde réel, nous entendons des sons provenant de tout autour de nous. Certains sons sont devant nous, d'autres sont sur nos côtés, d'autres sont derrière nous et, oui, certains sont au-dessus ou en dessous de nous. La technologie audio spatiale offre une expérience audio immersive qui va au-delà du son stéréo traditionnel. Elle crée un paysage sonore en 3D, vous donnant l'impression que les sons viennent de tout autour de vous, et pas seulement des haut-parleurs gauche et droit.

Les technologies audio spatiales ont été développées il y a plus de 50 ans et la lecture est disponible pour les consommateurs depuis plus d'une décennie, mais la création d'audio spatial était principalement limitée aux professionnels des industries du cinéma ou de la musique. C'est pourquoi Google et Samsung lancent Eclipsa Audio, un format audio spatial open source pour tous.

De la création à la distribution jusqu'à l'expérience

Eclipsa Audio est basé sur Immersive Audio Model and Formats (IAMF), un format audio développé par Google, Samsung et d'autres contributeurs clés au sein de l'Alliance for Open Media (AOM), et publié sous la licence libre de droits AOM. IAMF étant open source, les fichiers Eclipsa Audio peuvent être créés par n'importe qui à l'aide d'outils audio disponibles gratuitement, qui prennent en charge une grande variété de flux de travail :

Un moteur de rendu de référence open source est disponible gratuitement pour la lecture audio spatiale autonome, ou vous pouvez tester vos fichiers audio Eclipsa directement dans votre navigateur dans l'application de démonstration Web binaurale.

À partir de 2025, les créateurs pourront télécharger des vidéos avec des pistes Eclipsa Audio sur YouTube. En tant que premier du secteur à adopter Eclipsa Audio, Samsung intègre cette technologie à l’ensemble de sa gamme de téléviseurs 2025, de la série Crystal UHD aux modèles phares haut de gamme Neo QLED 8K, pour garantir que les consommateurs qui souhaitent découvrir cette technologie avancée puissent choisir parmi une large gamme d’options. Google et Samsung lanceront un programme de certification et de licence de marque en 2025 pour fournir une assurance qualité aux fabricants et aux consommateurs pour les produits prenant en charge Eclipsa Audio.

Prochaines étapes

Pour simplifier la création de fichiers audio Eclipsa, nous publierons plus tard ce printemps un plug-in Eclipsa Audio gratuit pour AVID Pro Tools Digital Audio Workstation. Nous prévoyons également d'apporter la lecture audio Eclipsa native au navigateur Google Chrome ainsi qu'aux téléviseurs et barres de son de plusieurs fabricants plus tard en 2025. La prise en charge d'Eclipsa Audio arrivera également dans une prochaine version d'AOSP pour Android ; restez à l'écoute pour plus d'informations.

Nous pensons qu'Eclipsa Audio a le potentiel de changer la façon dont nous percevons le son. Nous sommes impatients de voir comment il sera utilisé pour créer des expériences audio nouvelles et innovantes.

Source : Blog Open Source de Google - Mercredi 15 janvier 2025, par Matt Frost, Jani Huoponen, Jan Skoglund, Roshan Baliga – l'équipe Open Audio.

vivien · « **Réponse #5 le:** 21 janvier 2025 à 09:18:21 »

Ils ne disent pas si le format est utilisable pour de la stéréo et si c'est le cas s'il est plus performant qu'Opus, le codec de référence aujourd'hui pour l'audio.