AOMedia fait progresser l'ère de l'innovation audio avec la toute première spécification audio proposée sous sa licence libre de droits

Communiqué de l'alliance AOMedia (qui à crée AV1) du 9 novembre 2023 sur la spécification du conteneur de modèles et formats audio immersifs (IAMF)

Les progrès de l’audio spatial immersif influencent les attentes audio des consommateurs. Cependant, pour permettre des déploiements d'écosystèmes à grande échelle, les services OTT et les fournisseurs de périphériques bénéficieront de technologies audio spatiales sans licence. De même, les créateurs recherchent des formats dotés d’options de mixage audio immersives qui fonctionneraient facilement avec les systèmes de streaming et de lecture actuels. Pour résoudre ce défi, l'Alliance for Open Media (AOMedia) a annoncé aujourd'hui la publication de la spécification de conteneur Immersive Audio Model and Formats (IAMF), la toute première spécification de conteneur audio de l'organisation à être proposée sous la licence libre de droits d'AOMedia. IAMF est conçu pour permettre aux créatifs de révolutionner les expériences audio immersives dans une myriade d'applications, du streaming et des jeux à la réalité augmentée et virtuelle, en passant par la diffusion traditionnelle.

Qu'il s'agisse de diffuser des sports en direct ou de regarder une émission préférée, l'audio immersif prend de plus en plus de place dans la vie quotidienne des consommateurs. AOMedia a développé IAMF spécifiquement pour l'ère de l'audio sur Internet, ouvrant la voie aux entreprises pour intégrer l'audio immersif aux appareils, produits et services que les consommateurs adorent. Grâce à ces efforts, IAMF est une spécification de conteneur indépendante du codec qui peut transporter des informations pour les algorithmes de rendu du temps de lecture et le mixage audio.

« IAMF représente une avancée significative dans les normes audio immersives ouvertes. Non seulement il répond à divers cas d’utilisation, notamment le streaming, les jeux, la réalité augmentée, la réalité virtuelle et la diffusion, mais il fournira également aux créateurs les outils nécessaires pour créer des expériences audio immersives qui captivent le public. En tant que projet médiatique ouvert, l'IAMF est facilement accessible aux réalisateurs du monde entier, il favorise l'innovation, responsabilise les développeurs et garantit la large disponibilité d'expériences audio riches et immersives que les consommateurs souhaitent », a déclaré Matt Frost, président d'AOMedia. « Je tiens à remercier le groupe de travail sur les formats de stockage et de transport (STF) pour son travail sur cette spécification audio. L'IAMF continue d'évoluer et il est passionnant de voir comment ce groupe de travail réfléchit déjà aux fonctionnalités de la prochaine version.

Les points forts de la toute première spécification audio IAMF d'AOMedia comprennent :

- Audio spatial pour tous les appareils : IAMF permet la diffusion transparente de présentations audio spatiales ambisoniques basées sur des canaux et des scènes sur une large gamme d'appareils, notamment des écouteurs, des téléphones mobiles, des téléviseurs, des barres de son, des systèmes de cinéma maison et le Web. Cette polyvalence garantit une expérience audio cohérente et de haute qualité sur différentes plates-formes.

- Livraison audio flexible : IAMF propose une approche flexible pour fournir différents types d'éléments audio aux appareils finaux. Qu'il s'agisse d'un audio 3.1.2 canaux combiné à un audio stéréo ou d'ambisoniques de troisième ordre associés à un audio stéréo non diégétique, l'IAMF rend cela possible. IAMF fournit des moyens pour signaler des algorithmes de rendu, tels que EAR et BEAR, pour la lecture dans des configurations de haut-parleurs et des écouteurs.

- Adapté aux créateurs : les créateurs peuvent se plonger dans la création de contenu audio immersif conforme à l'IAMF avec les plugins open source existants tels que EAR Production Suite, qui comprend des moteurs de rendu pour les dispositions multienceintes et la surveillance binaurale, conformes aux directives des spécifications de l'IAMF. La capacité de l'IAMF à transporter et à inclure plusieurs configurations de mixage audio permet aux créateurs et aux utilisateurs d'ajuster le volume sonore pour différentes préférences de lecture. Dans un futur proche, le logiciel de référence open source AOMedia ajoutera un outil d'encodage IAMF pour compresser divers mixages sonores en IAMF.


Spécifications AOMedia IAMF et disponibilité du décodeur de logiciel de référence

La spécification IAMF et le décodeur logiciel de référence, ainsi que les flux de tests, sont facilement accessibles sur le GitHub d'AOMedia, favorisant la collaboration et le développement communautaire. Pour plus d'informations sur l'IAMF et ses applications potentielles, veuillez visiter la page d'AOMedia.



À propos de l'Alliance pour les médias ouverts

Lancée en 2015, l'Alliance for Open Media (AOMedia) a été créée pour définir et développer des technologies permettant de répondre à la demande du marché en matière de normes ouvertes pour la compression et la diffusion des médias. Au niveau du conseil d'administration, les membres fondateurs comprennent Amazon, Apple, Cisco, Google, Intel, Meta, Microsoft, Mozilla, Netflix, NVIDIA, Samsung Electronics et Tencent.

Source : Communiqé Alliance for Open Media traduit rapidement

Trois caractéristiques de la technologie IAMF : audio vertical, audio basé sur l'IA et audio personnalisé

La technologie IAMF offre trois fonctionnalités distinctes qui améliorent l'expérience audio.

1. Capacité à exprimer le son verticalement

Les codecs audio open source précédents ne prenaient en charge que l'expression sonore horizontale. Grâce à la technologie IAMF, l'audio peut désormais être exprimé verticalement afin que le son soit de plus en plus multidirectionnel. "IAMF rend le son plus réaliste, en permettant aux auditeurs d'entendre l'audio devant, derrière ou de chaque côté et également au-dessus ou en dessous d'eux", a déclaré Nam. "En tant que telle, lorsque la technologie IAMF est appliquée aux haut-parleurs et aux barres de son des téléviseurs domestiques, elle permet aux auditeurs d'entendre des sons tels que ceux des oiseaux volant au-dessus de leur tête sur leur téléviseur à la maison."

2. Analyse de scène basée sur l'IA et effets audio 3D

IAMF utilise l'IA et la technologie d'apprentissage en profondeur pour analyser les scènes et mettre l'accent sur certains aspects du contenu, en ajustant les niveaux audio pour un son plus amélioré tout au long de l'expérience visuelle. "À la télévision et au cinéma, il y a certaines scènes où la bande sonore ou la musique de fond est au centre de l'attention", a déclaré Nam. « L’IAMF équilibrera le son dans ces cas-là. De même, la technologie affinera l’audio lorsqu’il y a un dialogue entre les personnages pour permettre à l’auditeur de se concentrer sur la conversation.

De plus, la technologie IAMF offre un son optimal malgré les changements dans l'environnement de l'appareil. "En ajustant les données audio d'analyse de scène en fonction de l'environnement de l'appareil, la technologie IAMF permet aux auditeurs de profiter de la qualité sonore originale du contenu sur les téléviseurs domestiques standard", a ajouté Hwang.

3. Audio hautement personnalisé

Les utilisateurs pourront ajuster librement le son selon leurs préférences grâce à la technologie IAMF. Que les téléspectateurs cherchent à amplifier les effets sonores d'une scène d'action ou à améliorer les dialogues, IAMF leur offre la possibilité de personnaliser le contenu audio pour une expérience plus personnalisée.

IAMF analyse les données du contenu et permet aux téléspectateurs d'ajuster et de personnaliser les paramètres audio. Lorsqu'ils regardent un match de sport, les utilisateurs peuvent directement choisir de mettre l'accent sur la voix du commentateur ou sur les sons du jeu lui-même :


Source : Samsung

Présentation d'Eclipsa Audio : un son immersif pour tous

Dans le monde réel, nous entendons des sons provenant de tout autour de nous. Certains sons sont devant nous, d'autres sont sur nos côtés, d'autres sont derrière nous et, oui, certains sont au-dessus ou en dessous de nous. La technologie audio spatiale offre une expérience audio immersive qui va au-delà du son stéréo traditionnel. Elle crée un paysage sonore en 3D, vous donnant l'impression que les sons viennent de tout autour de vous, et pas seulement des haut-parleurs gauche et droit.

Les technologies audio spatiales ont été développées il y a plus de 50 ans et la lecture est disponible pour les consommateurs depuis plus d'une décennie, mais la création d'audio spatial était principalement limitée aux professionnels des industries du cinéma ou de la musique. C'est pourquoi Google et Samsung lancent Eclipsa Audio, un format audio spatial open source pour tous.

De la création à la distribution jusqu'à l'expérience

Eclipsa Audio est basé sur Immersive Audio Model and Formats (IAMF), un format audio développé par Google, Samsung et d'autres contributeurs clés au sein de l'Alliance for Open Media (AOM), et publié sous la licence libre de droits AOM. IAMF étant open source, les fichiers Eclipsa Audio peuvent être créés par n'importe qui à l'aide d'outils audio disponibles gratuitement, qui prennent en charge une grande variété de flux de travail :



Un moteur de rendu de référence open source est disponible gratuitement pour la lecture audio spatiale autonome, ou vous pouvez tester vos fichiers audio Eclipsa directement dans votre navigateur dans l'application de démonstration Web binaurale.

À partir de 2025, les créateurs pourront télécharger des vidéos avec des pistes Eclipsa Audio sur YouTube. En tant que premier du secteur à adopter Eclipsa Audio, Samsung intègre cette technologie à l’ensemble de sa gamme de téléviseurs 2025, de la série Crystal UHD aux modèles phares haut de gamme Neo QLED 8K, pour garantir que les consommateurs qui souhaitent découvrir cette technologie avancée puissent choisir parmi une large gamme d’options. Google et Samsung lanceront un programme de certification et de licence de marque en 2025 pour fournir une assurance qualité aux fabricants et aux consommateurs pour les produits prenant en charge Eclipsa Audio.

Prochaines étapes

Pour simplifier la création de fichiers audio Eclipsa, nous publierons plus tard ce printemps un plug-in Eclipsa Audio gratuit pour AVID Pro Tools Digital Audio Workstation. Nous prévoyons également d'apporter la lecture audio Eclipsa native au navigateur Google Chrome ainsi qu'aux téléviseurs et barres de son de plusieurs fabricants plus tard en 2025. La prise en charge d'Eclipsa Audio arrivera également dans une prochaine version d'AOSP pour Android ; restez à l'écoute pour plus d'informations.

Nous pensons qu'Eclipsa Audio a le potentiel de changer la façon dont nous percevons le son. Nous sommes impatients de voir comment il sera utilisé pour créer des expériences audio nouvelles et innovantes.

Source : Blog Open Source de Google - Mercredi 15 janvier 2025, par Matt Frost, Jani Huoponen, Jan Skoglund, Roshan Baliga – l'équipe Open Audio.