Comment créer un générateur d’effets audio 3D

Présentation du son 3D

On parle beaucoup d’une expérience immersive dans le monde actuel des applications mobiles, étant donné qu’elle évoque les émotions des utilisateurs pour fusionner le monde virtuel avec la réalité.

L’audio 3D est un gadget fantastique capable de fournir une telle expérience. Cette technologie offre aux auditeurs une expérience audio qui imite la façon dont ils entendent les sons dans la vie réelle, principalement en utilisant les systèmes sonores binauraux pour capturer, traiter et lire les ondes audio. L’audio 3D permet à l’auditeur de savoir d’où proviennent les sources audio, offrant ainsi une expérience plus riche.

Le marché mondial de l’audio 3D, selon un rapport publié par ReportLinker, devrait atteindre 13,7 milliards de dollars d’ici 2027 – ce qui représente une immense opportunité financière, tant que ce type d’effets audio peut être apprécié par autant d’utilisateurs que possible.

L’évolution de la technologie des applications mobiles en a fait une réalité, rendant l’audio 3D plus accessible que jamais sans avoir besoin d’un casque encombrant ou d’une paire d’écouteurs sophistiqués (mais chers). À vrai dire, je viens de perdre un de mes écouteurs Bluetooth dans les égouts il y a quelques semaines, et j’avais du mal à me passer de l’audio 3D. Cela m’a fait réaliser que la fonction audio 3D intégrée est primordiale pour une application.

Eh bien, dans un article précédent, j’ai créé un lecteur audio de démonstration avec la fonction audio 3D, grâce à la capacité audio spatiale du SDK UI du kit HMS Core Audio Editor. Et dans cet article, j’ai mentionné qu’après avoir vérifié la fonctionnalité de la fonctionnalité, j’aimerais créer ma propre interface utilisateur plutôt que celle prédéfinie du SDK. Par conséquent, je me suis tourné vers le SDK de capacité fondamentale du kit, qui fournit une capacité audio spatiale encore plus puissante pour la mise en œuvre de l’audio 3D et permet la personnalisation de l’interface utilisateur.

Découvrez ce que j’ai créé.

4. Déclarez les autorisations nécessaires dans le AndroidManifest.xml fichier, impliquant l’autorisation de vibration, l’autorisation de microphone, l’autorisation d’écriture de stockage, l’autorisation de lecture de stockage, l’autorisation Internet, l’autorisation d’accès à l’état du réseau et l’autorisation d’obtenir l’état de connectivité réseau modifié.

<uses-permission android:name="android.permission.VIBRATE" />
<uses-permission android:name="android.permission.RECORD_AUDIO" />
<uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" />
<uses-permission android:name="android.permission.READ_EXTERNAL_STORAGE" />
<uses-permission android:name="android.permission.INTERNET" />
<uses-permission android:name="android.permission.ACCESS_NETWORK_STATE" />
<uses-permission android:name="android.permission.CHANGE_NETWORK_STATE" />

Intégration SDK

1. Définissez les informations d’authentification de l’application via :

• Un jeton d’accès (obtenu en appelant cette API). Appel setAccessToken pour définir un jeton d’accès lors de l’initialisation de l’application.

HAEApplication.getInstance().setAccessToken("access token");

• Une clé API (qui est attribuée à l’application lors de l’enregistrement de l’application dans AppGallery Connect). Appel setApiKey pour définir la clé lors de l’initialisation de l’application.

HAEApplication.getInstance().setApiKey("API key");

2. Appelez applyAudioFile pour appliquer l’effet audio spatial.

// Apply spatial audio.
// Fixed position mode.
HAESpaceRenderFile haeSpaceRenderFile = new HAESpaceRenderFile(SpaceRenderMode.POSITION);
haeSpaceRenderFile.setSpacePositionParams(
                            new SpaceRenderPositionParams(x, y, z));
// Dynamic rendering mode.
HAESpaceRenderFile haeSpaceRenderFile = new HAESpaceRenderFile(SpaceRenderMode.ROTATION);
haeSpaceRenderFile.setRotationParams(new SpaceRenderRotationParams(
                                    x, y, z, circling_time, circling_direction));
// Extension.
HAESpaceRenderFile haeSpaceRenderFile = new HAESpaceRenderFile(SpaceRenderMode.EXTENSION);
haeSpaceRenderFile.setExtensionParams(new SpaceRenderExtensionParams(radian, angle));
// Call the API.
haeSpaceRenderFile.applyAudioFile(inAudioPath, outAudioDir, outAudioName, callBack);
// Cancel applying spatial audio.
haeSpaceRenderFile.cancel();

Toute la procédure de développement se termine ici, donnant naissance à une application qui fonctionne comme le GIF ci-dessus.

Cas d’utilisation au-delà de la lecture de musique

La lecture de musique n’est que l’un des cas d’utilisation de base de la capacité audio spatiale. Je crois qu’il peut être adopté dans de nombreux autres scénarios, en navigation, par exemple. L’audio spatial peut aider les utilisateurs à naviguer encore plus facilement de A à B. Il pourrait, par exemple, dire aux utilisateurs de « Tourner à gauche » avec le son provenant du côté gauche d’un auditeur, amenant l’immersion à un nouveau niveau.

Les applications de karaoké, d’autre part, peuvent compter sur l’audio spatial et la séparation des sources audio (une capacité que j’ai également utilisée pour ma démo) pour générer des accompagnements avec des effets encore meilleurs : la capacité de séparation des sources audio extrait d’abord l’accompagnement dont un utilisateur a besoin de une chanson, et la capacité audio spatiale opère alors sa magie pour transformer l’accompagnement en audio 3D, qui imite le son d’un accompagnement dans un concert ou un studio d’enregistrement.

Emporter

L’audio 3D contribue fortement à l’expérience immersive d’une application mobile, car il peut imiter numériquement la façon dont les sons sont perçus dans le monde réel. Un tel effet, associé aux énormes avantages financiers du marché de l’audio 3D et à ses vastes scénarios d’application, a propulsé l’audio 3D sous les projecteurs des développeurs d’applications.

De plus, les appareils tels que les casques et les écouteurs ne sont plus nécessaires pour profiter de l’audio 3D, grâce aux progrès de la technologie des applications mobiles. Une solution pour implémenter la fonctionnalité provient d’Audio Editor Kit, qui est connu sous le nom d’audio spatial et est disponible dans deux SDK : UI SDK et SDK de capacité fondamentale. Le premier a une interface utilisateur prédéfinie avec des fonctions de base, tandis que le second permet la personnalisation de l’interface utilisateur et offre plus de fonctions (y compris trois modes de rendu applicables à différents cas d’utilisation et genres musicaux). Quoi qu’il en soit, avec la capacité audio spatiale, les utilisateurs d’une application peuvent avoir une expérience audio qui ressemble à la façon dont les sons sont perçus dans le monde réel.