鸿蒙开发实战：【音频组件】

简介

音频组件用于实现音频相关的功能，包括音频播放，录制，音量管理和设备管理。

图 1 音频组件架构图

基本概念

  • 采样

采样是指将连续时域上的模拟信号按照一定的时间间隔采样，获取到离散时域上离散信号的过程。

  • 采样率

采样率为每秒从连续信号中提取并组成离散信号的采样次数，单位用赫兹（Hz）来表示。通常人耳能听到频率范围大约在20Hz～20kHz之间的声音。常用的音频采样频率有：8kHz、11.025kHz、22.05kHz、16kHz、37.8kHz、44.1kHz、48kHz、96kHz、192kHz等。

  • 声道

声道是指声音在录制或播放时在不同空间位置采集或回放的相互独立的音频信号，所以声道数也就是声音录制时的音源数量或回放时相应的扬声器数量。

  • 音频帧

音频数据是流式的，本身没有明确的一帧帧的概念，在实际的应用中，为了音频算法处理/传输的方便，一般约定俗成取2.5ms~60ms为单位的数据量为一帧音频。这个时间被称之为“采样时间”，其长度没有特别的标准，它是根据编解码器和具体应用的需求来决定的。

  • PCM

PCM（Pulse Code Modulation），即脉冲编码调制，是一种将模拟信号数字化的方法，是将时间连续、取值连续的模拟信号转换成时间离散、抽样值离散的数字信号的过程。

目录

仓目录结构如下：

/foundation/multimedia/audio_standard  # 音频组件业务代码
├── frameworks                         # 框架代码
│   ├── native                         # 内部接口实现
│   └── js                             # 外部接口实现
│       └── napi                       # napi 外部接口实现
├── interfaces                         # 接口代码
│   ├── inner_api                      # 内部接口
│   └── kits                           # 外部接口
├── sa_profile                         # 服务配置文件
├── services                           # 服务代码
├── LICENSE                            # 证书文件
└── bundle.json                        # 编译文件

使用说明

音频播放

可以使用此仓库内提供的接口将音频数据转换为音频模拟信号，使用输出设备播放音频信号，以及管理音频播放任务。以下步骤描述了如何使用 AudioRenderer 开发音频播放功能：

  1. 使用 Create 接口和所需流类型来获取 AudioRenderer 实例。

    AudioStreamType streamType = STREAM_MUSIC; // 流类型示例
std::unique_ptr<AudioRenderer> audioRenderer = AudioRenderer::Create(streamType);

  2. （可选）静态接口 GetSupportedFormats(), GetSupportedChannels(), GetSupportedEncodingTypes(), GetSupportedSamplingRates() 可用于获取支持的参数。

  3. 准备设备，调用实例的 SetParams 。

    AudioRendererParams rendererParams;
rendererParams.sampleFormat = SAMPLE_S16LE;
rendererParams.sampleRate = SAMPLE_RATE_44100;
rendererParams.channelCount = STEREO;
rendererParams.encodingType = ENCODING_PCM;audioRenderer->SetParams(rendererParams);

  4. （可选）使用 audioRenderer->GetParams(rendererParams) 来验证 SetParams。

  5. （可选）使用 SetAudioEffectMode 和 GetAudioEffectMode 接口来设置和获取当前音频流的音效模式。

    AudioEffectMode effectMode = EFFECT_DEFAULT;
int32_t result = audioRenderer->SetAudioEffectMode(effectMode);
AudioEffectMode mode = audioRenderer->GetAudioEffectMode();

  6. AudioRenderer 实例调用 audioRenderer->Start() 函数来启动播放任务。

  7. 使用 GetBufferSize 接口获取要写入的缓冲区长度。

    audioRenderer->GetBufferSize(bufferLen);

  8. 从源（例如音频文件）读取要播放的音频数据并将其传输到字节流中。重复调用Write函数写入渲染数据。

    bytesToWrite = fread(buffer, 1, bufferLen, wavFile);
while ((bytesWritten < bytesToWrite) && ((bytesToWrite - bytesWritten) > minBytes)) {bytesWritten += audioRenderer->Write(buffer + bytesWritten, bytesToWrite - bytesWritten);if (bytesWritten < 0)break;
}

  9. 调用audioRenderer->Drain()来清空播放流。

  10. 调用audioRenderer->Stop()来停止输出。

  11. 播放任务完成后，调用AudioRenderer实例的audioRenderer->Release()函数来释放资源。

以上提供了基本音频播放使用场景。

  1. 使用 audioRenderer->SetVolume(float)  和 audioRenderer->GetVolume()  来设置和获取当前音频流音量, 可选范围为 0.0 到 1.0。

音频录制

可以使用此仓库内提供的接口，让应用程序可以完成使用输入设备进行声音录制，将语音转换为音频数据，并管理录制的任务。以下步骤描述了如何使用 AudioCapturer 开发音频录制功能：

  1. 使用Create接口和所需流类型来获取 AudioCapturer 实例。

    AudioStreamType streamType = STREAM_MUSIC;
std::unique_ptr<AudioCapturer> audioCapturer = AudioCapturer::Create(streamType);

  2. （可选）静态接口 GetSupportedFormats(), GetSupportedChannels(), GetSupportedEncodingTypes(), GetSupportedSamplingRates() 可用于获取支持的参数。

  3. 准备设备，调用实例的 SetParams 。

    AudioCapturerParams capturerParams;
capturerParams.sampleFormat = SAMPLE_S16LE;
capturerParams.sampleRate = SAMPLE_RATE_44100;
capturerParams.channelCount = STEREO;
capturerParams.encodingType = ENCODING_PCM;audioCapturer->SetParams(capturerParams);

  4. （可选）使用 audioCapturer->GetParams(capturerParams) 来验证 SetParams()。

  5. AudioCapturer 实例调用 AudioCapturer->Start() 函数来启动录音任务。

  6. 使用 GetBufferSize 接口获取要写入的缓冲区长度。

    audioCapturer->GetBufferSize(bufferLen);

  7. 读取录制的音频数据并将其转换为字节流。重复调用read函数读取数据直到主动停止。

    // set isBlocking = true/false for blocking/non-blocking read
bytesRead = audioCapturer->Read(*buffer, bufferLen, isBlocking);
while (numBuffersToCapture) {bytesRead = audioCapturer->Read(*buffer, bufferLen, isBlockingRead);if (bytesRead <= 0) {break;} else if (bytesRead > 0) {fwrite(buffer, size, bytesRead, recFile); // example shows writes the recorded data into a filenumBuffersToCapture--;}
}

  8. （可选）audioCapturer->Flush() 来清空录音流缓冲区。

  9. AudioCapturer 实例调用 audioCapturer->Stop() 函数停止录音。

  10. 录音任务完成后，调用 AudioCapturer 实例的 audioCapturer->Release() 函数释放资源。

音频管理

可以使用 [audio_system_manager.h]内的接口来控制音量和设备。

  1. 使用 GetInstance 接口获取 AudioSystemManager 实例.

    AudioSystemManager *audioSystemMgr = AudioSystemManager::GetInstance();
音量控制

  1. 使用 GetMaxVolume 和 GetMinVolume 接口去查询音频流支持的最大和最小音量等级，在此范围内设置音量。

    AudioVolumeType streamType = AudioVolumeType::STREAM_MUSIC;
int32_t maxVol = audioSystemMgr->GetMaxVolume(streamType);
int32_t minVol = audioSystemMgr->GetMinVolume(streamType);

  2. 使用 SetVolume 和 GetVolume 接口来设置和获取指定音频流的音量等级。

    int32_t result = audioSystemMgr->SetVolume(streamType, 10);
int32_t vol = audioSystemMgr->GetVolume(streamType);

  3. 使用 SetMute 和 IsStreamMute 接口来设置和获取指定音频流的静音状态。

    int32_t result = audioSystemMgr->SetMute(streamType, true);
bool isMute = audioSystemMgr->IsStreamMute(streamType);

  4. 使用 SetRingerMode 和 GetRingerMode 接口来设置和获取铃声模式。参考在 [audio_info.h]定义的 AudioRingerMode 枚举来获取支持的铃声模式。

    int32_t result = audioSystemMgr->SetRingerMode(RINGER_MODE_SILENT);
AudioRingerMode ringMode = audioSystemMgr->GetRingerMode();

  5. 使用 SetMicrophoneMute 和 IsMicrophoneMute 接口来设置和获取麦克风的静音状态。

    int32_t result = audioSystemMgr->SetMicrophoneMute(true);
bool isMicMute = audioSystemMgr->IsMicrophoneMute();
设备控制

  1. 使用 GetDevices, deviceType_  和 deviceRole_  接口来获取音频输入输出设备信息。 内定义的DeviceFlag, DeviceType 和 DeviceRole 枚举。

    DeviceFlag deviceFlag = OUTPUT_DEVICES_FLAG;
vector<sptr<AudioDeviceDescriptor>> audioDeviceDescriptors= audioSystemMgr->GetDevices(deviceFlag);
sptr<AudioDeviceDescriptor> audioDeviceDescriptor = audioDeviceDescriptors[0];
cout << audioDeviceDescriptor->deviceType_;
cout << audioDeviceDescriptor->deviceRole_;

  2. 使用 SetDeviceActive 和 IsDeviceActive 接口去激活/去激活音频设备和获取音频设备激活状态。

    ActiveDeviceType deviceType = SPEAKER;
int32_t result = audioSystemMgr->SetDeviceActive(deviceType, true);
bool isDevActive = audioSystemMgr->IsDeviceActive(deviceType);

  3. 提供其他用途的接口如 IsStreamActive, SetAudioParameter and GetAudioParameter

  4. 应用程序可以使用 AudioManagerNapi::On注册系统音量的更改。 在此，如果应用程序监听到系统音量更改的事件,就会用以下参数通知应用程序: volumeType : 更改的系统音量的类型 volume : 当前的音量等级 updateUi : 是否需要显示变化详细信息。（如果音量被增大/减小，将updateUi标志设置为true，在其他情况下，updateUi设置为false）。

    const audioManager = audio.getAudioManager();export default {onCreate() {audioManager.on('volumeChange', (volumeChange) ==> {console.info('volumeType = '+volumeChange.volumeType);console.info('volume = '+volumeChange.volume);console.info('updateUi = '+volumeChange.updateUi);}}
}
音频场景

  1. 使用 SetAudioScene 和 getAudioScene 接口去更改和检查音频策略。

    int32_t result = audioSystemMgr->SetAudioScene(AUDIO_SCENE_PHONE_CALL);
AudioScene audioScene = audioSystemMgr->GetAudioScene();

有关支持的音频场景，请参阅 AudioScene 中的枚举[audio_info.h]

音频流管理

可以使用[audio_stream_manager.h]提供的接口用于流管理功能。

  1. 使用 GetInstance 接口获得 AudioSystemManager 实例。

    AudioStreamManager *audioStreamMgr = AudioStreamManager::GetInstance();

  2. 使用 RegisterAudioRendererEventListener 为渲染器状态更改注册侦听器。渲染器状态更改回调，该回调将在渲染器流状态更改时调用， 通过重写 AudioRendererStateChangeCallback 类中的函数 OnRendererStateChange 。

    const int32_t clientPid;class RendererStateChangeCallback : public AudioRendererStateChangeCallback {
public:RendererStateChangeCallback = default;~RendererStateChangeCallback = default;
void OnRendererStateChange(const std::vector<std::unique_ptr<AudioRendererChangeInfo>> &audioRendererChangeInfos) override
{cout<<"OnRendererStateChange entered"<<endl;
}
};std::shared_ptr<AudioRendererStateChangeCallback> callback = std::make_shared<RendererStateChangeCallback>();
int32_t state = audioStreamMgr->RegisterAudioRendererEventListener(clientPid, callback);
int32_t result = audioStreamMgr->UnregisterAudioRendererEventListener(clientPid);

  3. 使用 RegisterAudioCapturerEventListener 为捕获器状态更改注册侦听器。 捕获器状态更改回调，该回调将在捕获器流状态更改时调用， 通过重写 AudioCapturerStateChangeCallback 类中的函数 OnCapturerStateChange 。

    const int32_t clientPid;class CapturerStateChangeCallback : public AudioCapturerStateChangeCallback {
public:CapturerStateChangeCallback = default;~CapturerStateChangeCallback = default;
void OnCapturerStateChange(const std::vector<std::unique_ptr<AudioCapturerChangeInfo>> &audioCapturerChangeInfos) override
{cout<<"OnCapturerStateChange entered"<<endl;
}
};std::shared_ptr<AudioCapturerStateChangeCallback> callback = std::make_shared<CapturerStateChangeCallback>();
int32_t state = audioStreamMgr->RegisterAudioCapturerEventListener(clientPid, callback);
int32_t result = audioStreamMgr->UnregisterAudioCapturerEventListener(clientPid);

  4. 使用 GetCurrentRendererChangeInfos 获取所有当前正在运行的流渲染器信息，包括clientuid、sessionid、renderinfo、renderstate和输出设备详细信息。

    std::vector<std::unique_ptr<AudioRendererChangeInfo>> audioRendererChangeInfos;
int32_t currentRendererChangeInfo = audioStreamMgr->GetCurrentRendererChangeInfos(audioRendererChangeInfos);

  5. 使用 GetCurrentCapturerChangeInfos 获取所有当前正在运行的流捕获器信息，包括clientuid、sessionid、capturerInfo、capturerState和输入设备详细信息。

    std::vector<std::unique_ptr<AudioCapturerChangeInfo>> audioCapturerChangeInfos;
int32_t currentCapturerChangeInfo = audioStreamMgr->GetCurrentCapturerChangeInfos(audioCapturerChangeInfos);

  6. 使用 IsAudioRendererLowLatencySupported 检查低延迟功能是否支持。

    const AudioStreamInfo &audioStreamInfo;
bool isLatencySupport = audioStreamMgr->IsAudioRendererLowLatencySupported(audioStreamInfo);

  7. 使用 GetEffectInfoArray 接口查询指定[StreamUsage]下可以支持的音效模式。

    AudioSceneEffectInfo audioSceneEffectInfo;
int32_t status = audioStreamMgr->GetEffectInfoArray(audioSceneEffectInfo,streamUsage);
JavaScript 用法:

JavaScript应用可以使用系统提供的音频管理接口，来控制音量和设备。
请参考 [js-apis-audio.md]来获取音量和设备管理相关JavaScript接口的用法。

蓝牙SCO呼叫

可以使用提供的接口 [audio_bluetooth_manager.h] 实现同步连接导向链路（SCO）的蓝牙呼叫。

  1. 为监听SCO状态更改，您可以使用 OnScoStateChanged.
const BluetoothRemoteDevice &device;
int state;
void OnScoStateChanged(const BluetoothRemoteDevice &device, int state);
  1. (可选) 静态接口 RegisterBluetoothScoAgListener(), UnregisterBluetoothScoAgListener(), 可用于注册蓝牙SCO的侦听器。

支持设备

以下是音频子系统支持的设备类型列表。

  1. USB Type-C Headset
    数字耳机，包括自己的DAC（数模转换器）和作为耳机一部分的放大器。

  2. WIRED Headset
    模拟耳机内部不包含任何DAC。它可以有3.5mm插孔或不带DAC的C型插孔。

  3. Bluetooth Headset
    蓝牙A2DP（高级音频分配模式）耳机，用于无线传输音频。

  4. Internal Speaker and MIC
    支持内置扬声器和麦克风，并将分别用作播放和录制的默认设备。

    鸿蒙OpenHarmony知识已更新←前往

5a94ffa1b62d74e6095eff0d95d75612.gif

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/541623.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

FreeRTOS学习第10篇--队列使用示例

FreeRTOS学习第10篇--队列使用示例

FreeRTOS学习第10篇–队列使用示例 本文目标&#xff1a;FreeRTOS学习第10篇–队列使用示例 按照本文的描述&#xff0c;可以进行简单的使用队列。 本文实验条件&#xff1a;拥有C语言基础&#xff0c;装有编译和集成的开发环境&#xff0c;比如&#xff1a;Keil uVision5 …
阅读更多...
KKView远程控制: todesk内网穿透

KKView远程控制: todesk内网穿透

Todesk内网穿透&#xff1a;实现远程访问的新途径 在数字化时代&#xff0c;远程访问已成为许多企业和个人的基本需求。Todesk作为一款远程桌面控制软件&#xff0c;其内网穿透功能为用户提供了便捷、安全的远程访问体验。本文将介绍Todesk内网穿透的原理、应用场景及其优势&a…
阅读更多...
【机器学习】走进监督学习：构建智能预测模型的第一步

【机器学习】走进监督学习：构建智能预测模型的第一步

&#x1f388;个人主页&#xff1a;豌豆射手^ &#x1f389;欢迎 &#x1f44d;点赞✍评论⭐收藏 &#x1f917;收录专栏&#xff1a;机器学习 &#x1f91d;希望本文对您有所裨益&#xff0c;如有不足之处&#xff0c;欢迎在评论区提出指正&#xff0c;让我们共同学习、交流进…
阅读更多...
2024年【天津市安全员C证】考试内容及天津市安全员C证考试报名

2024年【天津市安全员C证】考试内容及天津市安全员C证考试报名

题库来源&#xff1a;安全生产模拟考试一点通公众号小程序 天津市安全员C证考试内容是安全生产模拟考试一点通生成的&#xff0c;天津市安全员C证证模拟考试题库是根据天津市安全员C证最新版教材汇编出天津市安全员C证仿真模拟考试。2024年【天津市安全员C证】考试内容及天津市…
阅读更多...
开发反应式API

开发反应式API

开发反应式API 开发反应式API1 使用SpringWebFlux1.1 Spring WebFlux 简介1.2 编写反应式控制器 2 定义函数式请求处理器3 测试反应式控制器3.1 测试 GET 请求3.2 测试 POST 请求3.3 使用实时服务器进行测试 4 反应式消费RESTAPI4.1 获取资源4.2 发送资源4.3 删除资源4.4 处理错…
阅读更多...
APP在应用商店该如何做好节日营销

APP在应用商店该如何做好节日营销

38妇女节刚刚过去&#xff0c;不少商家吃上了一波节日红利。 你有没有注意到很多App在应用商店里改头换面&#xff0c;开展了很多以“三八节”为主题的营销活动&#xff0c;并且取得了不错的成绩。 可见季节性营销策划对产品的下载量和用户留存率还是很重要的。 那么我们如何…
阅读更多...
数据结构知识点汇总（持续更新版）

数据结构知识点汇总（持续更新版）

数据结构 一、绪论 检测知识&#xff1a; 1.1基本概念 以前的计算机 弹道计算机 现如今 主要运用于非数值的计算 基本概念和术语 数据&#xff1a;是信息的载体&#xff0c;描述客观事物属性的值&#xff0c;字符以及所有能输入到计算机中并被计算机程序识别和处理的符号的…
阅读更多...
CorelDRAW2024中文版全新来袭，让你的设计创意无限！

CorelDRAW2024中文版全新来袭，让你的设计创意无限！

一、CorelDRAW软件的概述 CorelDRAW是一款由加拿大Corel公司开发的矢量图形编辑软件&#xff0c;自1989年以来&#xff0c;一直以其强大的功能和易用性深受广大设计师的喜爱。CorelDRAW软件不仅适用于个人创作者&#xff0c;还广泛应用于各类企业、出版社、教育机构等领域&…
阅读更多...
考研C语言复习进阶（5）

考研C语言复习进阶（5）

目录 1. 为什么使用文件 2. 什么是文件 2.1 程序文件 2.2 数据文件 2.3 文件名 3. 文件的打开和关闭 3.1 文件指针 3.2 文件的打开和关闭 4. 文件的顺序读写 ​编辑 ​编辑 4.1 对比一组函数&#xff1a; ​编辑 5. 文件的随机读写 5.1 fseek 5.2 ftell 5.3 rewind…
阅读更多...
【MySQL基础】MySQL基础操作二

【MySQL基础】MySQL基础操作二

文章目录 &#x1f34e;1.数据库约束&#x1f350;约束类型&#x1f346;1.1NOT NULL&#x1f346;1.2UNIQUE&#x1f346;1.3DEFAULT&#x1f346;1.4PRIMARY KEY&#x1f346;1.5FOREIGN KEY &#x1f34f;2.查询操作&#x1f35f;2.1聚合查询&#x1f354;2.1.1聚合函数&…
阅读更多...
植物miRNA数据库PmiREN2.0的使用

植物miRNA数据库PmiREN2.0的使用

前记 miRNA数据库是一个用于存储和分析microRNA&#xff08;miRNA&#xff09;序列和相关信息的数据库。miRNA是一类具有约20-24个核苷酸的非编码小RNA分子&#xff0c;通过调控基因表达来参与细胞生物学过程。miRNA数据库中通常包含miRNA序列、miRNA靶向基因、miRNA表达谱、m…
阅读更多...
【Linux】IPC-信号

【Linux】IPC-信号

&#x1f4bb;文章目录 &#x1f4c4;前言信号概念信号阻塞概念 信号的处理信号的使用 &#x1f4d3;总结 &#x1f4c4;前言 信号&#xff0c;一种无论是生活还是编程都离不开的东西。生活中&#xff0c;我们通过信号来对外部发生的事情进行反应&#xff0c;就好像你的手机来了…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023