总结: Android Audio不简单呀,一个人摸索入门不容易的,研究了一段时间,感觉还不是很懂,但以下的知识对入门还是有帮助的。
FE(Front End)
提供pcm的设备信息,将数据从用户空间传输到音频后端,以及从音频后端捕获录制等
vendor/qcom/opensource/audio-hal/primary-hal/msm8974/platform.c
platform_init中根据声卡的名称"bengal-qrd-snd-card"获取得知配置platform_info对应的文件
PLATFORM_INFO_XML_PATH_QRD_NAME,audio_platform_info_qrd.xml,那这个文件是用来干嘛的呢?
其一就是包含pcm_ids,pcm就是我们这里提到的音频前端FE,访问pcm设备时需要知道设备的id(/dev/snd/pcmC0D3P /dev/snd/pcmC0D17c\ C0: card0 D3/D17: device id c:capture p:playbac),不同的平台上可能出现差异,所以Framework就通过usecase来指定pcm设备,pcm_device_table用于管理usecase与pcm_ids的map关系,最终通过配置文件来修改以实现map关系的管理
pcm_device_table [USECASE_AUDIO_PLAYBACK_LOW_LATENCY] = {LOWLATENCY_PCM_DEVICE, //PCM_PLAYBACK LOWLATENCY_PCM_DEVICE}, //PCM_CAPTURE<pcm_ids> <usecase name="USECASE_AUDIO_PLAYBACK_LOW_LATENCY" type="out" id="9"/>
vendor/qcom/opensource/audio-hal/primary-hal/hal/audio_hw.c中包含use_case_table,
常见的就是low_latency(按键音等低延时)、deep_buffer(音乐等)、compress_offload(mp3、flac、acc等不需要软件解码,送入ADSP进行解码)、record(录音)、voice_call(语音通话)、voip_call(网络通话)等等
BE(Back End)
执行音频路由任务,连接Audio Device(Mic Speaker Codec等),ADSP 处于音频前端和音频后端之间
audio_platform_info_qrd.xml中包含的其二backend_names,audio device与interface的对应关系,使用QCAT Tool显示RX Devices,需要做如下修改,因为并非使用高通的WSA
- <device name="SND_DEVICE_OUT_SPEAKER" interface="WSA_CDC_DMA_RX_0"/>+ <device name="SND_DEVICE_OUT_SPEAKER" interface="SEC_MI2S_RX"/>
ACDB(Audio Calibration Database)
audio_platform_info_qrd.xml中包含的其三acdb_ids,用于给每个音频设备在DSP 路径上的配置,或者可以说是DSP的配置文件
APR(Asynchronous Packet Router)
APR是基于SMD(Share memory Driver,提供通道让不同设备数据交互)和SMMU(System Memory Management Unit, 如果外部设备有一段可以访问的内存,那么可以直接通过smmu把这段内存映射给cpu,cpu可以直接去访问这段内存)的一种IPC 通信方式,用于Ap与QDSP通信
ADSP.VT.5.4.1/adsp_proc/apr - vendor/qcom/opensource/audio-kernel/ipc/apr.c
DAI(Digital Audio Interface)
一个machine当然要包含自己内部的音频控制接口单元–cpu_dai和外部音频设备通信协议转换接口单元–codec_dai
I2S(Inter-IC Sound)
SCLK串行时钟、WS声道选择线、Tx用于传输音频数据、Rx用于接收音频数据
PCM(Pulse Code Modulation)
BCLK位时钟,依据采样率变化、SYNC同步信号、Tx传输音频数据、Rx接受音频数据
SWR(SoundWire)
SWR由MIPI联盟推出的音频接口,有主从的两线制(clock,data)总线,Mipi SoundWire Spec 学习笔记
SLIM (Serial Low Power Interchip Media Bus)
SLIM由MIPI联盟开发的音频接口,同SWR类似,但支持多个Data线,可用于与aux(不适用dai) codec通信
ALSA(Advanced Linux Sound Architecture)
图片来自于ALSA 架构,推荐博客高通音频架构(三),ASOC(ALSA Systen on chip)主要提供一套独立的嵌入式系统设备管理框架。
(1) ALSA Library : 应用通过ALSA Library于内核空间进行交互,Android中使用tinyalsa,支持PCM和Control接口
(2) ALSA Layer: 处于内核空间,向上提供接口,如PCM、Control、Mixer,向下驱动硬件设备 I2S、Codec、Machine
(3) ASOC Machine:作为Codec和Platform的载体,将硬件设备关联起来,连接codec_dai与cpu_dai,构成硬件通路
(4) ASOC Platform: 可以简单理解为就是Soc平台,负责Soc侧的音频传输,音频接口配置与控制等
(5) ASOC Codec: 控制音频解码,完成音频采集和播放过程中模拟与数字间的转换,aux代表未使用dai的codec,
(6) DAPM: Dynamic Audio Power Management 在任何时候都能工作在最小功耗下,控制内部widget通路上下点
kernel/msm-4.19/drivers/soc/qcom/subsys-pil-tz.c (generic peripheral image loader (PIL) driver)
在devictree中可以发现有 qcom,firmware-name = adsp cdsp venus modem ipa_fws slpi
其实在PIL驱动并没有发生image加载过程,真正的加载有对应的子模块处理中,adsp就是在adsp-loader.c中
vendor/qcom/opensource/audio-kernel/dsp/adsp-loader.c
通过init.qcom.rc启动时 write /sys/kernel/boot_adsp/boot 1 ,之后就会subsystem_get(“adsp”)获取并加载;
其他例如slpi, 要看高通不同的平台子模块的组成,有些PIL是没有load slpi模块,sensor也是adsp中,
所以启动的节点会出现/sys/kernel/boot_adsp/ 以及 /sys/kernle/boot_slpi/两种情况
kernel/msm-4.19/drivers/sensors/sensors_ssc.c subsystem_get_with_fwname(“slpi”)获取并加载,如果有slpi的话
子系统的通信方式有三种(1)smen (2)spss(Secure-Processor-SubSystem) (3)spi,之前分析过adsp与glink以及ssc的通信都是基于smem
之前分析的博客 Android Qcom USB Driver学习(九) Android Qcom Sensor架构学习
AMSS contents.xml和build.py可以得知各子系统的镜像 common/build/ufs/bin/asic/pil_split_bins中打包成NON-HLOS.bin或者是SDA.bin
PILDxe会去解析uefipil.cfg,其中就包含modem镜像的组成adsp slpi cdsp modem spss等几个子系统
Android推动GKI,能有更多的可动态加载的内核模块 (DLKM),老点的Android版本audio也一直在执行DLKM的,以adsp-loader为例
vendor/qcom/opensource/audio-kernel/dsp/Kbuild Android.mk 将adsp-loader.c 模块化为audio_adsp_loader.ko
在out目录下有/dlkm/lib/modules/audio_adsp_loader.ko 和 /vendor/lib/modules/audio_adsp_loader.ko (Android Kernel ko)
vendor/lib/modules # modinfo audio_adsp_loader.ko filename: audio_adsp_loader.kolicense: GPL v2 description: ADSP Loader module alias: of:N*T*Cqcom,adsp-loader alias: of:N*T*Cqcom,adsp-loaderC* depends:name: adsp_loader_dlkm vermagic: 4.19.157+ SMP preempt mod_unload modversions aarch64uart boot log:subsys-pil-tz ab00000.qcom,lpass: Falling back to syfs fallback for: adsp.mdtsubsys-pil-tz ab00000.qcom,lpass: Falling back to syfs fallback for: adsp.b02subsys-pil-tz ab00000.qcom,lpass: Subsystem error monitoring/handling services are upadsprpc: fastrpc_restart_notifier_cb: adsp subsystem is upadsprpc: fastrpc_rpmsg_probe: opened rpmsg channel for adsp
之前遇到过Google服务器导致ADSP中的SSC编译有问题,因为SSC用到了谷歌的Protocol,ADSP子系统启动有问题会开不了机,
看编译出的镜像size变小也可以得知有问题,暂时还没遇到过不加载导致Audio功能有问题的情况。
那高通的ADSP当作为audio究竟是如何工作?高通msm8996平台的ASOC音频路径分析
高通平台上fe dai link是链接cpu和adsp的,并非使用的i2s等硬件接口,而是使用共享内存的方式,在数据传输过程中没有实际的操作,platform直接将音频数据最终写入adsp,它描述的并非一个物理设备,这段是从博主那边看来的,自己还需看代码体会一下,挖坑。
[Linux Audio Driver] 高通平台MI2S总线配置
可见devicetree中的asoc-cpu asoc-platform包含了所有的dai接口,这里使用的MI2S1对应Secondary
硬件接口:LPI_MI2S1_CLK LPI_MI2S1_WS LPI_MI2S1_DATA0 LPI_MI2S1_DATA1
注意这里的gpio与lpg gpio的对应关系,硬件上的gpio102-gpio105对应lpg goui10-13
qcom,mi2s-audio-intf = <1>;qcom,sec-mi2s-gpios = <&cdc_sec_mi2s_gpios>; &q6core { cdc_sec_mi2s_gpios: msm_cdc_pinctrl_sec { compatible = "qcom,msm-cdc-pinctrl"; pinctrl-names = "aud_active", "aud_sleep"; pinctrl-0 = <&lpi_i2s2_sck_active &lpi_i2s2_ws_active &lpi_i2s2_sd0_active &lpi_i2s2_sd1_active>; pinctrl-1 = <&lpi_i2s2_sck_sleep &lpi_i2s2_ws_sleep &lpi_i2s2_sd0_sleep &lpi_i2s2_sd1_sleep>; qcom,lpi-gpios; };};
耳机检测相关 0:NC(normally-closed) 1:NO(normally-open),高通音频MBHC耳机系统软件相关配置归纳
根据硬件原理图,确认HS-DET和HPG-L引脚的连接状态,未插入时断开的则时NO,未插入时连接的则是NC
qcom,msm-mbhc-hphl-swh = <1>; qcom,msm-mbhc-gnd-swh = <1>;
DMIC0 DCMI1数字Mic输入接口对应硬件DMIC1_CLK DMIC1_DATA DMIC2_CLK DMIC2_DATA, micbias麦克风工作电压
qcom,cdc-dmic01-gpios = <&cdc_dmic01_gpios>;qcom,cdc-dmic23-gpios = <&cdc_dmic23_gpios>;qcom,cdc-micbias1-mv = <1800>qcom,cdc-micbias2-mv = <1800>qcom,cdc-micbias3-mv = <1800>
如果是dai的codec则添加在这里asoc-codec和asoc-codec-names,vendor/qcom/opensource/audio-kernel/asoc/bengal.c,populate_snd_card_dailinks将所有的snd_soc_dai_link保持在snd_soc_card中,在msm_populate_dai_link_component_of_node, 通过上面记录的num_links,逐个通过platform_name去找platform_of_node,对应devicetree中的asoc-platform-names和asoc-platform,通过cpu_dai_name去找cpu_of_node对应devicetree中的asoc-cpu-names和asoc-cpu,codec同理对应asoc-codec和asoc-codec-names,上述的内容都包含在sns_soc_dai_link中,硬件上我们得知使用的Secondary MI2S接的PA(PA也当作codec来看),所以需要配置dai_link,在max98390 snd_soc_register_codec(&i2c->dev, &soc_codec_dev_max98390, max98390_dai, ARRAY_SIZE(max98390_dai));
分别传入snd_soc_codec_driver以及snd_soc_dai_driver,devm_snd_soc_register_card中调用soc_probe_link_dais来probe codec,当然这里并非作为i2c器件的i2c_driver的max98390_i2c_probe,而是作为alsa component的snd_soc_component_driver或者snd_soc_codec_driver(这两种其实都是抽象component示例最终挂在到全局链表component_list)的max98390_probe
asoc-codec = <&stub_codec>, <&bolero>; asoc-codec-names = "msm-stub-codec.1", "bolero_codec";static struct snd_soc_dai_link msm_mi2s_be_dai_links[MI2S_DAI_LINK_MAX] = {{.name = LPASS_BE_SEC_MI2S_RX,.stream_name = "Secondary MI2S Playback",.cpu_dai_name = "msm-dai-q6-mi2s.1",.platform_name = "msm-pcm-routing",-.codec_name = "msm-stub-codec.1",-.codec_dai_name = "msm-stub-rx",+ .codec_name = "max98390.0-0038", +.codec_dai_name = "max98390-aif1", .no_pcm = 1,.dpcm_playback = 1,.id = MSM_BACKEND_DAI_SECONDARY_MI2S_RX,.be_hw_params_fixup = msm_be_hw_params_fixup,.ops = &msm_mi2s_be_ops,.ignore_suspend = 1,.ignore_pmdown_time = 1,},static struct snd_soc_dai_driver max98390_dai[] = { { .name = "max98390-aif1", .playback = { .stream_name = "HiFi Playback", .channels_min = 1, .channels_max = 2, .rates = MAX98390_RATES, .formats = MAX98390_FORMATS, }, .capture = { .stream_name = "HiFi Capture", .channels_min = 1, .channels_max = 2, .rates = MAX98390_RATES, .formats = MAX98390_FORMATS, }, .ops = &max98390_dai_ops, }};
高通各平台之间也是差异的,snd_soc_dai_link结构体中仅codecs为snd_soc_dai_link_component,有些是cpu codecs platforms都是,所以在snd_soc_dai_link中使用了SND_SOC_DAILINK_REG,对应到SND_SOC_DAILINK_DEF/SND_SOC_DAILINK_DEFS定义的dai links kernel/msm-5.4/techpack/audio/asoc/msm-dailink.h
SND_SOC_DAILINK_DEFS(sec_mi2s_rx,DAILINK_COMP_ARRAY(COMP_CPU("msm-dai-q6-mi2s.2")),-DAILINK_COMP_ARRAY(COMP_CODEC("msm-stub-codec.1", "msm-stub-rx")),+ DAILINK_COMP_ARRAY(COMP_CODEC("max98390.1-0038", "max98390-aif1")),DAILINK_COMP_ARRAY(COMP_PLATFORM("msm-pcm-routing")));static struct snd_soc_dai_link msm_mi2s_be_dai_links[]{ .name = LPASS_BE_SEC_MI2S_RX, .stream_name = "Secondary MI2S Playback", .no_pcm = 1, .dpcm_playback = 1, .id = MSM_BACKEND_DAI_SECONDARY_MI2S_RX, .be_hw_params_fixup = msm_be_hw_params_fixup, .ops = &msm_mi2s_be_ops, .ignore_suspend = 1, .ignore_pmdown_time = 1, SND_SOC_DAILINK_REG(sec_mi2s_rx),},
高通的PA相关的属性,0:没使用WSA PA, 1: 单声道 2:双声道,项目上没有用到置为0就不研究了
qcom,wsa-max-devs = <0>; qcom,wsa-devs = <0>;qcom,wsa-aux-dev-prefix = "SpkrMono";
硬件接口 SWR_TX_CLK SWR_TX_DATA0 SWR_TX_DATA1 SWR_RX_CLK SWR_RX_DATA0 SWR_TX_DATA1 对应LPI_GPIO 0-5
qcom,codec-max-aux-devs = <1>;qcom,codec-aux-devs = <&wcd937x_codec>;
snd_soc_of_parse_audio_routing解析存入of_dapm_routes:snd_soc_dapm_route,上述devicetree对应routes.sink routes.source(kcontrol为空是dirct直连),通过snd_soc_dapm_add_routes完成音频路径的注册,作用是将系统中注册的各种wideget:snd_soc_dapm_widget连接在一起
qcom,audio-routing = "TX DMIC0", "MIC BIAS1", "MIC BIAS1", "Digital Mic0",
widget是通过snd_soc_dapm_new_controls注册的,四种widget的定义在include/sound/soc-dapm.h
(1)platform domain:SND_SOC_DAPM_MIC (2)path domain:SND_SOC_DAPM_MICBIAS_E
(3)Codec domain:SND_SOC_DAPM_VMID (4)stream domain:SND_SOC_DAPM_ADC_E
项目中使用wcd937x没有DMIC输入,提供MICBIAS,DMIC来自bolero
bolero_codec/hon4290-android12-vendor/vendor/qcom/opensource/audio-kernel/asoc/bengal.cstatic const struct snd_soc_dapm_widget msm_int_dapm_widgets[] = { SND_SOC_DAPM_MIC("Digital Mic0", msm_dmic_event), SND_SOC_DAPM_MIC("Digital Mic1", msm_dmic_event),}; vendor/qcom/opensource/audio-kernel/asoc/codecs/bolero/tx-macro.cstatic const struct snd_soc_dapm_widget tx_macro_dapm_widgets_common[] SND_SOC_DAPM_ADC_E("TX DMIC0", NULL, SND_SOC_NOPM, 0, 0, tx_macro_enable_dmic, SND_SOC_DAPM_PRE_PMU | SND_SOC_DAPM_POST_PMD), wcd937x_codecvendor/qcom/opensource/audio-kernel/asoc/codecs/wcd937x/wcd937x.cstatic const struct snd_soc_dapm_widget wcd937x_dapm_widgets[] = SND_SOC_DAPM_MIXER_E("ADC1_MIXER", SND_SOC_NOPM, 0, 0, adc1_switch, ARRAY_SIZE(adc1_switch), wcd937x_tx_swr_ctrl, SND_SOC_DAPM_PRE_PMU | SND_SOC_DAPM_POST_PMD), SND_SOC_DAPM_MICBIAS_E("MIC BIAS1", SND_SOC_NOPM, 0, 0, wcd937x_codec_enable_micbias, SND_SOC_DAPM_PRE_PMU | SND_SOC_DAPM_POST_PMU | SND_SOC_DAPM_POST_PMD),
我们知道widget也是分起点终点的,不同的kernel版本会带来变化,SND_SOC_DAPM_MICBIAS_E(不能定义在route的起点和重点)变为SND_SOC_DAPM_SUPPLY录音时mic bias 无法自动打开问题,所以audio-routing的配置需要修改为
qcom,audio-routing ="TX DMIC0", "Digital Mic0","TX DMIC0", "MIC BIAS1",SND_SOC_DAPM_SUPPLY("MIC BIAS1", SND_SOC_NOPM, 0, 0, wcd938x_codec_enable_micbias, SND_SOC_DAPM_PRE_PMU | SND_SOC_DAPM_POST_PMU | SND_SOC_DAPM_POST_PMD),
高通hal还有route相关的配置configs/bengal/mixer_paths_qrd.xml,在 bring up的时候,先使用tinymix/tinycap/tinyplay验证通路,再进行修改
tinymix "SEC_MI2S_RX Audio Mixer MultiMedia1" "1"tinymix "SEC_MI2S_RX SampleRate" "KHZ_48"tinymix "SEC_MI2S_RX Format" "S16_LE"tinymix "SEC_MI2S_RX Channels" "Two"tinyplay /data/test.wavtinymix "MultiMedia1 Mixer TX_CDC_DMA_TX_3" "1"tinymix "TX_CDC_DMA_TX_3 Channels" "One"tinymix "TX_AIF1_CAP Mixer DEC0" "1"tinymix "TX DMIC MUX0" "DMIC0"tinycap /data/test.wav
<path name="deep-buffer-playback">- <ctl name="RX_CDC_DMA_RX_1 Audio Mixer MultiMedia1" value="1" />+ <ctl name="SEC_MI2S_RX Audio Mixer MultiMedia1" value="1" /></path><path name="speaker">- <ctl name="RX_CDC_DMA_RX_1 Channels" value="One" />- <ctl name="RX_MACRO RX2 MUX" value="AIF2_PB" />- <ctl name="RX INT2_1 MIX1 INP0" value="RX2" />- <ctl name="AUX_RDAC Switch" value="1" />- <ctl name="SpkrMono WSA_RDAC" value="Switch" />+ <ctl name="SEC_MI2S_RX SampleRate" value="KHZ_48"/>+ <ctl name="SEC_MI2S_RX Format" value="S16_LE" />+ <ctl name="SEC_MI2S_RX Channels" value="Two" /></path><path name="dmic1"> <ctl name="TX_CDC_DMA_TX_3 Channels" value="One" /> <ctl name="TX_AIF1_CAP Mixer DEC0" value="1" /> <ctl name="TX DMIC MUX0" value="DMIC0" /></path>static const struct snd_kcontrol_new msm_mi2s_snd_controls[] = { SOC_ENUM_EXT("SEC_MI2S_RX SampleRate", sec_mi2s_rx_sample_rate, mi2s_rx_sample_rate_get, mi2s_rx_sample_rate_put), SOC_ENUM_EXT("SEC_MI2S_RX Format", mi2s_rx_format, msm_mi2s_rx_format_get, msm_mi2s_rx_format_put), SOC_ENUM_EXT("SEC_MI2S_RX Channels", sec_mi2s_rx_chs, msm_mi2s_rx_ch_get, msm_mi2s_rx_ch_put),static struct dev_config mi2s_rx_cfg[] = { [SEC_MI2S] = {SAMPLING_RATE_48KHZ, SNDRV_PCM_FORMAT_S16_LE, 2},};
最后再通过 tinymix “SEC_MI2S_RX Audio Mixer MultiMedia1” “1”理解一下playback的route
PCM->MultiMedia1 Playback->MM_DL1 -> MultiMedia1 ⊕ SEC_MI2S_RX Audio Mixer->SEC_MI2S_RX->Secondary MI2S Playback
MM_DL1:SND_SOC_DAPM_AIF_IN对应一个数字音频输入接口, SEC_MI2S_RX:SND_SOC_DAPM_AIF_OUT对应一个数字音频输出接口;dai widget和stream widget是通过stream name来匹配的,通过aif_name来指定,MultiMedia1 Playback(stream_name)连接FE DAI, Secondary MI2S Playback(stream_name)连接BE DAI;SEC_MI2S_RX Audio Mixer:SND_SOC_DAPM_MIXER是个mixer(可用于多个MultiMediax混合),MultiMedia1作为kcontrol,连接Source和Sink
来源地址:https://blog.csdn.net/qq_40405527/article/details/128385982