上一次研究语音识别是21年年底的事情了，记得当时是先进行了语音识别的应用，然后操作了模型的再次训练；两年过去，关于ASR相关流程忘得差不多了，这次基于paddlespeech的代码，进行了流程的梳理，关于一些细节还在学习中，先记录于此：
'zh:[conformer_wenetspeech-zh-16k], '
'en:[transformer_librispeech-en-16k], '
'zh_en:[conformer_talcs-codeswitch_zh_en-16k]'
本次测试的是中文、非流式模型，model = conformer_wenetspeech
语音识别，输入可以是.wav，输出是其对应的中文文字；
针对该测试调用的模型，该代码可简单分为三部分：
- Init model and other resources from a specific path；
- 对输入的.wav预处理，wav–>vector/tensor；
- 预测，并输出结果
针对第二部分，涉及到的基本是：文件的读取，及，特征提取，等。
涉及的关键词，比如是：
.wav的读取，波形变换，MFCC， pcm16 -> pcm 32，fbank，等；
涉及的库：soundfile，librosa，python_speech_features 等；
针对第三部分，可以分为三步来阐述：
# paddlespeech.s2t.models.u2 line 876 --- U2Model(U2DecodeModel)
def _init_from_config(cls, configs: dict):"""init sub module for model.Returns:vocab size(int), encoder(nn.Layer), decoder(nn.Layer), ctc(nn.Layer)"""# U2 Encoder type: conformer---ConformerEncoder---paddlespeech.s2t.modules.encoder.py# U2 Decoder type: bitransformer---BiTransformerDecoder----error# U2 Decoder type: transformer---paddlespeech.s2t.modules.decoder.py# ctc decoder and ctc loss---CTCDecoderBase---paddlespeech.s2t.modules.ctc.py
第一步：代码调用了conformer-encoder，进行编码：
输入：(batch, max_len, feat_dim) — [1, 498, 80]
输出：(B, maxlen, encoder_dim) — [1, 123, 512]
第二步：使用 CTCDecoderBase + ctc prefix beam search 对 encoder-out 进行 操作，输出 beam_size个预测结果：
输入：(B, maxlen, encoder_dim) — [1, 123, 512]
输出：长度为beam_size的列表，列表的每一项包括一个预测结果，及其得分；
[((1719, 4412, 66, 4641, 2397, 2139, 4935, 4381, 3184, 1286, 2084, 3642,1719, 1411, 2180, 98, 4698, 205, 309, 1458), -0.0025442275918039605), ((1719, 4412, 66, 4641, 2397, 2139, 4935, 4381, 3184, 1286, 2084, 3642, 1719, 1411, 2180, 4698, 205, 309, 1458), -7.808644069258369), ----
]
第三步：使用 TransformerDecoder 进行最后的纠正与预测，其输入是第一步的encoder-out 和第二步的初步预测结果；
(['我认为跑步最重要的就是给我带来了身体健康'], [(1719, 4412, 66, 4641, 2397, 2139, 4935, 4381, 3184, 1286, 2084, 3642, 1719, 1411, 2180, 98, 4698, 205, 309, 1458)]
)
关于第二步的：CTCDecoderBase + ctc prefix beam search：
对于 CTCDecoderBase，其输入是：
输入：(B, maxlen, encoder_dim) — [1, 123, 512]
ctc_probs = self.ctc.log_softmax(encoder_out)
输出：(1, maxlen, vocab_size) — [1, 123, 5537]
将 encoder_out 进行了一个linear，输出维度是[1, maxlen, vocab_size]，然后进行softmax，得到每一步的关于vocab的概率分布；
然后针对该输出，进行pefix beam search，得到：长度为beam_size的列表，其中，列表的每一项包括一个预测结果，及其得分；
关于prefix beam search：
