近日，阿里云视频云音频技能团队与新加坡国立大学李海洲教授团队协作论文 《根据时频感知域模型的单通道语音增强算法 》(Time-Frequency Attention for Monaural Speech Enhancement ) 被 ICASSP 2022 接收, 并受邀于今年 5 月在会议上向学术和工业界做研讨报告。ICASSP（International Conference on Acoustics, Speech and Signal Processing）是全世界最大的，也是最全面的融合信号处理、计算学习、及无线通信的语音领域顶级会议。
七琦｜作者
本次协作论文提出了融合语音散布特性的 T-F attention (TFA) 模块，能够在几乎不额定添加参数量的情况下显着提高语音增强的客观目标。
arxiv 链接：arxiv.org/abs/2111.07…
往期研讨成果回顾：
INTERSPEECH 2021：《Temporal Convolutional Network with Frequency Dimension Adaptive Attention for Speech Enhancement》
链接：
www.isca-speech.org/archive/pdf…
1.布景
语音增强算法旨在去除语音信号中的布景噪声等多余信号成分，它是许多语音处理应用的基本组件，例如在线视频会议与通话，智能短视频剪辑，实时视频直播，社交文娱与在线教育等。
2.摘要
目前大多数关于语音增强的监督学习算法的研讨中，一般没有在建模的过程中明确考虑时频域（T-F）表明中语音的能量散布，而其对于精确预测掩码或频谱至关重要。 在本文中，咱们提出了一个简单而有效的 T-F 注意力（TFA）模块，使得在建模过程中能够显式引进对语音散布特性的先验思考。 为了验证咱们提出的 TFA 模块的有效性，咱们运用残差时序卷积神经网络（ResTCN）作为基础模型，并运用语音增强领域中两个常用的练习目标 IRM [1]（The ideal ratio mask）和 PSM [2] （The phase-sensitive mask）别离进行了探索试验。 咱们的试验成果表明，应用所提的 TFA 模块能够在几乎不额定添加参数量的情况下显着提高常用的五个客观评价目标，且 ResTCN+TFA 模型一直以较大的优势优于其他 baseline 模型。
3.方法解析
图 1 展现了所提 TFA 模块的网络结构，其间 TA 和 FA 模块别离以黑色和蓝色虚线框标识。AvgPool 和 Conv1D 别离为 average pooling 和 1-D convolution operation 的缩写。⊗ 和 ⊙ 别离表明矩阵乘法和元素级乘法。
图 1
TFA 模块以改换后的时频表明为输入，利用两个独立的分支来别离进行 1-D time-frame attention map
4.试验成果
练习差错曲线
图 2-3 显现了每个模型在 150 epoch 练习中发生的练习和验证集差错曲线。能够看出，与 ResTCN 比较，运用了所提出的 TFA（ResTCN+TFA）的 ResTCN 发生的练习和验证集差错显着下降，这证实了 TFA 模块的有效性。一起，与 ResTCN+SA 和 MHANet 比较，ResTCN+TFA 实现了最低的练习和验证集差错，并显现出显着的优势。在三个 baseline 模型中，MHANet 体现最好，ResTCN+SA 优于 ResTCN。此外，ResTCN、ResTCN+FA 和 ResTCN+TA 之间的比较证明了 TA 和 FA 模块的成效。
图 2 IRM 练习目标下的练习差错曲线
图 3 PSM 练习目标下的练习差错曲线
语音增强客观目标评价
咱们运用了五个目标用于对增强功能的评价，包括 wideband perceptual evaluation of speech quality (PESQ) [3], extended short-time objective intelligibility (ESTOI) [4], 以及三个归纳目标 [5], mean opinion score (MOS) predictors of the signal distortion (CSIG), background-noise intrusiveness (CBAK), overall signal quality (COVL)。
表 1 和表 2 别离显现了每个信噪比等级下（含四个噪声源）的平均 PESQ 和 ESTOI 分数。评价成果表明，咱们提出的 ResTCN+TFA 在 IRM 和 PSM 上的 PESQ 和 ESTOI 方面一直比 ResTCN 取得显着改善，且参数增量能够忽略不计，这证明了 TFA 模块的有效性。详细而言，在 5 dB 条件下，IRM 练习目标下的 ResTCN+TFA 比较baseline ResTCN来说，在 PESQ 目标上提高了 0.18，在 ESTOI 目标上提高了 4.94%。与 MHANet 和 ResTCN+SA 比较，ResTCN+TFA 在一切情况下都体现最好，并且体现出显着的功能优势。在三个 baseline 模型中，整体看下来效果排名是 MHANet > ResTCN+SA > ResTCN。一起，ResTCN+FA 和 ResTCN+TA 比较 ResTCN 也有了可观的改善，这进一步证实了 FA 和 TA 模块的有效性。
表 3 列出了一切测验条件下的平均 CSIG、CBAK 和 COVL 分数。与在表 1和表 2中观察到的趋势一致，所提的 ResTCN+TFA 在三个目标上显着优于 ResTCN，并且在一切模型中体现最好。详细而言，与 ResTCN 比较，PSM 练习目标下 ResTCN+TFA 的 CSIG 提高了 0.21，CBAK 提高了 0.12，COVL 提高了 0.18。
关于阿里云视频云音频技能团队
阿里云视频云音频技能团队，专心于采集播放-剖析-处理-传输等全面的音频技能，服务于实时通信、直播、点播、媒体生产、媒体处理，长短视频等业务。经过神经网络与传统信号处理的结合，继续打磨业界领先的 3A 技能，深耕设备管理与适配、qos 技能，继续提高各场景下的直播、实时音频通信体会。
参考文献
[1] Y. Wang, A. Narayanan, and D. Wang, “On training targets for supervised speech separation,” IEEE/ACM Trans. Audio, speech, Lang. Process., vol. 22, no. 12, pp. 1849–1858, 2014.
[2] H. Erdogan, J. R. Hershey, S. Watanabe, and J. Le Roux, “Phase-sensitive and recognition-boosted speech separation using deep recurrent neural networks,” in Proc. ICASSP, 2015, pp. 708–712.
[3] R. I.-T. P. ITU, “862.2: Wideband extension to recommendation P. 862 for the assessment of wideband telephone networks and speech codecs. ITU-Telecommunicatio.
[4] J. Jensen and C. H. Taal, “An algorithm for predicting the intelligibility of speech masked by modulated noise maskers,” IEEE/ACM Trans. Audio, speech, Lang. Process., vol. 24, no. 11, pp. 2009–2022, 2016.
[5] Y. Hu and P. C. Loizou, “Evaluation of objective quality measures for speech enhancement,” IEEE Trans. Audio, Speech, Lang. process., vol. 16, no. 1, pp. 229–238, 2007.
「视频云技能」你最值得关注的音视频技能公众号，每周推送来自阿里云一线的实践技能文章，在这里与音视频领域一流工程师沟通切磋。公众号后台回复【技能】可加入阿里云视频云产品技能沟通群，和业界大咖一起讨论音视频技能，获取更多行业最新信息。
