语音识别的演进与挑战
二十年前,自动语音识别技术主要集中于小规模封闭词汇识别,例如连接数字识别系统。如今,深度学习模型已成为主流,数百万用户通过语音助手或手机转录软件将语音转换为文本。然而,语音识别仍存在诸多挑战,特别是在混响环境、病理语音、带口音语音以及全球各种语言场景下的识别精度问题。
两大前沿技术趋势
自监督学习机制
自监督学习使系统能够自我生成训练数据,无需人工标注。该方法借鉴了自然语言处理中BERT模型的成功经验,通过随机掩码语音片段并训练模型预测缺失部分。在说话人日志任务中,可利用相邻时间帧属于同一说话人的特性构建自监督任务。
新型声学表征
传统梅尔频谱基于信号处理和人耳听觉机制,而新型表征不假设信号特定结构,在语音识别和合成中表现更优。最有效的表征基于自监督学习,通过无标注输入定义辅助任务生成伪标注训练数据。
技术实现与应用
对比学习框架
采用Barlow twins对比学习框架,使同一说话人或音素的信号在表征空间中相近,其他样本相远。这种方法显著提升低资源语言(如希伯来语)的识别能力,仅需语音数据即可实现有效建模。
无监督语音变速处理
针对缺乏变速语音标注数据的问题,提出通过对比原始信号与变速信号的深度学习方法。采用对比损失函数,使网络参数调整后正样本相近而负样本相远,实现接近录音棚质量的语音变速效果。