VOCBENCH目录
Facebook在2021年发表的论文，为了解决vocoder评价过程中因变量不同而导致的难以评估的问题。
论文地址： https://arxiv.org/pdf/2112.03099.pdf
GitHub地址： https://github.com/facebookresearch/vocoder-benchmark
一、数据集和声码器选择
数据集：一个单说话人数据集和两个多说话人数据集。
在相同的环境下训练了六个不同的vocoder
二、评价指标
生成质量评估
- MOS(平均意见得分)
- SSIM(结构相似性)：合成波形和真实波形的相似性
- FAD(相邻音频距离)：在embedding集合上估计的两个多变量高斯之间的距离，背景和评估embedding。
- LS-MSE(mel光谱图均方误差)：真实mel谱图和生成图谱之间的计算误差
- PSNR(峰值信噪比)：信号在最佳情况下输出功率和噪声峰值的功率之比。
计算效率评估
- Params（模型参数量）
- GFLOPS（每秒浮点运算个数）
- RTF（实时性能）
三、实验结果
根据表一可以得到：
- SSIM波形相似性：
melgan> griffin-lim > PWG > diffwave > wavegrad > wavenet > wavernn - LS-MSE梅尔均方误差：
melgan= griffin-lim > PWG 远大于其他 - PSNR信噪比：
melgan> griffin-lim > PWG 远大于其他 - FAD音频距离：
PWG> wavenet > melgan 远大于其他 - MOS语音自然度：
PWG> diffwave > wavernn > wavenet > wavegrad >melgan > griffin-lim
根据表二可以得到：
- Params模型参数量：
PWG> diffwave > melgan > wavenet > wavernn > wavegrad - GFLOPS：
wavernn> wavenet 远大于其他 - RTF 计算速度：
melgan> PWG 远大于其他
