0
点赞
收藏
分享

微信扫一扫

最新千万级中文语音语料开源数据整理分享


最新千万级中文语音语料开源数据整理分享_数据集

    本语料由8个开源数据集,经过降噪和去除静音处理而成,说话人约3200个,音频约900小时,文本约113万条,共有约1300万字。

    本语料比较原始数据而言,更加清晰和自然,减少了噪声的干扰,减少了因说话人说话不连贯造成的不自然。

    本语料包含文本、语音和说话人3个方面的信息,可适用于多种语音相关的任务。

    

     资源整理自网络,下载及获取见源地址:https://github.com/fighting41love/zhvoice

    本语料由智浪淘沙(https://github.com/zhilangtaosha)清洗和处理。

    处理方法

    用python的工具模块aukit处理音频,降噪和去除静音。

    pip install aukit from aukit import remove_noise, remove_silence

    用python的工具模块phkit处理文本,文本正则化和汉字转拼音。

    pip install phkit from phkit import text_to_sequence, pinyin

应用场景

    ·  用于语音克隆模型,可直接用于githup的语音克隆项目zhrtvc。

    ·  用于语音合成模型,用标贝开源的中文标准女声音频zhbznsyp数据集,或者筛选音质较好,和目标声音相似的说话人语音及其文本。

    ·  用于声码器模型,即由语音特征转为语音信号的模型。用语音数据,可结合aukit的音频转频谱。

    from aukit import linear_spectrogram, mel_spectrogram, world_spectrogram

    用于语音编码器模型,即把语音编码到预定维度的向量空间。

    用于声纹识别模型,用语音和对应的说话人标签。

    用于语音识别模型,用语音和文本,可以适当加噪声。

下载路径

    百度网盘:

链接: https://pan.baidu.com/s/1uHXE2WIt0kdm_dPSej-TtA

    提取码: i5b3

文件介绍

    info:各个数据集的源数据信息,包含源数据出处、简介等。

    text:语音语料对应的文本,包含文本、相对路径、说话人、参考拼音等信息。

    sample:样本语音,每个说话人一个音频。

    metadata:语料元数据,一行对应一个音频文件,每行的格式音频相对路径\t汉字文本\n。

    zh*:zh开头的是语料文件,目录结构:根目录下包含metadata.csv和语音文件目录。一个说话人对应一个子目录,音频是mp3格式。metadata.csv的数据结构和metadata的一样,记录当前数据集的信息。

统计信息

    character_W: 字符个数,单位:万字。包括汉字、英文字母和标点符号。

    duration_H: 语音时长,单位:小时。

    n_audio_per_speaker:每个说话人的音频数量。

    n_minute_per_speaker:平均每个说话人的音频总时长,单位:分钟。

    n_speaker:说话人个数。

    sentence_W:文本数目,单位:万条。

    size_MB:音频占用存储空间,单位:MB。

    注意:

    total是全部数据集合集的结果。

    音频的采样率是16k。

最新千万级中文语音语料开源数据整理分享_开源_02


举报

相关推荐

开源大数据工具整理

0 条评论