使用 PyTorch 进行音频信号处理的数据操作和转换-CFANZ编程社区

torchaudio：PyTorch 的音频库

torchaudio 的目标是将PyTorch应用到音频领域。通过支持 PyTorch，torchaudio 遵循相同的理念，即提供强大的 GPU 加速，通过 autograd 系统专注于可训练的特征，并具有一致的风格（张量名称和维度名称）。因此，它主要是一个机器学习库，而不是一个通用的信号处理库。PyTorch 的好处可以在 torchaudio 中看到，因为所有计算都通过 PyTorch 操作进行，这使得它易于使用并且感觉像是一个自然的扩展。

支持音频 I/O（加载文件、保存文件）

使用 SoX 将以下格式加载到 Torch Tensor 中

mp3、wav、aac、ogg、flac、avr、cdda、cvs/vms、
aiff, au, amr, mp2, mp4, ac3, avi, wmv,
mpeg、ircam 和 libsox 支持的任何其他格式。
Kaldi (方舟/SCP)

常见音频数据集的数据加载器（VCTK，YesNo）
常见的音频转换

频谱图、AmplitudeToDB、MelScale、MelSpectrogram、MFCC、MuLawEncoding、MuLawDecoding、重采样

合规性接口：使用 PyTorch 运行与其他库一致的代码

Kaldi：频谱图、fbank、mfcc、resample_waveform

依赖关系

PyTorch（兼容版本见下文）
libsox v14.3.2 或更高版本（仅在从源代码构建时需要）
[可选] vesis84/kaldi-io-for-python commit cb46cb1f44318a5d04d4941cf39084c5b021241e 或以上

以下是对应的torchaudio版本和支持的Python版本。

torch	torchaudio	python
`master` / `nightly`	`master` / `nightly`	`>=3.6`
`1.7.0`	`0.7.0`	`>=3.6`
`1.6.0`	`0.6.0`	`>=3.6`
`1.5.0`	`0.5.0`	`>=3.5`
`1.4.0`	`0.4.0`	`==2.7`, `>=3.5`,`<=3.8`

安装

二元分布

要使用 anaconda 安装最新版本，请运行：

conda install -c pytorch torchaudio

要安装最新的 pip 轮子，请运行：

pip install torchaudio -f https://download.pytorch.org/whl/torch_stable.html

（如果您还没有安装 Torch，这将默认从 PyPI 安装 Torch。如果您需要不同的 Torch 配置，请在运行此命令之前预安装 Torch。）

Nightly 构建

请注意，每晚构建是在 PyTorch 的每晚构建基础上构建的。因此，当您使用每晚构建的 torchaudio 时，您需要安装最新的 PyTorch。

pip

pip install numpy
pip install --pre torchaudio -f https://download.pytorch.org/whl/nightly/torch_nightly.html

conda

conda install -y -c pytorch-nightly torchaudio

从 Source

如果您的系统配置不在上述支持的配置中，您可以从源代码构建 torchaudio。

这将需要 libsox v14.3.2 或更高版本。

如何安装 SoX 的示例

OSX（自制软件）：

brew install sox

Linux（Ubuntu）：

sudo apt-get install sox libsox-dev libsox-fmt-all

Python

conda install -c conda-forge sox

# Linux
python setup.py install

# OSX 
MACOSX_DEPLOYMENT_TARGET=10.9 CC=clang CXX=clang++ python setup.py install

或者，构建过程可以静态构建 libsox 和一些可选的编解码器，并且 torchaudio 可以通过设置环境变量来链接它们BUILD_SOX=1。构建过程将在构建扩展之前获取并构建 libmad、lame、flac、vorbis、opus 和 libsox。此过程需要cmake和pkg-config。

# Linux 
BUILD_SOX=1 python setup.py install # OSX 
BUILD_SOX=1 MACOSX_DEPLOYMENT_TARGET=10.9 CC=clang CXX=clang++ python setup.py install

众所周知，这适用于 linux 和 unix 发行版，例如 Ubuntu 和 CentOS 7 以及 macOS。如果您在新系统上尝试此操作并找到使其工作的解决方案，请随时通过打开问题来共享它。

故障排除

检查构建系统类型… ./config.guess: 无法猜测系统类型

由于编解码器的配置文件较旧，因此无法正确检测新环境，例如 Jetson Aarch。需要用最新的或替换该config.guess文件。./third_party/tmp/lame-3.99.5/config.guess``./third_party/tmp/libmad-0.15.1b/config.guess：https://github.com/gcc-mirror/gcc/blob/master/config.guess

另见：#658

使用“BUILD_SOX”时对“tgetnum”的未定义引用

如果在 anaconda 环境中构建时遇到类似以下的错误：

../bin/ld: console.c:(.text+0xc1): undefined reference to `tgetnum'

安装ncurses从conda-forge运行前python setup.py install：

# 从 conda-forge 安装 ncurses
conda install -c conda-forge ncurses

快速使用

import torchaudio

waveform, sample_rate = torchaudio.load('foo.wav')  # load tensor from file
torchaudio.save('foo_save.wav', waveform, sample_rate)  # save tensor to file

后端调度

默认情况下，在 OSX 和 Linux 中，torchaudio 使用 SoX 作为后端来加载和保存文件。可以使用以下命令将后端更改为SoundFile。有关安装说明，请参阅SoundFile。

import torchaudio
torchaudio.set_audio_backend("soundfile")  # 切换后台

waveform, sample_rate = torchaudio.load('foo.wav')  # 像通常一样从文件加载张量
torchaudio.save('foo_save.wav', waveform, sample_rate)  # 像往常一样将张量保存到文件中

与 SoX 不同，SoundFile 目前不支持 mp3。

API 参考

API 参考位于此处：http://pytorch.org/audio/

公约

由于 torchaudio 是一个机器学习库，并且构建在 PyTorch 之上，torchaudio 围绕以下命名约定进行了标准化。假定张量将“通道”作为第一个维度，将时间作为最后一个维度（如果适用）。这使其与 PyTorch 的尺寸一致。对于大小名称，使用前缀n_（例如“大小为 ( n_freq, n_mel)的张量”），而维度名称没有此前缀（例如“维度（通道，时间）的张量”）