音频变速
如何能在不改变音频其他特点的情况下，只改变语速呢？
有几个python的库可以实现该功能，下面一一介绍。
pydub库
首先，确保安装了pydub和ffmpeg。
下面是一个简单的Python脚本，展示如何改变音频的播放速度：
from pydub import AudioSegment
from pydub.playback import play
def change_speed(audio_file, speed=1.0):
sound = AudioSegment.from_file(audio_file)
# 增加速度
sound_with_altered_speed = sound._spawn(sound.raw_data, overrides={
"frame_rate": int(sound.frame_rate * speed)
}).set_frame_rate(sound.frame_rate)
return sound_with_altered_speed
# 加载音频文件
audio_path = "your_audio_file.mp3"
# 改变速度，例如1.5倍速
altered_sound = change_speed(audio_path, speed=1.5)
# 播放修改后的音频
play(altered_sound)
# 导出音频
altered_sound.export("modified_audio.mp3", format="mp3")
change_speed函数接受原始音频文件路径和速度因子。通过修改帧率来改变速度。如果你想要加快速度，可以将速度因子设置为大于1的值；如果想要减慢速度，将其设置为小于1的值。
但是该方法在改变语音的同时，使得音调也发生改变。
librosa库
librosa主要用于音乐和音频分析。它支持音频的时间伸缩（即改变音频速度而不改变音调），并且提供了许多其他音频处理功能。
实现代码：
import librosa
import soundfile as sf
audio_path = 'your_audio_file.wav'
y, sr = librosa.load(audio_path, sr=None) # sr=None 保持原始采样率
# 变速处理，比如加速1.5倍
y_change = librosa.effects.time_stretch(y, 1.5)
#保存
sf.write('output_audio_file.wav', y_change, sr)
在改变音频速度的同时保持原有音调，librosa使用了时间拉伸算法（Time Stretching）。
librosa.effects.time_stretch函数是用于调整音频的播放速度，同时不改变音频的音高（音调）。
我们看下这个函数源码：
def time_stretch(y, rate, **kwargs):
'''Time-stretch an audio series by a fixed rate.'''
if rate <= 0:
raise ParameterError('rate must be a positive number')
# Construct the short-term Fourier transform (STFT)
stft = core.stft(y, **kwargs)
# Stretch by phase vocoding
stft_stretch = core.phase_vocoder(stft, rate)
# Predict the length of y_stretch
len_stretch = int(round(len(y)/rate))
# Invert the STFT
y_stretch = core.istft(
stft_stretch, dtype=y.dtype, length=len_stretch, **kwargs)
return y_stretch
可以看到，该函数主要包含三个步骤：
1.音频的频谱表示
首先，librosa.effects.time_stretch利用短时傅里叶变换（STFT）将音频信号从时间域转换到频域。这种转换将音频分解成其组成的频率成分，每个成分都有相应的幅度和相位。
2.相位估计(phase_vocoder)
在进行时间伸缩处理时，保持相位连续性是一个重要的挑战。librosa采用了相位估计技术来调整每个频率成分的相位，以保证在变速过程中音频信号的相位连续性。这是通过相位重构实现的，确保在变速后的音频中，所有频率成分的相位都能正确对齐。
3.相位恢复和重构，重建音频
处理相位信息时，使用相位展开技术，从原始音频中提取和修改相位信息，然后在处理过程中适当调整这些信息以匹配新的时间伸缩率。
最后，将处理过的频谱数据通过逆短时傅里叶变换（ISTFT）重新转换回时间域，生成最终的音频输出。在这一步中，经过调整的幅度和重构的相位信息被合成，以产生时间伸缩后的音频信号。
补充：相位声码器Phase vocoder
相位声码器（phase vocoder）是一种特殊的声码器，用于分析和修改音频信号的频谱相位。它是在数字信号处理中广泛使用的一种工具，特别适用于时间伸缩（改变音频速度而不改变音调）和音高移动（改变音调而不改变速度）。
相位声码器技术可以实现音频的时间伸缩。这一技术是基于频域处理，它可以调整音频的时长而不改变音高，主要依靠精确的相位处理。
先看看源码：
def phase_vocoder(D, rate, hop_length=None):
"""Phase vocoder. Given an STFT matrix D, speed up by a factor of `rate`
Based on the implementation provided by [1]_.
.. note:: This is a simplified implementation, intended primarily for
reference and pedagogical purposes. It makes no attempt to
handle transients, and is likely to produce many audible
artifacts. For a higher quality implementation, we recommend
the RubberBand library [2]_ and its Python wrapper `pyrubberband`.
.. [1] Ellis, D. P. W. "A phase vocoder in Matlab."
Columbia University, 2002.
http://www.ee.columbia.edu/~dpwe/resources/matlab/pvoc/
.. [2] https://breakfastquay.com/rubberband/
Parameters
----------
D : np.ndarray [shape=(d, t), dtype=complex]
STFT matrix
rate : float > 0 [scalar]
Speed-up factor: `rate > 1` is faster, `rate < 1` is slower.
hop_length : int > 0 [scalar] or None
The number of samples between successive columns of `D`.
If None, defaults to `n_fft/4 = (D.shape[0]-1)/2`
Returns
-------
D_stretched : np.ndarray [shape=(d, t / rate), dtype=complex]
time-stretched STFT
See Also
--------
pyrubberband
"""
n_fft = 2 * (D.shape[0] - 1)
if hop_length is None:
hop_length = int(n_fft // 4)
time_steps = np.arange(0, D.shape[1], rate, dtype=np.float)
# Create an empty output array
d_stretch = np.zeros((D.shape[0], len(time_steps)), D.dtype, order='F')
# Expected phase advance in each bin
phi_advance = np.linspace(0, np.pi * hop_length, D.shape[0])
# Phase accumulator; initialize to the first sample
phase_acc = np.angle(D[:, 0])
# Pad 0 columns to simplify boundary logic
D = np.pad(D, [(0, 0), (0, 2)], mode='constant')
for (t, step) in enumerate(time_steps):
columns = D[:, int(step):int(step + 2)]
# Weighting for linear magnitude interpolation
alpha = np.mod(step, 1.0)
mag = ((1.0 - alpha) * np.abs(columns[:, 0])
+ alpha * np.abs(columns[:, 1]))
# Store to output array
d_stretch[:, t] = mag * np.exp(1.j * phase_acc)
# Compute phase advance
dphase = (np.angle(columns[:, 1])
- np.angle(columns[:, 0])
- phi_advance)
# Wrap to -pi:pi range
dphase = dphase - 2.0 * np.pi * np.round(dphase / (2.0 * np.pi))
# Accumulate phase
phase_acc += phi_advance + dphase
return d_stretch
直接调用调用phase_vocoder来实现时间伸缩。这里是一个简单的示例：
import librosa
# 加载音频数据
y, sr = librosa.load('audio_file.wav', sr=None)
# 计算STFT
D = librosa.stft(y)
# 应用相位声码器进行时间伸缩
D_stretched = librosa.core.phase_vocoder(D, rate=1.5)
# 通过逆STFT重构音频
y_stretched = librosa.istft(D_stretched)
基本原理：
