librosa是一个非常强大的python语音信号处理的第三方库，本文参考的是librosa的官方文档，本文主要总结了一些重要，对我来说非常常用的功能。学会librosa后再也不用用python去实现那些复杂的算法了，只需要一句语句就能轻松实现。
先总结一下本文中常用的专业名词：sr：采样率、hop_length：帧移、overlapping：连续帧之间的重叠部分、n_fft：窗口大小、spectrum：频谱、spectrogram：频谱图或叫做语谱图、amplitude：振幅、mono：单声道、stereo：立体声
librosa.load(path, sr=22050, mono=True, offset=0.0, duration=None)
读取音频文件。默认采样率是22050，如果要保留音频的原始采样率，使用sr = None。
参数：
返回：
librosa.resample(y, orig_sr, target_sr, fix=True, scale=False)
重新采样从orig_sr到target_sr的时间序列
参数：
返回：
librosa.get_duration(y=None, sr=22050, S=None, n_fft=2048, hop_length=512, center=True, filename=None)
计算时间序列的的持续时间（以秒为单位）
参数：
返回：
librosa.get_samplerate(path)
参数：
返回：音频文件的采样率
librosa.output.write_wav(path, y, sr, norm=False)
将时间序列输出为.wav文件
参数：
计算音频时间序列的过零率。
librosa.feature.zero_crossing_rate(y, frame_length = 2048, hop_length = 512, center = True)
参数：
返回：
y, sr = librosa.load(librosa.util.example_audio_file()) print(librosa.feature.zero_crossing_rate(y)) # array([[ 0.134, 0.139, ..., 0.387, 0.322]])
librosa.display.waveplot(y, sr=22050, x_axis=‘time‘, offset=0.0, ax=None)
绘制波形的幅度包络线
参数：
import librosa.display import matplotlib.pyplot as plt y, sr = librosa.load(librosa.util.example_audio_file(), duration=10) librosa.display.waveplot(y, sr=sr) plt.show()
librosa.stft(y, n_fft=2048, hop_length=None, win_length=None, window=‘hann‘, center=True, pad_mode=‘reflect‘)
短时傅立叶变换（STFT），返回一个复数矩阵使得D(f,t)
参数：
win_length=n_fft。scipy.signal.hanning返回：
librosa.istft(stft_matrix, hop_length=None, win_length=None, window=‘hann‘, center=True, length=None)
短时傅立叶逆变换（ISTFT），将复数值D(f,t)频谱矩阵转换为时间序列y，窗函数、帧移等参数应与stft相同
参数：
scipy.signal.hanning返回：
librosa.amplitude_to_db(S, ref=1.0)
将幅度频谱转换为dB标度频谱。也就是对S取对数。与这个函数相反的是librosa.db_to_amplitude(S)
参数：
返回：
librosa.core.power_to_db(S, ref=1.0)
将功率谱（幅度平方）转换为分贝（dB）单位，与这个函数相反的是librosa.db_to_power(S)
参数：
返回：
import librosa.display import numpy as np import matplotlib.pyplot as plt y, sr = librosa.load(librosa.util.example_audio_file()) S = np.abs(librosa.stft(y)) print(librosa.power_to_db(S ** 2)) # array([[-33.293, -27.32 , ..., -33.293, -33.293], # [-33.293, -25.723, ..., -33.293, -33.293], # ..., # [-33.293, -33.293, ..., -33.293, -33.293], # [-33.293, -33.293, ..., -33.293, -33.293]], dtype=float32) plt.figure() plt.subplot(2, 1, 1) librosa.display.specshow(S ** 2, sr=sr, y_axis=‘log‘) # 从波形获取功率谱图 plt.colorbar() plt.title(‘Power spectrogram‘) plt.subplot(2, 1, 2) # 相对于峰值功率计算dB, 那么其他的dB都是负的，注意看后边cmp值 librosa.display.specshow(librosa.power_to_db(S ** 2, ref=np.max), sr=sr, y_axis=‘log‘, x_axis=‘time‘) plt.colorbar(format=‘%+2.0f dB‘) plt.title(‘Log-Power spectrogram‘) plt.set_cmap("autumn") plt.tight_layout() plt.show()
功率谱和dB功率谱
librosa.display.specshow(data, x_axis=None, y_axis=None, sr=22050, hop_length=512)
参数：
import librosa.display import numpy as np import matplotlib.pyplot as plt y, sr = librosa.load(librosa.util.example_audio_file()) plt.figure() D = librosa.amplitude_to_db(np.abs(librosa.stft(y)), ref=np.max) plt.subplot(2, 1, 1) librosa.display.specshow(D, y_axis=‘linear‘) plt.colorbar(format=‘%+2.0f dB‘) plt.title(‘线性频率功率谱‘) plt.subplot(2, 1, 2) librosa.display.specshow(D, y_axis=‘log‘) plt.colorbar(format=‘%+2.0f dB‘) plt.title(‘对数频率功率谱‘) plt.show()
librosa.filters.mel(sr, n_fft, n_mels=128, fmin=0.0, fmax=None, htk=False, norm=1)
创建一个滤波器组矩阵以将FFT合并成Mel频率
参数：
返回：Mel变换矩阵
melfb = librosa.filters.mel(22050, 2048) # array([[ 0. , 0.016, ..., 0. , 0. ], # [ 0. , 0. , ..., 0. , 0. ], # ..., # [ 0. , 0. , ..., 0. , 0. ], # [ 0. , 0. , ..., 0. , 0. ]]) import matplotlib.pyplot as plt plt.figure() librosa.display.specshow(melfb, x_axis=‘linear‘) plt.ylabel(‘Mel filter‘) plt.title(‘Mel filter bank‘) plt.colorbar() plt.tight_layout() plt.show()
librosa.feature.melspectrogram(y=None, sr=22050, S=None, n_fft=2048, hop_length=512, win_length=None, window=‘hann‘, center=True, pad_mode=‘reflect‘, power=2.0)
计算Mel scaled 频谱，
如果提供了频谱图输入S，则通过mel_f.dot（S）将其直接映射到mel_f上。
如果提供了时间序列输入y，sr，则首先计算其幅值频谱S，然后通过mel_f.dot（S ** power）将其映射到mel scale上 。默认情况下，power= 2在功率谱上运行。
参数：
win_length = n_fftscipy.signal.get_windowscipy.signal.hanning返回：Mel频谱shape=(n_mels, t)
import librosa.display import numpy as np import matplotlib.pyplot as plt y, sr = librosa.load(librosa.util.example_audio_file()) # 方法一：使用时间序列求Mel频谱 print(librosa.feature.melspectrogram(y=y, sr=sr)) # array([[ 2.891e-07, 2.548e-03, ..., 8.116e-09, 5.633e-09], # [ 1.986e-07, 1.162e-02, ..., 9.332e-08, 6.716e-09], # ..., # [ 3.668e-09, 2.029e-08, ..., 3.208e-09, 2.864e-09], # [ 2.561e-10, 2.096e-09, ..., 7.543e-10, 6.101e-10]]) # 方法二：使用stft频谱求Mel频谱 D = np.abs(librosa.stft(y)) ** 2 # stft频谱 S = librosa.feature.melspectrogram(S=D) # 使用stft频谱求Mel频谱 plt.figure(figsize=(10, 4)) librosa.display.specshow(librosa.power_to_db(S, ref=np.max), y_axis=‘mel‘, fmax=8000, x_axis=‘time‘) plt.colorbar(format=‘%+2.0f dB‘) plt.title(‘Mel spectrogram‘) plt.tight_layout() plt.show()
Log-Mel Spectrogram特征是目前在语音识别和环境声音识别中很常用的一个特征，由于CNN在处理图像上展现了强大的能力，使得音频信号的频谱图特征的使用愈加广泛，甚至比MFCC使用的更多。在librosa中，Log-Mel Spectrogram特征的提取只需几行代码：
import librosa y, sr = librosa.load(‘./train_nb.wav‘, sr=16000) # 提取 mel spectrogram feature melspec = librosa.feature.melspectrogram(y, sr, n_fft=1024, hop_length=512, n_mels=128) logmelspec = librosa.amplitude_to_db(melspec) # 转换到对数刻度 print(logmelspec.shape) # (128, 65)
可见，Log-Mel Spectrogram特征是二维数组的形式，128表示Mel频率的维度（频域），64为时间帧长度（时域），所以Log-Mel Spectrogram特征是音频信号的时频表示特征。其中，n_fft指的是窗的大小，这里为1024；hop_length表示相邻窗之间的距离，这里为512，也就是相邻窗之间有50%的overlap；n_mels为mel bands的数量，这里设为128。
MFCC特征是一种在自动语音识别和说话人识别中广泛使用的特征。关于MFCC特征的详细信息，有兴趣的可以参考博客http:// blog.csdn.net/zzc15806/article/details/79246716。在librosa中，提取MFCC特征只需要一个函数：
librosa.feature.mfcc(y=None, sr=22050, S=None, n_mfcc=20, dct_type=2, norm=‘ortho‘, **kwargs)
参数：
返回：
M： MFCC序列
import librosa y, sr = librosa.load(‘./train_nb.wav‘, sr=16000) # 提取 MFCC feature mfccs = librosa.feature.mfcc(y=y, sr=sr, n_mfcc=40) print(mfccs.shape) # (40, 65)
原文：https://www.cnblogs.com/LXP-Never/p/11561355.html