Мел-частотный кепстр
Мел-частотный кепстр (МЧК, англ. Mel-frequency cepstrum, MFC) — это представление кратковременной спектральной плотности мощности звукового сигнала, основанное на преобразовании Фурье логарифма спектра мощности, распределённого по нелинейной шкале частот.
Мел-частотные кепстральные коэффициенты (МЧКК, англ. Mel-frequency cepstral coefficients, MFCCs) — это набор коэффициентов, составляющих мел-частотный кепстр. Они извлекаются из кепстрального представления аудиозаписи, которое по сути является «спектром спектра». Ключевое отличие мел-частотного кепстра от обычного заключается в использовании мел-шкалы для распределения частотных полос. Эта шкала, в отличие от линейной, лучше соответствует восприятию звука человеческим слухом. Подобное частотное преобразование позволяет эффективнее представлять аудиоданные, что полезно, например, при их сжатии, поскольку может снизить требования к пропускной способности каналов и объёму памяти.
Метод вычисления[править | править код]
Стандартная процедура расчёта МЧКК включает следующие шаги:
- К оконному фрагменту сигнала применяется преобразование Фурье для получения спектра.
- Мощности спектра проецируются на мел-шкалу с помощью набора перекрывающихся полосовых фильтров (банка фильтров).
- Для каждой полосы вычисляется логарифм мощности.
- К полученному вектору логарифмированных мощностей применяется дискретное косинусное преобразование, как если бы это был временной сигнал.
- Амплитуды результирующего спектра и являются МЧКК.
Алгоритм допускает вариации: можно менять форму окон фильтров, добавлять динамические коэффициенты (например, первые и вторые разности — «дельта» и «дельта-дельта» коэффициенты). В начале 2000-х годов Европейский институт телекоммуникационных стандартов (ETSI) стандартизировал алгоритм вычисления МЧКК для применения в мобильной телефонии.
Применение[править | править код]
Мел-частотные кепстральные коэффициенты широко используются в качестве признаков в системах автоматического распознавания речи, например, для распознавания набираемых телефонных номеров. Кроме того, МЧКК находят применение в музыкальной информатике для задач классификации жанров, определения акустического сходства и других.
Использование для идентификации говорящего и устройства[править | править код]
Поскольку распределение полос в МЧКК моделирует человеческое слуховое восприятие, эти коэффициенты эффективны для характеристики как голоса диктора, так и особенностей записывающего устройства (например, модели мобильного телефона). Уникальный «отпечаток» телефона возникает из-за производственных допусков электронных компонентов и индивидуальных передаточных функций аналоговых трактов. Каждое устройство накладывает на исходный речевой сигнал свои свёрточные искажения.
Если рассматривать запись с телефона как результат прохождения речи через линейный стационарный фильтр с импульсной характеристикой h(n), то записанный сигнал y(n) связан с исходным x(n) свёрткой: y(n) = x(n) * h(n). Речь является нестационарным сигналом, поэтому её разбивают на короткие перекрывающиеся кадры, внутри которых её можно считать стационарной. Для p-го кадра с оконной функцией w(n) длиной W:
- .
Таким образом, искажение, вносимое телефоном, — это свёртка, которая может служить для идентификации устройства. Применяя оконное преобразование Фурье, получаем:
- ,
где H(f) — передаточная функция устройства. Учитывая, что исходная речь X_p^w(f) сама является произведением функции возбуждения Xe_p^w(f) и передаточной функции голосового тракта X_v(f), можно записать:
- ,
где H'(f) = H(f) X_v(f) — эквивалентная передаточная функция, характеризующая и диктора, и телефон.
После пропускания через банк мел-фильтров со сглаживающей функцией U(f), логарифмирования и взятия модуля получаем:
- ,
где H_w(f) = U(f) H'(f). Применение обратного преобразования во временную область (кепстральный анализ) даёт аддитивное разделение:
- ,
где c_y(j) — кепстр записанной речи, c_e(j) и c_w(j) — взвешенные характеристики, относящиеся к возбуждению и устройству соответственно. Коэффициент j соответствует номеру фильтра в банке. Эта аддитивная природа делает МЧКК удобными для выделения признаков устройства.
Практические детали вычисления[править | править код]
- Часто используется длина кадра 20 мс.
- Типичные оконные функции — Хэмминга и Ханна.
- Мел-шкала определяется формулой: . Она линейна до 1000 Гц и логарифмична выше.
- Основные шаги:
# Логарифмические выходы банка фильтров умножаются на 20 для перевода в децибелы.
# К полученной спектральной огибающей применяется дискретное косинусное преобразование.
# Кепстральные коэффициенты вычисляются по формуле:
, где .
Здесь c_i — i-й коэффициент МЧКК, N_f — количество фильтров в банке, S_n — логарифмическая энергия на выходе n-го фильтра, L — общее число вычисляемых коэффициентов.
Обратное преобразование[править | править код]
МЧКК можно приближённо преобразовать обратно в аудиосигнал. Процесс включает четыре этапа, обратных этапам вычисления:
- Применение обратного дискретного косинусного преобразования для получения мел-спектрограммы логарифмической мощности (в дБ).
- Возведение в степень для перехода от логарифмической шкалы к спектрограмме мощности.
- Масштабирование для получения амплитуд кратковременного преобразования Фурье.
- Восстановление фазы и синтез аудио с использованием алгоритма Гриффина-Лима.
Устойчивость к шуму[править | править код]
Значения МЧКК чувствительны к аддитивному шуму. В системах распознавания речи для борьбы с этим их часто подвергают нормализации. Для повышения устойчивости предлагаются модификации базового алгоритма, например, возведение логарифмических мел-амплитуд в степень (порядка 2 или 3) перед применением дискретного косинусного преобразования. Это позволяет ослабить влияние маломощных, зашумлённых компонентов сигнала.
История[править | править код]
Разработка метода мел-частотного кепстра обычно связывается с именем Пола Мермельштейна. Однако сам Мермельштейн указывал, что идея принадлежит Бридлу и Брауну, которые использовали набор из 19 коэффициентов, полученных косинусным преобразованием выходов неравномерно расположенных полосовых фильтров с логарифмическим интервалом выше 1 кГц. Многие исследователи, включая Дэвиса и Мермельштейна, отмечали сходство базисных функций косинусного преобразования в МЧКК с главными компонентами логарифмических спектров, которые ранее применялись для распознавания речи Полсом и его коллегами.
См. также[править | править код]
- Кепстр
- Психоакустика
Примечания[править | править код]
Литература[править | править код]
- Davis, S.B., Mermelstein, P. Comparison of parametric representations for monosyllabic word recognition in continuously spoken sentences // IEEE Transactions on Acoustics, Speech, and Signal Processing. — 1980. — Vol. 28, № 4. — P. 357–366.
- Mermelstein, P. Distance measures for speech recognition, psychological and instrumental // Pattern Recognition and Artificial Intelligence. — 1976. — P. 374–388.
- Bridle, J.S., Brown, M.D. An experimental automatic word recognition system // JSRU Report No. 1003. — Joint Speech Research Unit, Ruislip, England, 1974.
- Pols, L.C.W. Spectral analysis and identification of Dutch vowels in monosyllabic words. — Doctoral dissertation, Free University, Amsterdam, 1977.