WhisperX: быстрая транскрибация аудио с разделением спикеров

WhisperX превращает запись разговора в текст, где у каждой фразы есть точное время и метка говорящего. Это надстройка над Whisper от OpenAI, которая исправляет его главные слабые места: размытые таймкоды, медленную работу на длинных записях и отсутствие разделения по голосам. Авторы заявляют скорость до 70 раз быстрее реального времени на модели large-v2, а точность таймкодов доводят до уровня отдельных слов. Проект открытый, лицензия BSD-2, у репозитория m-bain/whisperX на GitHub около 24,8 тысячи звёзд. Ниже разберём, как это устроено, как установить и запустить, как включить разделение спикеров и где программа ошибается.

Ссылка: WhisperX
Что WhisperX делает иначе, чем обычный Whisper
Обычный Whisper хорошо распознаёт речь, но время проставляет целыми фразами, и они могут «уплывать» на несколько секунд. Для субтитров или монтажа это неудобно. WhisperX решает задачу в четыре шага.
- Поиск речи. Сначала программа отсекает паузы и шум, оставляя только фрагменты с голосом. Это заодно снижает число «галлюцинаций», когда модель выдумывает текст на тишине.
- Быстрое распознавание. Фрагменты обрабатываются пачками через движок faster-whisper. Для модели large-v2 при стандартных настройках хватает меньше 8 ГБ памяти видеокарты.
- Точные таймкоды. Готовый текст сопоставляется со звуком отдельной моделью, которая слышит отдельные звуки речи (wav2vec2). Так у каждого слова появляется своё время начала и конца.
- Разделение спикеров. Модель pyannote определяет, кто говорит в каждый момент, а WhisperX присваивает метки словам и фразам.
В 2026 году появилась ещё одна функция: контекстное распознавание (—interleaved_context). Программа передаёт в следующий фрагмент часть предыдущего, и улучшается расстановка знаков препинания и написание имён и терминов.
Установка и первый запуск
Для работы на видеокарте NVIDIA сначала поставьте CUDA Toolkit 12.8, а затем сам пакет: pip install whisperx. Понадобятся также ffmpeg и, возможно, Rust. Если пользуетесь uv, можно запустить без установки командой uvx whisperx. Для длинных записей на видеокарте есть необязательное ускорение выравнивания через Numba: pip install «whisperx[fast]». По заявлению авторов, оно ускоряет этот этап в 30–100 раз.
Самый простой запуск, расшифровка файла с таймкодами:
bash
whisperx interview.mp3 —model large-v2 —language ru —output_format srt —highlight_words True
В итоговом файле субтитров слова подсвечиваются в момент произнесения. Если подсветка не нужна, уберите последний параметр. Форматов вывода несколько (json, txt, srt, vtt, tsv, all), папку выбираете параметром —output_dir.
Нет видеокарты, или вы на Mac? Запустите на процессоре: добавьте —device cpu —compute_type int8. Это медленнее, но работает. Если не хватает памяти видеокарты, уменьшите —batch_size (например, до 4), возьмите модель поменьше или тот же int8. Два последних способа могут слегка снизить точность. В одной команде можно передать несколько файлов подряд, они обработаются по очереди.
Разделение спикеров и таймкоды по словам
Для диаризации нужен бесплатный токен Hugging Face с правом чтения. Создайте его в настройках аккаунта и примите условия использования модели pyannote/speaker-diarization-community-1: без этого она не загрузится. Потом добавьте в команду два параметра:
bash
whisperx interview.mp3 —model large-v2 —language ru —diarize —hf_token ВАШ_ТОКЕН —min_speakers 2 —max_speakers 2
Если вы заранее знаете число голосов, обязательно указывайте —min_speakers и —max_speakers: так программа ошибается заметно реже.
Из Python-кода то же самое выглядит так:
python
import whisperx
from whisperx.diarize import DiarizationPipeline
device = «cuda»
audio = whisperx.load_audio(«interview.mp3»)
model = whisperx.load_model(«large-v2″, device, compute_type=»float16»)
result = model.transcribe(audio, batch_size=16, interleaved_context=True)
align_model, meta = whisperx.load_align_model(language_code=result[«language»], device=device)
result = whisperx.align(result[«segments»], align_model, meta, audio, device)
diarizer = DiarizationPipeline(token=»ВАШ_ТОКЕН», device=device)
result = whisperx.assign_word_speakers(diarizer(audio), result)
for seg in result[«segments»]:
print(seg.get(«speaker»), seg[«start»], seg[«end»], seg[«text»])
Если памяти видеокарты мало, после каждого шага освобождайте модель: удалите её и вызовите очистку кэша, иначе три модели подряд могут не поместиться.
Результат хранит время каждого слова: в списке слов у сегмента есть начало, конец и метка говорящего. Это удобно для субтитров, монтажа и поиска по записи. Для каждого языка нужна своя модель выравнивания. Для английского, французского, немецкого, испанского и итальянского она подбирается автоматически, для многих других языков берётся с Hugging Face. Для русского готовая модель есть, но актуальный список языков проверьте в файле alignment.py репозитория.