Отправлять запись встречи в облачный сервис не всегда можно: там голоса коллег, клиентов и внутренние детали. Whisper работает локально, поддерживает русский и не требует видеокарты — хотя с ней быстрее.
Что такое Whisper
Это модель распознавания речи от OpenAI с открытой лицензией MIT. Она переводит звук в текст, умеет расставлять временные метки и определять язык. Модели различаются размером: от tiny до large.
Ориентир: tiny и base быстрые, но путают имена и термины; small — разумный компромисс; medium и large заметно точнее, но требуют памяти и времени.
Подготовка аудио
Whisper ждёт моно-дорожку 16 кГц. Видео и mp3 сначала извлекаются через ffmpeg:
ffmpeg -i meeting.mp4 -vn -ac 1 -ar 16000 -c:a pcm_s16le meeting.wav
Если запись длинная, разбейте её на части по 10–20 минут. Так проще перезапускать обработку и не держать в памяти часовой файл.
faster-whisper
Реализация на CTranslate2 работает в несколько раз быстрее оригинальной и умеет квантование int8 для процессора:
from faster_whisper import WhisperModel
model = WhisperModel("small", device="cpu", compute_type="int8")
segments, info = model.transcribe(
"meeting.wav",
language="ru",
vad_filter=True,
beam_size=5,
)
for segment in segments:
print(f"[{segment.start:.1f} -> {segment.end:.1f}] {segment.text.strip()}")
vad_filter=True вырезает тишину и музыку, ускоряя обработку. language="ru" отключает автоопределение: на коротких репликах оно ошибается и переключается на украинский или английский.
whisper.cpp
Если Python не нужен, есть whisper.cpp — сборка на C/C++ без зависимостей. Модель конвертируется в GGML и запускается одной командой:
./main -m models/ggml-small.bin -f meeting.wav -l ru -osrt -of meeting
Флаг -osrt сохраняет субтитры, -of задаёт имя файла. На слабом ноутбуке small обрабатывает час аудио за 10–20 минут.
Субтитры и разметка
Для видео нужен SRT с таймкодами. Для текста — абзацы по паузам: склеивайте сегменты, пока пауза между ними меньше секунды. Так расшифровка читается как речь, а не как телеграмма.
Имена, термины и аббревиатуры модель почти всегда искажает. Заранее подготовьте словарь замен: «ларavel» → «Laravel», «докер» → «Docker». Это быстрее, чем править вручную каждое вхождение.
Ресурсы
- CPU, int8:
small— 2–4 ГБ RAM,medium— 6–8 ГБ; - GPU: ускорение в 5–15 раз, но нужна совместимая видеокарта и драйверы;
- Диск: модели занимают от 75 МБ до 3 ГБ;
- Длинные файлы: обрабатывайте очередью, а не одним процессом.
На сервере без GPU расшифровка часовой встречи может занять больше времени, чем сама встреча. Для регулярной задачи лучше отдельная машина или ночной запуск.
Приватность
Локальный запуск означает, что аудио не покидает устройство. Но текст расшифровки — тоже чувствительные данные: храните его с теми же ограничениями, что и запись. Не отправляйте результат в сторонние сервисы «для проверки орфографии» без согласия участников.
Если нужно локальное текстовое резюме, связка с локальной LLM описана в статье Ollama и локальные модели. А о подключении инструментов к ассистенту — MCP.
Качество зависит от записи больше, чем от размера модели. Микрофон ноутбука и разговоры в комнате дают ошибки, которые не исправит даже large. Направленный микрофон и запись каждого участника заметно улучшают результат.
Whisper иногда «додумывает» текст на тишине или музыке. vad_filter и проверка средней громкости сегмента помогают отбросить такие вставки. Для субтитров дополнительно ограничьте длину строки и число символов в секунду.
Для архива встреч храните исходное аудио и текст рядом: правки расшифровки без оригинала невозможно проверить. И не публикуйте расшифровку в общий доступ без согласия участников.
Сравните две модели на пяти минутах реальной записи, прежде чем обрабатывать весь архив. Разница в качестве часто важнее скорости, но не всегда. Если текст нужен для поиска, а не для публикации, хватит small; для интервью берите medium.
Сохраняйте параметры запуска рядом с результатом: модель, язык, beam_size. Через месяц будет непонятно, почему две расшифровки одного файла отличаются, и придётся начинать заново.
Коротко
- Whisper работает офлайн и поддерживает русский;
small— баланс скорости и качества,medium— точнее;- faster-whisper быстрее за счёт CTranslate2 и int8;
- аудио приводите к 16 кГц моно через ffmpeg;
- имена и термины правьте словарём замен.