Какая нейросеть делает субтитры к видео
Обновлено
Субтитры делают модели распознавания речи — например, Whisper и его производные, а также собственные модели облачных сервисов. Они переводят звук в текст и привязывают каждое слово ко времени. Сервисы для блогеров добавляют поверх этого разбивку на фразы, стили и подсветку слов, поэтому выбирать стоит по результату на своём видео.
Из чего состоят «нейросетевые» субтитры
- Распознавание речи. Модель слушает звук и пишет текст. От неё зависит, сколько будет ошибок.
- Привязка ко времени. У каждого слова есть начало и конец, иначе подсветка «по словам» не совпадёт с голосом.
- Разбивка и оформление. Текст режется на короткие фразы по смыслу и рисуется выбранным стилем.
Как выбрать
Возьмите один и тот же ролик с вашим голосом, именами и терминами и прогоните через два-три сервиса. Сравните: сколько слов пришлось исправить, совпадает ли подсветка с речью, как текст разбит на фразы, удобно ли исправлять ошибку. Демо-ролики на сайтах обычно записаны идеально и мало что говорят.
Чего нейросеть пока не умеет
Модели плохо знают редкие фамилии, названия маленьких брендов и свежий сленг. Они путают похожие на слух числа. И они не понимают, что вы оговорились: ошибку в речи субтитры честно повторят. Поэтому проверка текста перед публикацией остаётся за вами.
Как это сделать в Клиппи
Клиппи распознаёт речь, выравнивает каждое слово по звуку и собирает субтитры в одном из 18 стилей. Заодно вырезает паузы и неудачные дубли, поэтому субтитры сразу идут по чистой речи. Стили — на странице стилей.