Попробовать

Какая нейросеть делает субтитры к видео

Обновлено

Субтитры делают модели распознавания речи — например, Whisper и его производные, а также собственные модели облачных сервисов. Они переводят звук в текст и привязывают каждое слово ко времени. Сервисы для блогеров добавляют поверх этого разбивку на фразы, стили и подсветку слов, поэтому выбирать стоит по результату на своём видео.

Из чего состоят «нейросетевые» субтитры

  • Распознавание речи. Модель слушает звук и пишет текст. От неё зависит, сколько будет ошибок.
  • Привязка ко времени. У каждого слова есть начало и конец, иначе подсветка «по словам» не совпадёт с голосом.
  • Разбивка и оформление. Текст режется на короткие фразы по смыслу и рисуется выбранным стилем.

Как выбрать

Возьмите один и тот же ролик с вашим голосом, именами и терминами и прогоните через два-три сервиса. Сравните: сколько слов пришлось исправить, совпадает ли подсветка с речью, как текст разбит на фразы, удобно ли исправлять ошибку. Демо-ролики на сайтах обычно записаны идеально и мало что говорят.

Чего нейросеть пока не умеет

Модели плохо знают редкие фамилии, названия маленьких брендов и свежий сленг. Они путают похожие на слух числа. И они не понимают, что вы оговорились: ошибку в речи субтитры честно повторят. Поэтому проверка текста перед публикацией остаётся за вами.

Как это сделать в Клиппи

Клиппи распознаёт речь, выравнивает каждое слово по звуку и собирает субтитры в одном из 18 стилей. Заодно вырезает паузы и неудачные дубли, поэтому субтитры сразу идут по чистой речи. Стили — на странице стилей.

Загрузить видео