Больше не нужно вручную разделять мужские и женские голоса? Автоматизируйте создание подкаст-видео с помощью Irodori-TTS и HeyGen.

本ページはプロモーション（広告）を含みます。

❓ Разве не сложно создавать видеоролики с разговорами между мужчинами и женщинами?

Создание видеороликов-подкастов с разговором двух человек — довольно сложная задача. Поскольку аудиозапись разговора объединяет мужской и женский голоса в одну дорожку, для создания видео с синхронизацией губ требуется вручную разделить мужской и женский голоса. Я сделал много таких видео, но этот процесс всегда отнимал у меня много времени.

Неужели так сложно просто разделить голоса? Судя по тому, что я слышал, кажется, вы просто их вырезаете. Но если говорящий меняется десятки раз в одном видео, я понимаю, почему это может быть так утомительно. Не было ли более простого способа?

🎙️ В тренде трек Irodori-TTS и преодоление 30-секундного барьера

Тогда я обратил внимание на широко обсуждаемую японскую программу для преобразования текста в речь "Irodori-TTS". Она работает на моем компьютере, и японский язык звучит очень естественно. Однако, когда я ее протестировал, обнаружил одно ограничение: она может воспроизводить только до 30 секунд аудио за раз. Она не может озвучить весь 10-минутный подкаст.

Подождите, всего 30 секунд? Значит, я не смогу использовать его для длинного подкаста? Жаль, ведь у него такой естественный голос. Если я захочу сделать 10-минутное видео, мне придётся его несколько раз разрезать и переделывать.

💡 Для выступления 30 секунд было достаточно.

Сначала я тоже так подумал. Но потом я снова взглянул на сценарий и кое-что понял. Разговор — это просто повторение фраз «Кенни говорит» и «Эрика отвечает», причём каждое высказывание длится не более 30 секунд. Если создать голос для каждого высказывания, расположить их по порядку и заполнить паузы в речи собеседника, то можно с самого начала создать диалоги только с мужчинами или только с женщинами.

Понятно, значит, если создавать их отдельно с самого начала, то потом разделять их не нужно. Интересно, как 30-секундный лимит служит хорошей разделительной линией. Итак, как превратить эти два трека в видео?

🎬 От сценариев до видеороликов — всё в одном приложении.

Перемещая рот аватара на каждой дорожке, вы можете создавать видеоролики с синхронизацией губ для мужчин и женщин. Для синхронизации губ мы использовали API HeyGen. При разработке мы консультировались с ChatGPT, а реализацию оставили Codex, поэтому мы объединили все этапы, от ввода сценария до экспорта готового видео, в одно настольное приложение. Вы также можете добавлять вступительные и заключительные заставки.

Я также видела видео, которое вы сделали с помощью этого приложения. В начале, когда вы оба говорили одновременно, ваш ритм был немного нарушен, но к концу вы идеально синхронизировались, что меня очень обрадовало. Но мне любопытно, как вам это удалось.

👉 Подробная информация о выборе технологий и возникающих проблемах доступна в примечании.

В одной из статей я кратко изложил выбор технологий, технические характеристики приложения и проблемы, с которыми столкнулся в процессе разработки. Я подробно описал, почему сделал его настольным приложением, почему выбрал экран редактирования, похожий на Canva, и даже рассказал о том, как Irodori-TTS внезапно превратил мой голос в голос пожилого человека. В статье также можно посмотреть готовое видео.

Меня очень заинтриговала история про голос дедушки! Похоже, что искусственный интеллект не может надёжно распознавать всё, что звучит естественно. Если вас интересует создание собственных подкастов или разработка приложений с использованием ИИ, обязательно читайте дальше.

👉 Прочитайте оригинальную статью
[Irodori-TTS] Мы попытались создать полностью автоматизированное видео для подкаста с синхронизацией губ, используя популярный японский TTS и HeyGen-API.
https://note.com/gentle_hawk873/n/n3caaa9e760c4