Chega de separar manualmente as vozes masculinas e femininas! Automatize a criação de vídeos para podcasts com Irodori-TTS e HeyGen.

本ページはプロモーション（広告）を含みます。

❓ Não é difícil criar vídeos de conversas entre homens e mulheres?

Criar vídeos de podcast com duas pessoas conversando é bastante difícil. Como o áudio da conversa combina as vozes masculina e feminina em uma única faixa, criar um vídeo de sincronização labial exige a separação manual das vozes. Já fiz muitos vídeos assim, mas esse processo sempre consumiu muito do meu tempo.

É realmente tão difícil separar as vozes? Pelo que ouvi, parece que você está simplesmente cortando o áudio. Mas se o locutor muda dezenas de vezes em um único vídeo, consigo entender por que seria tão trabalhoso. Não havia uma maneira melhor?

🎙️ O Irodori-TTS em alta e a barreira dos 30 segundos

Foi então que me interessei pelo tão falado sintetizador de voz japonês "Irodori-TTS". Ele funciona no meu computador e o japonês soa muito natural. No entanto, ao testá-lo, encontrei uma limitação: ele só consegue gerar até 30 segundos de áudio por vez. Não consegue ler um podcast inteiro de 10 minutos.

Espera, só 30 segundos? Então isso significa que não posso usar para um vídeo de podcast longo? Que pena, porque é uma voz tão natural. Se eu quiser fazer um vídeo de 10 minutos, vou ter que cortar e refazer várias vezes.

💡 Para um bloco de fala, 30 segundos foram suficientes.

Inicialmente, também pensei assim. Mas depois reli o roteiro e percebi algo. A conversa é apenas uma repetição de "Kenny fala" e "Erika responde", com cada fala durando no máximo 30 segundos. Se você criar uma voz para cada fala, organizá-las em ordem e preencher os trechos em que a outra pessoa fala com silêncio, você pode ter faixas apenas com vozes masculinas ou apenas com vozes femininas desde o início.

Entendi, então se você as criar separadamente desde o início, não precisa separá-las depois. É interessante como o limite de 30 segundos funciona como uma boa linha divisória. Então, como você transforma essas duas faixas em um vídeo?

🎬 De roteiros a vídeos, tudo em um só aplicativo.

Ao mover a boca do avatar em cada faixa, você pode criar vídeos de sincronização labial de homens e mulheres. Usamos a API HeyGen para a sincronização labial. Consultamos a ChatGPT para o design e deixamos a implementação a cargo da Codex, então reunimos tudo, desde a entrada do script até a exportação do vídeo finalizado, em um único aplicativo para desktop. Você também pode adicionar sequências de abertura e encerramento.

Eu também vi o vídeo que você fez com aquele aplicativo. No começo, quando vocês dois falaram ao mesmo tempo, a sincronia estava bem ruim, mas no final, vocês estavam perfeitamente sincronizados, o que foi um alívio. Mas estou curiosa para saber como vocês conseguiram fazer isso.

👉 Detalhes sobre a seleção de tecnologia e os desafios estão disponíveis na nota.

Resumi a seleção de tecnologias do aplicativo, suas especificações e os desafios que enfrentei durante o desenvolvimento em um artigo. Expliquei detalhadamente por que o transformei em um aplicativo para desktop, por que escolhi uma tela de edição semelhante à do Canva e até mesmo como o Irodori-TTS fez minha voz soar repentinamente como a de um idoso. Você também pode conferir o vídeo finalizado no artigo.

Fiquei realmente intrigado com a história da voz do avô! Parece que as vozes de IA não conseguem ler com precisão qualquer coisa que soe natural. Se você tem interesse em criar seus próprios podcasts em vídeo ou desenvolver aplicativos com IA, continue lendo.

👉 Leia o artigo original
[Irodori-TTS] Tentamos criar um vídeo de podcast com sincronização labial totalmente automatizada usando o popular TTS japonês e a API HeyGen.
https://note.com/gentle_hawk873/n/n3caaa9e760c4