¿Se acabó la separación manual de voces masculinas y femeninas? Automatice la creación de vídeos para podcasts con Irodori-TTS y HeyGen.

本ページはプロモーション（広告）を含みます。

❓ ¿No es difícil crear vídeos de conversaciones entre hombres y mujeres?

Crear vídeos de podcast con dos personas hablando es bastante difícil. Dado que el audio de la conversación combina las voces masculina y femenina en una sola pista, crear un vídeo de sincronización labial requiere separar manualmente ambas voces. He hecho muchos vídeos de este tipo, pero este proceso siempre me ha llevado mucho tiempo.

¿De verdad es tan difícil separar las voces? Por lo que he oído, parece que simplemente las recortas. Pero si el orador cambia docenas de veces en un solo vídeo, entiendo que sea tan tedioso. ¿No había una forma mejor?

🎙️ El popular Irodori-TTS y la barrera de los 30 segundos

Fue entonces cuando me fijé en el famoso sintetizador de voz japonés "Irodori-TTS". Funciona en mi ordenador y el japonés suena muy natural. Sin embargo, al probarlo, descubrí una limitación: solo puede generar hasta 30 segundos de audio a la vez. No puede leer un podcast completo de 10 minutos.

¿Solo 30 segundos? ¿Eso significa que no puedo usarlo para un video largo de podcast? Qué lástima, porque tiene una voz muy natural. Si quiero hacer un video de 10 minutos, tendré que cortarlo y rehacerlo varias veces.

💡 Para un bloque de discurso, 30 segundos fueron suficientes.

Yo también lo pensé al principio. Pero luego volví a leer el guion y me di cuenta de algo. La conversación es simplemente una repetición de "Kenny habla" y "Erika responde", con cada intervención de no más de 30 segundos. Si creas una voz para cada intervención, las ordenas y rellenas los espacios en blanco con silencio, puedes tener pistas solo con voces masculinas o solo con femeninas desde el principio.

Ya veo, entonces si los creas por separado desde el principio, no necesitas separarlos después. Es interesante cómo el límite de 30 segundos funciona como una buena línea divisoria. Entonces, ¿cómo conviertes esas dos pistas en un video?

🎬 Desde guiones hasta vídeos, todo en una sola aplicación.

Al mover la boca del avatar en cada pista, puedes crear vídeos de sincronización labial de hombres y mujeres. Utilizamos la API de HeyGen para la sincronización labial. Para el diseño, consultamos con ChatGPT, pero dejamos la implementación a Codex. Así, hemos integrado todo, desde la introducción del guion hasta la exportación del vídeo final, en una única aplicación de escritorio. También puedes añadir secuencias de apertura y cierre.

También vi el video que hiciste con esa aplicación. Al principio, cuando ambos hablaron al mismo tiempo, la sincronización fue bastante mala, pero al final estaban perfectamente sincronizados, lo cual fue un alivio. Tengo curiosidad por saber cómo lo hiciste.

👉 En la nota encontrará detalles sobre la selección de tecnología y los desafíos.

En un artículo, resumí la selección de tecnología, las especificaciones y los desafíos que enfrenté durante el desarrollo de la aplicación. Expliqué en detalle por qué la convertí en una aplicación de escritorio, por qué elegí una interfaz de edición similar a la de Canva e incluso cómo Irodori-TTS hizo que mi voz sonara como la de un anciano. También puedes ver el video final en el artículo.

¡Me intriga muchísimo la historia de la voz del abuelo! Parece que las voces generadas por IA no pueden imitar con precisión cualquier cosa que suene natural. Si te interesa crear tus propios vídeos de podcast o desarrollar aplicaciones con IA, sigue leyendo.

👉 Lee el artículo original
[Irodori-TTS] Intentamos crear un vídeo de podcast de sincronización labial totalmente automatizado utilizando el popular sistema de síntesis de voz japonés (TTS) y la API HeyGen.
https://note.com/gentle_hawk873/n/n3caaa9e760c4