Niente più separazione manuale delle voci maschili e femminili? Automatizzate la creazione di video per podcast con Irodori-TTS e HeyGen.

本ページはプロモーション（広告）を含みます。

❓ Non è difficile realizzare video di conversazioni tra uomini e donne?

Creare video podcast con due persone che parlano è piuttosto difficile. Poiché l'audio della conversazione unisce le voci maschile e femminile in un'unica traccia, la creazione di un video in lip-sync richiede la separazione manuale delle voci. Ho realizzato molti video di questo tipo, ma questo processo mi ha sempre richiesto molto tempo.

È davvero così difficile separare le voci? Da quello che ho capito, sembra che si tratti semplicemente di eliminarle. Ma se chi parla cambia decine di volte in un singolo video, capisco perché possa essere così noioso. Non c'era un modo migliore?

🎙️ L'Irodori-TTS di tendenza e la barriera dei 30 secondi

Fu allora che rivolsi la mia attenzione al tanto discusso sistema di sintesi vocale giapponese "Irodori-TTS". Funziona sul mio PC e la pronuncia giapponese è molto naturale. Tuttavia, provandolo, ho riscontrato una limitazione: può generare solo fino a 30 secondi di audio alla volta. Non è in grado di leggere un intero podcast di 10 minuti.

Aspetta, solo 30 secondi? Quindi significa che non posso usarlo per un video podcast lungo? È un peccato, perché è una voce così naturale. Se voglio fare un video di 10 minuti, dovrò tagliarlo e rifarlo più volte.

💡 Per un blocco di articolazione, 30 secondi erano sufficienti.

Anch'io all'inizio la pensavo così. Ma poi ho riguardato la sceneggiatura e ho capito una cosa. La conversazione è solo una ripetizione di "Kenny parla" ed "Erika risponde", con ogni battuta che dura non più di 30 secondi. Se si crea una voce per ogni battuta, le si dispone in ordine e si riempiono le parti in cui l'altra persona parla con il silenzio, si possono avere tracce audio con solo uomini o solo donne fin dall'inizio.

Capisco, quindi se li crei separatamente fin dall'inizio, non c'è bisogno di separarli in seguito. È interessante come il limite dei 30 secondi funzioni effettivamente come un buon confine. Quindi, come si trasformano queste due tracce in un video?

🎬 Dalle sceneggiature ai video, tutto in un'unica app.

Muovendo la bocca dell'avatar su ogni traccia, è possibile creare video in lip-sync di uomini e donne. Abbiamo utilizzato l'API HeyGen per la sincronizzazione labiale. Ci siamo avvalsi della consulenza di ChatGPT per la progettazione e abbiamo affidato l'implementazione a Codex, quindi abbiamo integrato tutto, dall'inserimento dello script all'esportazione del video finale, in un'unica applicazione desktop. È anche possibile aggiungere sequenze di apertura e chiusura.

Ho visto anche il video che hai realizzato con quell'app. All'inizio, quando avete parlato entrambi contemporaneamente, il vostro tempismo era piuttosto sfasato, ma alla fine eravate perfettamente sincronizzati, il che è stato un sollievo. Sono comunque curioso di sapere come ci sei riuscito.

👉 I dettagli sulla selezione della tecnologia e sulle sfide che abbiamo affrontato sono disponibili nella nota.

In un articolo ho riassunto la scelta tecnologica dell'app, le specifiche e le sfide che ho affrontato durante lo sviluppo. Ho descritto in dettaglio perché ho optato per un'applicazione desktop, perché ho scelto un'interfaccia di modifica simile a Canva e persino come Irodori-TTS abbia improvvisamente reso la mia voce simile a quella di un anziano. Nell'articolo è presente anche il video completo.

La storia della voce del nonno mi incuriosisce molto! Sembra che le voci generate dall'IA non riescano a leggere in modo affidabile qualsiasi cosa suoni naturale. Se ti interessa creare i tuoi podcast o sviluppare app con l'IA, continua a leggere.

👉 Leggi l'articolo originale
[Irodori-TTS] Abbiamo provato a creare un video podcast con sincronizzazione labiale completamente automatizzata utilizzando la tecnologia TTS giapponese di tendenza e l'API HeyGen.
https://note.com/gentle_hawk873/n/n3caaa9e760c4