LPNotes

无需再手动分离男女声?使用 Irodori-TTS 和 HeyGen 实现播客视频的自动化制作。

本ページはプロモーション(広告)を含みます。

❓ 制作男女对话的视频难道不难吗?

制作两人对话的播客视频相当困难。由于对话音频将男女声合并成一个音轨,因此制作对口型视频需要手动将男女声分离。我制作过很多这样的视频,但这个过程总是非常耗时。

难道把人声分离真的那么难吗?我听你这么说,好像只是把声音剪掉而已。但如果一个视频里说话的人换了几十次,我能理解为什么会这么麻烦。难道就没有更好的办法吗?

🎙️ 热门的 Irodori-TTS 和 30 秒障碍

这时,我开始关注备受瞩目的日语文本转语音软件“Irodori-TTS”。它在我的电脑上运行良好,日语发音非常自然。然而,试用后我发现一个限制:它一次只能生成最多30秒的音频,无法朗读完整的10分钟播客。

等等,只有30秒?那岂不是说我不能用它来做长播客视频?太可惜了,因为这声音听起来很自然。如果我想做个10分钟的视频,就得剪来剪去,重做好几次。

💡 对于演讲障碍,30 秒就足够了。

我一开始也这么想。但后来我又看了一遍剧本,意识到了一点。对话其实就是“肯尼说话”和“艾丽卡回答”的重复,每句话都不超过30秒。如果你给每句话都配上不同的声音,把它们按顺序排列,然后在对方说话的地方用静音填补,你就可以从一开始就做出只有男声或只有女声的音轨了。

我明白了,所以如果一开始就分别创建它们,之后就不需要再分开了。很有意思的是,30 秒的限制确实是一个很好的分割线。那么,如何将这两个音轨合并成一个视频呢?

🎬 从剧本到视频,尽在一个应用程序中。

通过移动每个音轨上虚拟人物的嘴部动作,您可以制作男女对口型视频。我们使用了 HeyGen API 进行对口型同步。我们咨询了 ChatGPT 进行设计,并将实现工作交给了 Codex,因此我们将从脚本输入到导出最终视频的所有功能都集成到了一个桌面应用程序中。您还可以添加片头和片尾。

我也看了你用那个应用做的视频。开头你们俩同时说话的时候,节奏有点不对,但到了结尾,你们就完全同步了,真是太好了。不过我很好奇你是怎么做到的。

👉 有关技术选择和挑战的详细信息请参见说明。

我在一篇笔记文章中总结了这款应用的技术选择、规格以及开发过程中遇到的挑战。文章详细阐述了我为什么选择桌面应用,为什么选择类似 Canva 的编辑界面,甚至还提到了 Irodori-TTS 如何让我的声音听起来像个老头。你也可以在文章中看到最终的视频。

我对爷爷的声音这个故事非常感兴趣!看来人工智能语音识别并不能可靠地识别所有听起来自然的声音。如果你有兴趣制作自己的播客视频或开发人工智能应用程序,请务必继续阅读。

👉 阅读原文
[Irodori-TTS] 我们尝试使用流行的日语 TTS 和 HeyGen-API 创建全自动唇形同步播客视频。
https://note.com/gentle_hawk873/n/n3caaa9e760c4