남녀의 목소리를 나누는 수작업은 더 이상 필요 없어? Irodori-TTS와 HeyGen으로 팟캐스트 동영상 만들기를 자동화한 이야기

本ページはプロモーション（広告）を含みます。

❓ 남녀의 회화 동영상, 만드는 것이 힘들지 않아?

두 사람이 대화하는 팟캐스트 동영상은 만드는 것이 꽤 힘듭니다. 대화의 음성은, 남녀의 목소리가 1개의 트럭에 정리되어 버리기 때문에, 립싱크 동영상을 만들려면, 남성의 목소리와 여성의 목소리를 수작업으로 나눌 필요가 있었습니다. 나는 지금까지 몇 개나 만들어 왔습니다만, 매회 이 작업에 시간을 받고 있었습니다.

목소리를 나누는 것만으로 그렇게 힘들어? 듣고 있으면, 단지 잘라내는 것 같아 버리지만. 하지만, 1개의 동영상으로 수십번이나 화자가 바뀌면, 확실히 마음이 멀어질 것 같네요. 뭔가 좋은 방법이 없었습니까?

🎙️ 화제의 Irodori-TTS와 30초의 벽

거기서 눈을 돌린 것이, 화제의 일본어 TTS 「Irodori-TTS」입니다. 자신의 PC 안에서 움직이는데, 일본어가 매우 자연스럽습니다. 다만, 시험해 보면 하나의 제한이 있었습니다. 한 번에 생성할 수 있는 음성이 30초까지입니다. 10분의 팟캐스트를 통째로 읽을 수 있다는 것은 되지 않습니다.

어, 30초만? 그럼, 긴 팟캐스트 동영상에는 사용할 수 없다는 것? 모처럼 자연스러운 목소리인데 아깝지 않아. 10분의 동영상을 만든다면 여러 번 구분해서 다시 만들어야 하지 않는다.

💡 발화 블록이라면 30 초 만에 충분했습니다.

나도 처음에는 그렇게 생각했습니다. 그렇지만 대본을 재검토해 깨달았습니다. 회화는 「Kenny가 말한다」 「에리카가 대답한다」의 반복으로, 하나의 발화는 길어도 30초 정도. 발화마다 목소리를 만들어 차례로 늘어놓고, 상대가 말하는 부분을 무음으로 묻으면, 남성만, 여성만의 트랙이 처음부터 완성됩니다.

과연, 처음부터 따로 만들어 버리면, 나중에 나눌 필요가 없지. 30초의 제한이, 반대로 딱 좋은 단락이 되어 있다니 재미있어. 그럼, 그 2개의 트럭으로부터, 어떻게 동영상으로 하는 거야?

🎬 대본에서 동영상까지 하나의 앱으로

각 트랙에서 아바타의 입을 움직이면 남녀의 립싱크 동영상을 할 수 있습니다. 립싱크에는 HeyGen의 API를 사용했습니다. 설계는 ChatGPT에 상담하고, 구현은 Codex에 맡기고, 대본의 입력으로부터 완성 동영상의 내보내기까지를, 하나의 데스크탑 앱에 정리했습니다. 오프닝과 클로징도 가능합니다.

그 앱으로 만든 동영상, 나도 봤어. 오프닝에서 동시에 말하는 곳에, 두 명의 숨이 꽤 어긋나 있었지만, 클로징에서는 숨쉬고 안심해 버렸다. 하지만 어떻게 만들었는지 궁금해.

👉 기술 선정과 고생 이야기는 note에서 공개 중

앱의 기술 선정이나 사양, 그리고 만들어 보고 고생한 곳은, note의 기사에 정리하고 있습니다. 왜 데스크톱 앱으로 했는지, Canva와 같은 편집 화면으로 한 이유, Irodori-TTS에서 내 목소리가 갑자기 할아버지가 된 이야기까지 구체적으로 썼습니다. 완성된 동영상도 기사에서 볼 수 있습니다.

할아버지의 목소리 이야기, 굉장히 신경이 쓰인다! AI의 목소리는 자연이라면 무엇이든 안정적으로 읽을 수 있는 것이 아니다. 자신도 팟캐스트 동영상을 만들고 싶은 사람이나, AI로 앱을 만들고 싶은 사람은, 꼭 계속을 읽어 봐.

👉 전 기사 읽기
【Irodori-TTS】화제의 일본어 TTS와 HeyGen-API로 립싱크의 팟캐스트 동영상을 전자동으로 만들어 보았다
https://note.com/gentle_hawk873/n/n3caaa9e760c4