Keine manuelle Trennung von Männer- und Frauenstimmen mehr? Automatisierte Podcast-Videoerstellung mit Irodori-TTS und HeyGen.

本ページはプロモーション（広告）を含みます。

❓ Ist es nicht schwierig, Videos von Gesprächen zwischen Männern und Frauen zu erstellen?

Das Erstellen von Podcast-Videos mit zwei sprechenden Personen ist ziemlich schwierig. Da die Audiospur des Gesprächs die männliche und die weibliche Stimme zu einer einzigen Spur zusammenfasst, muss man für ein Lippensynchronisationsvideo die Stimmen manuell trennen. Ich habe schon viele solcher Videos gemacht, aber dieser Prozess hat mich immer sehr viel Zeit gekostet.

Ist es wirklich so schwierig, die Stimmen einfach zu trennen? Soweit ich das verstanden habe, schneidet ihr sie einfach raus. Aber wenn der Sprecher in einem einzigen Video dutzende Male wechselt, verstehe ich, warum das so mühsam ist. Gab es denn keine bessere Lösung?

🎙️ Der Trend Irodori-TTS und die 30-Sekunden-Grenze

Da wandte ich mich dem vielbesprochenen japanischen TTS „Irodori-TTS“ zu. Es läuft auf meinem PC, und das Japanisch klingt sehr natürlich. Beim Testen stieß ich jedoch auf eine Einschränkung: Es kann nur bis zu 30 Sekunden Audio am Stück wiedergeben. Ein zehnminütiger Podcast lässt sich damit nicht komplett vorlesen.

Moment mal, nur 30 Sekunden? Heißt das, ich kann es nicht für ein längeres Podcast-Video verwenden? Schade, denn die Stimme klingt so natürlich. Wenn ich ein 10-minütiges Video machen will, muss ich es mehrmals schneiden und neu aufnehmen.

💡 Für einen Redeblock reichten 30 Sekunden aus.

Das dachte ich anfangs auch. Aber dann sah ich mir das Skript nochmal an und mir wurde etwas klar. Die Konversation besteht nur aus der Wiederholung von „Kenny spricht“ und „Erika antwortet“, wobei jede Äußerung nicht länger als 30 Sekunden dauert. Wenn man für jede Äußerung eine Stimme erstellt, sie in die richtige Reihenfolge bringt und die Stellen, an denen die andere Person spricht, mit Stille füllt, kann man von Anfang an Tonspuren nur mit Männern oder nur mit Frauen haben.

Verstehe. Wenn man sie also von Anfang an separat erstellt, muss man sie später nicht mehr trennen. Interessanterweise funktioniert die 30-Sekunden-Grenze tatsächlich als gute Trennlinie. Wie fügt man diese beiden Spuren nun zu einem Video zusammen?

🎬 Von Drehbüchern bis zu Videos, alles in einer App.

Durch die Bewegung des Avatar-Mundes auf den einzelnen Spuren lassen sich Lippensynchronisationsvideos von Männern und Frauen erstellen. Für die Lippensynchronisation nutzten wir die HeyGen-API. Das Design wurde in Zusammenarbeit mit ChatGPT entwickelt, die Implementierung übernahm Codex. So ist alles – von der Skripteingabe bis zum Export des fertigen Videos – in einer einzigen Desktop-Anwendung vereint. Zusätzlich können Sie Intro- und Outro-Sequenzen hinzufügen.

Ich habe auch das Video gesehen, das du mit der App gemacht hast. Am Anfang, als ihr beide gleichzeitig gesprochen habt, war euer Timing ziemlich daneben, aber am Ende wart ihr perfekt synchron, was echt beruhigend war. Mich würde aber interessieren, wie du das geschafft hast.

👉 Einzelheiten zur Technologieauswahl und den Herausforderungen, mit denen wir konfrontiert waren, finden Sie in der beigefügten Notiz.

Ich habe die Technologieauswahl, die Spezifikationen und die Herausforderungen während der Entwicklung der App in einem kurzen Artikel zusammengefasst. Darin beschreibe ich detailliert, warum ich eine Desktop-Anwendung entwickelt habe, warum ich mich für einen Bearbeitungsbildschirm ähnlich wie Canva entschieden habe und sogar, wie Irodori-TTS meine Stimme plötzlich wie die eines alten Mannes klingen ließ. Das fertige Video ist ebenfalls im Artikel zu sehen.

Die Geschichte mit der Stimme des Großvaters fasziniert mich total! Offenbar können KI-Stimmen nicht alles, was natürlich klingt, zuverlässig vorlesen. Wenn du Interesse daran hast, eigene Podcast-Videos zu erstellen oder Apps mit KI zu entwickeln, lies unbedingt weiter.

👉 Lesen Sie den Originalartikel
[Irodori-TTS] Wir haben versucht, ein vollautomatisches Lippensynchronisations-Podcast-Video mit Hilfe der trendigen japanischen TTS und der HeyGen-API zu erstellen.
https://note.com/gentle_hawk873/n/n3caaa9e760c4