HeyGen AI-generated lip-sync translations are insane, could completely replace dubbing of movies eventually

HeyGen bietet AI-generierte, Lippen-synchrone Übersetzungen von Videos an, wobei sowohl die Stimme als auch die Emotionen und die Person selbst erhalten bleiben.

Habe mir ein paar Beispiel-Videos angesehen und die Qualität ist schon ziemlich beeindruckend und ein sinnvoller Einsatz und Weiterentwicklung der Deep-Fake-Technologie.

Die Frage ist natürlich, ob es für den professionellen Einsatz gut genug ist, aber kann mir schon vorstellen, dass man damit das ein oder andere Video in Zukunft extrem authentisch übersetzen kann und zwar zu extrem niedrigen Kosten. Enorme Produktivitätssteigerung.

Die Stimme klingt manchmal noch ein bisschen künstlich, roboterhaft (fällt aber nach einiger Zeit kaum auf) und bei der deutschen Übersetzung hackt es noch ein bisschen.

So wird das englische Idiom "There we go" im unteren Video wörtlich mit "da gehen wir" übersetzt, was natürlich Blödsinn ist.

Eine bessere Übersetzung wäre zum Beispiel "geht doch", "na bitte" oder "da haben wir's".

Ok, da haben wir's. Was sagt ihr zu lippen-synchronen Übersetzung mit der selben Stimme wie das Original mit HeyGen?

HeyGen AI-generated speakers and lip-sync translation

https://www.heygen.com/

https://labs.heygen.com/video-translate

Example

https://twitter.com/mrjonfinger/status/1701075571630047525

English

HeyGen offers AI-generated, lip-sync translations of videos, preserving both the voice and the emotions and the person themselves.

Watched a few sample videos and the quality is quite impressive and a useful use and advancement of deep fake technology.

The question is, of course, whether it is good enough for professional use, but I can already imagine that many videos will be translated extremely authentically with it in the future and at extremely low cost. Enormous increase in productivity.

The voice sometimes still sounds a bit artificial, robotic (but hardly noticeable after a while) and there are still some issues with the German translation.

For example, the English idiom "There we go" is literally translated as "da gehen wir" in the video below, which is of course incorrect.

A better translation would be, for example, "geht doch", "na bitte" or "da hast wir's".

Okay, there we go. What do you say to lip-sync translation with the same voice as the original person with HeyGen?

Live your Secrets and Hive Prosper 🍯

xx Viki @vikisecrets