Deepdub sammelt 20 Millionen Dollar für KI-gestütztes Synchronisieren, das die Originalstimmen der Schauspieler verwendet – TechCrunch

Deepdub sammelt 20 Millionen Dollar für KI-gestütztes Synchronisieren, das die Originalstimmen der Schauspieler verwendet – BesteFuhrer

Das koreanische Drama „Squid Game“ von Netflix war eine der meistgesehenen synchronisierten Serien aller Zeiten und beweist das enorme Potenzial für fremdsprachige Programme, ein Hit auf ausländischen Märkten zu werden. Jetzt nutzt ein Startup namens Deepdub die wachsende Nachfrage nach lokalisierten Inhalten, indem Teile des Synchronisationsprozesses mithilfe von KI-Technologie automatisiert werden. Mit seiner End-to-End-Plattform kann Deepdub die Zeit verkürzen, die für die Fertigstellung eines Synchronisationsprojekts benötigt wird, sodass Eigentümer von Inhalten und Studios Ergebnisse in Wochen statt in Monaten erzielen können.

Darüber hinaus werden nur wenige Minuten der Stimmen der Schauspieler verwendet – sodass die synchronisierte Version eher wie das Original klingt.

Das Startup aus Tel Aviv hat jetzt eine Serie-A-Finanzierung in Höhe von 20 Millionen US-Dollar für seine Bemühungen abgeschlossen, die von der in New York ansässigen Investmentfirma Insight Partners geleitet werden.

Die bestehenden Investoren Booster Ventures und Stardom Ventures nahmen neben neuen Investoren bei Swift VC ebenfalls an der Runde teil. Deepdub wurde zusätzlich von mehreren Engeln unterstützt, darunter Emiliano Calemzuk, ehemaliger Präsident der Fox Television Studios; Kevin Reilly, ehemaliger CCO von HBO Max; Danny Grander, Mitbegründer von Snyk; Roi Tiger VP, Technik bei Meta; plus Gideon Marks und Daniel Chadash.

Das Unternehmen wurde 2019 von den beiden Brüdern Ofir und Nir Krakowski gegründet, deren Hintergrund unter anderem maschinelles Lernen und KI-Expertise waren.

Der ältere Bruder Ofir „begründete im Wesentlichen die Abteilung für maschinelles Lernen der israelischen Luftwaffe“, erklärt sein jüngerer Bruder Oz Krakowski, der auch CRO von Deepdub ist und dem Startup zu einem späteren Zeitpunkt beigetreten ist. (Ofir hatte Positionen in der IAF Ofek-Einheit inne, darunter Leiter der Datenwissenschaft und -integration, Chefarchitekt und CTO der KI-Branche sowie KI-Forschungs- und Innovationsmanager.)

Der jüngste Bruder des Teams, Nir, verfügt unterdessen über rund 25 Jahre Erfahrung in der technologischen Forschung und Entwicklung, einschließlich in Cybersicherheitsfunktionen, und war zuvor Mitbegründer des von Y Combinator unterstützten Web-Gateways Metapacket.

Die Brüder waren von Natur aus unternehmerisch und suchten nach einem neuen Geschäft, in dem sie ihr im Laufe der Jahre erworbenes Wissen so einsetzen konnten, dass es den Verbrauchern den größten Nutzen bringt, sagt Oz. Sie landeten auf Deepdub, nachdem sie Gespräche mit mehreren Leuten aus der Branche geführt hatten.

Mit Deepdub ist es das Ziel, die Sprachbarrieren und kulturellen Lücken von Unterhaltungserlebnissen mithilfe fortschrittlicher KI-Technologien mit einer End-to-End-Plattform für Inhaltsersteller, Inhaltseigentümer und Distributoren zu überbrücken. Das bedeutet, dass Deepdub nicht nur am eigentlichen Synchronisationsprozess selbst beteiligt ist, sondern auch alle anderen Aspekte eines Synchronisationsprojekts unterstützt, einschließlich der Übersetzung, der Anpassung und des Mixes. Mit anderen Worten, es ist nicht nur eine KI-Plattform, es ist ein vollständiges Geschäft, das bei jedem Schritt auf dem Weg menschliche Experten einbezieht, die helfen, die Arbeit zu überwachen und bei Bedarf Korrekturen vorzunehmen.

Aber Deepdubs Einsatz von KI und maschinellem Lernen macht es zu einer einzigartigen Lösung in diesem Bereich.

Während ein herkömmlicher Synchronisationsprozess 15 bis 20 Wochen dauern kann, um einen zweistündigen Film in eine andere Sprache zu konvertieren, kann Deepdub dasselbe Projekt in nur etwa vier Wochen abschließen. Deepdub nimmt dazu zunächst zwei bis drei Minuten die Stimmdaten der Originalschauspieler und erstellt daraus ein Modell, das die Eigenschaften der Originalstimmen in die Zielsprache übersetzt. Und, so Oz, die KI-Stimmen von Deepdub können „schreien, schreien und all die Dinge tun, die für KI-Stimmen im Allgemeinen sehr kompliziert sind“, sagt er.

„Wir haben im Grunde etwas geknackt, was bisher noch nicht gemacht wurde“, fügt Oz hinzu. „Sie und ich werden nicht erkennen können, dass dies eine Maschine ist. Das wird ganz wie eine menschliche Stimme klingen.“

Die Details, wie dieser Prozess durchgeführt wird, sind die geheime Zutat des Startups – mit anderen Worten, sie sagen nicht, dass sie der veröffentlichten akademischen Forschung zu diesem Thema voraus sind. Der Beweis, behauptet Deepdub, liegt im Output, der Investorenunterstützung und den Studiobeziehungen, die es gesammelt hat.

Zum Beispiel ist Deepdub kürzlich eine Partnerschaft mit mehreren Serien mit dem Streaming-Dienst Topic.com eingegangen, um dessen Katalog ausländischer Fernsehsendungen ins Englische zu synchronisieren. Deepdub war auch das erste Unternehmen, das einen ganzen Spielfilm mithilfe von KI-Stimmen („Every Time I Die“) ins lateinamerikanische Spanisch synchronisiert hat. Und jetzt sagt Deepdub, dass es sowohl mit kleinen als auch mit großen Hollywood-Studios an Projekten zusammenarbeitet, kann aber aufgrund von Geheimhaltungsvereinbarungen nicht sagen, welche.

Es wird jedoch viel darüber diskutiert, ob die Zuschauer fremdsprachige Filme und Shows in ihrer Originalsprache mit Untertiteln oder in der synchronisierten Version genießen sollten. „Squid Game“ von Netflix zum Beispiel hat vielleicht viele synchronisierte Streams gesehen, aber es gab Kontroversen darüber, wie die synchronisierte Version im Vergleich zum ursprünglichen koreanischen Dialog an Genauigkeit mangelte. Sogar der Schöpfer von „Squid Game“ empfahl den Zuschauern, sich stattdessen die untertitelte Version anzusehen.

Eines der Probleme ist, dass Synchronfassungen versuchen, die Sprache an die Bewegung der Lippen der Schauspieler anzupassen, um das Seherlebnis nicht zu beeinträchtigen. Aber das ist eine Kunst – und es kann schwierig sein, es richtig zu machen. Einige Synchronsprecher müssen mit anderen Wörtern und Phrasen gestreckt oder gekürzt werden, damit die synchronisierte Rede mit der Mundbewegung des Schauspielers übereinstimmt, was die Bedeutung des Gesagten leicht verändern kann.

Oz argumentiert natürlich, dass die synchronisierte Version besser ist als das Lesen von Untertiteln.

„Manche Leute können nicht so gut lesen“, gibt er zu bedenken. „Und beim Lesen von Untertiteln schaut man auf den unteren Rand des Bildschirms … bei Untertiteln spult man manchmal zurück, nur um zu sehen, was wirklich passiert ist, weil man es verpasst hat“, sagt er.

Darüber hinaus wächst die Nachfrage nach synchronisierten Inhalten, da die Streaming-Branche wettbewerbsintensiver wird. Die Möglichkeit, Titel einfacher in andere Sprachen zu konvertieren, kann dazu beitragen, das Angebot einer Plattform zu erweitern, ohne dass direkte Investitionen in die Produktion neuer Originalinhalte oder in den Erwerb oder die Lizenzierung von Titeln anderer Studios erforderlich sind. Es kann einen Mehrwert aus einem bestehenden Katalog bieten, indem es Titeln ermöglicht, ein globales Publikum zu erreichen.

Auch dieser Trend ist auf dem Vormarsch. Kürzlich bemerkte Greg Peters, COO und Chief Product Officer von Netflix, dass der Streamer im Jahr 2021 rund 5 Millionen Laufzeitminuten von Inhalten synchronisiert und 7 Millionen untertitelt hatte. „In dieser Größenordnung lernen wir […] wie wir diese Lokalisierung für unsere Mitglieder attraktiver machen können“, sagte er.

„Wir bewegen uns auf eine Welt zu, in der KI jetzt das kreative Potenzial der Menschheit erweitert“, sagte George Mathew, Managing Partner bei Insight Partners, der mit dieser Runde dem Board of Directors von Deepdub beitritt. „Angesichts der fortschreitenden Globalisierung der Medienbranche sehen wir die KI/NLP-basierte Dubbing-Plattform von Deepdub als wesentlich an, um großartige Inhalte für das Publikum überall zu skalieren. Wir glauben, dass Deepdub den nächsten großen Sprung nach vorne in der globalen Verbreitung, Interaktion und Nutzung von Inhalten darstellt“, fügte er hinzu.

Das Startup sagte, es werde die Mittel verwenden, um sein derzeitiges Team von 30 Vollzeitmitarbeitern zu verdoppeln, von denen die meisten in Tel Aviv ansässig sind. Es stellt in den Bereichen Vertrieb und Marketing ein, um die Markenbekanntheit und die globale Marktreichweite zu steigern, sowie Forscher und Ingenieure, um seine KI-Engine zu verbessern und seine Plattform weiterzuentwickeln.

Leave a Comment

Your email address will not be published.