Anzeige

Video-Test am Titanic-Wrack

Neue Technologie erzeugt synthetische Videos aus Textinformationen

U-Boot
Mit diesem kleinen U-Boot sind die Forschenden zum Wrack der Titanic hinabgetaucht und haben dort ihre neue Videotechnik getestet. © Alex Waibel/ KIT

Test in der Tiefsee: Um eine neue Video-Technologie zu testen, sind Forschende bis zum Wrack der Titanic hinuntergetaucht. Dort, in 4.000 Meter Tiefe, testeten sie eine Übertragungsmethode, durch die Videokonferenzen auch mit sehr geringen Bandbreiten möglich sind – sogar das Sonar eines U-Boots reicht als Trägersignal aus. Möglich wird dies, weil Ton und Bild in Text umgewandelt und erst beim Empfänger in ein synthetisch generiertes Video umgewandelt werden.

Spätestens seit Beginn der Corona-Pandemie sind Video-Konferenzen im Trend – immer mehr Menschen kommunizieren mittels Zoom, WebEx, Skype und Co. Doch gerade in ländlichen Gegenden oder bei Überlastung des Netzes läuft dies alles andere als glatt: Weil die Bandbreite fehlt, hemmen schlechte Übertragungsqualität, Aussetzer und Verbindungsabbrüche die Kommunikation.

Titanic-Wrack als Teststandort

Eine Lösung für solche Probleme könnte nun ein Team um Alex Waibel vom Karlsruher Institut für Technologie (KIT) und der Carnegie Mellon University gefunden haben. Sie haben eine Methode entwickelt, mit der Videodaten auch bei geringer Bandbreite übertragen werden können. Möglich ist dies, weil die Daten nicht als Bild und Ton gesendet, sondern vor der Übertragung in Text umgewandelt werden. Dieser umfasst deutlich weniger Daten und kommt daher auch bei schlechter Verbindung und begrenzter Leitungskapazität durch.

Ob und wie das System funktioniert, haben die Forschenden an einem ungewöhnlichen Ort getestet: Während eines Tauchgangs zum Wrack der Titanic im Nordatlantik. „Daten aus vier Kilometer Tiefe durch Salzwasser hindurch verlustfrei zu übertragen, ist extrem schwierig“, erklärt Waibel. Denn das Meerwasser schluckt nahezu alle kurzwelligeren Radiowellen, so dass eine Übertragung vom Tauchboot zum Mutterschiff an der Wasseroberfläche nur mit Sonar funktioniert – entsprechend begrenzt ist die Bandbreite.

Vom Text zum synthetischen Video

Konkret funktioniert das neue System so: Die von der Kamera und dem Mikrophon des Rechners aufgenommenen Ton- und Bildinformationen werden von einem speziellen Programm bearbeitet. Dieses wandelt den Dialog der Sprecher in Text um und reduziert auch die Bildinformationen auf das für ein Porträtbild nötige. Diese stark reduzierten Informationen werden nun an den Adressaten geschickt – beim Praxistest im U-Boot geschah dies über Sonar.

Anzeige

Beim Empfänger werden die reduzierten Daten mithilfe einer weiteren Software wieder zurücktransformiert: Aus den Bildinformationen generiert das System ein synthetisches Video des Sprechers. Parallel dazu wird der Text über ein System zur Sprachausgabe wieder in akustische Sprache umgewandelt. „Im Video ist dann eine synthetische Stimme zu hören, die auf die Stimme des Sprechers übertragen wird, so dass sie wie die Stimme des Sprechers klingt“, erklärt Waibel. „Zudem wird die Video Synthese so gesteuert, dass die Lippen des Sprechers sich dabei synchron mit dem Ton bewegen.“

Auch für die Synchronisation geeignet

Das Ergebnis ist ein komplett synthetisches, erst beim Empfänger erzeugtes Video, dass aber dank modernster Technologie dennoch einer Videokonferenz ähnelt. Anders als diese kann ein solches Video aber auch über eine geringe Bandbreite übertragen werden – sogar vom Meeresgrund. „Das wird in Zukunft die Kommunikation in gesprochener Sprache erleichtern“, sagt Waibel.

Wie der Forscher erklärt, eignet sich die Technologie aber auch, um Filme in eine andere Sprache zu übersetzen oder für die lippensynchrone Vertonung von Videos.

Quelle: Karlsruher Institut für Technologie

Anzeige

In den Schlagzeilen

Diaschauen zum Thema

Dossiers zum Thema

News des Tages

Nordseegrund

Nordsee: Eiszeitschluchten entstanden überraschend schnell

"Kuschelhormon" heilt das Herz

Special: Coronavirus und Covid-19

Wie das Gehirn unser biologisches Alter verrät

Bücher zum Thema

Top-Clicks der Woche