Meta plant 3D-Repliken mithilfe von Handyscans

Meta plant 3D-Repliken mithilfe von Handyscans

Veröffentlicht am 23. Juni 2022 von LK.

Seit seiner Gründung im Jahr 2021 setzt das Unternehmen Meta – einst Facebook – alles daran, das sogenannte Metaversum aufzubauen (wir berichteten). Bald schon will es seinen Nutzern ermöglichen, sich selbst als Avatar in der virtuellen Realität zu digitalisieren, informiert das Portal für Technologie, Wissenschaft und digitale Kultur, Gizmo. Hierfür soll die Hardware des eigenen Smartphones ausreichen.

Bislang geschah die Digitalisierung realer Personen mithilfe von digitalen Stuntmen, schreibt Gizmo. Oft könne die Nachbildung vieler Marvel-Comic-Kostüme in Filmen nur durch digitale Stunt-Doubles erreicht werden.

«Für die Erstellung solcher Stellvertreter sind grosse Teams von talentierten Künstlern für visuelle Effekte und spezielle Ausrüstungen erforderlich, die alle zusammen die Leistung eines Schauspielers digitalisieren können. Dazu gehören riesige Tonbühnen, die mit Tracking-Kameras ausgestattet sind, und Schauspieler, die spezielle Kostüme und Make-up tragen müssen, damit ihre Gesichtszüge genau erfasst und wiedergegeben werden können. Das ist teuer und kompliziert, und deshalb sehen die meisten Online-Avatare wie Karikaturen aus, die der Person, die sie darstellen sollen, kaum ähneln.»

Zudem könne man für die Digitalisierung teure Vtuber-Plattformen beauftragen. Diese schafften es aber auch nicht, die entstandenen Kreaturen wie echte Menschen aussehen zu lassen. Das Metaversum müsse also attraktiver werden, wenn es Nutzer dazu animieren soll, mit ihren virtuellen Freunden mehr Zeit darin zu verbringen, informiert Gizmo. Eine praktische und kostengünstige Variante bestehe nun darin, Avatare mit der Smartphone-Kamera zu schaffen.

Das Portal verweist auf ein Projekt, das im August auf der virtuellen Konferenz «Siggraph 2022» im kanadischen Vancouver vorgestellt werden soll. Darin beschreibt ein Forscherteam von Metas Reality Labs einen neuen Ansatz, wie es einen Menschen zu einem vollständigen 3D-Modell digitalisieren will. Dieser Avatar soll in der Lage sein, eine breite Palette von Emotionen auszudrücken. Daran arbeite Meta schon seit Jahren.

2019 hätten Facebook-Forscher eine riesige Plattform namens Mugsy mit 171 hochauflösenden Kameras im Inneren einer riesigen Kugel genutzt, um die für diese 3D-Avatare erforderlichen Bilder aufzunehmen. 180 GB Daten pro Sekunde habe diese Kamera aufgezeichnet. Um digitalisiert zu werden, musste die entsprechende Person etwa eine Stunde lang im Zentrum der Kamerakugel sitzen, Skripte lesen und seltsame Grimassen schneiden.

Heute könne eine Selfie-Kamera die Mugsy-Plattform ablösen. Statt eine Stunde in einem Stuhl zu verbringen, umgeben von Hunderten von Kameras, müssen die Benutzer lediglich ihr Smartphone über ihr Gesicht bewegen und eine Reihe von 65 spezifischen Gesichtsausdrücken nachbilden. Nach Angaben der Forscher dauert das nur etwa dreieinhalb Minuten.

Nach der Aufnahme von Scans und der verschiedenen Gesichtsausdrücke benötige ein Computer noch etwa sechs Stunden für das Ergebnis. Aber auch hier zeigten sich die Vorteile der Cloud, da der einzelne Nutzer keinen High-End-PC zu Hause brauche, sondern das gesamte Rendering anderswo erledigen kann.

«Mit Hilfe eines neuronalen Netzwerks kann der neue Ansatz überraschend realistische 3D-Avatarmodelle erzeugen. Dieses wurde zuvor auf 3D-Gesichtsdaten von 255 verschiedenen Personen trainiert und anschliessend mit einer Mugsy-ähnlichen Kameraplattform aufgenommen.»

Weiterlesen (auf englisch).