Automatic optimization of 3D mesh data for real-time online presentation

Interactive 3D experiences are becoming increasingly available as a part of our every-day life. Examples are ranging from common video games to virtual reality experiences and augmented reality apps on smart phones. A rapidly growing area are interactive 3D applications running inside common Web browsers, enabling to serve millions of users worldwide using solely standard Web technology. However, while Web-based 3D presentation technology is getting more and more advanced, a crucial problem that remains is the optimization of 3D mesh data, such as highly detailed 3D scans, for efficient transmission and online presentation. In this context, the need for dedicated 3D experts, being able to work with various specialized tools, significantly limits the scalability of 3D optimization workflows in many important areas, such as Web-based 3D retail or online presentation of cultural heritage. Moreover, since Web-based 3D experiences are nowadays ubiquitous, an optimal delivery format must work well on a wide range of possible client devices, including tablet PCs and smart phones, while still offering acceptable compression rates and progressive streaming. Automatically turning high-resolution 3D meshes into compact 3D representations for online presentations, using an efficient standard format for compression and transmission, is therefore an important key challenge, which remained largely unsolved so far. Within this thesis, a fully-automated pipeline for appearance-preserving optimization of 3D mesh data is presented, enabling direct conversion of high-resolution 3D meshes to an optimized format for real-time online presentation. The first part of this thesis discusses 3D mesh processing algorithms for fully-automatic optimization of 3D mesh data, including mesh simplification and texture mapping. In this context, a novel saliency detection method for mesh simplification is presented, as well as a new method for automatic overlap removal in parameterizations using cuts with minimum length and, finally, a method to compact texture atlases using a cut-and-repack strategy. The second part of the thesis deals with the design of an optimized format for 3D mesh data on the Web. It covers various relevant aspects, such as efficient encoding of mesh geometry and mesh topology, a physically-based format for material data, and progressive streaming of textured triangle meshes. The contributions made in this context during the creation of this thesis had notable impact on the design of the current standard format for 3D mesh data on the Web, glTF 2.0, which is nowadays supported by the vast majority of online 3D viewers.

Interaktive 3D-Anwendungen werden mehr und mehr Teil unseres Alltags. Beispiele reichen von gewöhnlichen Videospielen über virtuelle Realitäten bis hin zu Anwendungen der erweiterten Realität mit Hilfe von Smartphones. Ein rapide wachsendes Anwendungsfeld sind interaktive 3D-Webanwendungen, welche in gewöhnlichen Webbrowsern laufen und durch die ausschließliche Verwendung von Standard-Webtechnologie unmittelbar Millionen von Nutzern weltweit erreichen. Während sich die webbasierte 3D-Präsentationstechnologie kontinuierlich weiter entwickelt ist allerdings gleichzeitig festzustellen, dass durch die Anforderung nach der Optimierung von 3D-Netzdaten, wie z.B. von detaillierten 3D-Scans, weiterhin ein entscheidendes Problem besteht. In diesem Kontext schränkt die Notwendigkeit, auf hochspezialisierte 3D-Experten zurück zu greifen, welche mit verschiedensten Optimierungswerkzeugen vertraut sind, die Skalierbarkeit von Prozessen in vielen wichtigen Bereichen deutlich ein. Dazu zählen beispielsweise 3D-Anwendungen für den Einzelhandel oder die Online-Präsentation von Kulturerbe. Darüber hinaus ergibt aus der Tatsache, dass webbasierte 3DAnwendungen heute überall verfügbar sind, eine weitere Hürde: ein optimales Format zur Datenübertragung muss auf zahlreichen Endgeräten, wie z.B. auf Tablet-PCs oder Smartphones, gut funktionieren und gleichzeitig gute Kompressionsraten und die Möglichkeit zur progressiven Übertragung (Streaming) bieten. Die automatische Konvertierung von hochaufgelösten 3D-Netzdaten in kompakte 3D-Repräsentationen, welche sich zur Online-Darstellung eignen, unter Verwendung eines effizienten Standardformats zur Kompression und Datenübertragung, stellt daher bislang eine ungelöste Herausforderung dar. Im Rahmen der vorliegenden Arbeit wird eine vollautomatische Verarbeitungspipeline zur detailerhaltenden Optimierung von 3D-Netzdaten vorgestellt, welche die direkte Konvertierung von hochaufgelösten 3D-Netzen in ein für die Online-Präsentation optimiertes Format ermöglicht. Der erste Teil der Arbeit beschäfigt sich mit Algorithmen der 3D-Geometrieverarbeitung zur vollautomatischen Optimierung von 3D-Netzdaten, was die beiden Bereiche Netzvereinfachung und der Texturierung beinhaltet. In diesem Kontext wird eine neue Methode zur Bestimmung der lokalen Wichtigkeit (Salienz) im Rahmen der Netzvereinfachung vorgestellt, sowie eine Methode zum automatischen Beheben der Überlappungen von Parameterisierungen (unter Verwendung von Schnitten minimaler Länge) und, schließlich, ein neuer Ansatz zur Verdichtung von Texturatlanten, basierend auf wiederholten Schneide- und Packoperationen. Der zweite Teil der Arbeit beschäftigt sich mit dem Entwurf eines optimierten Formates für 3D-Netzdaten im Web. Dabei werden zahlreiche relevante Aspekte berücksichtigt, wie die effiziente Kodierung von Netzgeometrie und -topologie, ein physikalisch basiertes Format für Materialdaten, sowie die progressive Übertragung von texturierten 3D-Netzen. Die Beiträge welche in diesem Kontext durch die vorliegende Arbeit erbracht wurden hatten einen merklichen Einfluss auf die Gestaltung des aktuellen Standardformats für 3D-Daten im Web, glTF 2.0, welches von heutzutage verfügbarer Software zur webbasierten 3D-Darstellung mehrheitlich unterstützt wird.