Enhancing the Texture Quality of 3D Building Models

3D-City Models have many applications, e.g urban emergency simulations, city planning, 3D city visualization for movies, games and more. Textures play an important role in realizing photorealistic and immersive renderings. Often these textures are of low quality due to the complexity of mass scale texture acquisition. One severe artefact is the occlusion of building facades through neighbouring roofs and trees. This thesis will explore a method that combines recent development in deep learning inpainting methods with domain specific knowledge about building facades. This method is able to remove an occlusion from a building facade by filling it with visually coherent regular facade elements. A state-of-the-art deep learning inpainting method has been extended by using segmentation information as additional input and additional loss metrics among other extensions. These proposed adaptions are able to improve upon current state-of-the-art methods by reducing blurriness, checkerboard artefacts, color smear and by increasing structural integrity of the building facades especially for inpainting large images.

3D-Stadtmodelle haben viele Aplikationen, z.B. Notfallszenariensimulationen, Städteplanung, 3D Stadtvisualisierungen for Spiele und Filme und vieles mehr. Texturen spielen dabei eine wichtige Rolle um Fotorealistische und Immersive Visualisierungen zu erstellen. Oft leiden diese Texturen an niedriger Qualität durch die Komplexität von massenweiser Texturgewinnung. Ein häufiges Problem ist die Verdeckung der Gebäude Facade durch benachbarte Dächer oder Bäume. Diese Thesis wird eine Methode explorieren, die neuere Entwicklungen in Deep Learning Bildvervollständigungsmethoden mit domänenspezifischen Erkenntnissen über Gebäudefacaden kombiniert. Diese Methode kann Verdeckungen von Gebäudefacaden entfernen, indem visuell koherente regelmäßige Facadenelemente eingefügt werden. Eine Deep Learning Bildvervollständigungsmethode vom momentanen Stand der Technik wurde erweitert, indem unter anderem Segmentierungsinformation als zusätzliche Eingabe verwendet wurde und indem weitere Verlustmetriken hinzugefügt wurden. Die vorgeschlagenen Anpassungen können Methoden vom aktuellen Stand der 7 Technik übertreffen, da Unschärfe, Schachbrettmuster und Farbverschmierung reduziert werden und die Strukturelle Integrität der Facade erhöht wird, besonders für große Bilder.