Rendering Representations for Scene Composition using Gaussian Splatting

Photorealistic scene composition, particularly the seamless insertion of virtual objects into reconstructed 3D environments, is crucial for applications ranging from augmented reality to digital content creation. Motivated by the high-fidelity reconstructions and explicit scene representation offered by 3D Gaussian Splatting (3DGS), this thesis investigates the challenges and opportunities of applying 3DGS for realistic object insertion. To this end, an object insertion pipeline is proposed that integrates virtual mesh-based objects with known geometry and material properties into complex scenes reconstructed via 3DGS, while accounting for realistic object-scene interactions, such as cast shadows, as well as adaptation to scene illumination. These effects are realized through a combination of local illumination estimation and geometry-guided shadow simulation, exploiting scene information derived from the 3DGS representation. Three different illumination estimation strategies are explored, highlighting a trade-off between composition quality and the availability of input data, ranging from multi-view Low Dynamic Range (LDR) images to the incorporation of High Dynamic Range (HDR) data. To support systematic evaluation, a synthetic dataset designed for object insertion tasks is introduced. Experimental results demonstrate that the proposed method produces visually coherent and physically plausible compositions for small-scale object insertions, while revealing fundamental limitations related to intrinsic deficiencies of the underlying 3DGS representation and the adopted illumination model. These limitations highlight the need for further investigation, particularly in more complex insertion scenarios. Overall, this work establishes a solid baseline for 3DGS-based scene composition and offers valuable insights into existing challenges and promising directions for future research.

Fotorealistische Szenenkomposition, insbesondere das nahtlose Einfügen virtueller Objekte in rekonstruierte 3D-Umgebungen, ist entscheidend für Anwendungen wie Augmented Reality und die Erstellung digitaler Inhalte. Motiviert durch die hochqualitativen Rekonstruktionen und die explizite Szenenrepräsentation von 3D Gaussian Splatting (3DGS), untersucht diese Arbeit die Herausforderungen und Chancen der Anwendung von 3DGS für realistische Objekteinfügung. Zu diesem Zweck wird eine Pipeline zur Objekteinfügung vorgeschlagen, die virtuelle, mesh-basierte Objekte mit bekannter Geometrie und Materialeigenschaften in komplexe, mittels 3DGS rekonstruierte Szenen integriert und dabei sowohl realistische Objekt-Szene-Interaktionen, wie etwa Schlagschatten, als auch die Anpassung an die Szenenbeleuchtung berücksichtigt. Diese Effekte werden durch eine Kombination aus lokaler Beleuchtungsschätzung und geometriegestützter Schattensimulation realisiert, wobei Szeneninformationen aus der 3DGS-Repräsentation ausgenutzt werden. Drei verschiedene Strategien zur Beleuchtungsschätzung werden untersucht, wobei ein Zielkonflikt zwischen der Kompositionsqualität und der Verfügbarkeit von Eingangsdaten aufgezeigt wird, von Multi-View-Aufnahmen mit niedrigem Dynamikumfang (LDR) bis hin zur Einbeziehung von Daten mit hohem Dynamikumfang (HDR). Zur systematischen Evaluierung wird ein synthetischer Datensatz entwickelt, der speziell für Objekteinfügungsaufgaben konzipiert ist. Experimentelle Ergebnisse zeigen, dass die vorgeschlagene Methode visuell kohärente und physikalisch plausible Kompositionen für die Einfügung von kleinen Objekten ermöglicht, zugleich jedoch grundlegende Einschränkungen offenlegt, die sich aus den inhärenten Defiziten der zugrundeliegenden
3DGS-Repräsentation und dem verwendeten Beleuchtungsmodell ergeben. Diese Einschränkungen verdeutlichen die Notwendigkeit weiterer Untersuchungen, insbesondere im Hinblick auf komplexere Einfügungsszenarien. Insgesamt etabliert diese Arbeit eine fundierte Ausgangsbasis für 3DGS-basierte Szenenkomposition und liefert wertvolle Einblicke in bestehende Herausforderungen sowie vielversprechende Perspektiven für zukünftige Forschung.