The delta radiance field

The wide availability of mobile devices capable of computing high fidelity graphics in real-time has sparked a renewed interest in the development and research of Augmented Reality applications. Within the large spectrum of mixed real and virtual elements one specific area is dedicated to produce realistic augmentations with the aim of presenting virtual copies of real existing objects or soon to be produced products. Surprisingly though, the current state of this area leaves much to be desired: Augmenting objects in current systems are often presented without any reconstructed lighting whatsoever and therefore transfer an impression of being glued over a camera image rather than augmenting reality. In light of the advances in the movie industry, which has handled cases of mixed realities from one extreme end to another, it is a legitimate question to ask why such advances did not fully reflect onto Augmented Reality simulations as well. Generally understood to be real-time applications which reconstruct the spatial relation of real world elements and virtual objects, Augmented Reality has to deal with several uncertainties. Among them, unknown illumination and real scene conditions are the most important. Any kind of reconstruction of real world properties in an ad-hoc manner must likewise be incorporated into an algorithm responsible for shading virtual objects and transferring virtual light to real surfaces in an ad-hoc fashion. The immersiveness of an Augmented Reality simulation is, next to its realism and accuracy, primarily dependent on its responsiveness. Any computation affecting the final image must be computed in real-time. This condition rules out many of the methods used for movie production. The remaining real-time options face three problems: The shading of virtual surfaces under real natural illumination, the relighting of real surfaces according to the change in illumination due to the introduction of a new object into a scene, and the believable global interaction of real and virtual light. This dissertation presents contributions to answer the problems at hand. Current state-of-the-art methods build on Differential Rendering techniques to fuse global illumination algorithms into AR environments. This simple approach has a computationally costly downside, which limits the options for believable light transfer even further. This dissertation explores new shading and relighting algorithms built on a mathematical foundation replacing Differential Rendering. The result not only presents a more efficient competitor to the current state-of-the-art in global illumination relighting, but also advances the field with the ability to simulate effects which have not been demonstrated by contemporary publications until now.

Die weite Verbreitung von mobilen Endgeräten, welche in der Lage sind, realitätsnahe Bilder in Echtzeit zu berechnen, haben ein erneutes Interesse an der Forschung und Weiterentwicklung von Augmented Reality Anwendungen geweckt. Innerhalb des breiten Spektrums von vermischten reellen und virtuellen Elementen existiert ein spezieller Bereich mit dem Ziel, reale Szenen um virtuelle Kopien real existierender Objekte oder bald verfügbarer Produkte visuell plausibel zu erweitern. Überraschenderweise lässt allerdings der momentane Stand der Technik an genau dieser Stelle stark zu wünschen übrig: Augmentierende Objekte werden in aktuellen Systemen oft ohne jegliche Rekonstruktion von Umgebung und Beleuchtung in die reale Szene integriert und vermitteln den Eindruck, das Kamerabild einfach zu übermalen anstatt die Realität zu erweitern. Angesichts der Fortschritte in der Filmindustrie, die Vermischungen von Realitäten in allen Extremfällen bereits handhabt, ist es angebracht zu fragen, warum solche Erkenntnisse nicht bereits ihren Weg zurück in den Augmented Reality Sektor gefunden haben. Augmented Reality Anwendungen, welche grundsätzlich als Echtzeitandwendungen verstanden werden und die räumliche Zuordnung zwischen virtuellen und realen Elementen rekonstruieren, müssen zur Laufzeit auf weitere lückenhafte Informationen über die reale Szene reagieren. Darunter finden sich die unbekannten Beleuchtungsverhältnisse der realen Szene und die unbekannten Eigenschaften realer Oberflächen. Jedwede Rekonstruktion die zur Laufzeit ad-hoc geschieht muss mit einem entsprechenden Algorithmus arbeiten, der die Beleuchtung virtueller Objekte und den Transfer von virtuellem Licht auf echte Oberflächen ebenso ad-hoc berechnet. Der immersive Eindruck einer Augmented Reality Simulation ist, abgesehen von Realismus und Genauigkeit des Darstellungsverfahrens, primär abhängig von ihrer Reaktions- und Verarbeitungsgeschwindigkeit. Alle Berechnungen die das Endbild betreffen müssen in Echtzeit durchgeführt werden. Diese Bedingung schließt jedoch viele Verfahren, die in der Filmproduktion zum Einsatz kommen, direkt aus. Die verbleibenden Echtzeit-Optionen sind drei Problemen gegenübergestellt: Dem Shading von virtuellen Oberflächen unter Einbezug natürlicher Beleuchtung, der Nachbeleuchtung realer Oberflächen entsprechend der veränderten Beleuchtungssituation durch das neu eingefügten Objekt, und glaubhafte globale Interaktion von realem und virtuellem Licht. Diese Dissertation präsentiert neue Beiträge, um alle drei Probleme zu lösen. Der aktuelle Stand der Technik baut auf sogenannten Differential Rendering Techniken auf, um Globale Beleuchtungsalgorithmen in AR Szenarien zu integrieren. Dieser einfache Ansatz hat jedoch einen rechenaufwändige Kehrseite, die die Möglichkeiten, glaubhaften globalen Lichttransfer zu simulieren, stark eingrenzt. Diese Dissertation untersucht neue Shading- und Nachbeleuchtungsalgorithmen, die auf einem neuen mathematischen Grundwerk aufbauen, welches Differential Rendering ersetzt. Die daraus resultierenden Algorithmen sind nicht nur effizienter als aktuelle, konkurrierende Verfahren, sondern erweitern das Feld um Effekte die bisher in keinen anderen Publikationen demonstriert wurden.