Investigation on Sensor Fusion with Neural Radiance Fields

This thesis investigates the application of Neural Radiance Fields (NeRF) with multi-sensor setups, especially for scenarios where only the main sensor’s pose is known. The investigation evaluates the capability of NeRF to learn translation and rotation corrections for each secondary sensor with the goal of estimating the missing poses. To achieve this, a pose correction model is introduced, which optimizes those correction parameters and is integrated into the Nerfacto training pipeline in the Nerfstudio framework. Detailed experiments on synthetic data are conducted to assess the performance of the proposed approach for a multitude of scenarios. The research provides initial insight and demonstrates that NeRF can accurately learn pose correction parameters within a limited range, indicating sensitivity to large translations and challenges in rotation corrections. Despite these challenges, the findings underscore the adaptability of NeRF for machine learning-based reconstruction techniques for multi-sensor platforms.

In dieser Arbeit wird die Anwendbarkeit von Neural Radiance Fields (NeRF) für Multisensor-Setups untersucht, insbesondere für Szenarien, in denen nur die Pose des Hauptsensors bekannt ist. Die Untersuchung evaluiert die Fähigkeit von NeRF, Translations- und Rotationskorrekturen für jeden zusätzlichen Sensor zu erlernen und somit die fehlenden Posen zu schätzen. Um dies zu erreichen, wird ein Modell zur Posenkorrektur eingeführt, welches diese Korrekturparameter optimiert. Dieses Korrekturmodell ist in die Trainingspipeline des NeRF Modells Nerfacto im Nerfstudio-Framework integriert. Es werden detaillierte Experimente mit synthetischen Daten durchgeführt, um die Performanz des vorgeschlagenen Ansatzes für verschieden Szenarien zu bewerten. Die Arbeit in dieser Thesis liefert einen ersten Einblick und zeigt, dass NeRF innerhalb eines begrenzten Wertebereichs die Parameter für die Lagekorrektur erlernen kann. Diese Einschränkung ist auf die Empfindlichkeit gegenüber großen Translationen und Herausforderungen bei Rotationskorrekturen zurückzuführen. Trotz dieser Herausforderungen unterstreichen die Ergebnisse die Anpassungsfähigkeit von NeRF für auf maschinellem Lernen basierende Rekonstruktionstechniken für Multi-Sensor-Plattformen.