Automatic View Planning for 3D Reconstruction of Objects with Thin Features

View planning describes the process of planning view points, from which to record an object or environment for digitization. This thesis examines the applicability of view planning to the 3D reconstruction of insect specimens from extended depth of field images and depth maps generated with a focus stacking method. Insect specimens contain very thin features, such as legs and antennae, while the depth maps, generated during the focus stacking, contain large levels of uncertainty. Since focus stacking is usually not used for 3D reconstruction, there are no state-of-the-art view planning systems, which deal with the unique challenges of this data. Within this thesis, a view planning system with two components is designed to deal with the uncertainty explicitly. The first component utilizes volumetric view planning methods from well established research along with a novel sensor model, to represent the synthetic camera, generated from the focus stack. The second component is a novel 2D feature tracking module, which is designed to capture small details, which can not be recorded within a volumetric representation. The evaluation of the system shows that the application of view planning can still significantly reduce the time required for scene exploration and provide similar amounts of detail as an unplanned approach. Some future improvements are suggested, which may enable the system to capture even more detail.

View Planning beschreibt den Planungsprozess von Blickpunkten, von denen ein Objekt oder eine Umgebung aufgenommen werden sollte, um sie zu digitalisieren. Diese Arbeit untersucht die Anwendung von View Planning auf die 3D Rekonstruktion von Insekten auf Basis von Extended Depth Of Field Bildern und Tiefenkarten, die mit einer Focus Stacking Methode generiert wurden. Insektenkörper beinhalten eine Reihe dünner Strukturen, beispielsweise ihre Beine und Fühler, während die Tiefenkarten, die durch das Focus Stacking generiert wurden, große Ungenauigkeiten enthalten. Da Focus Stacking üblicherweise nicht zu Zwecken der 3D Rekonstruktion eingesetzt wird, gibt es auf dem aktuellen Stand der Forschung keine View Planning Systeme, welche mit den außergewöhnlichen Herausforderungen dieser Daten umgehen. In dieser Arbeit wird ein View Planning System aus zwei Komponenten entworfen, um explizit auf die Ungenauigkeiten einzugehen. Die erste Komponente nutzt volumetrische View Planning Methoden aus fest etablierter Forschung in Kombination mit einem neuartigen Sensor Modell. Dieses Sensor Modell repräsentiert die synthetische Kamera, die aus einem Focus Stack generiert wird. Die zweite Komponente ist ein neuartiges 2D Feature Tracking Modul, entworfen um feine Details zu erkennen, die nicht in der volumetrischen Repräsentation dargestellt werden können. Die Evaluation des Systems zeigt, dass die Anwendung von View Planning trotz der oben genannten Ungenauigkeiten die nötige Zeit für die Aufnahme reduzieren und ähnlichen Detailreichtum liefern kann wie ein ungeplanter Ansatz. Einige zukünftige Verbesserungen werden vorgeschlagen, welche dem System ermöglichen könnten noch mehr Details aufzunehmen.