Fraunhofer-Gesellschaft

Publica

Hier finden Sie wissenschaftliche Publikationen aus den Fraunhofer-Instituten.

Precise depth image based real-time 3D difference detection

Präzise Echtzeit-Erfassung von 3D Differenzen anhand von Tiefenbildern
 
: Kahn, Svenja
: Fellner, Dieter W.; Stricker, Didier

:
Volltext (PDF; )

Darmstadt, 2014, 154 S.
Darmstadt, TU, Diss., 2014
URN: urn:nbn:de:tuda-tuprints-38709
Englisch
Dissertation, Elektronische Publikation
Fraunhofer IGD ()
3D camera; depth camera; realtime; Computer Aided Design (CAD); computer vision; Augmented reality (AR); 3D reconstruction; Business Field: Virtual engineering; Research Area: Computer vision (CV)

Abstract
3D difference detection is the task to verify whether the 3D geometry of a real object exactly corresponds to a 3D model of this object. Detecting differences between a real object and a 3D model of this object is for example required for industrial tasks such as prototyping, manufacturing and assembly control. State of the art approaches for 3D difference detection have the drawback that the difference detection is restricted to a single viewpoint from a static 3D position and that the differences cannot be detected in real time.
This thesis introduces real-time 3D difference detection with a hand-held depth camera. In contrast to previous works, with the proposed approach, geometric differences can be detected in real time and from arbitrary viewpoints. Therefore, the scan position of the 3D difference detection be changed on the fly, during the 3D scan. Thus, the user can move the scan position closer to the object to inspect details or to bypass occlusions.
The main research questions addressed by this thesis are:
Q1 How can 3D differences be detected in real time and from arbitrary viewpoints using a single depth camera?
Q2 Extending the first question, how can 3D differences be detected with a high precision?
Q3 Which accuracy can be achieved with concrete setups of the proposed concept for real time, depth image based 3D difference detection?
This thesis answers Q1 by introducing a real-time approach for depth image based 3D difference detection. The real-time difference detection is based on an algorithm which maps the 3D measurements of a depth camera onto an arbitrary 3D model in real time by fusing computer vision (depth imaging and pose estimation) with a computer graphics based analysis-by-synthesis approach.
Then, this thesis answers Q2 by providing solutions for enhancing the 3D difference detection accuracy, both by precise pose estimation and by reducing depth measurement noise. A precise variant of the 3D difference detection concept is proposed, which combines two main aspects. First, the precision of the depth camera's pose estimation is improved by coupling the depth camera with a very precise coordinate measuring machine. Second, measurement noise of the captured depth images is reduced and missing depth information is filled in by extending the 3D difference detection with 3D reconstruction.
The accuracy of the proposed 3D difference detection is quantified by a ground-truth based, quantitative evaluation. This provides an answer to Q3. The accuracy is evaluated both for the basic setup and for the variants that focus on a high precision. The quantitative evaluation using real-world data covers both the accuracy which can be achieved with a time-of-flight camera (SwissRanger 4000) and with a structured light depth camera (Kinect). With the basic setup and the structured light depth camera, differences of 8 to 24 millimeters can be detected from one meter measurement distance. With the enhancements proposed for precise 3D difference detection, differences of 4 to 12 millimeters can be detected from one meter measurement distance using the same depth camera.
By solving the challenges described by the three research question, this thesis provides a solution for precise real-time 3D difference detection based on depth images. With the approach proposed in this thesis, dense 3D differences can be detected in real time and from arbitrary viewpoints using a single depth camera. Furthermore, by coupling the depth camera with a coordinate measuring machine and by integrating 3D reconstruction in the 3D difference detection, 3D differences can be detected in real time and with a high precision.

 

Bei einem 3D Soll-Ist Vergleich wird überprüft, ob die 3D Geometrie eines gegebenen Objektes exakt mit einem 3D Modell dieses Objektes übereinstimmt. Das Erkennen von Unterschieden zwischen einem realen Objekt und einem 3D Modell dieses Objektes wird unter anderem für verschiedene industrielle Szenarien benötigt. Beispiele hierfür sind Prototyping, Produktion und Fertigungskontrolle.
Bisherige Ansätze zum Erkennen von Unterschieden zwischen einem Objekt und einem 3D Modell des Objektes haben den Nachteil, dass die Differenzerkennung jeweils nur von einem einzelnen, statischen Blickpunkt aus vorgenommen werden kann. In der Regel werden hierfür hochpräzise Laser Scanner eingesetzt. Diese müssen allerdings nach jeder Repositionierung aufwendig neu eingemessen werden. Darüber hinaus können die vorliegenden Unterschiede mit bisherigen Ansätzen nicht in Echtzeit erfasst werden. Dadurch ist es nicht möglich, die Scan-Position während des Soll-Ist Abgleichs flexibel zu variieren, um beispielsweise 3D Unterschiede an einem anderen Bereich zu inspizieren oder um Verdeckungen zu umgehen.
Diese Dissertation stellt einen Echtzeit 3D Soll-Ist Vergleich mit einer Tiefenkamera vor. Im Gegensatz zu bisherigen Ansätzen können geometrische Unterschiede damit in Echtzeit und von beliebigen Blickpunkten aus erfasst werden. Der Benutzer kann dabei die Betrachungsposition frei wählen und zur Laufzeit beliebig verändern. Durch eine Repositionierung der Tiefenkamera während des Soll-Ist Abgleichs können Verdeckungen umgangen, vorliegende Unterschiede aus verschiedenen Perspektiven betrachtet und Details durch eine Bewegung der Kamera näher zum jeweils relevanten Objekt inspiziert werden.
Die wesentlichen Forschungsfragen dieser Arbeit lauten: Wie können 3D Differenzen mit einer Tiefenkamera in Echtzeit, von frei wählbaren Blickpunkten aus und mit einer hohen Genauigkeit erkannt werden? Wie können die 3D Messungen der Tiefenkamera dabei in Echtzeit den der echten Geometrie entsprechenden Punkten auf dem 3D-Modell zugeordnet werden? Durch welche Einflussfaktoren wird die Genauigkeit des 3D Soll-Ist Abgleiches bestimmt? Wie kann die Genauigkeit der 3D Differenzerkennung unter Berücksichtigung dieser Einflussfaktoren verbessert werden? Welche Genauigkeit wird hierbei insgesamt erreicht?
Zur Beantwortung dieser Fragen stellt diese Arbeit zunächst ein Konzept zur tiefenbildbasierten 3D Differenzerkennung vor. Eine wichtige Komponente dieses Konzeptes ist ein Algorithmus, welcher jedem 3D Messpunkt der Tiefenkamera einen 3D Punkt auf der Oberfläche des 3D Modells zuordnet. Dieser Algorithmus ordnet den 3D Messpunkten der Tiefenkamera auf dem echten Objekt 3D Punkte auf dem virtuellen 3D Modell zu, deren Lage denjenigen der Messpunkte auf dem echten Objekt entspricht. Die Echtzeitfähigkeit dieses Algorithmus wird durch die Kombination von Computer Vision mit einem Computer Graphik basiertem "Analyse durch Synthese" Verfahren ermöglicht.
Darüber hinaus umfasst diese Arbeit eine Darstellung verschiedener Fehlerquellen, welche die Genauigkeit eine tiefenbildbasierten 3D Differenzerkennung einschränken. Die beiden Hauptquellen sind Ungenauigkeiten bei der Schätzung der Kamerapose sowie Ungenauigkeiten bei den von der Tiefenkamera erfassten Distanzwerten. Aus diesem Grund werden verschiedene Varianten zur Bestimmung der Pose der Tiefenkamera sowie zur Genauigkeitsverbesserung der erfassten 3D Messwerte vorgestellt und diskutiert. Darauf basierend wird eine Variante des 3D Soll-Ist Abgleichs entworfen, welche auf eine hohe Präzision ausgerichtet ist. Diese basiert zum einen auf einer sehr präzisen Bestimmung der Position und Orientierung der Tiefenkamera durch eine Kombination der Tiefenkamera mit einem portablen Messarm. Zum anderen wird das Rauschen der von der Tiefenkamera erfassten 3D Messwerte reduziert, indem ein Algorithmus zur 3D Oberflächenrekonstruktion in die 3D Differenzerkennung integriert wird.
Die Genauigkeit der 3D Differenzerkennung wird durch eine quantitative Evaluierung anhand aufgenommener Sequenzen evaluiert. Dabei wird sowohl die erreichbare Genauigkeit mit dem grundlegenden Setup untersucht als auch die Genauigkeit, welche mit der auf Präzision ausgerichteten Variante erreicht wird. Die Evaluierung wird sowohl für eine Time-of-Flight Tiefenkamera (SwissRanger 4000) als auch für eine Tiefenkamera durchgeführt, welche 3D Messwerte durch ein "Structured Light" Verfahren anhand von projiziertem, strukturierten Licht bestimmt (Kinect). Mit dem grundlegenden Setup und der letztgenannten Tiefenkamera können Unterschiede erkannt werden, die (abhängig von der Messdistanz) mindestens 8 bis 24 Millimeter betragen. Mit dem Setup, welches auf eine hohe Präzision ausgerichtet ist, können dagegen bereits Unterschiede ab einer Abweichung von 4 bis 12 Millimetern erkannt werden.

: http://publica.fraunhofer.de/dokumente/N-477657.html