Fraunhofer-Gesellschaft

Publica

Hier finden Sie wissenschaftliche Publikationen aus den Fraunhofer-Instituten.

Feature-basiertes Tracking mittels Bag of Visual Words

 
: Ahrens, Katrin
: Wientapper, Folker

Darmstadt, 2011, 111 S.
Darmstadt, FH, Master Thesis, 2011
Deutsch
Master Thesis
Fraunhofer IGD ()
tracking; features; image recognition; scene analysis; Business Field: Digital society; Research Area: Confluence of graphics and vision

Abstract
Motivation dieser Arbeit ist die Entwicklung eines Programms zur Unterstützung von Monteuren bei der Wartung und Reparatur eines Fahrzeugs. Durch automatische Einblendungen, welche in der erfassten Szene angezeigt werden, wird vorgegeben welcher Schritt als nächstes ausgeführt werden soll. Unter anderem sollen die zu bearbeitenden Stellen durch das Einblenden von CAD-Objekten hervorgehoben werden.
Um die Objekte an der richtigen Stelle einzublenden, muss die aktuelle Position und Orientierung der Kamera bekannt sein. Zur Berechnung der Kamerapose ist ein zuverlässiges Feature-Matching nötig, bei dem die benötigte 3D-Position der Features bestimmt wird. Da das System in Echtzeit arbeiten soll, kommt es hierbei vor allem auf eine schnelle aber dennoch genaue Ausführung an. Eine vielversprechende Methode zur Verkürzung der benötigten Rechenzeit besteht in der Kombination von Matching mit Visual Words. Das Ziel dieser Arbeit ist daher die Entwicklung eines Systems zum Feature-Matching mit Hilfe der Visual Words und wird ergänzt durch die anschließende Berechnung der Kamerapose.
Als Feature-Detektor wird der SURF-Algorithmus verwendet. Die Visual Words werden umgesetzt, indem in der Lernphase die Features aller Bilder in Cluster eingeteilt werden. In Histogrammen wird festgehalten, wie sich die Features eines Bildes auf die Cluster verteilen. Beim späteren Tracking wird anhand von aktuellen Features ein Histogramm erstellt und mit den gespeicherten Histogrammen verglichen. Für das Matching werden nur diejenigen Bilder ausgewählt, die ein ähnliches Histogramm besitzen. Dies führt zu einer besseren und vor allem schnelleren Auswahl der Features, da Features, welche in diesem Bildausschnitt nicht vorkommen können, von der Suche ausgeschlossen werden.
Dieses Vorgehen ermöglicht ein schnelles und gleichzeitig genaues Matching, wodurch auch die Berechnung der Kamerapose beschleunigt wird. Während die berechnete Kamerapose für ein durchgängiges Tracking möglicherweise nicht stabil genug ist, bietet sich das Verfahren vor allem für eine schnelle Initialisierungsphase an.

 

This thesis is motivated by the idea of supporting mechanics with the repair and maintenance of vehicles. Automatic overlays of the examined scene guide the mechanics through each step as the relevant parts are highlighted by the overlay of CAD Objects.
In order to display the objects at the right area of the image, the current position and orientation of the camera needs to be known. A reliable feature matching technique is required to calculate the 3D position of the camera. The system must work in real time, therefore a fast but accurate implementation is mandatory. A promising proceeding to reduce the calculation time results from the combination of the matching process with visual words. The intention of this thesis consists in the development of a feature based matching system which is supported by visual words. Finally, the position and orientation of the camera will be calculated.
The proceeding uses the SURF-algorithm as a feature detector. During the learning phase the features of every image are assigned to clusters resulting in a histogram for each image. Later, during the tracking process, a new histogram, created from the identified features in real time, is compared to the stored histogram.
Only certain images which lead to a similar histogram are selected for the matching process which results in a more accurate and faster selection. This improvement follows from eliminating several features which aren't contained within the examined area of the scene.
The discussed approach allows for a fast and accurate matching process which also results in an accelerated calculation of the camera pose. As the results aren't quite stable enough for a continuous tracking, the proceeding is still suitable for a quick initialization process.

: http://publica.fraunhofer.de/dokumente/N-229303.html