Options
2025
Master Thesis
Title
Runtime Optimized Visual Wrinkle Detection for Real-Time Application in Paper Deep Drawing
Other Title
Laufzeitoptimierte visuelle Faltenerkennung für die Echtzeitanwendung in Papier-Tiefziehprozessen
Abstract
Paper deep drawing (DD) is inspired by a metal working process with the same name. Normally, sheet metal is pushed by a punch into a cavity called a die, which forms the material into the desired shape. Applying this process to paper tries to solve the problem of plastic pollution from packaging, while still
offering results with airtight sealing and design capabilities. Wrinkles that form due to the material properties of paper are a problem, since they prevent repeatable results for the two latter properties. Therefore, a solution to control the material flow as a reaction to currently forming wrinkles during the
production process is required. However, since the wrinkles form fast, a runtime optimized algorithm to accurately locate them is necessary, in order to apply the force in the correct location. Little research is done on this topic until now. Müller et al. [1] analyze products of a paper DD process using a visual detection method only after the forming process is already finished. They mention a runtime performance of 1.3 seconds. On the other hand, research in facial wrinkle detection, or concrete crack detection, which are both similar to the given problem, are advancing rapidly. Although none of the publications focus on detection speed, most achieve promising results with a variety of methods. While some are using machine learning and deep learning techniques, others focus on solutions that involve threshold operations or wavelets. Many promising methods, which are used in both fields, employ Gabor filters, which resemble the mammal visual system and are able to detect patterns and edges. Since the focus of this work lies on runtime optimization, as well as robust detection results, a new approach for wrinkle detection in the form of the Runtime Optimized Wrinkle Detection (ROWDe) algorithm is developed, which utilizes Gabor filters. It applies a streamlined pre-processing step to automatically detect the paper area in order to reduce the amount of pixels. By using the GPU to handle the heavy processing tasks, and using a specialized approach to reduce the amount of required Gabor kernels, the detection time could be kept at a minimum. Finally, a post-processing step cleans up the results and applies an optional merging operation, which ensures that split-up similar wrinkles are counted as a single one. A computation time of less than 50 milliseconds for most 12 Megapixel images on consumer-grade hardware is achieved, which is 26 times faster than the approach by Müller et al. It yields an average precision score of 0.9151 and a recall measurement of 0.8157, which are reflected by accurate wrinkle detections. Additionally, the algorithm is developed to be highly configurable and robust to changes in lighting conditions, paper color and die shape.
offering results with airtight sealing and design capabilities. Wrinkles that form due to the material properties of paper are a problem, since they prevent repeatable results for the two latter properties. Therefore, a solution to control the material flow as a reaction to currently forming wrinkles during the
production process is required. However, since the wrinkles form fast, a runtime optimized algorithm to accurately locate them is necessary, in order to apply the force in the correct location. Little research is done on this topic until now. Müller et al. [1] analyze products of a paper DD process using a visual detection method only after the forming process is already finished. They mention a runtime performance of 1.3 seconds. On the other hand, research in facial wrinkle detection, or concrete crack detection, which are both similar to the given problem, are advancing rapidly. Although none of the publications focus on detection speed, most achieve promising results with a variety of methods. While some are using machine learning and deep learning techniques, others focus on solutions that involve threshold operations or wavelets. Many promising methods, which are used in both fields, employ Gabor filters, which resemble the mammal visual system and are able to detect patterns and edges. Since the focus of this work lies on runtime optimization, as well as robust detection results, a new approach for wrinkle detection in the form of the Runtime Optimized Wrinkle Detection (ROWDe) algorithm is developed, which utilizes Gabor filters. It applies a streamlined pre-processing step to automatically detect the paper area in order to reduce the amount of pixels. By using the GPU to handle the heavy processing tasks, and using a specialized approach to reduce the amount of required Gabor kernels, the detection time could be kept at a minimum. Finally, a post-processing step cleans up the results and applies an optional merging operation, which ensures that split-up similar wrinkles are counted as a single one. A computation time of less than 50 milliseconds for most 12 Megapixel images on consumer-grade hardware is achieved, which is 26 times faster than the approach by Müller et al. It yields an average precision score of 0.9151 and a recall measurement of 0.8157, which are reflected by accurate wrinkle detections. Additionally, the algorithm is developed to be highly configurable and robust to changes in lighting conditions, paper color and die shape.
;
Das Papier-Tiefziehen ist von einem Metallbearbeitungsverfahren gleichen Namens inspiriert. Normalerweise werden Bleche mit einem Stempel in einen Hohlraum, die sogenannte Matrize, gedrückt, die das Material in die gewünschte Form bringt. Durch die Anwendung dieses Verfahrens auf Papier
wird versucht, das Problem der Umweltverschmutzung durch Plastikverpackungen zu lösen und gleichzeitig Ergebnisse mit luftdichtem Verschluss und Gestaltungsmöglichkeiten zu bieten. Falten, die sich aufgrund der Materialeigenschaften von Papier bilden, sind ein Problem, da sie wiederholbare
Ergebnisse für die beiden letztgenannten Eigenschaften verhindern. Aus diesem Grund wird eine Lösung zur Regelung des Materialflusses als Reaktion auf die sich bildenden Falten benötigt. Da sich diese jedoch schnell bilden, ist ein laufzeitoptimierter Algorithmus erforderlich, um sie so genau wie möglich zu lokalisieren, sodass Kraft an der richtigen Stelle angelegt werden kann. Zu diesem Thema wurde bisher wenig geforscht. Müller et al. [1] analysieren Produkte eines Papier-Tiefziehprozesses mit einer visuellen Erkennungsmethode erst, nachdem die Umformung bereits abgeschlossen ist. Sie geben eine Auswertungsdauer von 1,3 Sekunden an. Gleichzeitig schreitet die Forschung für die Erkennung von Gesichtsfalten oder Betonrissen, die beide dem vorliegenden Problem ähnlich sind, schnell voran. Obwohl sich keine der Veröffentlichungen auf die Erkennungsgeschwindigkeit konzentriert, erzielen die meisten vielversprechende Ergebnisse mit einer Vielzahl von Methoden. Dabei werden Techniken des maschinellen Lernens und des Deep Learning verwendet,
während andere sich auf Lösungen, die Threshold-Operationen oder sogenannte Wavelets beinhalten, konzentrieren. Eine vielversprechende Methode, die in beiden Anwendungsfeldern verwendet wird, ist der Gabor-Filter, welcher das visuelle System von Säugetieren widerspiegelt und Muster oder Kanten
erkennen kann. Da der Fokus dieser Arbeit auf der Laufzeitoptimierung, sowie der robusten Erkennung liegt, wird ein neuer Algorithmus für die Faltenerkennung namens Runtime Optimized Wrinkle Detection (ROWDe) entwickelt, welcher die Gabor-Filter verwendet. Ein optimierter Vorverarbeitungsschritt erkennt automatisch den Bereich, in dem sich das Papier befindet, sodass die Pixelzahl auf das Mindeste reduziert werden kann. Durch die Verwendung der Grafikkarte für laufzeitintensive Arbeiten, und mittels eines spezialisierten Ansatzes zur Reduzierung der Anzahl an Gabor-Filtern, kann die benötigte Zeit für die Erkennung minimal gehalten werden. Abschließend bereinigt ein Nachverarbeitungsschritt die Ergebnisse und wendet eine optionale Zusammenführungs-Operation an, sodass aufgespaltene ähnliche Falten als eine einzige gewertet werden. Berechnungszeiten von weniger als 50 Millisekunden für die meisten 12 Megapixel Bilder kann auf Verbrauchergeräten erreicht werden, was einer 26-fachen Erhöhung der Geschwindigkeit im Vergleich zu Müller et al. entspricht. Die durchschnittliche Präzision von 0,9151 und eine Wiedererkennungsrate von 0,8157, die sich in einer akkuraten Faltenerkennung widerspiegelt, kann ebenfalls erreicht werden. Zusätzlich bietet der Algorithmus einen hohen Grad an Konfigurationsmöglichkeiten, und ist robust gegenüber Veränderungen der Lichtverhältnisse, unterschiedlicher Papierfarben, sowie der Matrizenform.
wird versucht, das Problem der Umweltverschmutzung durch Plastikverpackungen zu lösen und gleichzeitig Ergebnisse mit luftdichtem Verschluss und Gestaltungsmöglichkeiten zu bieten. Falten, die sich aufgrund der Materialeigenschaften von Papier bilden, sind ein Problem, da sie wiederholbare
Ergebnisse für die beiden letztgenannten Eigenschaften verhindern. Aus diesem Grund wird eine Lösung zur Regelung des Materialflusses als Reaktion auf die sich bildenden Falten benötigt. Da sich diese jedoch schnell bilden, ist ein laufzeitoptimierter Algorithmus erforderlich, um sie so genau wie möglich zu lokalisieren, sodass Kraft an der richtigen Stelle angelegt werden kann. Zu diesem Thema wurde bisher wenig geforscht. Müller et al. [1] analysieren Produkte eines Papier-Tiefziehprozesses mit einer visuellen Erkennungsmethode erst, nachdem die Umformung bereits abgeschlossen ist. Sie geben eine Auswertungsdauer von 1,3 Sekunden an. Gleichzeitig schreitet die Forschung für die Erkennung von Gesichtsfalten oder Betonrissen, die beide dem vorliegenden Problem ähnlich sind, schnell voran. Obwohl sich keine der Veröffentlichungen auf die Erkennungsgeschwindigkeit konzentriert, erzielen die meisten vielversprechende Ergebnisse mit einer Vielzahl von Methoden. Dabei werden Techniken des maschinellen Lernens und des Deep Learning verwendet,
während andere sich auf Lösungen, die Threshold-Operationen oder sogenannte Wavelets beinhalten, konzentrieren. Eine vielversprechende Methode, die in beiden Anwendungsfeldern verwendet wird, ist der Gabor-Filter, welcher das visuelle System von Säugetieren widerspiegelt und Muster oder Kanten
erkennen kann. Da der Fokus dieser Arbeit auf der Laufzeitoptimierung, sowie der robusten Erkennung liegt, wird ein neuer Algorithmus für die Faltenerkennung namens Runtime Optimized Wrinkle Detection (ROWDe) entwickelt, welcher die Gabor-Filter verwendet. Ein optimierter Vorverarbeitungsschritt erkennt automatisch den Bereich, in dem sich das Papier befindet, sodass die Pixelzahl auf das Mindeste reduziert werden kann. Durch die Verwendung der Grafikkarte für laufzeitintensive Arbeiten, und mittels eines spezialisierten Ansatzes zur Reduzierung der Anzahl an Gabor-Filtern, kann die benötigte Zeit für die Erkennung minimal gehalten werden. Abschließend bereinigt ein Nachverarbeitungsschritt die Ergebnisse und wendet eine optionale Zusammenführungs-Operation an, sodass aufgespaltene ähnliche Falten als eine einzige gewertet werden. Berechnungszeiten von weniger als 50 Millisekunden für die meisten 12 Megapixel Bilder kann auf Verbrauchergeräten erreicht werden, was einer 26-fachen Erhöhung der Geschwindigkeit im Vergleich zu Müller et al. entspricht. Die durchschnittliche Präzision von 0,9151 und eine Wiedererkennungsrate von 0,8157, die sich in einer akkuraten Faltenerkennung widerspiegelt, kann ebenfalls erreicht werden. Zusätzlich bietet der Algorithmus einen hohen Grad an Konfigurationsmöglichkeiten, und ist robust gegenüber Veränderungen der Lichtverhältnisse, unterschiedlicher Papierfarben, sowie der Matrizenform.
Thesis Note
Darmstadt, TU, Master Thesis, 2025
