Fraunhofer-Gesellschaft

Publica

Hier finden Sie wissenschaftliche Publikationen aus den Fraunhofer-Instituten.

Multimodal training of maintenance and assembly skills based on augmented reality

Multimodales Training von Wartungs- und Montagefähigkeiten basierend auf Augmented Reality
 
: Webel, Sabine
: Fellner, Dieter W.; Hirzinger, G.

:
Volltext (PDF; )

Darmstadt, 2011, 244 S.
Darmstadt, TU, Diss., 2011
Englisch
Dissertation, Elektronische Publikation
Fraunhofer IGD ()
augmented reality (AR); Skill Training; training system; industrial maintenance

Abstract
The training of technicians in the acquisition of new maintenance and assembly tasks is an important factor in industry. As the complexity of these tasks can be enormous, the training of technicians to acquire the necessary skills to perform them efficiently is a challenging point. However, traditional training programs are usually highly theoretical and it is difficult for the trainees to transfer the acquired theoretical knowledge about the task to the real task conditions, or rather, to the physical performance of the task. In addition, traditional training programs are often expensive in terms of effort and cost.
Previous research has shown that Augmented Reality is a powerful technology to support training in the particular context of industrial service procedures, since instructions on how to perform the service tasks can be directly linked to the machine parts to be processed. Various approaches exist, in which the trainee is guided step-by-step through the maintenance task, but these systems act more as guiding systems than as training systems and focus only on the trainees' sensorimotor capabilities. Due to the increasing complexity of maintenance tasks, it is not sufficient to train the technicians' execution of these tasks, but rather to train the underlying skills - sensorimotor and cognitive - that are necessary for an efficient acquisition and performance of new maintenance operations.
All these facts lead to the need for efficient training systems for the training of maintenance and assembly skills which accelerate the technicians' learning and acquisition of new maintenance procedures. Furthermore, these systems should improve the adjustment of the training process to new training scenarios and enable the reuse of existing training material that has proven its worth. In this thesis a novel concept and platform for multimodal Augmented Reality-based training of maintenance and assembly skills is presented. This concept includes the identification of necessary sub-skills, the training of the involved skills, and the design of a training program for the training of maintenance and assembly skills. Since procedural skills are considered as the most important skills for maintenance and assembly operations, they are discussed in detail, as well as appropriate methods for improving them. We further show that the application of Augmented Reality technologies and the provision of multimodal feedback -and vibrotactile feedback in particular-have a great potential to enhance skill training in general. As a result, training strategies and specific accelerators for the training of maintenance and assembly skills in general and procedural skills in particular are elaborated. Here, accelerators are concrete methods used to implement the pursued training strategies.
Furthermore, a novel concept for displaying location-dependent information in Augmented Reality environments is introduced, which can compensate tracking imprecisions. In this concept, the pointercontent metaphor of annotating documents is transferred to Augmented Reality environments. As a result, Adaptive Visual Aids are defined which consist of a tracking-dependent pointer object and a tracking-independent content object, both providing an adaptable level and type of information. Thus, the guidance level of Augmented Reality overlays in AR-based training applications can be easily controlled. Adaptive Visual Aids can be used to substitute traditional Augmented Reality overlays (i.e. overlays in form of 3D animations), which highly suffer from tracking inaccuracies.
The design of the multimodal AR-based training platform proposed in this thesis is not specific for the training of maintenance and assembly skills, but is a general design approach for multimodal training platforms. We further present an implementation of this platform based on the X3D ISO standard which provides features that are useful for the development of Augmented Reality environments. This standard-based implementation increases the sustainability and portability of the platform.
The implemented multimodal Augmented Reality-based platform for training of maintenance and assembly skills has been evaluated in industry and compared to traditional training methods. The results show that the developed training platform and the pursued training strategies are very well suited for the training of maintenance and assembly skills and enhance traditional training.
With the presented framework we have overcome the problems sketched above. We are cheap in terms of effort and costs for the training of maintenance and assembly skills and we improve its efficiency compared with traditional training.

 

Das Training von Servicetechnikern in der Aneignung neuer Arbeitsvorgänge im Bereich Wartung und Montage ist in der Industrie von enormer Bedeutung. Aufgrund der steigenden Komplexität dieser Arbeitsvorgänge stellt das effiziente Training von Technikern im Erwerb der erforderlichen Fähigkeiten eine große Herausforderung dar. Es reicht nicht länger aus, Techniker nur in der physikalischen Ausführung dieser Aufgaben zu trainieren. Vielmehr ist es wichtig, auch die zugrunde liegenden Fähigkeiten zu adressieren. Das bedeutet, die Fähigkeiten, die für eine effiziente Aneignung und Ausführung der Aufgaben erforderlich sind, müssen in das Training einbezogen werden. Dies führt zu drei Hauptanforderungen, die Systeme zum Training von Fähigkeiten erfüllen müssen: Geschwindigkeit, Effizienz und Übertragbarkeit des Trainings. Um dies zu erreichen, müssen Trainingsprozeduren entwickelt werden, die den Lernprozess des Benutzers unterstützen und den Transfer der trainierten Fähigkeiten auf reale Arbeitssituationen erleichtern.
Traditionelles Training ist im Allgemeinen sehr theoretisch. Dadurch ist es für den Techniker schwierig, das erlernte theoretischeWissen über den Arbeitsvorgang auf die reale Ausführung des Arbeitsvorgangs zu übertragen. Ein weiterer kritischer Faktor ist der hohe Zeit- und Kostenaufwand, den traditionelles Training mit sich führt.
Bisherige Forschungsansätze haben bereits das große Potential von Augmented Reality (AR) als trainingsunterstützende Technologie, insbesondere im Bereich industrieller Wartungs- und Montageprozeduren, aufgezeigt. Mittels Augmented Reality können digitale Instruktionen direkt in der realen Umgebung verortet und somit direkt an reale Maschinenteile angeheftet werden. In den bisherigen Ansätzen stehen allerdings meist rein technologische Aspekte im Vordergrund. Des Weiteren fungieren existierende Systeme eher als digitale Benutzerhandbücher und unterstützen den Techniker vor allem bei der Ausführung der entsprechenden Aufgaben, anstatt bei der Aneignung der zugrunde liegenden- sensomotorischen und kognitiven-Fähigkeiten. Die Systeme führen den Benutzer Schritt für Schritt durch den Arbeitsvorgang, indem detaillierte 3D-Animationen der auszuführenden Aktion in Überlagerung mit dem realen Objekt visualisiert werden. Eine solch starke Führung des Benutzers mittels Augmented Reality birgt die potentielle Gefahr, dass der Benutzer für die Ausführung eines Arbeitsvorgangs eine Abhängigkeit von den bereitgestellten Augmented Reality-Elementen entwickelt, und die Aufgabe bei Nichtvorhandensein dieser Elemente nicht bewerkstelligen kann. Daher muss sich ein Augmented Reality-basiertes Trainingssystem deutlich von einem Augmented Reality-basierten Unterstützungs- bzw. Leitsystem unterscheiden: Es muss den Benutzer tatsächlich trainieren und die aktive Erkundung der Aufgabe forcieren, anstatt ihn lediglich zu dem gewünschten Ziel zu führen. Dies kann nur erreicht werden, indem sowohl sensomotorische als auch kognitive Aspekte in das Training einbezogen werden.
Eines der Hauptmerkmale für die Gestaltung von effizienten Trainingsprogrammen ist die gute Führung des Benutzers durch den zu trainierenden Arbeitsprozess. Wie bereits erwähnt, sind traditionelle Trainingsprogramme zum einen mit einem hohen Zeit- Kostenaufwand verbunden, zum anderen sind sie im Allgemeinen sehr theoretisch (nicht direkt am Objekt, sondern in Klassenräumen), was den Transfer der erlernten Trainingsaufgabe auf die reale Wartungs- oder Montageaufgabe erschwert und somit das Training zu einem langwierigen und demzufolge kostspieligen Prozess macht. Auch die Erstellung des Schulungsmaterials, zumeist Folienpräsentationen, die jeden Schritt umschreiben, ist sehr aufwendig und aufgabenspezifisch.
All dies zeigt die Notwendigkeit effizienter Trainingssysteme, die den Lern- bzw. Aneignungsprozess neuerWartungs- und Montageaufgaben verbessern und beschleunigen. Diese Systeme sollen auch eine vereinfachte Anpassbarkeit des Systems an neue Trainingsszenarien und die Wiederverwendung existierender, bewährter Trainingsmaterialien ermöglichen. In dieser Arbeit wird ein neues Konzept für die Gestaltung von effizientem Training von Wartungs- und Montageprozessen unter Verwendung von Augmented Reality-Technologien vorgestellt. Dies beinhaltet unter anderem Visualisierungsparadigmen zum Präsentieren von Instruktionen und Informationen in multimodalen Augmented Reality- Trainingsumgebungen und ein Designkonzept für die Entwicklung einer multimodalen Trainingsplattform zur Umsetzung des Trainings.
Das vorgestellte Konzept berücksichtigt die Identifikation der erforderlichen sensomotorischen und kognitiven Fähigkeiten (so genannte Sub-Skills bzw. Unterkategorien von Fähigkeiten), das Training der involvierten Fähigkeiten und die Entwicklung eines Programms zum Training von Wartungs- und Montagefähigkeiten. In diesem Zusammenhang wird besonders auf die prozeduralen Fähigkeiten (so genannte Procedural Skills), die als wichtigste Sub-Skill betrachtet werden, eingegangen. Des Weiteren wird gezeigt, dass der Einsatz von Augmented Reality und das Bereitstellen von multimodalem Feedback-vor allem vibrotaktilem Feedback-großes Potential zum Training von Fähigkeiten mit sich bringen. Darauf basierend werden Trainingsstrategien und so genannte Accelerators für das Training von Wartungs- und Montagefähigkeiten im Allgemeinen und Procedural Skills im Speziellen erarbeitet. Dabei verweist der Ausdruck Accelerators auf Variablen bzw. konkrete Methoden, die in das Trainingsprogramm eingeführt werden, um die verfolgten Trainingsstrategien umzusetzen.
Darüber hinaus wird ein neues Konzept zur Visualisierung von ortsabhängigen Informationen in Augmented Reality-Umgebungen vorgestellt, durch welches Trackingungenauigkeiten kompensiert werden können. In diesem Konzept wird die zum Annotieren von Dokumenten typische Zeiger-Inhalt Metapher in Augmented Reality-Umgebungen übertragen. Als Ergebnis werden Adaptive Visual Aids (AVAs) definiert, die aus einem trackingabhängigen Zeigerobjekt und einem trackingunabhängigen Inhaltsobjekt bestehen. Informationsgehalt und Art der Information (Text, Bild, Video, 3D-Inhalte) von Zeiger- und Inhaltsobjekt sind regulierbar. Auf dieseWeise kann die Stärke der Führung des Benutzers, die durch überlagerte 3D-Objekte in Augmented Reality bereitgestellt wird, einfach gesteuert werden. AVAs können auch benutzt werden, um traditionelle Augmented Reality-Einblendungen (d.h. 3DModelle und -Animationen), die sehr unter Trackingungenauigkeiten leiden, zu ersetzen. Außerdem können vorhandene Trainingsmaterialen, wie z.B. Bilder, Videos oder Beschreibungen in Form von Text, im Inhaltsobjekt einer AVA eingebunden werden.
Das Designkonzept der multimodalen Trainingsplattform, das in dieser Arbeit vorgestellt wird, ist nicht spezifisch für das Training von Wartungs- und Montagefähigkeiten entwickelt, sondern stellt vielmehr ein generelles Designkonzept für multimodale Trainingsplattformen dar. Es wird gezeigt, wie das entwickelte Plattformkonzept auf Basis des X3D ISO Standards implementiert werden kann. Dieser Standard wurde ausgewählt, da er Merkmale bereitstellt, die für die Entwicklung von Augmented Reality-Umgebungen nützlich sind. Eine solch standardbasierte Implementierung ist ein wichtiger Faktor zur Steigerung der Nachhaltigkeit und Portabilität der Plattform.
Die implementierte Plattform und die erarbeiteten Accelerators wurden in der Industrie evaluiert und den dort angewendeten traditionellen Trainingsmethoden gegenübergestellt. Das Ergebnis zeigt, dass das entwickelte Trainingssystem sehr gut zum Training von Wartungs- und Montagefähigkeiten geeignet ist, und dass dadurch traditionelles Training aufwertet werden kann. Mit dem vorgestellten Framework können die oben skizzierten Probleme bewältigt werden. Aufwand und Kosten für das Training vonWartungs- und Montagefähigkeiten werden reduziert, die Trainingseffizienz im Vergleich zu traditionellem Training wird gesteigert.

: http://publica.fraunhofer.de/dokumente/N-193001.html