Natürliche Steuerung einer VR-Anwendung mittels Gesten und Sprache

In einigen Bereichen der technischen Produktion haben VR-Technologien, als unterstützendes Element in der Konstruktion/Planung oder auch Problemanalyse, Einzug gehalten. Sie dienen dem Konstrukteur nicht nur bei der Planung des späteren Produktes oder der Koordination der Herstellung, sondern können auch nach der Fertigstellung bei der Lösung auftretender Probleme helfen. Bei der Darstellung von VR-Szenarien kommen häufig Mehrseitenprojektionen oder CAVEs zum Einsatz, welche dem Anwender einen immersiven Eindruck vermitteln sollen. Dieser Aufbau, in Kombination mit einer freien Navigation, schließt deswegen herkömmliche (größtenteils tischgebundene) Interaktionsgeräte, wie etwa Tastatur oder Maus, oft aus. Eingesetzt werden Geräte mit mehr Freiheitsgraden (z.B. Spacemouse) oder kabellose Geräte (z.B. Gamepads, PDAs). Diese Interaktionsmöglichkeiten könnten durch eine natürliche Steuerung mittels Handgesten und Sprache erweitert bzw. teilweise ersetzt werden. Der Vorteil solcher natürlichen Steuerungen liegt darin, dass sie für den Anwender sehr verständlich sind, und sich somit leicht erlernen lassen. Zudem befreien sie den Anwender fast vollständig vom Tragen zusätzlicher Hardware. In dieser Arbeit soll deshalb untersucht werden, welche Gesten und Sprachkommandos für ein Szenario im Bereich des Engineering geeignet sind, wie diese sich implementieren lassen, und welchen Nutzen sie für die Anwendung bringen.

In the sector of technical production, VR applications found their way into the design/planning as well as the problem analysis of products as a supporting element. They not just help the construction engineer with the planning of the later product or the coordination of the production; they can even help after the completion of the product to solve problems. For the visualization of VR scenarios mostly multi-display configurations or CAVEs are used, which provide the user with an immersive impression of the scene. This configuration, in combination with a free navigation, excludes mostly the use of traditional (table-oriented) interaction devices like keyboard or mouse. Normally devices with more degrees of freedom (e.g. Spacemouse) or wireless devices (e.g. Gamepad, PDA) are used. These interaction possibilities could be enhanced or partly replaced by more natural controls like hand gestures or speech. The advantage of such intuitive controls is that they are very comprehensible, and therefore easy to learn. In addition they almost relieve the user from wearing additional hardware. In this work, it will be researched which gestures and speech commands are appropriate for a scenario in the field of en-gineering, how they can be implemented, and which benefit they have for the application itself.