Fraunhofer-Gesellschaft

Publica

Hier finden Sie wissenschaftliche Publikationen aus den Fraunhofer-Instituten.

Evaluating capacitive distance and haptic input modalities for sound synthesis combined with augmented reality

Evaluierung kapazitiv entfernter und haptischer Eingabemodalitäten für Sound-Erzeugung kombiniert mit erweiterter Realität
 
: Loge, Joachim
: Kuijper, Arjan; Braun, Andreas

Darmstadt, 2015, 98 pp.
Darmstadt, TU, Master Thesis, 2015
English
Master Thesis
Fraunhofer IGD ()
Sound Synthesis; multimodal interaction; Augmented reality (AR); capacitive sensors; acoustic sensors; gesture based interaction; user interface evaluation

Abstract
In the last few years, devices such as the Microsoft Kinect or the Leap Motion have enabled affordable gesture tracking in mid-air. While this is a fast and natural form of interaction, many applications can benefit from a combination of mid-air interaction and touch recognition. The CapTap is an interactive table that uses a combination of capacitive proximity sensors and acoustic touch detection, enabling various interaction modes. In this thesis, these capabilities were evaluated in the context of musical control scenarios. The goal of research was to determine the complexity of the interaction modes and gain results about how appealing and motivating the test persons find the musical interaction. Another focus was the comparison of an Augmented Reality visualization with a standard display, to obtain data about the preferred visualization technology. Furthermore, the acoustic touch detection of the CapTap was extended with a fingernail input. The technical evaluation addressed the reliability of three touch inputs and resulted in an average detection rate of 85%.
The user-experience evaluation indicated that all modes are highly stimulating and support the need to develop further. While the one- and two-handed mid-air control modes could be utilized without much practice and were rated as being very attractive, the combined touch and mid-air modes received lower ratings. The comparison between an Augmented Reality visualization and a standard computer screen yielded a clear preference for the standard display.

 

In den letzten Jahren haben Geräte wie die Microsoft Kinect oder die Leap Motion berührungslose Gestenverfolgung erschwinglich gemacht. Während dies eine sehr schnelle und natürliche Form der Eingabe ist, können viele Anwendungen von einer Kombination der Freiraum-Interaktion mit Berührungserkennung profitieren. Der CapTap ist ein interaktiver Tisch, der kapazitive Entfernungssensoren und akustische Berührungserkennung kombiniert und damit viele Interaktionsmodi ermöglicht. In dieser Arbeit wurden diese Fähigkeiten in dem Kontext musikalischer Kontrollszenarien evaluiert. Das Ziel der Forschung war, die Komplexität der Interaktionsmodi zu bestimmen und Ergebnisse darüber zu sammeln, wie ansprechend und motivierend die Testpersonen die musikalische Interaktion finden. Ein weiterer Fokus lag auf dem Vergleich einer Visualisierung mit erweiterter Realität und einem gewöhnlichen Bildschirm, um Daten über die bevorzugte Visualisierungstechnologie zu erhalten. Außerdem wurde die akustische Berührungserkennung des CapTap um eine Eingabe mit dem Fingernagel erweitert. Die technische Evaluation befasste sich mit der Zuverlässigkeit von drei Berührungseingaben und ergab eine durchschnittliche Erkennungsrate von 85%.
Die Benutzerevaluation ergab, dass alle Modi hoch stimulierend sind und das Bedürfnis unterstützen, sich weiterzuentwickeln. Während die ein- und zweihändigen berührungslosen Interaktionsmodi ohne viel Übung eingesetzt werden konnten und als sehr attraktiv bewertet wurden, erhielten die kombinierten Berührungs- und Freiraum-Interaktionsmodi schlechtere Bewertungen. Der Vergleich zwischen einer Visualisierung mit erweiterter Realität und einem gewöhnlichen Computer-Monitor ergab eine klare Präferenz für den gewöhnlichen Bildschirm.

: http://publica.fraunhofer.de/documents/N-370306.html