Kombinierte multimodale Mensch-Rechner-Interaktionen

Notepad-Computer und Eingabestifte, die "direkt" auf der Benutzerschnittstelle agieren, ermöglichen neue Mensch-Rechner-Interaktionsformen. Neben den traditionellen Interaktionsformen, wie direkte Manipulation, natürlichsprachliche Interaktion und formalsprachliche Interaktionsformen lassen sich kombinierte (multimodale) Interaktionsformen entwerfen. Diese Interaktionsformen haben Vor- und Nachteile. Insbesondere Kombinationen von direkter Manipulation und natürlicher Sprache führen zu interessanten Ergebnissen. "Bild und Wort" werden damit integriert. Realisierungen lassen sich auf unterschiedliche Wissensrepräsentationsarchitekturen entwerfen.