PROF. DR. JOHANNES LUDERSCHMIDT

Hochschule RheinMain
RheinMain University of Applied Sciences
Wiesbaden Rüsselsheim Geisenheim
Fachbereich Design, Informatik, Medien
Unter den Eichen 5, Haus C
65194 Wiesbaden
Telefon: +49 611 9495-2295
Fax: +49 611 9495-1210
E-Mail: johannes.luderschmidt[AT]hs-rm.de
Homepage: Johannes Luderschmidt

An Authoring Environment for the Early Prototyping of User Interfaces for Interactive Surfaces

Interaktive Oberflächen sind Displays, auf deren Oberfläche Benutzerinteraktion erkannt wird. Solche Oberflächen können beispielsweise als Tabletop-System mit einer horizontalen Interaktionsoberfläche bereitgestellt werden oder als vertikale Oberfläche als Wall-System an der Wand montiert werden. Je nachdem welche Hardware in der Oberfläche verwendet wird, kann der Benutzer mittels verschiedener Eingabe-Modalitäten mit dem System interagieren.

Zwei geläufige Modalitäten sind dabei die Interaktion per Berührung (Touch) oder per Objektinteraktion. Bei der ersten Modalität – der Touch-Interaktion – interagiert der Nutzer mit einem oder, falls der Touch-Sensor das erlaubt, mit mehreren Fingern (Multi-Touch) mit der Oberfläche. Dadurch ist es sogar möglich per Multi-Finger- oder Multi-Hand-Gesten mit dem System zu interagieren. Beispielsweise können virtuelle Dokumente auf dem Bildschirm mit einem Finger bewegt, mit Zwei-Finger-Gesten vergrößert oder mit einer Multi-Finger-Geste rotiert werden. Durch Multi-Touch-Interaktion ist es auch möglich, dass mehrere Nutzer gleichzeitig mit dem Bildschirm interagieren. Das ist zum Beispiel der Fall, wenn die Nutzer an der Oberfläche sitzen und mit virtuellen Dokumenten interagieren, die sie miteinander austauschen und bearbeiten als würden sie mit realen Dokumenten an einem Tisch arbeiten. Die zweite Modalität ist Objektinteraktion mit der Benutzeroberfläche mittels sog. Tangible-User-Interfaces (kurz TUIs). Bei TUIs interagieren die Nutzer mit der Oberfläche per physischer Objekte (Tangibles). Diese Tangibles stellen dem Nutzer physische Affordances bereit, die die Nutzer auf die Oberfläche anwenden. Ein Beispiel für ein TUI ist ein Tangible, das als virtueller Magnet fungiert. Sobald der Nutzer das Magnet-Tangible auf dem Tisch stellt, zieht es Objekte an, die auf dem Bildschirm angezeigt werden. Zusätzlich zu den beiden genannten Modalitäten Touch und Tangible sind in den letzten Jahren noch weitere Eingabemöglichkeiten hinzugekommen. Beispielsweise gibt es die Möglichkeiten mittels mobiler Geräte auf der Oberfläche oder durch Gesten über der Oberfläche mit dem System zu interagieren. Diese und weitere, zukünftige Eingabemöglichkeiten erweitern fortwährend das Spektrum der Nutzer mit der Oberfläche.

Verglichen mit traditionellen Desktop-Benutzerschnittstellen mit denen man per Maus und Keyboard interagiert oder im Vergleich zur Touch-Eingabe auf mobilen Geräten, die über relativ kleine Bildschirme verfügen, ist die Benutzerinteraktion mit interaktiven Oberflächen komplexer und weniger erforscht. Deshalb setzt sich diese Arbeit mit der Frage auseinander, wie die Anforderungen an Design und Implementierung solcher neuartiger Benutzerschnittstellen (UIs) auf interaktiven Oberflächen sind und untersucht sowohl Authoring-Prozesse als auch Authoring-Werkzeuge.

Deshalb erfordert das Design neuer UIs für interaktive Oberflächen ein häufiges Testen bereits zu einem frühen Zeitpunkt des Entwicklungsprozesse -- idealerweise direkt mit den Endnutzern. Für diese Art von Tests haben sich UI-Prototypen als geeignete Hilfsmittel erwiesen. Solche Prototypen stellen die Basis für eine Evaluierung zur Verfügung und unterstützen den Informations-Austausch zwischen Erstellern und Benutzern. Allerdings ist die Umsetzung solcher Prototypen zeitaufwändig, falls sie von Grund auf neu entwickelt werden müssen. Um die Erstellung von UI-Prototypen zu erleichtern, gibt es deshalb Ansätze, die auf der Bereitstellung von Software-Frameworks basieren. Diese Frameworks stellen UI-Komponenten zur Verfügung, die auf die Besonderheiten von interaktiven Oberflächen zugeschnitten sind. Allerdings haben diese Ansätze einige Nachteile. Zuerst einmal ist es nur Programmierern möglich, mit Hilfe dieser Frameworks Prototypen zu erstellen. Normalerweise sind bei der Erstellung von UIs für interaktive Oberflächen aber nicht nur Programmierer beteiligt, sondern auch weitere Personen (im Folgenden Autoren genannt) wie beispielsweise UI-Designer oder auch Endnutzer aus der Anwendungsdomäne für die die UI erstellt wird. Auch sollte das bloße Verwenden eines Software-Frameworks höchstens ein Bestandteil eines ganzheitlichen Design-Prozesses sein, der auf die Besonderheiten von interaktiven Oberflächen zugeschnitten ist. Idealerweise sollte ein solcher Prozess benutzerorientiert sein, d.h. dass das Nutzer-Feedback in den verschiedenen Prozessphasen direkt mit einbezogen wird. Zur Anwendung dieses Prozesses sollten die Autoren durch das Bereitstellen geeigneter Werkzeuge bei ihrer Arbeit in den verschiedenen Prozess-Phasen unterstützt werden. Beispielsweise bräuchten sie nicht nur die notwendigen Software-Frameworks, sondern auch Werkzeuge, um grafische Elemente bereit zu stellen, Werkzeuge zum Bauen von Prototypen oder auch eine Wissensdatenbank zur Erläuterung verschiedener Interaktionsansätze. Das bloße Bereitstellen von Software-Frameworks hat den zusätzlichen Nachteil, dass die Prototypen nicht auf der Hardware erstellt werden, auf der sie genutzt werden sollen, sondern auf einem Desktop-Computer. Deshalb muss derzeit ein zusätzlicher Schritt durchgeführt werden, bevor man den Prototypen auf der interaktiven Oberfläche testen kann, weil der Prototyp erst einmal dorthin übertragen werden muss. Dieser zusätzliche Transferschritt erschwert allerdings die Durchführung von Tests, was potenziell zu weniger Tests führt und deshalb einen negativen Einfluss auf die Qualität des Prototyps hat. Idealerweise sollte dieser zusätzliche Schritte also eliminiert werden.

Um die erläuterten Anforderungen zu erfüllen und die Probleme zu lösen, stellt diese Arbeit das Konzept von Mid-Fidelity-Prototypen im Bereich von interaktiven Oberflächen vor. Bei diesen Mid-Fidelity-Prototypen handelt es sich um horizontale Prototypen, die nicht unbedingt so aussehen müssen wie die finale UI, die aber über die volle Interaktivität verfügen. Darüber hinaus trägt diese Arbeit einen benutzerorientierten Designprozess bei, der auf die Besonderheiten von interaktiven Oberflächen zugeschnitten ist. Das Erstellen von Mid-Fidelity-Prototypen ist hierbei als gesonderter Schritt vorgesehen, der das Testen der komplexen Eingabe-Möglichkeiten zu einem frühen Zeitpunkt im Designprozess ermöglicht. Weiterhin sieht dieser Prozess die Aufteilung der Arbeit zwischen verschiedenen Typen von Autoren vor, was die enge Verzahnung und Koordination innerhalb des Design-Teams erlaubt. Der Prozess wurde in der Authoring-Umgebung Environment for Multi-touch In the Laboratory (EMIL) implementiert. Mit Hilfe dieser Umgebung können schnell Mid-Fidelity-Prototypen erstellt werden. EMIL besteht aus einem grundlegenden Software-Framework, einer Komponenten-Bibliothek, aus Application-Frameworks, einem Authoring-Tool und einem Designwissen-Management-System. Die verschiedenen Schritte des Designprozesses werden von den Bestandteilen von EMIL unterstützt. Diese Bestandteile werden im Folgenden kurz vorgestellt.

Der erste wichtige Bestandteil von EMIL ist ein Software-Framework und eine Komponenten-Bibliothek, auf deren Basis Application-Frameworks bereitgestellt werden. Bei einem solchen Application-Framework handelt es sich um eine halbfertige Anwendung, die nur noch mit passenden Inhalten und Komponenten gefüllt werden muss. Das Software-Framework stellt eine Programmier-Bibliothek zur Verfügung, die aus einer Hardware-Abstraktionsschicht und einem Interaktions-Event-System besteht. Die Hardware-Abstraktionsschicht sorgt dafür, dass Prototypen, die auf EMIL aufbauen, auf verschiedenartigen interaktiven Oberflächen entwickelt und genutzt werden können. Diese Interaktions-Abstraktion ist notwendig, da die Interaktions-Erkennung und -Bereitstellung verschiedener interaktiver Oberflächen auf unterschiedlichen technischen Prinzipien aufbauen können. Komplementär zur Abstraktionsschicht stellt das Interaktions-Event-System ein vereinheitlichtes Event-Modell bereit, das die UI-Komponenten in den Prototypen nutzen. Das Interaktions-Event-System wird verwendet, um Multi-Touch- und Multi-Hand-Gesten zu erkennen und diese in einer Programmierbibliothek für die Erstellung von Prototypen bereit zu stellen. Die Komponentenbibliothek besteht aus UI-Komponenten und Interaktionskomponenten, die auf die Besonderheiten von interaktiven Oberflächen zugeschnitten sind. Dabei stellen die UI-Komponenten die visuelle Schnittstelle dar und werden durch die Interaktionskomponenten mit interaktivem Verhalten ergänzt. Die Idee hinter dieser Vorgehensweise ist, dass visuelle Repräsentation and interaktives Verhalten voneinander entkoppelt werden und dadurch die Komponenten beliebig miteinander kombiniert werden können. Daraus resultiert eine reichhaltige Bibliothek an Bausteinen zur Erstellung von Mid-Fidelity Prototypen. Natürlich kann diese Bibliothek von den Autoren erweitert werden. Zwei Anwendungsbeispiele aus den Bereichen kollaboratives Lernen und Finanzberatung zeigen, wie das Software-Framework und die Komponentenbibliothek als Grundlage für EMILs Application-Frameworks fungieren. Da eine der besonderen Eigenschaften interaktiver Oberflächen die Unterstützung der Zusammenarbeit mehrerer Nutzer ist, wurden diese beiden Anwendungsfälle gewählt, da sie beide in einem kollaborativen Umfeld angesiedelt sind.

Der zweite Hauptbestandteil von EMIL ist ein Authoring-Tool. Mit Hilfe dieses Tools erstellen Autoren die Mid-Fidelity-Prototypen direkt auf der interaktiven Oberfläche. Zur Erstellung der Prototypen werden hierbei keine Programmierkenntnisse benötigt. Die Autoren bereiten das Prototyping vor, indem sie Medien- und Design-Assets auf ihren Desktop-Computern erstellen und sie dem Authoring-Tool in einem Cloud-Storage zur Verfügung stellen. Um die Akzeptanz unter den Autoren zu vergrößern, unterstützt das Tool verschiedene, verbreitete Dateiformate von bereits existierenden Design-Software-Tools. Somit können Autoren bei der Gestaltung der Assets auf ihre bewährten Tools zurückgreifen. Auf der interaktiven Oberfläche werden diese Assets schließlich aus dem Cloud-Storage, das direkt in das Authoring-Tool eingebunden ist, importiert und verwendet, um den Prototypen zu bauen. Auch erlaubt es das Authoring-Tool, eigene Komponenten aus den Assets und den UI-Komponenten in Kombination mit den Interaktionskomponenten zu bauen. Das Erstellen der Prototypen ist als kollaborativer Prozess konzipiert, bei dem die verschiedenen Autoren zusammenkommen, um das Design zu besprechen, umzusetzen und zu evaluieren. Im Sinne des benutzerorientierten Designs werden die Prototyping-Sessions mehrfach wiederholt und der Prototyp iterativ verbessert. Sobald ein zufriedenstellender Zwischenstand erreicht ist, wird der Prototyp dann mit Endnutzern evaluiert.

Der dritte grundlegende Bestandteil von EMIL ist ein Designwissen-Management-System. Es stellt den Autoren grundlegendes Designwissen zur Verfügung wie beispielsweise Informationen über die Komponenten in EMIL und Erfahrungen, die in vorhergehenden Prototyping-Sessions gesammelt wurden. Das Designwissen-Management-System besteht aus einer Designwissen-Datenbank und einem Wissensbrowser. Die Designwissen-Datenbank speichert Designwissen, das in Form von Interaktions-Patterns vorgehalten wird. Zu diesem Zweck wurde die Interactive-Surface-Software (ISS) Pattern-Struktur entwickelt, die die Besonderheiten von interaktiven Oberflächen berücksichtigt. Wie es für Patterns üblich ist, speichern die ISS-Patterns Best- (und auch Worst-) Practice Beispiele zur Lösung verschiedener Probleme. Die ISS-Patternstruktur ermöglicht es außerdem, Beispiel-Videos und -Bilder zu hinterlegen. Diese Medien illustrieren anderen Autoren, wie die verschiedenen Interaktionsansätze funktionieren. Die Autoren greifen auf die Patterns mit Hilfe eines Wissensbrowsers zu, der als eine App mit dem Namen EPABS (EMIL Pattern Authoring and Browsing System) für Tablet-Geräte implementiert wurde. Diese App stellt den Autoren Interaktionsmetaphern zum Filtern zur Verfügung, die das Auffinden passender Patterns erleichtern. Da die Patterns in der Datenbank nicht statisch sind, stellt EPABS Authoring-Mechanismen bereit, um Designerfahrungen in der Datenbank zu erfassen, die während des Designs der Prototypen gemacht wurden. Diese Erfahrungen werden somit anderen Autoren zur Verfügung gestellt.

Diese Arbeit hat somit zwei Hauptbeiträge: Zum einen führt sie das Konzept von Mid-Fidelity Prototypen zur Erstellung von Benutzerschnittstellen auf interaktiven Oberflächen und einen dazugehörigen Authoring-Prozess ein. Zum anderen stellt sie eine neuartige Authoring-Umgebung vor, die das effiziente Erstellen dieser Mid-Fidelity Prototypen ermöglicht.

Diese beiden Hauptbeiträge wurden auf verschiedenen Ebenen evaluiert. Der Authoring-Prozess beruht auf den Ergebnissen einer Design-Prozess-Studie, an der 18 Experten teilgenommen haben. Die Implementierung der EMIL Authoring-Umgebung dient als Proof-of-Concept für die verschiedenartigen Authoring-Konzepte, die in dieser Arbeit vorgestellt werden. Zu Evaluierungszwecken stellt EMIL zwei Applikations-Frameworks bereit, eines für kollaboratives Lernen und ein weiteres für den Anwendungsfall einer Finanzberatung. Mannigfaltige Mid-Fidelity Prototypen wurden mit Hilfe des Software-Frameworks, der beiden Applikations-Frameworks und der Komponenten-Bibliothek umgesetzt. Das Authoring-Tool wurde in Experten-Interviews evaluiert. Das Ergebnis dieser Interviews lässt darauf schließen, dass es die EMIL-Umgebung in Verbindung mit dem Authoring-Tool ermöglichen, schnell Prototypen für interaktive Oberflächen zu erstellen, die über eine gute Usability verfügen. Dabei motiviert das Authoring-Tool die Designer, selber Prototypen zu erstellen, da sie nicht auf den Austausch und die Arbeit mit Programmierern angewiesen sind. In der Komponentenbibliothek stellt EMIL Bausteine zur Verfügung, wie es sie bereits in ähnlicher Form für mobile Anwendungen gibt. Allerdings sind diese Bausteine auf die speziellen Bedürfnisse interaktiver Oberflächen angepasst. Das Authoring-Tool erlaubt das Erstellen von Prototypen auch ohne vorherige Programmierkenntnisse. Das Designwissen-Management-System wurde in User-Experience-Tests sowie in Experteninterviews evaluiert. Bei den User-Experience-Tests kamen die Probanden zu dem Schluss, dass EPABS eine gute User-Experience hat. Die Neuartigkeit und die Effizienz der Filtermöglichkeiten als auch die Durchschaubarkeit der Authoring-Mechanismen erreichten besonders gute Werte. Bei den Experteninterviews lobten die Experten insbesondere sowohl die guten Filtermöglichkeiten als auch die Visualisierungsmetaphern der App, die einen guten Ansatz zur Darstellung von Pattern-Strukturen bereitstellen. Darüber hinaus fanden sie den Schritt-für-Schritt-Ansatz beim Erstellen eines neuen Patterns gut geeignet, um die Pattern-Autoren zu unterstützen.

Tags

Multitouch, Tabletop, Tangible User Interfaces