Options
2020
Doctoral Thesis
Titel
Concepts and models for creating distributed multimedia applications and content in a multiscreen environment
Alternative
Konzepte und Modelle für die Erstellung verteilter Multimedia-Anwendungen und -Inhalte in einer Multiscreen-Umgebung
Abstract
The continuing trend towards consuming media content on multiple screens such as smart TVs and smartphones is growing steadily. The key enabler for the adoption of multiscreen is the consumption of multimedia content on almost any device with a screen. It is becoming even more significant with the introduction of new media formats such as 360° videos featuring new device categories like head-mounted displays. While traditional application models focus on individual screens, investigations into concepts and models for the provisioning of multiscreen applications and multimedia content across different devices and platforms are only partially addressed. The lack of methods for modeling and conceptualizing multiscreen applications, the requirement for interoperable APIs and protocols, and the need for techniques to deliver high-quality multimedia content to devices with restricted resources are currently the main limitations for a unique multiscreen experience. This dissertation tackles these limitations and introduces a unified multiscreen application model and runtime environment targeting devices with varying characteristics and capabilities. The proposed approach applies the Separation of Concerns design principle to the multiscreen domain. It enables the composition of modular, reusable, atomic, and self-adapting components that can be dynamically migrated between devices within a multiscreen application. Thereby, different communication and distribution paradigms of application components are examined and evaluated. This work focuses primarily on multimedia applications and presents new techniques for the preparation, distribution, and playback of multimedia content in a multiscreen environment. It proposes a novel approach that enables the playback of processing-intensive content on constrained devices such as the playback of 360° videos on TV sets. The foundation of this approach is the partial pre-rendering of multimedia content and the distribution of the processing load across devices on which the application is running. This also results in a reduction of the required bitrate by up to 80% with the same image quality. We investigated open web standards as the foundation for the introduced solutions, as the web has quickly developed towards a platform for multimedia applications characterized by rich graphical interfaces and a high level of interactivity across multiple devices and platforms. Some results of this work have been published at international conferences and contributed to the W3C Second Screen Working Group, which defines specifications for multiscreen-related APIs and protocols. Parts of the work have also been patented.
;
Der anhaltende Trend, Medieninhalte auf mehreren Bildschirmen wie Smart TVs und Smartphones zu konsumieren, nimmt stetig zu. Der Hauptfaktor für den Einsatz von Multiscreen ist der Konsum von Multimedia-Inhalten auf fast jedem Gerät mit einem Screen. Sie gewinnt mit der Einführung neuer Medienformate wie 360° Videos und neuen Gerätekategorien wie Head Mounted Displays noch mehr an Bedeutung. Während traditionelle Applikationsmodelle sich auf einzelne Screens beschränken, wurden Konzepte und Modelle zur Bereitstellung von Multiscreen Anwendungen und multimedialen Inhalten über verschiedene Geräte und Plattformen hinweg nur teilweise untersucht. Das Fehlen von Methoden zur Modellierung und Konzeption von Multiscreen Anwendungen, die Anforderungen an interoperable APIs und Protokolle, sowie die Notwendigkeit, hochwertige Multimedia-Inhalte für Geräte mit begrenzten Ressourcen bereitzustellen, sind derzeit die wichtigsten Einschränkungen für ein durchgängiges Multiscreen-Erlebnis. Diese Dissertation befasst sich mit diesen Einschränkungen und stellt ein einheitliches Multiscreen-Anwendungsmodell und eine Laufzeitumgebung für Geräte mit unterschiedlichen Eigenschaften und Fähigkeiten vor. Der vorgeschlagene Ansatz wendet das Separation of Concerns Design-Prinzip auf die Multiscreen-Domäne an. Es ermöglicht die Verwendung modularer, wiederverwendbarer, atomarer und sich selbstanpassender Komponenten, die innerhalb einer Multiscreen-Anwendung dynamisch zwischen Geräten migriert werden können. Dabei werden verschiedene Kommunikations- und Distributionsparadigmen von Anwendungskomponenten erforscht und bewertet. Diese Arbeit konzentriert sich in erster Linie auf Multimedia Anwendungen und stellt neue Techniken zur Aufbereitung, Verteilung und Wiedergabe von MultimediaInhalten in einer Multiscreen-Umgebung vor. Sie schlägt einen innovativen Ansatz vor, der die Wiedergabe von rechenintensiven Inhalten auf Geräten mit eingeschränkten Ressourcen wie der Wiedergabe von 360° Videos auf TV Geräten ermöglicht. Grundlage dieses Ansatzes ist die partielle Prerendering von Multimedia-Inhalten und die Verteilung der Verarbeitungslast auf die Geräte, auf denen die Anwendung läuft. Dies führt auch zu einer Reduzierung der erforderlichen Bitrate um bis zu 80% bei gleicher Bildqualität. Dazu werden offene Webstandards als Grundlage für die vorgestellten Lösungsansätze untersucht, da sich das Web schnell zu einer Plattform für Multimedia Anwendungen entwickelt hat, die sich durch vielfältige grafische Oberflächen und ein hohes Maß an Interaktivität über mehrere Plattformen hinweg auszeichnet. Einige Ergebnisse dieser Arbeit wurden auf internationalen Konferenzen veröffentlicht und in die W3C Second Screen Working Group eingebracht, die Spezifikationen für Multiscreen-bezogene APIs und Protokolle definiert. Teile der Arbeit wurden patentiert.
ThesisNote
Berlin, TU, Diss., 2020
Beteiligt
Verlagsort
Berlin