Modul

Der/Die Studierende

• erlernt der Grundlagen von eingebetteten Multimedia- und Bildverarbeitungssystemen
• versteht der verschiedenen Charakterisierungen von Multimedia und Bildverarbeitungsalgorithmen und von eingebetteter Hardware
• erlernt des Zusammenspiels von Multimedia und Bildverarbeitungsalgorithmen mit eingebetteter Hardwarearchitekturen zusammen mit Anwendungsspezifischen Optimierungstechniken
• ist fähig eingebettete Multimedia und Bildbearbeitungssysteme zu entwerfen, zu entwickeln und sie in gegebenen Anwendungen aus Bereichen wie dem Internet der Dinge, dem Automobilbau etc. anzuwenden
• erhält Zugang zu aktuellen Forschungsthemen erschließen

Eingebettete Multimedia- und Bildverarbeitungssysteme sind allgegenwärtig im Internet der Dinge (mit IP-, Smart- und Kognitiven-Kameras), Automobilbau, medizinischer Bildverarbeitung, Sicherheit, Unterhaltung etc. Die kontinuierlich steigenden Benutzeranforderungen und Erwartungen resultieren in einem signifikanten Wachstum fortschrittlicher Multimedia Dienste bei eingebetteten Multimediasystemen. Darüber hinaus wird erwartet, dass die Videoauflösungen von High Definition über Ultra-High-Definition bis zur sog. Super-Vision ansteigt, wodurch im Vergleich zu aktuellen Standards ein ungefähr 100 mal größerer Rechenaufwand erforderlich wird. Einerseits haben solche Systeme durch die massiven Datenraten sehr hohe Anforderungen an die Rechenleistung und den Leistungsverbrauch. Andererseits müssen sie stringente Einschränkungen in Bezug auf Leistungsverbrauch und Flächenbedarf erfüllen. Darum ist der Entwurf von solchen eingebetteten Multimedia- und Bildverarbeitungssystemen eine signifikante Herausforderung.

Diese Vorlesung ist darauf ausgerichtet einen Einblick in innovative Architekturen, Algorithmen, Laufzeitsysteme und Entwurfsmethoden für hochperformante eingebettete Multimedia- und Bildverarbeitungssysteme mit geringem Leistungs-/Energieverbrauch zu vermitteln. Ein Hauptfokus ist auf gemeinsame Hardware/Software Techniken gerichtet, d.h. wie fortschrittliche Multimedia- und Bildverarbeitungsalgorithmen für Architekturen optimiert/adaptiert werden können und wie eingebettete Systeme für diese Algorithmen optimiert/adaptiert werden können.

In dieser Vorlesung werden die folgenden Themen zusammen mit Perspektiven auf aktuelle Forschungsarbeiten vorgestellt:

• Einführung in die Grundlagen fortschrittlicher Multimedia- und Bildverarbeitungsanwendungen zusammen mit einer umfassenden Analyse der Algorithmen bezüglich Performanz, Leistungsverbrauch und Speicheranforderungen.
• Eine ausführliche Übersicht auf den aktuellen Stand der Technik, traditionelle Entwicklungsabläufe und Algorithmen, sowie eine Darstellung derer Grenzen im Rahmen der zuvor beschriebenen Herausforderungen.
• Entwurf und Analyse von mehreren leichtgewichtigen Multimedia- und Bildverarbeitungsalgorithmen und Techniken zur Verwaltung der Berechnungen.
• Verschiedene Ansätze für spezialisierte (Multi-/Many-core) Prozessorarchitekturen und Entwurfsmethoden für eingebettete Multimedia- und Bildverarbeitungssysteme (z.B. gestaffelte MPSoCs, Datenfluss Prozessoren und Stochastische Prozessoren) inklusive fortschrittlicher Videospeicherhierarchien für diese Systeme.
• Laufzeitsysteme für effiziente anwendungsgetriebene Ressourcen- und Powerverwaltung durch gemeinsame Algorithmus/Architektur-Adaption, um auf dynamisch veränderliche Szenarien zu reagieren. Die Themen Approximative Berechnungen, Abbilden von Datenfluss Algorithmen, Parallelisieren von Datenfluss Anwendungen und anwendungsgetriebene dynamische Leistungsverbrauchsverwaltung werden behandelt.