EMMANÜELA

Im Rahmen dieses Projekts soll ein neuartiger Mensch-Maschine-Interaktionssensor für Augmented und Virtual Reality erforscht und entwickelt werden. Der Sensor wird anhand des anspruchsvollen Anwendungsfalls der Bewegungserkennung aus egozentrischer Perspektive inklusive Sensor Fusion erprobt. Die Verarbeitung von Sensordaten direkt in einem Extended-Reality-Gerät ohne Gerät-zu-Server-Kommunikation ist ein Muss, um niedrige Latenzzeiten und Sensorreaktivität zu gewährleisten. Neuromorphe Hardware und ereignisbasierte Kameras ermöglichen im Gegensatz zur energieintensiven klassischen KI-basierten Bildanalyse eine stromsparende und latenzarme Verarbeitung auf dem Gerät (Edge KI). Aufbauend auf neuesten theoretischen Erkenntnissen zur neuromorphen Gesten- und Bewegungserkennung wird ein integrierter Sensor an einer AR-Brille demonstriert. Ziel ist es, die Leistungsfähigkeit, Potenziale und Grenzen neuromorpher Technologien für zukünftige Anwendungen im Metaverse zu erforschen.

fortiss trägt direkt zur Generierung eventbasierter Datensätze für die Aktionserkennung in AR/VR bei und erforscht dafür neuromorphe Algorithmen. Diese werden auf neuromorpher Hardware implementiert und benchmarked. Zudem ist fortiss am Aufbau und Test des Prototyps beteiligt.

Verein Deutscher Ingenieure (VDI) / Verband der Elektrotechnik Elektronik Informationstechnik (VDE)

01.11.2024 – 31.10.2026