Im Mittelpunkt von EMMANÜELA (Energieeffizienter Mensch-Maschine-Interaktionssensor über Edge-KI für lernfähige AR/VR) steht die Entwicklung eines neuartigen, energieeffizienten Sensors für die Mensch-Maschine-Interaktion im Bereich Augmented und Virtual Reality (AR/VR). Ein zentraler Aspekt ist die direkte Verarbeitung von Sensordaten in einem Extended-Reality-Gerät, wodurch niedrige Latenzzeiten und eine hohe Sensorreaktivität sichergestellt werden – ohne die Notwendigkeit der Kommunikation mit externen Servern. Hierfür kommen neuromorphe Hardware, die das menschliche Gehirn in seiner Funktionsweise nachahmt, und ereignisbasierte Kameras zum Einsatz, die eine energieeffiziente, latenzarme Verarbeitung direkt am Gerät (Edge-KI) ermöglichen – im Gegensatz zu klassischen, energieintensiven KI-basierten Bildanalysen.
Die fortiss-Wissenschaftler*innen aus dem Kompetenzfeld Neuromorphic Computing bringen ihre Erfahrung in der Aktionserkennung und der Entwicklung neuromorpher Algorithmen ein. Sie generieren und analysieren eventbasierte Datensätze – also Daten, die durch spezifische Ereignisse ausgelöst werden – zur Bewegungserkennung und implementieren die Algorithmen auf neuromorpher Hardware. Auch der Prototyp, der in einer AR-Brille demonstriert wird, wird von fortiss mitentwickelt.
Simi Reality Motion Systems GmbH liefert ihre Expertise in kamerabasierten Systemen zur Bewegungsanalyse und setzt auf Standardhardware, um die Transparenz und Effizienz der Bewegungsdaten zu verbessern. Die Technologien von Simi tragen zur Entwicklung der Sensortechnologien bei und ergänzen die neuromorphe Herangehensweise des Projekts.
Optimierte Interaktion zwischen Mensch und Maschine
Im Projekt werden Eventkameras eingesetzt, die in der Lage sind, Ereignisse in Echtzeit zu erfassen, sowie Inertialsensoren, die Beschleunigung und Rotationsraten messen, um eine präzise Bewegungserkennung in AR-Brillen zu ermöglichen. Eventkameras registrieren Änderungen im Sichtfeld mit hoher zeitlicher Auflösung, wodurch die Datenmenge reduziert und Verzögerungen im Vergleich zu herkömmlichen Kameras minimiert werden. Neuromorphe Algorithmen optimieren diesen Prozess und senken den Energieverbrauch. Die Kombination von neuromorpher Hardware und Eventkameras ermöglicht es, eine leistungsfähige, stromsparende und latenzarme Bewegungserkennung direkt auf das Gerät zu bringen.
So spart sich das System verzögernde Kommunikation mit externen Servern. Reaktive AR/VR passt Inhalte dynamisch an Benutzeraktionen und Umgebungsveränderungen an und nutzt Sensoren oder Kameras zur Interaktion. Immersive AR/VR kombiniert realistische Grafiken, 3D-Audio und haptisches Feedback, um ein möglichst intensives digitales Erlebnis zu schaffen.
Forschung im Kontext immersiver digitaler Welten
EMMANÜELA knüpft an die neuesten Entwicklungen im Bereich Extended Reality (XR) an, bei denen digitale und reale Erlebnisse miteinander verschmelzen. Nutzer interagieren durch AR, VR und weitere Technologien, um eine nahtlose und immersive Erfahrung zu erleben. Die von fortiss eingebrachten Forschungsergebnisse könnten neue, intuitive Interaktionsmethoden für AR/VR ermöglichen, die den Bedarf an externer Hardware minimieren und gleichzeitig die Effizienz und Benutzerfreundlichkeit erhöhen.
Durch die Entwicklung von energieeffizienten Sensoren und neuartigen Algorithmen fördert das Projekt die kontinuierliche Verbesserung der Sensortechnologie und die Senkung des Energieverbrauchs. Diese Fortschritte bieten zahlreiche innovative Anwendungsmöglichkeiten, die über die Industrie hinaus auch in der Medizin, Bildung und Unterhaltung eine bedeutende Rolle spielen können.
