Energieeffiziente Gesten- und Bewegungserkennung mit neuromorpher Hardware
Der Mensch kommuniziert Informationen intuitiv über Gesten. Indem man dasselbe Paradigma für die Interaktion mit technischen Geräten nutzt, können Mensch-Maschine-Schnittstellen verbessert werden. Anforderungen an effiziente Gestenschnittstellen sind hohe Genauigkeit, geringe Reaktionszeit, geringer Stromverbrauch und Anpassungsfähigkeit. Neuromorphe Technologien ermöglichen es, Gestenerkennungssysteme nach diesen Kriterien zu optimieren.
Der vorgeschlagene Hardwareaufbau besteht aus einem ereignisbasierten Vision-Sensor und einem neuromorphen Prozessor. Ereignisbasierte Bildsensoren erkennen Änderungen der Helligkeit in jedem ihrer Pixel asynchron. Dies führt zu einer hohen zeitlichen Auflösung, geringem Stromverbrauch, hohem Dynamikbereich und geringer Datenmenge. Außerdem können die erfassten Ereignisse direkt in einen neuromorphen Prozessor gestreamt und als Spikes in einem Spiking Neural Network (SNN) verarbeitet werden. Dieses neue Berechnungsparadigma erfüllt die Anforderungen an niedrige Latenzzeiten und geringen Stromverbrauch. Außerdem ermöglichen neuromorphe Prozessoren wie der Intel-Forschungschip Loihi eine Online-Anpassung auf dem Chip. Dies kann genutzt werden, um dem Netzwerk on-the-fly neue Gesten beizubringen.
Wenn Sie dieses Video aktivieren, werden Daten automatisiert an YouTube übertragen.
Wenn Sie dieses Video aktivieren, werden Daten automatisiert an YouTube übertragen.
Das Forschungsprojekt baut auf den jüngsten Arbeiten von Prof. Neftci auf, der einen zweistufigen Ansatz zur Implementierung von Spiking Neural Networks (SNN) auf neuromorpher Hardware vorgeschlagen hat. Dieses Projekt wird in beiden Phasen einen Beitrag zum Stand der Technik leisten.
Die erste Stufe ist das Offline-Pretraining der SNNs mit einem zuvor gesammelten Datensatz. Es werden neue SNN-Architekturen, SNN-Trainingsalgorithmen und spezifische Pretraining-Strategien (z. B. Meta-Learning) erforscht. Diese Techniken optimieren das SNN für die zweite Stufe, das Online-Lernen auf dem Chip. Mit der Verfügbarkeit einer neuen Generation von Intels Loihi-Chip (Loihi 2) werden Fortschritte bei den biologisch inspirierten Lernregeln möglich sein. Dies ermöglicht eine effiziente Anpassung von Gesten und die Einführung neuer Gesten während der Systemlaufzeit.
All diese Ideen werden in einem Prototyp umgesetzt, der Gestenerkennung und Lernen in Echtzeit ermöglicht und neuromorphe Technologien für jedermann erlebbar macht.
Bayerische Forschungsstiftung
Projektnummer: AZ-1558-22
01.04.2023 - 30.09.2024
