Objektidentifizierung mit neuromorpher Vision auf einer Drohne
Bei diesem Projekt handelt es sich um die Übertragung eines in der Simulation realisierten Konzeptnachweises auf Hardware. Hierbei wurden IBM Spiking Neural Units (SNUs) und neuromorphes Sehen in einem Anwendungsfall der Anlagenüberwachung genutzt. Ein bestehender Bildverarbeitungsalgorithmus zur Identifizierung von Objekten wurde in das neuromorphe Paradigma übertragen, indem der mit SNUs berechnete optische Fluss integriert wurde. Die Methode wird in Hardware implementiert und optimiert, um die Vorteile der neuromorphen Hardware hervorzuheben: große Sparsamkeit, geringe Latenz und niedriger Stromverbrauch. Mit diesen Eigenschaften bietet der Ansatz eine Alternative zu bestehenden Objektidentifizierungsmethoden, wie WLAN oder Bluetooth.
Der simulierte Anwendungsfall ist die Überwachung von Objekten mit einer Drohne, die mit einem neuromorphen Vision-Sensor ausgestattet ist. Um nützliche Informationen zu übermitteln, werden an Objekten, z. B. Arbeiter oder Pakete, LEDs angebracht, die ein visuelles Muster aussenden und in einem Morsecode-ähnlichen Muster blinken. Ziel dieses Projekts ist es, einen ähnlichen Anwendungsfall in Hardware zu realisieren und als Demonstrator in den fortiss Labs zu verwenden. Er wird mit einer eingebetteten Event-Kamera auf einer Drohne ausgestattet sein.
Nach einer erfolgreichen Implementierung in der Simulation zielt dieses Projekt darauf ab, eine SNU-basierte optische Flussschätzung mit Hardware-Ereigniskamera-Input anzuwenden sowie eine Objektverfolgung und -identifizierung in Echtzeit zu erreichen.
Soweit wir wissen, wurde die geringe Latenz, die neuromorphe Hardware auszeichnet, bisher noch nicht für die Überwachung von Objekten genutzt. In diesem Projekt wird der erste Ansatz vorgestellt, der diese Eigenschaft zur Dekodierung sich bewegender variabler visueller Muster nutzt, indem die Schätzung des optischen Flusses durch Spikes mit einer Methode zur Objektidentifizierung kombiniert wird.
In dem neunmonatigen Projekt soll die Lösung für die Überwachung von Objekten auf verschiedene reale Anwendungsfälle angewendet werden, insbesondere im Zusammenhang mit variablen übertragenen Nutzlasten.
01.08.2022 - 30.05.2023
