Erkennung und Identifizierung von Objekten mit ereignisbasierter Bildverarbeitung
Das allgemeine Ziel dieses Projekts FAMOUS (Field service and Asset Monitoring with On-board SNUand event-based vision in Simulated drones) ist es, die Anwendbarkeit von IBMs Spiking Network Units (SNU) in realen, auf Ereigniskameras basierenden Bildverarbeitungsanwendungen zu beweisen. Im Rahmen des Projekts sollen SNU auf einen Drohnenanwendungsfall angewendet werden, bei dem mit Kameras ausgestattete Drohnen in einer Simulation Objekte am Boden erkennen, identifizieren und lokalisieren und eine Karte davon erstellen sollen. Die Objekte werden dank eines zuvor entwickelten "aktiven optischen Identifikationssensors", der perfekt mit ereignisbasierten Kameras zusammenpasst, erkannt, identifiziert und lokalisiert.
Die Innovation in diesem Projekt liegt in der Verwendung von Spiking AI und ereignisbasierten Kameras, die beide im Vergleich zu herkömmlichen KI und Kameras extrem energieeffizient sind. Dieses Proof-of-Concept-Projekt, das ausschließlich in der Simulation durchgeführt wird, soll dann zu einem ehrgeizigeren Projekt führen, bei dem die Hardware-Implementierung untersucht werden kann. IBM schlägt vor, das SNU-Toolset zu ergänzen, um ereignisbasierte Vision-Sensoren und -Algorithmen zu unterstützen, während fortiss die Verantwortung für den Aufbau des simulierten Experiments, die Implementierung des virtuellen Sensors zur aktiven optischen Identifizierung und die Integration von SNU in die Anwendung übernehmen wird. Wir erwarten am Ende einen simulierten Demonstrator, der im Münchner Highlight-Tower präsentiert wird.
Wenn Sie dieses Video aktivieren, werden Daten automatisiert an YouTube übertragen.
Das Video zeigt vier 3D-Ansichten der FAMOUS-Simulationsszene. Der Anwendungsfall ist eine simulierte Baustelle mit einigen Objekten (Pakete auf dem Boden) und Personen, die mit einem "aktiven Identifikationssensor" ausgestattet sind, der von der FAMOUS-Drohne identifiziert und verfolgt werden soll. Die Drohne steigt zunächst regelmäßig in die Luft, fliegt dann nach Südosten und leicht nach unten, dreht sich dann um sich selbst und fliegt schließlich senkrecht nach unten. Bei Flugbahnänderungen ruckelt die Drohne stark, was ein perfekt simuliertes Verhalten ist, das bei Hardware-Drohnen auftritt. Die Ansicht oben links ist die "Endbenutzer"-Ansicht, in der Objekte und Personen, die mit dem aktiven Identifikationssensor ausgestattet sind, identifiziert (Pack 0, Arbeiter 1 usw.) und verfolgt werden. Die Ansicht oben rechts zeigt verfolgte Objekte mit Verfolgungsrechtecken und Kameraereignissen, die potenzielle Spuren darstellen.
Diese Ereignisse explodieren bei Änderungen der Flugbahn, was zu erwarten ist. Die Spuren gehen dann für sehr kurze Zeit verloren und werden sehr bald wieder aufgenommen, was die geringe Latenzzeit des Systems beweist. Die untere linke Ansicht zeigt den spärlichen optischen Fluss, der von IBMs Spiking Neural Units aus Ereignissen berechnet wird und zur Verfolgung identifizierter Objekte verwendet wird. Die Ansicht unten rechts ist eine Außenansicht der Szene, in der die Drohne beim Fliegen zu sehen ist, sowie die Aufzeichnung von Daten.
Der große Durchbruch ist hier die Verwendung von Spiking und ereignisbasierter Echtzeitsensorik. Dies wird beweisen, dass die SNU in der Lage ist, diesen Technologiebereich abzudecken. Die niedrige Latenz und der niedrige Energieverbrauch der neuromorphen Hardware und der Ereigniskameras werden KI-basierte Außendienst- und Anlagenüberwachungsanwendungen ermöglichen, wobei die technischen Risiken darin bestehen, dass das SNU-Toolset nur schwer durch ereignisbasierte Sensoren ergänzt werden kann. Die Implementierung des AOI-Sensors in Spiking könnte ebenfalls Zeit in Anspruch nehmen und die Projektergebnisse verzögern, wenn sie nicht genau genug überwacht wird.
In diesem sechsmonatigen Projekt, das sich ausschließlich in der Simulation befindet, sollten wir in der Lage sein, zumindest das vollständige 3D-Experiment zu erreichen, bei dem die Kamera die AOI-Signale erfasst und lokalisiert. Damit wäre ein Teil der Objektkarte verfügbar. Wenn die Objektidentifizierung innerhalb des Projektzeitrahmens möglich ist, wäre dies das optimale Ergebnis.
01.10.2021 - 31.03.2022
