Center for AI

Spiking Neural Units ermöglichen effiziente ereignisgesteuerte Kameras

Ob Quantum Computing, Künstliche Intelligenz oder Deep Learning – die Computertechnologie entwickelt sich mit rasender Geschwindigkeit. Von der Natur kann sie sich dabei immer noch einiges abschauen. Nervensysteme, darin eingebettete neuronale Netze und die Übertragung von Impulsen über Nervenzellen sind beispielsweise ein Wunder an Dynamik und Energieeffizienz. Mit Hilfe von sogenannten „gepulsten neuronalen Netzen“, englisch Spiking Neural Networks, lassen sich diese Eigenschaften auf Computeranwendungen übertragen. Welche Vorteile sich daraus ergeben, zeigt ein aktuelles fortiss Forschungsprojekt mit sogenannten ereignisbasierten Kameras, bei dem die von IBM entwickelten Spiking Neural Units zum Einsatz kamen. Diese zwei Technologien, inspiriert von der Biologie, sind Bausteine des stark herauskommenden Trends in der KI: Neuromorphic Computing, oder, anders ausgedrückt, Computing nach biologischen neuronalen Prozessen.

Visuelle Szenen in Echtzeit verarbeiten, in diffusen Signalen Muster erkennen und darauf reagieren – biologische Organismen können all dies leisten und sind damit hocheffiziente Informationsverarbeitungssysteme. Ihr Leistungsvermögen stützt sich vor allem auf die vielen Millionen winziger Kommunikationseinheiten in ihrem Organismus: die Nervenzellen, auch Neuronen genannt. Dabei handelt es sich um hoch spezialisierte, sehr sensible Zellen, die für die Weiterleitung von Informationen entlang der Kommunikationswege unseres Nervensystems zuständig sind. Ein Neuron nimmt mit Hilfe von elektrischen und chemischen Signalen Informationen auf, verarbeitet sie und gibt sie weiter. All das geschieht mit einer Dynamik und Effizienz, vor der heute jedes noch so moderne Computersystem nur den Hut ziehen kann.

Wie aber wäre es, wenn sich diese Dynamik und Effizienz entschlüsseln und auf Computeranwendungen übertragen ließe? Welche neuen Anwendungsfelder könnten sich daraus ergeben? Diese Fragen haben sich die Wissenschaftler*innen von fortiss und IBM Research gestellt. Im gemeinsamen Forschungszentrum Center for AI ist daraus ein Projekt entstanden, das neue Anwendungsmöglichkeiten im Objektschutz, Asset Management oder Verkehr eröffnen könnte. Der Projektname FAMOUS steht für „Field service and Asset Monitoring with On-board SNU and event-based vision in Simulated drones“. Ziel ist es, die Anwendbarkeit von IBM Spiking Neural Units (SNU) mittels Deep Learning in realen, auf Ereigniskameras basierenden Bildverarbeitungsanwendungen zu beweisen.

IBM Spiking Neural Units basieren auf biologischen Prozessen

IBM Spiking Neural Units basieren auf Prinzipien der neuronalen Informationsverarbeitung: Die Neuronen nehmen Impulse über sogenannte Spikes auf. Die Impulse werden im Zellkörper (dem sogenannten Soma) akkumuliert. Sobald ein bestimmter Schwellenwert überschritten wird, gibt das Neuron die Information an andere Neuronen weiter. Dieser Vorgang findet dabei nicht permanent statt, sondern nur, wenn er durch einen Impuls von außen angestoßen wird – er ist also ereignisgesteuert. Der Prozess läuft somit einerseits sehr dynamisch und mit geringer Latenz ab; anderseits ist er überaus energieeffizient, da das System ruht, wenn es nicht angestoßen wird. Das sind Eigenschaften, die in modernen Computeranwendungen große Vorteile bringen können.

Spiking Neural Unit
Links: Prinzipien der neuronalen Informationsverarbeitung. Sobald ein Schwellenwert überschritten wird, gibt das Neuron die Information an andere Neuronen weiter. Rechts: IBM Spiking Neural Unit folgt diesen Prinzipien und lässt sich nahtlos in gängige KI-Systeme integrieren.

IBM Forscher*innen haben diesen neuronalen Prozess mit Hilfe von Blöcken aus dem Deep Learning Framework nachgebildet. Entstanden sind daraus die IBM Spiking Neural Units. Diese SNUs lassen sich nahtlos in gängige KI-Systeme integrieren und stellen gewissermaßen eine Brücke zwischen den biologischen Prozessen und der digitalen Welt dar. SNUs lehren KI-Systeme, wie die biologischen Prozesse die Informationsverarbeitung unterstützen und wie das KI-System deren enorme Dynamik – oder andere Vorteile – erreichen kann. Die Impulsübertragung mittels Spikes und deren einzigartige neuronale Dynamik sind die wichtigsten Vorteile biologischer Prozesse, die sich in ein Deep Learning-Framework übertragen lassen. Auch auf andere biologische Prozesse ist das Prinzip übertragbar, je nachdem, welche Eigenschaften die KI-Systeme von der Biologie übernehmen sollen. IBM stellt dafür das Framework zur Verfügung (siehe Seite unten: NeuroAI Toolkit).

Mittels Deep Learning: Schnellere und vollständigere Dekodierung visueller Szenen

Im Fall von Projekt FAMOUS geht es speziell um die genannten Vorteile der ereignisbasierten Informationsübertragung: geringe Latenz bei hoher Energieeffizienz durch Ereignissteuerung. Die Forscher*innen von fortiss verwenden die Technologie in sogenannten ereignisbasierten Kameras, um beispielsweise aus Drohnen Fahrzeuge oder andere Objekte zu identifizieren und deren Bewegung zu kartieren. Der Vorteil der ereignisgesteuerten Kameras besteht darin, dass sie eine sehr viel schnellere und zeitlich vollständigere Aufnahme der visuellen Szene ermöglichen.

Zwar können auch „normale“ Videokameras Objekte identifizieren und nachverfolgen – und sie tun dies bereits in vielen Anwendungen. Doch sind diese Aufzeichnungen im Vergleich zur ereignisgesteuerten Aufzeichnung nach Vorbild der neuronalen Übermittlung langsamer und unvollständiger.

Simulierter Kran
Rechts: ein simulierter Kran, aus der Sicht einer Drohne mit klassischer Kamera abgebildet. Links: dieselbe Szene mit einer Ereigniskamera. Weil sich die Drohne nach links bewegt, werden positiven Ereignisse (rot) und negativen Ereignisse (blau) aufgezeichnet.

Dies erklärt sich durch das Aufnahmeprinzip konventioneller Kameras: Sie zeichnen sehr schnell hintereinander Einzelbilder – sogenannte Frames – auf, deren Abfolge den Film ergibt. Je höher die Frame-Rate – gemessen in Frames per Second (FPS) – desto mehr Bildinformationen werden aufgezeichnet.

Ein Kinofilm hat beispielsweise 24 FPS, was bedeutet, dass jede Sekunde 24 Stillbilder gezeigt werden. Die Geschwindigkeit der Abfolge täuscht unserem Gehirn nur die flüssige Bewegung vor.

Ereigniskameras erfassen auch Informationen zwischen den Frames

Der Nachteil der konventionellen Aufnahmesteuerung besteht darin, dass auch zwischen den Frames Ereignisse stattfinden, die nicht aufgezeichnet werden. Dadurch gehen Informationen verloren. Zudem kostet die Dekodierung des Bildes Zeit. Ereignisgesteuerte Kameras zeichnen hingegen kontinuierlich nur die wechselnde visuelle Information auf. Somit wird viel weniger Information sehr viel schneller bearbeitet.

Simulierte Baustelle
Eine simulierte Baustelle, in der verschiedene Objekte oder Personen mittels des „aktiven optischen Identifikationssensors“ identifiziert werden sollen.

Um diese Vorteile zu belegen, hat fortiss simulierte Drohnen in der Neurorobotics Platformmit ereignisgesteuerten Kameras ausgestattet und lässt sie verschiedene bewegliche Objekte in einer industriellen Arbeitsumgebung überwachen.

Die Objekte werden dank eines „aktiven optischen Identifikationssensors“ erkannt, identifiziert und lokalisiert. Der Sensor ist perfekt auf ereignisbasierte Kameras abgestimmt.

Das Identifizieren und Monitoring laufen in dieser Anordnung sehr viel schneller und genauer als mit herkömmlichen KI-gestützten Kameras.

Einsatz im Verkehr oder in industriellen Umgebungen

Die Einsatzmöglichkeiten für die neue Technologien sind vielfältig, vor allem wenn es darum geht ein schnelles und detailliertes Bild der aktuellen Lage zu bekommen: Wie im Demonstrationsbeispiel gezeigt können Unternehmen damit z.B. auf einer Baustelle jederzeit ohne GPS oder Funkverbindung die genaue Position von Mitarbeitern, Maschinen und Werkzeugen bestimmen. Im Brand- oder Katastrophenfall können sie so schnell gefunden und in Sicherheit gebracht werden. Auch kommen Anwendungen im Straßenverkehr in Frage. Beispielsweise könnten die Routen von Polizei-, Feuerwehr- oder Rettungsfahrzeugen nachverfolgt werden, um die Ampeln auf ihrem Weg auf grün zu schalten.

Wenn Sie dieses Video aktivieren, werden Daten automatisiert an YouTube übertragen.

Mehr Informationen
Aktivieren
3D views of FAMOUS simulation scene

Die Computerwissenschaft hat schon immer gerne mit Analogien zu Biologie gearbeitet. Davon zeugen Begriffe wie Autonomes Computing oder Künstliche Intelligenz. Die Idee, die effizienten und erfolgreichen „Lösungen“ aus der Biologie für Deep-Learning-Trainings zu nutzen, ist eine neue Kategorie.

Das eröffnet ein aussichtsreiches Feld an neuen Möglichkeiten. Schließlich ist die Natur voller cleverer Lösungen, die weitere Anwendungsfelder für KI inspirieren können.

Marketing & Presse

Ihr Kontakt

Marketing & Presse

presse@fortiss.org

Zurück

Verwandte Nachrichten

Weitere Informationen