ELEANOR (Energy- and Latency-Efficient Insertion of Objects using a robotic Arm equipped with an event-based camera and NeurOmoRphic hardware) baut auf den Ergebnissen des vorangegangenen INRC3-Projekts auf, in dem ein Roboterarm lernte, Objekte allein durch Kraftrückkopplung einzufügen. Nun kombiniert das Projekt ereignisbasierte Bildverarbeitung mit einer übergreifenden neuronalen Zustandsmaschine, um die Positionierung von Objekten in Echtzeit zu optimieren. In diesem Fall sollte der Roboterarm in der Lage sein, einen Stecker in die passende Steckdose einzustecken, indem er die richtige Buchse durch visuelles Feedback identifiziert. Im Projekt werden zentrale Herausforderungen der adaptiven, neuromorphen Automatisierung angegangen. Das fortiss-Forschungsteam hat in Zusammenarbeit mit Intel einen neuromorphen Algorithmus entwickelt. Unter der Leitung von Dr. Evan Eames aus dem Kompetenzfeld Neuromorphic Computing wurden Kontrollstrategien getestet und optimiert, bevor sie im realen Roboter zum Einsatz kamen. Gefördert wurde das Projekt vom Bayerischen Staatsministerium für Wirtschaft, Landesentwicklung und Energie (StMWi).
Biologisch inspirierte Präzision und intelligente Bildverarbeitung
Das ELEANOR-Projekt bringt die Roboterpräzision entscheidend voran, indem es ereignisbasierte Bildverarbeitung mit neuromorpher Steuerung kombiniert. Während ereignisbasierte Kameras in der Forschung zur mobilen Robotik weit verbreitet sind, verfolgt ELEANOR einen neuartigen Ansatz, indem es eine Kamera an einem Roboterarm montiert. Das Anbringen der Kamera ermöglicht eine visuelle Verarbeitung in Echtzeit, ohne dass der Arm ständig bewegt werden muss, und nutzt biologisch inspirierte Aufmerksamkeitsmechanismen, um sich auf relevante Objekte zu konzentrieren.
Eine Schlüsselentwicklung des Projekts ist die Kombination von spezialisierten Bildverarbeitungsalgorithmen mit einem adaptiven Controller. Ein neuromorpher Vorverarbeitungsschritt segmentiert das Sichtfeld auf intelligente Weise, während ein biologisch inspiriertes Dynamisches Neuronales Feld (DNF) Objekte wie Stecker fokussiert und verfolgt. Darüber hinaus ermöglicht ein DNF-basiertes Speichersystem dem Roboter, Informationen über zuvor identifizierte Steckdosen zu speichern, was die Effizienz bei komplexen Aufgaben erheblich erhöht.
Das Herzstück der Architektur von ELEANOR ist die Integration der genannten Komponenten zusammen mit der visuellen Servosteuerung in eine übergreifende Struktur - die Neural State Machine. Dabei handelt es sich um ein Entscheidungssystem, das die traditionellen Logikgatter durch eine vollständig neuronale Struktur ersetzt, welche die kognitiven Prozesse des Menschen nachahmt. Zum ersten Mal wurde die gesamte Verarbeitungspipeline, von der Wahrnehmung bis zur Entscheidungsfindung, mit Hilfe von Spiking Neural Networks implementiert.
Jede Komponente wurde erfolgreich auf dem neuromorphen Forschungs-Chip Loihi 2 von Intel getestet, was bestätigt, dass neuromorphes Computing die für industrielle Anwendungen erforderliche Leistung mit niedrigem Energieverbrauch und geringer Latenzzeit liefern kann. ELEANOR integriert ereignisbasierte Bildverarbeitung mit neuromorpher Steuerung in einem vollständig spikenden System. Dies markiert einen wichtigen Schritt hin zu effizienter und anpassungsfähiger Roboterautomatisierung. Besonders für kleine und mittlere Unternehmen (KMU) eröffnen sich neue Möglichkeiten, um Präzision und Effizienz ihrer Abläufe zu verbessern.
Neuromorphe Robotik eröffnet neue Möglichkeiten für adaptive Automatisierung
Die im Projekt ELEANOR gewonnenen Erkenntnisse und entwickelten Technologien bieten insbesondere für Unternehmen im Bereich Robotik und Bildverarbeitung einen erheblichen Mehrwert. Mit der Ausweitung der neuromorphen Fähigkeiten werden diese Innovationen in zahlreichen Industriebereichen zu Standardfunktionen und so eine Grundlage für die nächste Generation intelligenter Automatisierung bilden. Durch den Einsatz dieser fortschrittlichen KI-Technologien können Unternehmen ihre Wettbewerbsfähigkeit steigern und innovative Lösungen für komplexe Automatisierungsaufgaben implementieren.
Das Projekt ELEANOR leistete einen wichtigen Beitrag zur Weiterentwicklung der neuromorphen Robotersteuerung. Die erfolgreiche Kombination ereignisbasierter Sensortechnologie mit spikenden neuronalen Netzwerken auf neuromorpher Hardware zeigt das Potenzial dieser Technologien für präzise und energieeffiziente Roboteranwendungen. In zukünftigen Anwendungen soll es über das Einfügen von Objekten hinausgehen. Der Plan ist es, dass die Möglichkeiten der Robotersteuerung auf weitere Aufgaben, wie das Greifen, Manipulieren oder Platzieren von Objekten in Situationen, in denen Roboterpräzision erforderlich ist, übertragen werden kann.
