Industrieroboter sehen mit neuromorphen Augen
Wir schlagen vor, das komplexe und aktuell viel erforschte Problem des robotischen Einfügens von Objekten (z.B. Stecker) zu lösen, indem wir ereignisbasierte Bildverarbeitung mit geringer Latenz und neuromorpher Hardware verwenden, um das Objekt in einem schnellen Regelkreis präzise zu positionieren, und damit einen neuen Stand der Technik bei der bildverarbeitungsgesteuerten Roboterkontrolle zu etablieren. Die auf spikenden neuronalen Netzen basierende Robotersteuerung erfüllt die Anforderungen der geringen Latenz und der Präzision der visuellen Analyse des Einsetzvorgangs, der Anpassungsfähigkeit an verschiedene Objektformen und Einsetzdynamiken sowie der Energieeffizienz der KI-Verarbeitung. So werden auch mobile Robotikanwendungen ermöglicht.
Unser Ansatz beruht in der Verwendung von optischem Fluss und einer ereignisbasierten 3D-Rekonstruktion in einem spikenden neuronalen Netz auf einem neuromorphem Forschungs-Chip. Das ermöglicht die Echtzeitsteuerung der präzisen Zentrierung des Objektes, relativ zu dem Slot in Vorbereitung zu einem kraftbasierten Einfügungsvorgang. Die Relevanz für bayerische Unternehmen in den Bereichen Robotik und Bildverarbeitung ist sehr hoch, da sie dadurch einen signifikanten Vorsprung in den KI-Technologien erhalten können.
Die Innovation unseres Projekts liegt, erstens, in der Verwendung einer ereignisbasierten Kamera für die präzise visionsgesteuerte Armsteuerung. Solche Kameras wurden in der Forschung an mobilen Robotern, wie z. B. Drohnen, bereits ausgiebig eingesetzt (siehe Arbeiten von Prof. D. Scaramuzza aus Univ. Zürich) und ermöglichen schnelle Manöver und 3D-Rekonstruktionen. Die Extraktion von geometrischen und kinematischen Messungen eines Objekts aus Ereignisströmen wurde bisher nicht demonstriert.
Zweitens, werden wir die ereignisbasierten Bildverarbeitungsalgorithmen und den adaptiven Controller als spikendes neuronales Netz auf einem neuromorphic Chip entwickeln, was die Latenzzeit und den Stromverbrauch weiter reduziert und die Adaptivität der resultierenden Lösung ermöglicht. Dieses Vorgehen wird einen Beitrag zum wachsenden Feld des neuromorphen Computings in der Robotik leisten.
Schließlich wird die Integration der ereignisbasierten Bildverarbeitung und der spikebasierten Steuerung die Möglichkeit eröffnen, diesen schnellen Vision-Sensor für andere Roboteraufgaben einzusetzen, die eine präzise Positionierung des Roboters relativ zum Objekt erfordern, z.B. das Greifen, Manipulieren, oder Platzieren. Dies wird die ereignisbasierte Bildverarbeitung über den Bereich der mobilen Robotik hinaus, in der Industrierobotik und der Armsteuerung einführen.
Bayerisches Staatsministerium für Wirtschaft, Landesentwicklung und Energie (StMWi)
Förderkennzeichen DIK-2105-0036// DIK0368/01
01.10.2021 - 31.09.2024
