TONUS

Dieses Projekt präsentiert eine innovative Klanginstallation, die die Interaktion zwischen Mensch und Maschine auf Basis neuromorpher Technologie erforscht. Durch die Analyse von Körperbewegungen mittels zweier neuromopher Kameras und eines energieeffizienten Chips werden digitale Körpermodelle erstellt. Ein KI-Algorithmus verarbeitet diese Daten und steuert dynamische Klangwelten, die sich in Echtzeit an die Bewegungen, Position und Körperhaltung des Besuchers anpassen.

Die Installation verfolgt zwei Hauptziele: Erstens soll sie die Funktionsweise neuromorpher Systeme durch ein abstraktes visuelles Feedback der 'Gehirnaktivität' des Chips veranschaulichen. Zweitens wird die körpergesteuerte Klangerzeugung in einem neuen Kontext erforscht, indem ein direkterer Dialog zwischen Mensch und Maschine mit reichhaltigeren Klanglandschaften geschaffen wird.

Die Installation gliedert sich in drei unterschiedliche Klangwelten, die jeweils eine einzigartige künstlerische Atmosphäre erzeugen:

• Le tourbillon de la vie:
  • Diese Klangwelt entführt den Besucher in eine nostalgische Atmosphäre, in der die Zeit als verbindendes Element zwischen Mensch und Algorithmus fungiert.
  • Das a cappella gesungene Lied von Jeanne Moreau wird durch Arm- und Beinbewegungen des Besuchers mit Klängen angenehmer Erinnerungen angereichert.
• Tech now:
  • Durch eine Rückkopplung zwischen Mensch und Maschine entsteht ein dynamischer Techno-Loop.
  • Armbewegungen lösen neue Melodien und Effekte aus, während die Aktivität des Besuchers Percussion-Elemente beeinflusst.
  • Der Techno-Loop entwickelt sich schrittweise zu einem immer intensiveren Klangerlebnis.
• Screaching:
  • In dieser Klangwelt entsteht ein direkter Dialog zwischen Mensch und Algorithmus.
  • Die Bewegungen der Gliedmaßen des Besuchers werden unmittelbar in Klänge umgewandelt und ermöglichen so eine unmittelbare klangliche Interaktion.

Das Projekt TONUS demonstriert die innovative Anwendung von neuromorphem Computing zur Schaffung interaktiver Mensch-Maschine-Erfahrungen. Im Kern steht die Entwicklung eines Systems, das durch die Simulation biologischer Neuronen eine menschenähnlichere Informationsverarbeitung ermöglicht. Es wird gezeigt, dass durch den Einsatz von neuromorphem Computing und ereignisbasierten Kameras eine effiziente und datensparsame Bewegungsverfolgung möglich ist, bei der lediglich Bewegungssignaturen erfasst werden. 

Die Installation nutzt ein Netzwerk aus Spike-Neuronen auf einem neuromorphen Chip, um die neuronale Ähnlichkeit zwischen Mensch und Maschine durch interaktive Klang- und Lichtrückmeldungen zu verdeutlichen. Die Aktivität der 'künstlichen Neuronen' des Chips wird dabei abstrakt visualisiert. Ein wesentlicher Forschungsbeitrag ist die Demonstration der hohen Energieeffizienz neuromorpher Systeme, die als "Grüne KI" bezeichnet werden. Die Installation präsentiert den neuromorphen Chip als zentralen Bestandteil dieser ressourcenschonenden Technologie. Dieser Forschungsbeitrag leistet einen Beitrag zur Weiterentwicklung von neuromorphem Computing und zeigt dessen Potenzial für die Gestaltung interaktiver und energieeffizienter Mensch-Maschine-Schnittstellen.

Diese Arbeit wurde teilweise durch das Projekt SpikingBody gefördert, unterstützt von der Bayerische Forschungsstiftung, Projektnummer: AZ-1558-22.

01.04.2023 - fortlaufend