Weltpremiere: dentsu Lab Tokyo macht Hirnsignale mittels Avatar bei Festival sichtbar

Am Freitag wurde beim Ars Electronica Festival eine bahnbrechende Premiere gefeiert: Das dentsu Lab Tokyo präsentierte beim Höhepunkt des Festivals nämlich das „Project Humanity“, bei dem menschliche Gehirnsignale mithilfe eines Avatars sichtbar gemacht wurden. Das Besondere daran: Der an ALS-erkrankte ehemalige DJ Masatane Muto aus Tokyo spielte ein 30-minütiges Musik-Set – und das nur mit seinen Augen. Somit wurden gleichzeitig erstmals Elektromyografie-Signale aus dem menschlichen Gehirn live on-stage sichtbar und erlebbar gemacht.

Ehemaliger DJ mit ALS  konnte mit Augenbewegungen Musik spielen lassen

Die Amyotrophe Lateralsklerose (ALS) ist eine neurodegenerative Erkrankung, die das zentrale Nervensystem betrifft. ALS führt allmählich zu einem Verlust der Muskelkontrolle und Bewegungsfähigkeit. Betroffene erleben fortschreitende Muskelschwäche und Lähmungen, was zu erheblichen Einschränkungen in der Mobilität und Kommunikation führt.

Im Rahmen des Ars Electronica Festivals in Linz gewährte das dentsu Lab Tokyo einen Einblick in eine potenzielle Zukunft, in der Menschen mit physischen Einschränkungen Avatare im Metaverse für Kommunikationszwecke mittels Gedankensteuerung steuern könnten.

Während des Festivals wurde der ehemalige DJ Masatane Muto, der eben selbst an der Nervenkrankheit amyotrophe Lateralsklerose (ALS) leidet, per Videocall live aus Tokyo zugeschaltet. Mit erstaunlicher Präzision spielte er dann ein Musik-Set, indem er lediglich Augenbewegungen nutzte. Eine eye-tracking Software erfasste diese Bewegungen und wandelte sie in Musik um, die in Linz über spezielle Instrumente wiedergegeben wurde. Auf der Bühne erschien auch ein Hologramm seines Avatars aus dem Metaverse, der lebhaft tanzte und das Publikum zum Mitmachen und Tanzen animierte.

Beeindruckend bleibt, dass sämtliche Bewegungen des Avatars von Masas Gehirn gesteuert wurden. Das wurde durch eine Technologie ermöglicht, die die Elektromyografie-Signale, die normalerweise unsere Muskelbewegungen steuern, in Echtzeit über Transponder an den Avatar weiterleitete. Die Performance begeisterte das Publikum und zeigte eindrucksvoll, wie wichtig Inklusion und barrierefreier Zugang zu solchen Möglichkeiten sind.

Für alle, die das mit eigenen Augen sehen wollen:

(Die Musik Performance startet ab Minute 2:00, der Avatar kommt ab Minute 5:10 dazu)

Brillanten Menschen mit Erkrankung durch Technologie, Möglichkeiten geben, die sie verdienen

„Es gibt so viele kreative, brillante Menschen, die sich aufgrund von Krankheiten aus dem Arbeitsleben und der Gesellschaft zurückziehen müssen. Ihre Ideen und ihr Engagement gehen der Welt verloren. Das wollen wir mit den vielfältigen technologischen Möglichkeiten ändern. Es freut uns, dass wir auf dem Ars Electronica Festival, einem Event, das seit viel Jahren für Verbindung von Kunst, Technologie und der Gesellschaft steht, einen Vorgeschmack geben können“, erklärt Naoki Tanaka, Creative Director des dentsu Lab Tokyo. Das dentsu Lab Tokyo ist ein Forschungs- und Entwicklungsteam mit Sitz in Japan und gehört zum internationalen Agenturnetzwerk dentsu, das ebenfalls einen Standort in Wien hat.