SwarmGPT steuert Drohnen und lässt sie tanzen

Wissenschaftler:innen der TU München haben SwarmGPT entwickelt. Das System baut auf dem Large Language Model (LLM) von ChatGPT auf und lässt Drohnenschwärme eine Choreografie passend zur Musik ausführen.

Bis zu zwölf tanzende Drohnen

Vor rund 15 Jahren hätte es einige Monate dauern können, um einen tanzenden Drohnenschwarm manuell zu programmieren. Einem Team aus Wissenschaftler:innen der Technischen Universität München (TUM) ist es jetzt gelungen, dies mit der entwickelten SwarmGPT in nur wenigen Minuten umzusetzen. Die Drohnenchoreografie soll sich dabei leicht erstellen lassen: Zuerst wird Musik ausgewählt, zu dem die Drohnen in der Luft tanzen sollen. Anschließend erstellt ein eigens dafür entwickeltes Webinterface eine passende Choreografie für bis zu zwölf Drohnen. Damit dies gelingt, muss das Musikstück an das KI-Sprachmodell gesendet werden, nur so können die Informationen daraus ausgewertet werden. Geleitet wurde das Projekt von Angela Schoellig, Professorin für Robotik an der TUM.

ChatGPT kennt keine Drohnen und deren Flugbahnen

Die Hauptaufgabe des LLMs von ChatGPT ist, Texte zu generieren. Es kann aber auch anderen Aufgaben nachgehen, wie eben dem Erstellen von Drohnentänzen. Da ChatGPT kein spezifisches Wissen zu Drohnen und deren physikalische Eigenschaften und Grenzen hat, können Fehler in den Choreografien enthalten sein. Diese werden vom Forscherteam auf einem virtuell simulierten Flugfeld überprüft und behoben. In einem weiteren Schritt wird die finale Performance auf die 42 g leichten OpenSource „Crazyflie Mini-Drohnen” übertragen. Ein implementierter Sicherheitsfilter sorgt dafür, dass es zu keinen Drohnenzusammenstößen in der Luft kommt.

Die TUM-Forschenden erklären die Funktionsweise von SwarmGPT:

Algorithmus basiert auf effizienter Verteilungsoptimierung

Der Algorithmus von SwarmGPT analysiert die Flugbahnen der Drohnen, die in der Lage sind, ihre individuellen Flugbahninformationen miteinander austauschen. Dann führt er eine „effiziente Verteilungsoptimierung” durch, auf die gegebenenfalls eine Neuplanung der Flugstrecke folgt. Die Wissenschaftler:innen der TUM erstellten mit SwarmGPT in drei Monaten mehr als 30 Choreografien mit zwischen sechs und zwölf Drohnen. Das System brauche in etwa fünf Minuten Rechenzeit für eine 30-sekündige Choreo. Ein Paper, das den Titel „AMSwarm: An Alternating Minimization Approach for Safe Motion Planning of Quadrotor Swarms in Cluttered Environments“ trägt, präsentiert die dazugehörigen Forschungsergebnisse und ist öffentlich einsehbar. Als nächstes wollen die Wissenschaftler:innen Roboter mithilfe von SwarmGPT per Sprachsteuerung bedienen. Aktuell sollen sie mit einer Erfolgsrate zwischen etwa 63,5 und 80 Prozent Objekte greifen, Kabel verlegen oder Türen öffnen können. Robotik-Professorin Schoellig und ihr Team arbeiten aktuell daran, die Erfolgsquote zu verbessern.

Minimise: Wie der deutsche refurbed-Partner E-Waste bekämpft