Runway: New Yorker Startup lässt Videos nur aus Text-Prompts generieren
Text-to-Text, Text-to-Audio – und jetzt Text-to-Video: Das New Yorker AI-Startup Runway nimmt den aktuellen Push in der Branche mit und hat mit Gen-2 ein neues KI-Modell präsentiert, mit dem man alleine aus Sprachbefehlen recht ansehnliche Videos machen kann. „Es ist, als ob man etwas Neues filmt, ohne überhaupt etwas zu filmen“, versprechen die Macher:innen. Entweder könne man durch Anwendung der Komposition und des Stils eines Bildes oder einer Textanweisung die Struktur eines Ausgangsvideos (Video zu Video) bestimmen, oder man nichts als Worte verwenden, um ein Video zu generieren (Text zu Video).
Die Software, die man nunmehr teilweise kostenlos, teilweise kostenpflichtig online einsetzen kann, nennt sich „Gen-2“. sie ist konsequenterweise der Nachfolger von Gen-1, das bisher im Video-to-Video-Bereich unterwegs. War mit der Text-to-Video-Funktion will man den Video-Generator für breitere Nutzer:innenschichten öffnen – also all jene, die noch gar kein Filmmaterial haben, von dem die KI ausgehen könnte, und das System lediglich mit Prompts füttern.
Die neuen Features von Gen-2 werden aktuell nur ausgewählten Nutzer:innen zur Verfügung gestellt, die sich über den Dischord-Channel bei der New Yorker Firma melden und auf die Warteliste setzen lassen. Erste Beispielvideos zeigen, dass Gen-2 tolle, wenn auch nicht fotorealistische Videos schaffen kann. Wie auch andere KI-Unternehmen setzt auch Runway darauf, dass das AI-Modell durch zunehmende Nutzung dazulernt und besser wird. In einem Beispielvideo etwa sieht man die Sonne von einem New Yorker Apartment aus (Prompt: „The late afternoon sun peeking through the window of a New York City loft“), allerdings scheint die Sonne da noch teilweise durch die Wand durch.
Runway arbeitete an Stable Diffusion mit
Runway ist jenes Startup, das zu dem Verbund gehört, das den populären Bildgenerator Stable Diffusion mit entwickelt hat. Im Konsortium waren auch CompVis LMU, Stability AI sowie EleutherAI und LAION mit dabei. Das ist schon ein guter Hinweis darauf, dass die New Yorker Firma längst im Herzen der Generative-AI-Bewegung unterwegs ist. Investoren, darunter etwa Coatue, haben bisher knapp 100 Millionen Dollar in das Unternehmen rund um die Gründer Anastasis Germanidis und Cristóbal Valenzuela gepumpt.
Runway versucht, mit kostenpflichtigen Zugängen zu seinen AI-Tools Geld zu verdienen. Das kostet Nutzer:innen zwischen 15 und 35 Dollar pro Monat. Wie und ob die neue Text-to-Video-Funktion in den bestehenden Paketen enthalten ist, oder ob das nur für einen Aufpreis zu nutzen ist, bleibt abzuwarten. Auch, ob sich solche Tools gerade im Videobereich durchsetzen können, ist offen. Bisher haben Text-to-Video-Anwendungen eher verwundert als begeistert (mehr dazu hier).
Reich werden mit ChatGPT: Die billigen Schmähs der TikTok-Influencer
