Google präsentiert mit Videopoet eine innovative KI-Technologie, die nicht nur Videos aus Textanfragen generiert, sondern auch Bilder in bewegte Szenen umwandelt und vorhandene Videos bearbeitet. Die fortschrittliche KI erweitert die Fähigkeiten bildgenerierender KI wie Dall‑E oder Stable Diffusion und unterstützt verschiedene Modi, darunter Text zu Video, Bild zu Video, Videostilisierung und Audio-Generierung.
Um die Leistung der KI zu demonstrieren, haben Googles Forscher ein beeindruckendes einminütiges Video mit dem Titel „Rookie the Raccoon“ erstellt, in dem ein Waschbär auf aufregende Abenteuer rund um die Welt und sogar ins Weltall geht. Die KI nutzt dabei verschiedene Effekte, um eine kohärente Geschichte zu erzählen.
Ein herausragendes Merkmal von Videopoet ist die Fähigkeit, Standbilder durch Text-Prompts zum Leben zu erwecken, wie anhand von Beispielen wie der „Mona Lisa“ gezeigt wird, die sich zur Kamera dreht oder gähnt. Zudem ermöglicht die präzise Kontrolle der Kamerabewegungen durch gezielte Text-Prompts eine beeindruckende Gestaltung der Clips.
Videopoet zeichnet sich durch besondere Merkmale aus, die es von anderen Video-KIs abheben. Die Forscher betonen die geplante Erweiterung des Modells um die sogenannte Any-to-any-Generation, die die Generierung von Text, Audio, Bild und Video in jeder gewünschten Kombination ermöglicht. Dies eröffnet Möglichkeiten für die KI-gestützte Erstellung von Untertiteln und verspricht eine aufregende Zukunft für die kreative Videoproduktion. Weitere Details und Demonstrationen finden sich auf der offiziellen Website von Google.
https://t3n.de/news/videopoet-google-ki-textanfragen-clips-1599717/