Google prezintă Lumiere, inteligența artificială care creează videoclipuri realiste din fotografii

Google a dezvoltat un nou model de inteligență artificială pentru crearea de videoclipuri din fotografii. Se numește Lumiere, un omagiu adus fraților Lumière, considerați inventatorii primului aparat de filmat și a primului aparat de proiecție cinematografică.

Lumiere IA a fost dezvoltat de Google, alături de Institutul de Știință Weizmann și Universitatea din Tel Aviv.

Noutatea Lumiere IA, din punct de vedere tehnologic, constă în calitatea cu care software-ul reușește să recreeze mișcarea subiecților în videoclip.

Programe precum Stable Diffusion prezintă adesea imperfecțiuni din cauza dificultății de a menține o anumită coerență în redarea imaginilor statice animate. În acest sens, Google a dezvoltat o arhitectură numită “Space-Time U-Net”, o rețea spațiu-timp, care generează întregul videoclip într-o singură etapă, adică fără a crea secvențe intermediare.

Cea mai mare parte a muncii este făcută de inteligența artificială generativă, care alege cea mai bună mișcare după ce analizează mai multe, pe baza unei vaste baze de date, pentru a produce apoi un videoclip de calitate.

De exemplu, putem introducem în Lumiere imaginea unei jucării de pluș și cerem programului să o facă să meargă din punctul A în punctul B. Prin crearea unei singure secvențe spațio-temporale, AI-ul generează un videoclip în care fiecare activitate este strâns legată una de cealaltă, conform ANSA.

Modelul video al lui Lumiere a fost antrenat pe un set de date de 30 de milioane de videoclipuri.

În prezent, acesta nu poate fi folosit de publicul, fiind doar un proiect de cercetare experimentală.