The Frost : utilise-t-il de l'IA ?

Qu’est-ce que The Frost ?

The Frost est un court métrage de 12 minutes dont chaque plan a été généré par une IA de création d’images, révélé en exclusivité par MIT Technology Review le 1er juin 2023. Le magazine y voit l’un des exemples les plus impressionnants, et les plus étranges, d’un nouveau genre. Dès les premiers plans, le film installe une atmosphère inquiétante : de vastes montagnes glacées, un campement de fortune fait de tentes de style militaire, un groupe de personnes blotties autour d’un feu, des chiens qui aboient. « C’est familier, et pourtant assez bizarre pour faire naître un sentiment d’effroi », écrit le journaliste.

Le film a été produit par Waymark, une entreprise de création vidéo basée à Detroit. Le scénario a été écrit par Josh Rubin, producteur exécutif de la société, qui a aussi réalisé le film.

Comment a-t-il été fabriqué ?

L’équipe a fourni le scénario au modèle d’images DALL-E 2 d’OpenAI. Après une série d’essais pour obtenir un style qui lui convenait, elle a utilisé DALL-E 2 pour générer chaque plan, raconte MIT Technology Review. Les images fixes ont ensuite été animées avec D-ID, un outil d’IA qui ajoute du mouvement à des photos : les yeux clignent, les lèvres bougent.

« À un moment, nous avons arrêté de lutter pour obtenir une exactitude photographique et nous avons commencé à embrasser l’étrangeté de DALL-E », explique Stephen Parker, de Waymark. « Nous avons construit un monde à partir de ce que DALL-E nous renvoyait », ajoute Josh Rubin. « C’est une esthétique étrange, mais nous l’avons accueillie à bras ouverts. C’est devenu le style du film. » Le site shortfilm.de note que le résultat est fortement marqué par les tendances de DALL-E, qui privilégie les styles de fantasy.

Qu’est-ce qui a été difficile ?

Le réalisateur ne cache pas les limites de l’outil. « Ce n’est pas encore un médium parfait, loin de là », dit Josh Rubin. « C’était assez difficile d’obtenir certaines choses de DALL-E, comme des réactions émotionnelles sur les visages. Mais à d’autres moments, il nous a émerveillés. » Pour lui, l’aspect le plus révolutionnaire est de pouvoir générer un plan à la demande : « Avec 15 minutes d’essais, on obtient le plan qu’on voulait, qui s’insère parfaitement dans une séquence. » Au montage, il a par exemple eu besoin d’un gros plan de botte sur un flanc de montagne, qu’il a simplement fait générer.

Pourquoi une entreprise de publicité a-t-elle fait ce film ?

Waymark a réalisé The Frost pour explorer la façon dont l’IA générative pourrait être intégrée à ses produits, explique MIT Technology Review. L’entreprise vend des outils qui permettent aux commerces de créer rapidement et à bas coût des publicités vidéo, à partir des textes et images de leur site. Or, relève Stephen Parker, « un comptable ou un thérapeute peut n’avoir aucune image ». L’idée est donc de générer des images et des vidéos pour ceux qui n’en ont pas. « C’est l’intention derrière The Frost : créer un monde, une ambiance », dit-il.

Pourquoi ce film compte-t-il ?

The Frost appartient à la première vague de courts métrages réalisés avec l’IA générative, au printemps 2023, quand les meilleurs modèles vidéo ne produisaient encore que quelques secondes d’images. MIT Technology Review le range parmi les films composés de séquences d’images fixes proches du storyboard, à l’opposé des montages de courts clips vidéo. Le magazine souligne aussi que l’avenir immédiat de la vidéo générée se dessine alors dans l’industrie publicitaire, à laquelle appartient Waymark.

Pourquoi le niveau « Vampirisé » ?

Toutes les images du film sont générées par IA et animées par un autre outil d’IA : c’est le niveau « Vampirisé ». Le scénario et le montage restent humains. Le statut « Confirmé » repose sur les explications de l’équipe de Waymark elle-même.