Un personnage joue du saxophone sur une petite plateforme au milieu d'un lac. L'utilisateur peut déplacer la caméra autour de lui, modifier l'environnement ou introduire de nouveaux éléments dans la scène. Le décor doit continuer d'exister pendant ces changements, tandis que le son de l'instrument et les bruits ambiants évoluent avec ce qui se passe à l'écran.

C'est l'un des exemples présentés par Google DeepMind pour Genie 4, son nouveau modèle de simulation du monde. La démonstration ressemble à une séquence de jeu vidéo, mais son fonctionnement est différent : l'environnement n'est pas simplement parcouru à travers des éléments 3D préparés à l'avance. Le modèle génère la représentation visuelle de la scène et simule son évolution en réponse aux actions de l'utilisateur.

La différence avec Genie 3 tient notamment à l'ajout du son natif, au réalisme revendiqué des mouvements et à la possibilité de modifier librement la simulation en langage naturel. Google ne présente pas encore Genie 4 comme un logiciel de création de jeux terminé. Il s'agit d'un modèle de recherche dont plusieurs usages restent à définir.

Une simulation qui change pendant qu'on la parcourt

Les démonstrations officielles utilisent des commandes classiques au clavier pour les déplacements et le contrôle de la caméra. Les instructions textuelles permettent, elles, d'aller plus loin : changer la météo, déplacer le point de vue, introduire un objet ou faire apparaître une nouvelle personne.

Genie 4 doit prendre en compte ces modifications sans repartir systématiquement de zéro. Un monde déjà généré continue à évoluer après l'intervention, avec des adaptations censées rester cohérentes avec le décor et les événements précédents.

Google met également en avant une meilleure gestion des phénomènes physiques. Les démonstrations comprennent notamment des mouvements aérodynamiques, des collisions et des interactions humaines. Le constructeur affirme avoir progressé dans la représentation des personnages, dont les déplacements et les réactions doivent sembler plus naturels.

Ces capacités sont importantes pour la simulation interactive. Une vidéo générée par IA peut produire une séquence convaincante sans avoir à accepter une intervention imprévue du spectateur. Un environnement interactif doit, au contraire, répondre à des commandes successives tout en conservant suffisamment d'informations sur ce qui s'est déjà produit.

Genie 4 peut maintenir une scène relativement cohérente pendant environ deux minutes dans les conditions décrites lors de sa présentation, soit le double de la durée associée à Genie 3. Cette progression ne supprime toutefois pas les problèmes de continuité.

Le son arrive directement dans le monde généré

Genie 4 est le premier modèle de cette famille à produire nativement de l'audio pendant la simulation en temps réel. Le système génère les ambiances, les sons des événements et la musique en relation avec les images.

La nouveauté la plus délicate concerne les dialogues. Les personnages peuvent parler, répondre à des interactions et réagir à des événements qui n'étaient pas nécessairement prédéterminés lorsque la scène a commencé.

Google illustre également cette capacité avec des univers très stylisés, dont un paysage entièrement construit comme un ensemble de vitraux. Les éléments visibles peuvent changer d'apparence et de position tout en conservant une direction artistique commune. Dans d'autres séquences, la recherche porte davantage sur le photoréalisme, les mouvements humains ou les environnements naturels.

La synchronisation entre images, actions et sons représente une contrainte supplémentaire. Un bruit de collision doit correspondre à un événement visible, une conversation doit rester reliée au contexte et une ambiance doit évoluer lorsque le personnage change d'endroit.

DeepMind reconnaît que cette précision audio demeure imparfaite. Les sons générés peuvent encore manquer de cohérence avec l'action ou avec la structure de l'environnement.

Gemini intervient pour organiser les événements

Genie 4 s'appuie sur plusieurs composants issus de la famille Gemini. Gemini Omni sert notamment à ancrer les simulations dans des représentations plausibles du monde réel, tandis que d'autres modèles apportent des capacités de raisonnement et de planification.

Dans une démonstration, Gemini 3.8 Flash intervient comme un agent de supervision. Il observe les images produites, décompose un objectif en étapes, vérifie les résultats et adapte la suite des opérations lorsque l'environnement change.

Ce fonctionnement permet d'envisager autre chose qu'une simple promenade dans un décor généré. Un système peut recevoir un objectif, planifier les actions nécessaires et faire évoluer la simulation en fonction du résultat des étapes précédentes.

Google a également expérimenté une association entre Genie 4, Gemini 4 Argon et ses travaux en robotique. Une démonstration présente le robot humanoïde Apollo d'Apptronik en train de jouer aux dames dans un environnement simulé. Argon décompose la tâche et transmet des instructions pendant que Genie produit les éléments visuels correspondants.

Il s'agit d'une expérience de recherche et non de la preuve que Genie 4 reproduit déjà avec précision tous les comportements physiques nécessaires à l'entraînement de robots réels.

Jeux vidéo, cinéma et robotique : des prototypes plutôt que des produits finis

Pour le jeu vidéo, le premier usage envisagé concerne la création rapide de prototypes. Un développeur pourrait décrire un environnement, générer une version explorable et modifier sa direction artistique ou certains comportements avant de passer à une production plus classique.

Cette approche pourrait rendre les premières expérimentations moins coûteuses en préparation. Elle ne remplace pas pour autant les fonctions d'un moteur comme Unreal Engine ou Unity : gestion déterministe des règles, systèmes de gameplay, scripts, sauvegardes, optimisation et contrôle détaillé des ressources.

Google cite aussi la prévisualisation audiovisuelle. Une équipe de cinéma pourrait explorer une scène, déplacer virtuellement sa caméra et ajuster les mouvements ou les dialogues avant un tournage. Des journalistes et créateurs expérimentent également la transformation d'images d'archives en environnements navigables.

La robotique représente un autre domaine important. Générer de nombreuses situations différentes pourrait aider à préparer des agents à des événements qu'il serait difficile, coûteux ou dangereux de reproduire physiquement. L'utilité réelle dépendra cependant de la fidélité des simulations et de leur capacité à reproduire les contraintes rencontrées par les machines.

Deux minutes de cohérence ne suffisent pas à créer un monde persistant

DeepMind reconnaît plusieurs limites techniques. Les objets peuvent changer d'apparence ou de position au fil du temps, surtout lorsque la scène devient longue, que les instructions s'accumulent ou que l'utilisateur revisite différentes zones.

La permanence des objets reste donc un problème. Un environnement visuellement convaincant pendant quelques secondes peut devenir incohérent après plusieurs interactions. Les textes affichés dans le décor, la précision spatiale et les phénomènes physiques complexes figurent aussi parmi les points encore en développement.

La distinction est essentielle : produire une scène photoréaliste n'implique pas que le modèle possède une représentation parfaitement stable de tous les objets, personnages et relations physiques qui la composent.

Google précise que les contenus vidéo et audio générés par Genie 4 intégreront SynthID, son système de filigrane numérique destiné à faciliter l'identification des médias issus de l'IA.

Le modèle est actuellement distribué sous forme de préversion de recherche à des testeurs sélectionnés. Google prévoit ensuite de proposer un accès aux abonnés Google AI Ultra via Project Genie, ainsi qu'à certains partenaires de la Gemini API et de Google AI Studio. Une liste d'attente est ouverte, mais aucune disponibilité générale immédiate n'a été annoncée.