On a testé la nouvelle vision du jeu à l'IA d’Ubisoft: de simples interlocuteurs, les personnages deviennent de véritables acolytes de jeu que vous dirigez librement

Nous avons pu prendre en main “Teammates AI” (Coéquipiers IA), le nouveau projet d’Ubisoft qui injecte de l’IA générative dans ses futurs jeux vidéo. Et cette fois, les habituels personnages non jouables vous écoutent, vous obéissent, vous accompagnent, et savent même, parfois, aussi se rebeller.

Aujourd'hui, c'est déjà demain. Chez Ubisoft, demain se prépare technologiquement et activement. Le département R&D a toujours eu de la ressource et des idées pour tracer sa route vers le futur du jeu vidéo. Il y a eu la réalité virtuelle, du vol d’aigle au-dessus de Paris (Eagle Flight) à la visite de Notre-Dame reconstituée, en passant par diverses expériences dont une virée dans l’USS Enterprise de Star Trek. Il y a désormais l’intelligence artificielle pour dessiner l’avenir.

Depuis quelques années, une unité spéciale, composée d’un mélange de développeurs traditionnels aguerris et d’experts en IA (data scientists, ingénieurs en machine learning, etc.), a vu le jour au sein de l’éditeur français. Cette équipe de près de 80 personnes est dédiée à concevoir des expériences permettant d’interagir davantage avec les personnages non jouables d’un jeu vidéo (PNJ, ou NPC en anglais), ces êtres que l’on voit en arrière-plan ou, au mieux, qui viennent vous voir pour partager des informations sans que vous n’ayez réellement d’échange avec eux. L’idée est désormais de leur “donner vie”.

L’IA générative en nouvel acteur du jeu vidéo

Arrivée tel un ouragan dès fin 2022 dans les pas de ChatGPT et consorts, l’IA générative est apparue comme une bouffée d’air frais pour l’entreprise désireuse de proposer une nouvelle approche et une nouvelle dimension au jeu vidéo baptisée “Generative Play” (jeu génératif).

Démo de NEO NPC, d'Ubisoft © Ubisoft

Ce fut d’abord, dès le printemps 2024, l’apparition marquante des Neo NPC, des personnages secondaires capables d’échanger avec vous de manière purement conversationnelle. Un an environ après l'introduction par Nvidia de la technologie ACE. Les Neo NPC apportaient tout à coup une profondeur au jeu, à la relation avec le joueur à coup d’interactions vocales sur le déroulé du jeu, sur le passé de notre interlocuteur, son appréciation de la situation ou sa quête du sens de la vie (voire de sa couleur préférée). Pour la première fois, nous pouvions alors entamer un vrai échange "libre". “C’était un test de la capacité de l’IA à gérer l’émotion et la conversation”, explique Xavier Manzanares, directeur de l’IA de gameplay chez Ubisoft. Il était temps de passer à une version “plus jouable”.

Un an et demi plus tard, voici venus les "AI Teammates" (Coéquipiers IA, en français), capables non seulement de parler, de répondre à vos questions, d'obéir à vos ordres, mais aussi de raisonner et de jouer à vos côtés.

Et la volonté d’Ubisoft est claire: “faire évoluer le joueur dans des mondes qui le reconnaissent, se souviennent des actions et interactions passées afin de répondre réellement à ses attentes et besoins”, avance Reynald François, directeur créatif chez Ubisoft.

“Ces univers vont identifier ce que vous faites, comment vous parlez, avec qui vous vous engagez, et ils vont se souvenir de tout ça”. L’IA doit donc “étendre les options de jeu” et mettre bien plus le joueur au centre de l’expérience, avec ses bons et ses mauvais côtés.

Teammates, l'expérience de l'IA au coeur du jeu vidéo, selon Ubisoft © Ubisoft

Un bac à sable pour comprendre comment interagir avec l’IA

Nous avons pu tester la nouvelle démo nommée Outpost. Elle est radicalement différente de la toute première. Cette fois-ci, nous n’avons pas un, mais trois interlocuteurs IA qui seront là pour nous aider dans une mission d’exploration et d’action. Si la première expérience se rapprochait davantage d’une atmosphère à la Splinter Cell, on est cette fois dans un jeu de tir à la 1ère personne, façon Ghost Recon ou The Division, avec un univers un peu plus avancé et peuplé de robots armés.

On croise cette fois la route de Sofia et Pablo, deux soldats boostés à l’IA qui vont nous aider dans notre quête pour retrouver une unité disparue. Chacun a son caractère, sa façon d’agir et ses idées sur la situation. Ils réagissent en tout cas extrêmement rapidement à la discussion et agissent tout aussi vite sur ordre à exécuter. Pour nous accompagner et nous conseiller, une petite voix à part se nomme Jaspar. C’est la bonne trouvaille de l’expérience et elle dispose de son bouton dédié. Il s’agirait un peu d’une aide contextuelle à l’ancienne, mais dotée d’un sacré tempérament — qui oscillera entre le taquin, l’ironique ou bien le docile, selon la façon dont vous allez vous adresser à lui initialement et par la suite - et qui s'adresse à vous par votre nom (ou pseudo).

“La plus grande difficulté dans cette nouvelle version a été de faire comprendre à l’IA le monde physique et l’action”, confie Xavier Manzanares. “Sur les Neo NPC, nous étions très intrigués par la technologie pure. Pour les Teammates, nous avons identifié un potentiel pour l’avenir, mais il fallait faire un pas de côté vers la compréhension du monde. Le personnage peut-il répondre à un ordre? Comprend-il son environnement en temps réel? C’est un aspect beaucoup plus fonctionnel qui manquait aux précédents prototypes”.

Jasper, le NPC intelligent peut vous rendre bien des services en jeu, et pas seulement discuter © Ubisoft

Durant l’expérience, on peut ainsi d’un clic sur la gâchette droite s’adresser aux deux compagnons ou à l’un des deux seulement en le nommant, leur donner des ordres, leur demander leur avis ou ce qu’ils veulent faire. Ou bien toute autre question qui peut n’avoir rien à voir avec l’histoire. Jaspar, aussi, peut être sollicité à tout moment. Il ne manquera ainsi pas une occasion de nous chambrer. À la différence de Sofia et Pablo qui peuvent être envoyés en éclaireur et donner des indications sur la zone (ennemis, position, objectif, façon d’opérer…), Jaspar ne “voit que par nos yeux” ce qu’il y à l’écran. Il peut d’ailleurs être ainsi sollicité pour gérer l’interface (changer la couleur, mettre en surbrillance, adapter les réglages d’accessibilité…).

L’expérience est assez jouissive et on apprécie grandement cette interaction plus naturelle, plus immersive. Au point de se sentir vraiment acteur du jeu et plus seulement “aux manettes” tel un marionnettiste apte à dicter les consignes.

On se plaît même à des échanges parfois drôles, parfois autoritaires (il fallait bien tester !), pour juger de la réactivité et de l’évolution de nos acolytes IA. On est le leader de l’escouade, ils respectent le statut et pas de mutinerie déclenchée ni de mauvaise ambiance, même quand on a tenté de leur demander ce que l’un pensait de l’autre. Mais leur proximité empêchait la confidence… parfois, ils se sont permis de râler gentiment, car nous n’étions pas assez réactifs pour eux.

GPT et Gemini en renfort, mais pas en solo par sécurité

Si, pour le joueur, les promesses sont évidentes, pour les concepteurs, l’IA générative est aussi un atout, un levier pour gagner du temps sur les tâches volumétriques et permettre aux créatifs de se concentrer sur leur intention artistique.

Virginie Mosser, directrice de la narration chez Ubisoft et scénariste auparavant, n'a pas forcément vu ça d’un bon oeil au départ, elle qui avait pris l’habitude d’écrire des lignes de dialogue, de structurer des histoires. Puis, elle en a découvert le potentiel, a appris à repenser son travail en tenant compte de la part d'improvisation de l'IA, et parle même désormais de ces personnages comme ses “bébés”.

“Avant, une fois le dialogue écrit et enregistré, c’était fini. Aujourd’hui, on doit anticiper: “Et si le joueur dit ça? Et si on parle de sa mère alors que ce n’est pas prévu?” Il faut que le personnage improvise, mais qu’il improvise bien, en gardant son ton et son âme”, ajoute Virginie Mosser

Son équipe narration, épaulée par des experts externes (improvisation, émotion, etc.), s’attache à créer des fiches de personnage extrêmement détaillées (personnalité, motivations, goûts, et style de langage) qui vont devenir l’ADN du PNJ et être transformées en prompts (instructions données à l’IA). C’est dedans que l’IA viendra ensuite piocher ses infos en fonction des interactions, de la situation ou encore de l’environnement dont elle a désormais conscience. “C’est un mélange d’intention narrative (notre part) et de probabilités (leur part)”, s’amuse-t-elle, estimant devenir quelque part une programmatrice de jeu à sa façon, qui peut d’une ligne de code changer la personnalité de sa création en un instant. Puis, l’IA vivra sa vie, “mais avec des limites fixées”, insiste Xavier Manzanares (pour éviter les hallucinations, les biais, la toxicité, etc.).

Jasper peut vous aider à repérer les ennemis en les rendant plus visibles à l'écran © Ubisoft

Un cadre est donné pour éviter des débordements, comme cela peut souvent arriver avec l’IA et des utilisateurs mal intentionnés ou trop versés dans les confidences. Pour y parvenir, une architecture IA modulaire a été conçue à partir de différents modèles, Gemini et GPT en tête, avec des couches de sécurité et la possibilité de basculer d’un LLM à l’autre à la volée. “C’était crucial pour ne pas parier sur un seul cheval dans un secteur qui évolue vite”, glisse le responsable de la R&D IA, qui sait que la simple arrivée cette semaine de Gemini 3 oblige déjà à des ajustements.

À cela s’ajoute une équipe “Frontier R&D” en quête permanente d’innovations en parallèle, car “les modèles génériques actuels ne sont pas parfaitement adaptés au jeu vidéo et l’avenir, selon nous, réside dans la parallélisation de modèles spécialisés pour la conversation, les quêtes ou autre”, ajoute-t-il. Ubisoft n’a pas pour autant l’envie ni les ressources pour créer son propre modèle, même si ce serait plus simple.

Quel coût pour le futur du jeu vidéo?

Avec une technologie qui évolue à la vitesse de la lumière, l’expérience du jour ne sera sans doute qu’une infirme représentation du jeu vidéo dopé à l'IA générative de demain. Avec Nvidia, autre acteur sur le sujet avec sa propre solution, mais qui prête aussi une oreille attentive aux projets maison, Ubisoft veut se positionner en acteur fort de ce futur vidéoludique. L’expérience à laquelle nous avons goûté était avant tout un bac à sable pour apprendre à interagir avec ces IA de jeu. Rien n’était scripté. De l’aveu même des membres de l’équipe présent, certaines réactions de leurs créations ont surpris tellement elles étaient différentes des tests préalables. La liberté du joueur va aussi de pair avec celle d’une IA appelée à raisonner. Reste à savoir l’injecter à bonne dose et dans le bon jeu.

Pablo, un de nos compagnons de jeu intelligents © Ubisoft

Car des questions se posent encore, que ce soit financièrement ou technologiquement. Quid de la mémoire à long terme des PNJ sur 30-50 heures de jeu ou quand vous reprenez la manette six mois plus tard? L’IA agit en temps réel, mais ensuite? Ubisoft réfléchit déjà, pour sa démo, à des modes de jeu dans lesquels Jaspar ou ses semblables deviendraient des maîtres du jeu à même d’ajuster la difficulté en temps réel ou de modifier des éléments. Et si l’IA s’emballe?

Et la question du coût aussi à la moindre requête de l’IA vers les serveurs. Ubisoft laisse entendre que le but est de tout faire tourner en local. Aucune console ne le permet encore et la connexion permanente sera donc de mise.

Si la démo - actuellement entre les mains d'une centaine de joueurs-testeurs sur Ubisoft Connect - va encore s’enrichir de nouvelles idées, nouvelles libertés laissées aux PNJ IA et tests divers d’interaction, la phase concrète concerne les studios Ubisoft. Les outils conçus sont faits pour être compatibles avec les moteurs de jeu Snowdrop (The Division, Avatar, Star Wars Outlaws, le prochain Far Cry) et Anvil (Assassin’s Creed). Les équipes vont pouvoir s’en emparer pendant que celle du jeu génératif continue ses avancées pour affiner l’utilisation et s’assurer que l’entreprise peut devenir la reine de l’IA générative jouable, comme l’a prophétisé Yves Guillemot. Si nul n'est prophète en son pays, peut-être que dans celui de l'IA...