Problème 2594

Créer un jeu vidéo demande un travail dur et répétitif. Comment pourrait-il pas? Les développeurs ont pour mission de créer un monde, il est donc facile de comprendre pourquoi l'industrie des jeux serait enthousiasmée par l'IA générative. Avec des ordinateurs faisant les choses ennuyeuses, une petite équipe pourrait concocter une carte de la taille de San Andreas. Crunch devient une chose du passé; sortie des jeux dans un état fini. Une nouvelle ère s'annonce.

Il y a, à tout le moins, deux problèmes interdépendants avec ce récit. D'abord, il y a la logique du battage médiatique lui-même - qui rappelle la ruée vers l'or frénétique sur la crypto/Web3/le métaverse - qui, consciemment ou non, semble considérer l'automatisation du travail des artistes comme une forme de progrès.

Deuxièmement, il y a l'écart entre ces déclarations et la réalité. En novembre, lorsque DALL-E était apparemment partout, la société de capital-risque Andreessen Horowitz a publié une longue analyse sur leur site Web vantant une "révolution de l'IA générative dans les jeux" qui ferait tout, de raccourcir le temps de développement à changer les types de titres en cours de création. Le mois suivant, Jonathan Lai, partenaire d'Andreessen, a publié un fil Twitter exposant un "Cyberpunk où une grande partie du monde/du texte a été générée, permettant aux développeurs de passer de l'actif production à des tâches d'ordre supérieur comme la narration et l'innovation » et théoriser que l'IA pourrait permettre la création de jeux « bons + rapides + abordables ». Finalement, les mentions de Lai se sont remplies de tant de réponses irritées qu'il a posté un deuxième fil reconnaissant "qu'il y a certainement beaucoup de défis à résoudre".

"J'ai vu des affirmations franchement ridicules sur des choses qui sont censées être imminentes", déclare Patrick Mills, responsable de la stratégie de contenu de la franchise par intérim chez CD Projekt Red, le développeur de Cyberpunk 2077. "J'ai vu des gens suggérer que l'IA serait capable de construire [Night City] (https://cyberpunk.fandom.com/wiki/Night_City), par exemple. Je pense que nous sommes loin de cela.

Même ceux qui préconisent l'IA générative dans les jeux vidéo pensent qu'une grande partie des discussions enthousiastes sur l'apprentissage automatique dans l'industrie devient incontrôlable. C'est "ridicule", déclare Julian Togelius, codirecteur du NYU Game Innovation Lab, qui est l'auteur de dizaines d'articles sur le sujet. "Parfois, on a l'impression que les pires types de crypto-frères ont quitté le navire crypto alors qu'il coulait, puis ils sont venus ici et se sont dit:" AI générative: démarrez la machine à battage médiatique "."

Ce n'est pas que l'IA générative ne peut pas ou ne doit pas être utilisée dans le développement de jeux, explique Togelius. C'est que les gens ne sont pas réalistes quant à ce que cela pourrait faire. Bien sûr, l'IA pourrait concevoir des armes génériques ou écrire des dialogues, mais par rapport à la génération de texte ou d'image, la conception de niveau est diabolique. Vous pouvez pardonner les générateurs qui produisent un visage avec des oreilles bancales ou quelques lignes de texte charabia. Mais un niveau de jeu cassé, aussi magique soit-il, ne sert à rien. "C'est des conneries", dit-il, "Vous devez le jeter ou le réparer manuellement."

Fondamentalement, et Togelius a eu cette conversation avec plusieurs développeurs, personne ne veut de générateurs de niveau qui fonctionnent moins de 100 % du temps. Ils rendent les jeux injouables, détruisant des titres entiers. "C'est pourquoi il est si difficile de prendre une IA générative si difficile à contrôler et de l'intégrer", dit-il.

Une technique analogue à l'IA générative sera familière à beaucoup de joueurs : la génération procédurale. Togelius dit, pour les besoins de la discussion, qu'il serait heureux de dire que la génération procédurale est la même que l'IA générative (il décrit leur connexion comme "une sorte d'échelle mobile"). Mais la génération procédurale n'utilise généralement pas l'apprentissage automatique. Plutôt qu'un modèle d'IA, il fonctionne sur des équations prédéterminées, générant, par exemple, le cosmos gargantuesque de No Man's Sky. Les développeurs utilisent également des logiciels comme SpeedTree, qui, comme son nom l'indique, évoque des forêts. Le fait est que les systèmes de génération procédurale nécessitent toujours une supervision humaine massive ; les développeurs doivent rester vigilants pour les crevasses non évolutives ou les arbres monstrueux. Et il n'est même pas clair que le remplacement de la génération procédurale par l'IA générative en ce moment ferait une différence notable.

"Ces choses existent déjà", dit Togelius. "Et cela fonctionne parce que ce contenu n'a pas vraiment besoin de fonctionner : il n'a pas de contraintes de fonctionnalité. Vous pouvez peut-être les remplacer par des éléments basés sur l'apprentissage en profondeur. Mais je ne pense pas que cela fera une grande différence. Peut-être que cela fera une différence à long terme."

Il y a un malentendu général sur la situation de la technologie, explique Mills. "Une raison fondamentale pour laquelle ces IA génératives ne peuvent pas créer quelque chose comme Night City est que ces outils sont conçus pour produire des résultats spécifiques", déclare Mills. "Beaucoup de gens semblent avoir l'impression que ceux-ci sont en quelque sorte proches des intelligences générales. Mais ce n'est pas comme ça que ça marche. Vous auriez besoin de créer sur mesure une IA qui pourrait construire Night City, ou des villes du monde ouvert en général. "

Il y a aussi une incapacité à prendre en compte le paysage de l'entreprise. Les jeux utilisent toujours des systèmes issus des premières limitations technologiques, comme les arbres de dialogue ou de comportement. Vous ne pouvez pas simplement laisser tomber l'apprentissage automatique sophistiqué dans des franchises de jeux qui se sont développées sans penser à l'IA générative. Les jeux, dans une industrie aux budgets énormes et aux marges serrées, auraient besoin d'une refonte totale pour s'adapter et tirer parti de cette technologie.

Prenez, par exemple, les personnages non-joueurs. Les outils d'IA générative basés sur le texte semblent être un excellent moyen d'approfondir la conversation, et Togelius a conseillé les développeurs intrigués par cette idée même. Mais ce n'est pas si simple. Les personnages basés sur ces modèles de langage sont susceptibles de partir sur des tangentes, discutant de sujets en dehors du monde du jeu. "C'est super intéressant, mais c'est aussi super dur", dit Togelius. "Vous ne pouvez pas simplement le déposer là-dedans. Cela ne fonctionnera pas. Vous ne pouvez pas vous attendre à ce que les PNJ se comportent dans Skyrim ou Elden Ring ou Grand Theft Auto ou votre RPG typique. Vous devez concevoir autour du fait qu'ils sont , dans un certain sens, incontrôlable."

Néanmoins, il existe actuellement des utilisations périphériques de l'IA générative. Une bonne règle empirique, qui s'applique également à la génération procédurale, est que moins le contenu est crucial, plus les méthodes d'apprentissage en profondeur sont susceptibles d'être utiles. "Pour des choses comme la génération de texte, je pourrais utiliser cela aujourd'hui pour aider à générer du remplissage pour les actifs qui ne sont pas vraiment destinés à attirer l'attention du joueur, comme les journaux d'accessoires et autres", explique Mills.

Un autre attrait est la faible barrière à l'entrée de ces outils, déclare Adrian Hon, PDG et fondateur du développeur de jeux indépendant Six to Start et co-créateur de Zombies, Run ! La génération procédurale, du moins telle que le terme est généralement compris, nécessite un codeur ; n'importe qui peut utiliser des outils comme Midjourney et Stable Diffusion. Il peut voir comment ils pourraient aider avec le prototypage ou le mood-board pendant la première phase de conception d'un jeu.

Mais, note Hon, de nombreux artistes sont sceptiques à l'égard de l'IA. Une partie du contrecoup du battage médiatique de l'IA générative a été que ces outils modélisent leur sortie sur le travail de créateurs humains. Certains poursuivent même Stable Diffusion et Midjourney, affirmant que Stable Diffusion, qui alimente Midjourney, a été formé sur des images [utilisées sans autorisation](https://www.buzzfeednews.com/article/pranavdixit/ai-art-generators-lawsuit- stable-diffusion-mi-parcours). "De toute évidence, il y a toute une question de droit d'auteur. Nous sommes au courant de toutes ces poursuites en cours", dit-il. "Mais même s'ils sont résolus, je pense qu'il y aura de vrais bouleversements parmi les artistes, ce qui est compréhensible."

Comme pour tant de discussions sur l'automatisation, le battage médiatique ici est détaché de la réalité actuelle (les débats sur l'automatisation surviennent généralement pendant les périodes de « profonde anxiété quant au fonctionnement du marché du travail » [écrit le sociologue Aaron Benanav](https://newleftreview. org/issues/ii119/articles/aaron-benanav-automation-and-the-future-of-work-1)). Mais, laissant la réalité pour une seconde, il est à noter qu'une grande partie de la conversation autour de l'IA générative semble presque se délecter de la perspective de remplacer les humains. Même une déclaration anodine promettant une aubaine pour les développeurs indépendants - "Une petite équipe peut créer un monde de la taille de Red Dead", par exemple - contient un noyau de cette logique, explique Raphael van Lierop, fondateur et directeur créatif du studio indépendant Hinterland . C'est réducteur, suggérant que le travail d'une grande partie de cette grande équipe est stupidement robotique.

"L'accent mis sur l'IA générative est une autre facette de ce qui ressemble à une attaque contre les créateurs et l'acte de création, qui s'exprime de différentes manières dans notre société en ce moment", dit-il. Reflétant une humeur dominante parmi les artistes de tous les médiums, il ne voit rien d'intéressant dans l'art créé par une IA. "C'est une impasse", dit-il.

Il y a certainement un élément inhumain troublant dans tout cela, un élément que vous pouvez imaginer se manifester sous la forme d'un torrent de shovelware généré par l'IA exécuté sur des systèmes monétaires prédateurs. Mais aux échelons supérieurs du développement de jeux, les jeux créés entièrement par des machines - ceux qui valent la peine d'être joués, au moins - sont loin d'être le cas. "La façon dont certaines personnes disent que ça va être utilisé, pour remplacer soudainement les gens et faire tout le travail tout seul, c'est de la connerie", dit Togelius. "Vous avez besoin d'humains."