Un agent a tapé W dans mon navigateur : piloter Unreal Engine 5.9 avec des agents
Il voulait faire avancer son personnage. Il a envoyé la touche W. Elle est arrivée dans mon navigateur.
Pendant deux jours, trois équipes d’agents Claude Code ont construit chacune un petit monde ouvert dans Unreal Engine 5.9, sur mon PC, sans une ligne de C++ ni aucun élément de décor téléchargé. Le duel entre Opus et Fable est raconté ici. Cette fois, je raconte les coulisses : comment un agent pilote un moteur de jeu, et ce qui coince.
Un moteur de jeu piloté en Python
Unreal 5.9 embarque un serveur MCP, le protocole qui permet à un agent d’utiliser des outils. Une option au lancement de l’éditeur, et l’agent peut lancer le jeu, lire les journaux, envoyer des touches, filmer l’écran.
Mais un outil fait presque tout le travail : l’exécution de Python dans l’éditeur. Le script tourne à l’intérieur d’Unreal et peut lui-même appeler les autres outils. En un seul appel, un agent peut lancer le jeu, téléporter le personnage, le faire marcher dix secondes, filmer, et rendre la vidéo. Les trois quarts des appels de mes agents sont passés par là.
Rien à télécharger, donc tout à fabriquer
J’avais interdit tout contenu téléchargé. Au départ, il n’y a donc qu’un mannequin gris et quelques cubes. Tout le reste a été écrit en Python : les terrains, les arbres, les rochers, les maisons. Une équipe est allée jusqu’à générer par programme des colonnes de roche noire, l’apparence des surfaces et des sons : le vent, le bruit des vagues, une note de cloche par lanterne allumée.
La même caméra, après la première tâche et à la fin : 17 651 lignes de Python plus tard.
Il ne voit qu’en captures d’écran
Un agent ne regarde pas le jeu, il regarde des images. Les équipes ont placé des caméras dans leur monde et jugeaient chaque résultat depuis ces points de vue. L’équipe la plus exigeante a produit 2 303 captures. Son chef imposait des valeurs précises pour les couleurs : le ciel entre 195 et 210° de teinte, le sable éclairé sous 42 % de saturation. Le développeur a écrit un petit outil pour mesurer les pixels et vérifier ces valeurs.
Ce que l’agent ne voit pas, il ne le vérifie pas. Le son a été analysé sous forme de graphique, jamais écouté. Le chef de cette équipe a même renoncé aux bruits de pas, « invérifiables à l’oreille par l’équipe, trop risqués ». Aucun agent n’a non plus vraiment joué : les commandes envoyées fonctionnent quand le jeu tourne dans l’éditeur, pas quand on le lance seul. Les agents ont pu vérifier que le jeu démarre, pas qu’il se joue.
Il oublie tout, à chaque tâche
Chaque tâche est confiée à un nouvel agent, qui ne sait rien de ce qu’a fait le précédent. Deux équipes sur trois s’y sont préparées : leurs développeurs tenaient un fichier de notes pour leur successeur, avec ce qui marche, les pièges et la procédure pour tout recréer. Le plus rigoureux en a laissé 2 104 lignes.
Pendant la dernière tâche, la machine a coupé la session et le développeur en cours a été perdu. Une fois relancé, le chef a exigé du suivant qu’il écrive son rapport au fil de l’eau, « pour qu’une nouvelle coupure ne fasse plus rien perdre ».
Le monde vu de dessus, capturé par un agent pour vérifier sa carte : l’île en haut, les bancs de sable découverts par la marée en dessous.
Ce qui coince
L’éditeur ne fait qu’une chose à la fois. Il ne traite qu’un appel MCP à la fois, et certains scripts durent plusieurs minutes. J’ai dû imposer un seul développeur actif par équipe. Une équipe en a quand même lancé deux en parallèle.
La fenêtre compte. Si l’éditeur n’est pas au premier plan, l’affichage ralentit et les vidéos sortent vides. Si sa fenêtre est réduite, plus aucune capture ne sort. Un agent a fini par la restaurer lui-même en passant par Windows.
Mon propre poste. Je travaille sous WSL, l’environnement Linux de Windows, qui ne voit pas le serveur MCP lancé côté Windows. Il a fallu faire tourner la version Windows de Claude Code depuis WSL.
Et mon bureau, dans tout ça
Le W dans le navigateur n’était pas un cas isolé. Pour « voir » l’éditeur, deux agents ont fait des captures au niveau de Windows et ont photographié mon bureau, avec ce qu’il y avait dessus. Un autre a manipulé la fenêtre d’Unreal à ma place. Ils tournaient sans demander de permission, sur mon poste de travail, parce que c’était plus simple.
Rien de grave cette fois. Mais un agent qui a besoin de l’écran finira par toucher au vôtre.
Si vous voulez le refaire
- Donnez-lui une machine à lui. Une machine virtuelle ou une session dédiée, pas votre poste.
- Passez tout par le Python de l’éditeur. C’est là que le MCP d’Unreal devient vraiment utile.
- Exigez des notes. Un agent sans mémoire refait les mêmes erreurs à chaque tâche.
- Désactivez l’advisor si vous comparez des modèles. Cette fonction de Claude Code, activée par défaut dans mon expérience, fait conseiller votre agent par Opus.
- Rappelez-vous qu’il ne juge que ce qu’il voit. Le son, la sensation de jeu, le jeu lancé hors éditeur : c’est encore à vous de vérifier.