2026-06-02 Rétrospective
Ce que j'ai fait aujourd'hui
Aujourd'hui, j'ai de nouveau expérimenté un modèle de la série Qwen pour améliorer la carte gongju du projet Godot. En partant du principe que le modèle a du mal à interpréter directement les images d'actifs de manière fiable, Codex a d'abord vérifié les images et a rédigé en anglais les chemins d'accès aux actifs, leurs dimensions en pixels, leur usage, leur duplication éventuelle et les précautions dans le fichier assets/ASSET_LABELS.md.
Ce document est un index auxiliaire destiné à permettre à Qwen, lorsqu'il écrit du code Godot, de savoir quels actifs utiliser sans avoir à analyser directement les PNG. En pratique, le code de la carte utilisait parfois des tuiles au style incorrect comme objets naturels, ou plaçait une maison non pas avec l'actif de bâtiment réel mais avec une coordonnée aléatoire d'une feuille de gazon, ce qui aurait été plus facile à détecter s'il y avait eu des étiquettes d'actifs.
Expérience Qwen2.5 Coder
J'ai testé le modèle d'assistance Godot bekoozkan/godot-qwen2.5-coder-7b-instruct-bnb-4bit.
Au départ, je l'ai exécuté avec llama.cpp, mais l'appel d'outil du code Qwen n'était pas correctement relié. Le modèle a sorti du texte tel que <function=glob> au lieu d'appeler réellement l'outil, et il n'est pas passé à la consultation de la liste de fichiers ou à la modification du code. J'ai ensuite constaté qu'il fallait l'exécuter avec vLLM.
Même avec un mode d'exécution différent, à l'heure actuelle Qwen2.5 Coder n'arrive pas à saisir le contexte complet du projet et à modifier le code de façon fiable. Les réponses différaient entre vLLM et llama.cpp, mais en conclusion, aucun des deux n'était suffisamment fiable pour confier la modification réelle du code.
Cela ne signifie pas que l'on doit abandonner Qwen. Au contraire, c'est un cas d'échec qui montre ce qu'il faut enseigner au modèle pour en faire un véritable outil de codage. Ce dont nous avons besoin maintenant, ce n’est pas d’abandonner le modèle, mais d’aligner les appels d’outil, la lecture du contexte du projet Godot, l’utilisation des étiquettes d’actifs et le flux de ré‑édition basé sur les résultats d’exécution avec les données d’entraînement et l’environnement d’exécution.
Outils supplémentaires découverts
J’ai trouvé le projet de référence club-3090 qui facilite l’exécution et la gestion de modèles locaux.
J’ai également repéré LLaMA-Factory comme candidat pour des expériences d’adaptation ou de fine‑tuning.
Pour utiliser Qwen comme outil de codage, il faut finalement rassembler les cas d’échec et les modèles de succès rencontrés dans les travaux Godot et les fine‑tuner. Sans un nombre suffisant de cas d’échec, changer de modèle ou ajouter simplement un outil d’apprentissage risque de reproduire les mêmes erreurs, il faut donc conserver ces échecs comme candidats de données d’entraînement.
MCP et recherche
Grâce à web-search-mcp dans Qwen, j’ai trouvé un candidat MCP Reddit et ajouté reddit-mcp-buddy.
Des outils comme Godot, les modèles locaux ou Qwen Code résolvent rarement les problèmes uniquement avec la documentation officielle ; des cas provenant de Reddit ou d’autres communautés peuvent être nécessaires. Cependant, ajouter un MCP et améliorer le jugement de développement sont deux choses distinctes. La capacité à transformer les résultats de recherche en modifications de code doit encore être vérifiée.
Points difficiles
Honnêtement, ma motivation était assez basse aujourd’hui.
Même en changeant de modèle, de mode d’exécution du serveur, en ajoutant le MCP et en créant des descriptions d’actifs, Qwen n’a pas atteint le stade où il lit et corrige l’ensemble du projet. Le problème où les appels d’outil restent du texte plutôt que de véritables appels était décourageant. Il semblait être un agent de codage, mais il ne pouvait ni lire ni modifier les fichiers.
J’ai donc dû faire une pause. Continuer à pousser sans relâcher aurait probablement conduit à plus de frustration que de progrès.
Jugement du jour
Qwen2.5 Coder n’est pas, dans son état actuel, un agent capable de prendre en charge l’ensemble d’un projet Godot. L’objectif n’est pas de limiter l’usage de Qwen, mais de le transformer en véritable agent de codage.
Ainsi, l’échec d’aujourd’hui sert de base pour affiner le fine‑tuning et l’alignement de l’environnement d’exécution, pas pour restreindre son usage.
- Codex se charge de l’interprétation d’images, de l’exploration de fichiers, des modifications réelles et de la validation.
- Les étiquettes d’actifs créées par Codex, les diff de modifications réelles, les erreurs d’exécution et le processus de re‑édition sont conservés comme candidats de données d’entraînement pour Qwen.
- Qwen est entraîné à lire le contexte complet du projet et à modifier directement le code Godot via les appels d’outil et les procédures de travail.
- Un environnement d’exécution où les appels d’outil échouent est immédiatement considéré comme un échec, et on configure d’abord une architecture vLLM où les appels d’outil fonctionnent réellement.
- On utilise LLaMA‑Factory pour tenter un fine‑tuning basé sur les modèles de travail Godot et les cas d’échec.
Prochaines références
- Lors du prochain test de Qwen, vérifier d’abord que les appels d’outil basés sur vLLM fonctionnent réellement.
- Si les appels d’outil sont affichés en texte, considérer immédiatement la session comme un échec.
- Le travail Godot doit toujours vérifier les résultats d’exécution et ne pas se contenter des seules explications du modèle.
- L’utilisation des actifs se base sur
assets/ASSET_LABELS.mdet ne doit pas mélanger des tilesets de styles différents. - Préparer le fine‑tuning basé sur les cas d’échec Godot avec LLaMA‑Factory.
- L’objectif final est de faire de Qwen un outil de codage capable d’effectuer réellement des modifications de code.