2026-06-02 Rückblick
Was ich heute gemacht habe
Heute habe ich für die Verbesserung der gongju‑Karte im Godot‑Projekt erneut ein Qwen‑Modell getestet. Da es für das Modell schwierig ist, Asset‑Bilder stabil zu interpretieren, hat Codex zuerst die Bilder überprüft und die Asset‑Pfade, Pixelgrößen, Verwendungszwecke, Duplikate und Hinweise auf Englisch in assets/ASSET_LABELS.md zusammengefasst.
Dieses Dokument ist ein Hilfs‑Index, damit Qwen beim Schreiben von Godot‑Code nicht direkt PNGs interpretieren muss, sondern weiß, welche Assets verwendet werden sollen. In der Karten‑Code‑Basis gab es Probleme, bei denen falsche Tile‑Stile wie natürliche Objekte verwendet wurden oder Häuser nicht mit echten Gebäude‑Assets, sondern mit zufälligen Koordinaten aus einem Grass‑Sheet platziert wurden. Solche Probleme konnten leichter erkannt werden, wenn Asset‑Labels vorhanden waren.
Qwen2.5 Coder‑Experiment
Als Hilfs‑Modell für Godot‑Arbeiten habe ich bekoozkan/godot-qwen2.5-coder-7b-instruct-bnb-4bit ausprobiert.
Zunächst lief es mit llama.cpp, aber das Tool‑Calling von Qwen Code funktionierte nicht korrekt. Das Modell gab stattdessen Text wie <function=glob> aus, anstatt das eigentliche Werkzeug aufzurufen, sodass weder Dateilisten abgefragt noch Code‑Änderungen vorgenommen wurden. Später stellte sich heraus, dass es mit vLLM ausgeführt werden muss.
Auch wenn sich die Ausführungsweise änderte, erreichte Qwen2.5 Coder derzeit noch nicht das Niveau, den gesamten Projekt‑Kontext zu erfassen und stabil Code zu ändern. Die Antwortmuster unterschieden sich zwischen vLLM und llama.cpp, aber insgesamt war beides nicht zuverlässig genug, um tatsächliche Code‑Modifikationen zu vertrauen.
Das bedeutet jedoch nicht, dass Qwen nur eingeschränkt verwendet werden soll. Vielmehr sehe ich dies als ein gescheitertes Beispiel, das zeigt, was trainiert werden muss, um Qwen zu einem echten Coding‑Werkzeug zu machen. Was jetzt nötig ist, ist keine Aufgabe des Modells, sondern die Ausrichtung von Tool‑Calling, dem Lesen des Godot‑Projekt‑Kontexts, der Nutzung von Asset‑Labels und einem auf Ergebnis‑basierenden Re‑Edit‑Workflow auf Trainingsdaten und Ausführungsumgebung.
Weitere gefundene Werkzeuge
Als Referenzprojekt für einfaches lokales Modell‑Hosting und -Betrieb habe ich club-3090 entdeckt.
Für zukünftige Modell‑Anpassungen oder Fine‑Tuning‑Experimente habe ich außerdem LLaMA-Factory als Kandidaten geprüft.
Um Qwen als Coding‑Werkzeug zu nutzen, muss man schließlich die gescheiterten und erfolgreichen Muster aus Godot‑Arbeiten sammeln und fine‑tunen. Ohne ausreichende Fehlbeispiele das Modell zu wechseln oder nur Lern‑Tools anzuhängen, führt wahrscheinlich zu denselben Fehlversuchen, daher sollten diese Fehlversuche künftig als Trainingsdaten‑Kandidaten erhalten bleiben.
MCP und Recherche
Über web-search-mcp habe ich im Qwen‑Modell Reddit‑MCP‑Kandidaten gefunden und reddit-mcp-buddy hinzugefügt.
Werkzeuge wie Godot, lokale Modelle und Qwen Code lösen viele Probleme nicht allein durch offizielle Dokumentation; Reddit‑ oder Community‑Beispiele können nötig sein. Das Anbinden von MCP und die eigentliche Verbesserung der Entwicklungsentscheidungen sind jedoch getrennte Fragen. Die Fähigkeit, Suchergebnisse in Code‑Änderungen zu überführen, muss weiterhin geprüft werden.
Schwierige Punkte
Ehrlich gesagt war meine Stimmung heute ziemlich niedrig.
Ich habe das Modell gewechselt, die Server‑Ausführungsweise geändert, MCP angebunden und Asset‑Beschreibungen erstellt, aber Qwen hat nie den Schritt erreicht, das gesamte Projekt zu lesen und zu korrigieren. Besonders frustrierend war, dass Tool‑Aufrufe nicht wirklich ausgeführt, sondern nur als Text ausgegeben wurden. Es wirkte zwar wie ein Coding‑Agent, konnte aber weder Dateien lesen noch ändern.
Letztlich musste ich eine Pause einlegen. Wenn ich weitergemacht hätte, hätte ich wahrscheinlich nur dieselbe Enttäuschung wiederholt, anstatt das Problem besser zu verstehen.
Heutige Einschätzung
Qwen2.5 Coder ist in seinem aktuellen Zustand kein Agent, dem man das gesamte Godot‑Projekt anvertrauen kann. Das Ziel ist jedoch nicht, Qwen nur eingeschränkt zu nutzen, sondern es zu einem vollwertigen Coding‑Agenten zu machen.
Daher betrachte ich das heutige Scheitern nicht als Grund, den Anwendungsbereich zu verkleinern, sondern als Maßstab für Fine‑Tuning und Ausführungsumgebungs‑Anpassungen.
- Codex übernimmt Bildinterpretation, Dateisuche, tatsächliche Änderungen und Validierung.
- Die von Codex erstellten Asset‑Labels, echten Änderungs‑Diffs, Ausführungsfehler und Re‑Edit‑Prozesse werden als Trainingsdaten‑Kandidaten für Qwen gespeichert.
- Qwen wird darauf trainiert, den gesamten Projekt‑Kontext zu lesen und Godot‑Code direkt zu ändern, indem Tool‑Calling und Arbeitsabläufe gelernt werden.
- Eine Ausführungsumgebung, in der Tool‑Calling fehlschlägt, wird sofort als Misserfolg gewertet; zuerst wird eine vLLM‑basierte Konfiguration eingerichtet, die echte Werkzeugaufrufe ermöglicht.
- Mit LLaMA‑Factory wird ein Fine‑Tuning auf Basis von Godot‑Fehlermustern versucht.
Nächste Kriterien
- Beim erneuten Testen von Qwen zuerst prüfen, ob das vLLM‑basierte Tool‑Calling tatsächlich funktioniert.
- Wenn Werkzeugaufrufe als Text ausgegeben werden, wird die Sitzung sofort als Fehlschlag gewertet.
- Godot‑Arbeiten müssen stets das Ausführungsergebnis prüfen; reine Modell‑Beschreibungen reichen nicht aus.
- Asset‑Nutzung erfolgt nach
assets/ASSET_LABELS.md; unterschiedliche Tile‑Sets dürfen nicht gemischt werden. - Mit LLaMA‑Factory wird die Feinabstimmung auf Basis von Godot‑Fehlermustern vorbereitet.
- Das Endziel ist, Qwen zu einem Coding‑Werkzeug zu machen, das echte Code‑Änderungen durchführen kann.