2026-06-02 Retrospectiva
O que fiz hoje
Hoje experimentei novamente um modelo da série Qwen para melhorar o mapa gongju do projeto Godot. Partindo do pressuposto de que o modelo tem dificuldade em interpretar imagens de assets de forma estável, o Codex primeiro verificou a imagem e organizou em inglês o caminho do asset, tamanho em pixels, uso, duplicação e observações em assets/ASSET_LABELS.md.
Este documento é um índice auxiliar para que o Qwen, ao escrever código Godot, saiba quais assets usar sem precisar interpretar diretamente o PNG. Na prática, o código do mapa apresentava problemas como usar tiles de estilo incorreto como objetos naturais, ou posicionar casas em coordenadas aleatórias da folha de grama em vez do asset de edifício real, e esses problemas eram mais fáceis de identificar quando havia um rótulo de asset.
Experimento com Qwen2.5 Coder
Testei o modelo bekoozkan/godot-qwen2.5-coder-7b-instruct-bnb-4bit como assistente para tarefas Godot.
Inicialmente executei com llama.cpp, mas o tool calling do Qwen Code não funcionou corretamente. O modelo, em vez de chamar a ferramenta real, apenas imprimiu texto como <function=glob> e não avançou para listagem de arquivos ou modificação de código. Verifiquei que era necessário usar vLLM.
Mesmo mudando o modo de execução, o Qwen2.5 Coder ainda não alcançou o nível de compreender todo o contexto do projeto e modificar o código de forma estável. As respostas diferiram entre vLLM e llama.cpp, mas, em ambos os casos, confiar na modificação automática de código foi insuficiente.
Entretanto, isso não significa que devemos limitar o uso do Qwen. Pelo contrário, vejo isso como um caso de falha que indica o que precisamos ensinar ao modelo para torná‑lo uma ferramenta de codificação. O que falta agora não é desistir do modelo, mas alinhar tool calling, leitura do contexto do projeto Godot, uso de rótulos de assets e fluxo de revisão baseado em resultados de execução ao conjunto de dados de treinamento e ao ambiente de execução.
Ferramentas adicionais encontradas
Como referência para facilitar a execução e operação de modelos locais, verifiquei o projeto club-3090.
Também considerei o LLaMA-Factory para futuros experimentos de adaptação ou fine‑tuning.
Para usar o Qwen como ferramenta de codificação, precisamos coletar casos de falha e padrões de sucesso nas tarefas Godot e fazer fine‑tuning. Sem casos de falha suficientes, mudar o modelo ou apenas acrescentar ferramentas de treinamento pode levar à repetição dos mesmos erros, portanto esses incidentes devem ser mantidos como candidatos a dados de treinamento.
MCP e pesquisa
Pelo Qwen, encontrei candidatos a Reddit MCP via web-search-mcp e adicionei reddit-mcp-buddy.
Ferramentas como Godot, modelos locais e Qwen Code muitas vezes exigem casos da comunidade ou do Reddit, pois a documentação oficial não cobre tudo. Contudo, integrar o MCP e melhorar o julgamento de desenvolvimento são questões distintas. A capacidade de transformar resultados de busca em modificações de código ainda precisa ser validada continuamente.
Pontos difíceis
Hoje, sinceramente, minha energia mental ficou bastante baixa.
Mesmo trocando de modelo, mudando a forma de executar o servidor, adicionando o MCP e criando descrições de assets, o Qwen não chegou a ler e corrigir todo o projeto. O problema de chamadas de ferramenta que são apenas impressas como texto foi frustrante. Aparecia como um agente de codificação, mas na prática não conseguia ler nem modificar arquivos.
Acabei precisando fazer uma pausa. Continuar forçando o processo provavelmente só aumentaria a decepção em vez de trazer clareza.
Julgamento de hoje
O Qwen2.5 Coder, no estado atual, não é um agente capaz de assumir todo o projeto Godot. Mas o objetivo não é usar o Qwen de forma limitada, e sim torná‑lo um agente de codificação confiável.
Portanto, o fracasso de hoje serve como base para refinar o fine‑tuning e o alinhamento do ambiente de execução, não para reduzir o escopo de uso.
- O Codex fica responsável por interpretar imagens, explorar arquivos, fazer modificações reais e validar.
- Os rótulos de assets, diffs de modificações reais, erros de execução e processos de revisão gerados pelo Codex são mantidos como candidatos a dados de treinamento para o Qwen.
- O Qwen deve ser treinado para ler todo o contexto do projeto e modificar diretamente o código Godot via tool calling.
- Ambientes onde o tool calling falha são considerados falhas imediatas; primeiro deve‑se configurar um ambiente vLLM que realmente invoque as ferramentas.
- Usaremos o LLaMA-Factory para fine‑tuning baseado nos padrões de trabalho Godot e nos casos de falha.
Próximos critérios
- Ao retestar o Qwen, primeiro confirmar se o tool calling baseado em vLLM está realmente funcionando.
- Se a chamada de ferramenta for impressa como texto, a sessão é considerada falha imediata.
- O trabalho Godot deve sempre validar o resultado da execução, não apenas confiar na descrição do modelo.
- O uso de assets segue o padrão definido em
assets/ASSET_LABELS.md, evitando misturar tilesets de estilos diferentes. - Preparar fine‑tuning baseado em casos de falha Godot com o LLaMA-Factory.
- O objetivo final é transformar o Qwen em uma ferramenta de codificação que execute modificações reais de código.