Reorganizei o papel de docs_chunks, api_mapping e label_prototypes no pipeline de análise de código‑fonte do Godot
docs_chunks é usado no fluxo de geração de descrições de código. A partir de fragmentos de AST/código e prompts, busca trechos da documentação oficial, descarta evidências irrelevantes e cria JSONL de descrições.
api_mapping armazena como nomes de funções, classes e símbolos mudaram do Godot 3 para o Godot 4.
label_prototypes guarda padrões de transformação para casos em que não apenas o nome mudou, mas o modo de uso da função, a composição de argumentos e o padrão de chamada foram alterados como um todo.
Estruturei a análise de projetos GitHub ou do sistema de arquivos local por fragmentos de AST/código, chamando o Retriever necessário e, em seguida, invocando o Qwen 3.6 sob demanda
A documentação oficial em Markdown é classificada, conforme o tipo de conteúdo, em docs_chunks (texto explicativo), api_mapping (alterações de nomes/símbolos) ou label_prototypes (mudanças de uso/chamada), e salva em JSONL.
Os resultados da busca do Retriever, a validação pelo LLM e a aprovação do Validator são armazenados como fluxo JSONL/score DB.
Ainda não defini as colunas, o modo de agregação e os rótulos de classificação do score DB; por enquanto, ele funciona apenas como repositório de resultados preliminares antes da classificação do sistema de arquivos.
Planejo usar o sistema de arquivos classificado como fonte para projetar SFT e DPO.
Ao documentar o método de classificação por LLM, descobri que, ao contrário do requisito original, o LLM estava enviando apenas os primeiros 3 000 caracteres do Markdown em vez do documento completo; corrigi para que todo o Markdown seja transmitido.
Esse trabalho reforçou que a documentação não é apenas um registro, mas um processo de verificação do comportamento real do código.
Durante a conversão de Markdown → JSONL, o servidor RunPod parou inesperadamente; ao reiniciar o app Streamlit, observei que o estado anterior não foi reiniciado e a execução continuou.
Após a reinicialização, o arquivo que estava em processamento voltou ao status pending; ao retomar, o app reutilizou os resultados de classificação existentes e continuou a partir do mesmo arquivo.
Concluí que, em tarefas de conversão longas, é necessário configurar alertas que avisem precocemente sobre encerramento ou indisponibilidade do servidor RunPod.