В пайплайне анализа исходного кода Godot заново систематизировали роли docs_chunks, api_mapping, label_prototypes
docs_chunks используется в потоке создания описаний кода. По фрагментам AST/кода и подсказкам ищутся чанки официальной документации, отбрасываются нерелевантные доказательства, после чего формируется JSONL‑файл с описанием.
api_mapping хранит информацию о том, как изменились имена функций, классов и символов при переходе Godot 3 → Godot 4.
label_prototypes сохраняет шаблоны преобразования для случаев, когда изменилось не только название, но и способ использования функции, состав аргументов и паттерн вызова.
Описана структура, в которой проект GitHub или локальная файловая система анализируются по фрагментам AST/кода, вызывается необходимый Retriever, а затем по требованию вызывается Qwen 3.6
Официальный Markdown документации классифицируется в зависимости от характера содержимого: основной текст → docs_chunks, изменения имён/символов → api_mapping, изменения способов использования/паттернов вызова → label_prototypes. Каждый элемент сохраняется в JSONL.
Результаты поиска Retriever‑а, проверки LLM и прохождения Validator‑а сохраняются в поток JSONL/score‑DB.
Колонки, методы агрегации и метки классификации в базе score пока не определены; сейчас они фиксируются как хранилище результатов до классификации файловой системы.
На основе классифицированной файловой системы планируется создать исходники для проектирования SFT и DPO.
При документировании метода классификации LLM обнаружена проблема: вместо полной передачи всего Markdown LLM отправлял только первые 3000 символов. Исправлено в соответствии с первоначальным требованием — теперь передаётся весь документ.
Этот случай ещё раз подтвердил, что документирование — это не просто запись, а процесс проверки реального поведения кода.
При преобразовании Markdown → JSONL сервер RunPod неожиданно остановился; после перезапуска приложения Streamlit проверяли, сохраняется ли состояние. Файлы, находившиеся в обработке, вернулись в статус pending, и при повторном запуске использовались предыдущие результаты классификации, продолжая обработку с того же места.
Для длительных задач преобразования необходимо настроить оповещения, позволяющие заранее узнать о завершении или недоступности сервера RunPod.