В пайплайне анализа исходного кода Godot заново систематизировали роли docs_chunks, api_mapping, label_prototypes
docs_chunks используется в потоке создания описаний кода. По фрагментам AST/кода и подсказкам ищутся соответствующие чанки официальной документации, отбрасываются нерелевантные основания и формируется JSONL‑описание.
api_mapping хранит сведения о том, как изменились имена функций, классов и символов при переходе Godot 3 → Godot 4.
label_prototypes сохраняет шаблоны преобразования, когда меняется не только название, но и способ использования функции, состав аргументов, паттерн вызова.
Описана структура, в которой проект GitHub или локальная файловая система анализируются по фрагментам AST/кода, вызывается нужный Retriever, а затем по запросу запускается Qwen 3.6
Официальный Markdown классифицируется в зависимости от содержания: основной текст → docs_chunks, изменения имён/символов → api_mapping, изменения способов использования/паттернов вызова → label_prototypes. Каждый элемент сохраняется в JSONL.
Результаты поиска Retriever, проверка LLM и проход Validator сохраняются в поток JSONL/score‑DB.
Колонки, методы агрегации и метки в базе scores пока не определены; сейчас они служат лишь хранилищем предварительных результатов классификации до распределения по файловой системе.
На основе классифицированных файлов будет построен источник для SFT и DPO.
При документировании метода классификации LLM обнаружил, что вместо полной передачи Markdown передавались только первые 3000 символов; исправлено в соответствии с первоначальным требованием – теперь передаётся весь документ.
Этот случай подтвердил, что документирование – не просто запись, а проверка реального поведения кода.
При преобразовании Markdown → JSONL сервер RunPod неожиданно остановился; после перезапуска Streamlit‑приложения состояние не сбрасывалось, а продолжалось.
После перезапуска файлы, находившиеся в обработке, вернулись в статус pending; при повторном запуске использовались уже полученные результаты классификации, и обработка продолжилась с того же места.
Для длительных преобразований необходимо настроить оповещения о раннем завершении или недоступности сервера RunPod.