30 июня 2026 г. | idea_world

В сезон чемпионата мира я не мог спать из‑за просмотра матчей, поэтому не смог выполнить много работы
Преобразование Markdown → JSONL на localhost:8501 в данный момент завершено примерно для 655 файлов
Сегодня я сосредоточился на простом создании и доработке инструмента отладки тестов валидации, а не на крупном сборе/обучении
Стратегия инструмента отладки тестов валидации была разработана, и отдельный веб‑инструмент Qwen Validation Debugger реализован
- Путь выполнения: tools/qwen-validation-debugger
- Команда локального запуска: npm run validation-debug:debug
- Базовый адрес: http://127.0.0.1:8520/
28 июня я вручную создал куски кода Godot и JSONL с помощью чат‑бота Qwen и проверил их ответы «да»/«нет»
- Этот способ позволил убедиться в возможности, но с ростом количества пунктов копирование/вставка и сравнение результатов стали слишком трудоёмкими
- Особенно нужно протестировать все три таблицы docs_chunks, api_mapping, label_prototypes; при общем синтаксисе требуется 6 слотов, а при разделении по версиям — 12, что резко усложняет ручное управление
Инструмент загружает образец из 50 тестовых пунктов Godot и сначала просит Qwen пометить каждый пункт как общий синтаксис или как разделённый по Godot 3/4
- Если общий синтаксис — генерируется один общий код
- При различиях версий генерируются отдельные коды для Godot 3 и Godot 4
- Затем автоматически формируются JSONL‑слоты для каждой таблицы
Было повторно подтверждено, что нельзя просто объединять docs_chunks, api_mapping, label_prototypes под единым «да/нет»
- docs_chunks служат обоснованием описания кода, поэтому если код совпадает — «да»
- api_mapping и label_prototypes являются обоснованием миграции, поэтому часто правильнее ответ «нет», когда код уже применён в Godot 4 или относится к общему синтаксису
- Поэтому названия слотов разделены на «Обоснование описания», «Не относится к описанию», «Требуется преобразование», «Уже применено», «Общий/Не нужен», «Не относится к преобразованию»
Наибольшее изменение при создании инструмента — разделение «кода‑генератора JSONL» и «кода‑объекта проверки».
Изначально JSONL, созданный кодом Godot 3, проверялся только в коде Godot 3, а JSONL, созданный кодом Godot 4, проверялся только в коде Godot 4
- Однако на практике нужно убедиться, что при подключении JSONL, написанного по стандарту Godot 3, к коду Godot 4 тоже выводится «нет»
- Поэтому для каждого слота добавлены отдельные кнопки «Проверка кода Godot 3» и «Проверка кода Godot 4», а результаты сохраняются отдельно
После создания инструмента производительность разработки заметно возросла
- Раньше каждый раз приходилось запрашивать у Qwen код и JSONL, затем вставлять их в подсказку для проверки и сравнивать ожидаемый ответ в уме
- Сейчас выбор элемента, маркировка, генерация кода, создание JSONL, перекрестная проверка Godot 3/4 и просмотр raw‑prompt/response происходят на одном экране
- Вместо простого ускорения количества созданных примеров главное — не путаться, какие критерии использовались при генерации и в каком коде проводилась проверка
- При повторении 50 тестовых пунктов количество состояний, которые человек должен помнить, сократилось, что позволяет быстрее находить паттерны ошибок
С помощью этого инструмента можно непосредственно на экране увидеть, какие подсказки отправляются, в каком порядке вызывается массовое создание/проверка JSONL, а также как формируются проверочные и запросные подсказки
- Ожидаемый ответ фиксируется в зависимости от маркировки и характера слота, чтобы критерий «да/нет» не вызывал путаницы
- Результаты отображаются сразу по слотам, поэтому можно быстро определить, в какой комбинации кода и JSONL произошёл сбой
- Даже если сбой был вызван подсказкой, использованная подсказка остаётся на экране, что облегчает её последующее исправление
Инструмент уже достаточно развит, поэтому дальше планируется замедлить темп, а не увеличивать объём в ущерб качеству, и постепенно уточнять критерии проверки
Записный документ: Qwen Validation Debugger стратегия и запись реализации
Ретроспектива: docs/retrospectives/2026-06-30.md