idea_world_labDEV JOURNAL
вторник, 30 июня 2026 г.

30 июня 2026 г.

  • В сезон чемпионата мира я не мог спать из‑за просмотра матчей, поэтому не смог выполнить много работы

  • Преобразование Markdown → JSONL на localhost:8501 в данный момент завершено примерно для 655 файлов

  • Сегодня я сосредоточился на простом создании и доработке инструмента отладки тестов валидации, а не на крупном сборе/обучении

  • Стратегия инструмента отладки тестов валидации была разработана, и отдельный веб‑инструмент Qwen Validation Debugger реализован

    • Путь выполнения: tools/qwen-validation-debugger
    • Команда локального запуска: npm run validation-debug:debug
    • Базовый адрес: http://127.0.0.1:8520/

  • 28 июня я вручную создал куски кода Godot и JSONL с помощью чат‑бота Qwen и проверил их ответы «да»/«нет»

    • Этот способ позволил убедиться в возможности, но с ростом количества пунктов копирование/вставка и сравнение результатов стали слишком трудоёмкими
    • Особенно нужно протестировать все три таблицы docs_chunks, api_mapping, label_prototypes; при общем синтаксисе требуется 6 слотов, а при разделении по версиям — 12, что резко усложняет ручное управление

  • Инструмент загружает образец из 50 тестовых пунктов Godot и сначала просит Qwen пометить каждый пункт как общий синтаксис или как разделённый по Godot 3/4

    • Если общий синтаксис — генерируется один общий код
    • При различиях версий генерируются отдельные коды для Godot 3 и Godot 4
    • Затем автоматически формируются JSONL‑слоты для каждой таблицы

  • Было повторно подтверждено, что нельзя просто объединять docs_chunks, api_mapping, label_prototypes под единым «да/нет»

    • docs_chunks служат обоснованием описания кода, поэтому если код совпадает — «да»
    • api_mapping и label_prototypes являются обоснованием миграции, поэтому часто правильнее ответ «нет», когда код уже применён в Godot 4 или относится к общему синтаксису
    • Поэтому названия слотов разделены на «Обоснование описания», «Не относится к описанию», «Требуется преобразование», «Уже применено», «Общий/Не нужен», «Не относится к преобразованию»

  • Наибольшее изменение при создании инструмента — разделение «кода‑генератора JSONL» и «кода‑объекта проверки».

  • Изначально JSONL, созданный кодом Godot 3, проверялся только в коде Godot 3, а JSONL, созданный кодом Godot 4, — только в коде Godot 4.

  • Однако на практике нужно убедиться, что JSONL, подготовленный по стандарту Godot 3, при применении к коду Godot 4 тоже выдаёт «нет».

  • Поэтому для каждого слота добавлены отдельные кнопки «Проверка кода Godot 3» и «Проверка кода Godot 4», а результаты сохраняются независимо.

  • После создания инструмента производительность разработки заметно возросла

    • Раньше каждый раз приходилось запрашивать у Qwen код и JSONL, затем вручную вставлять их в подсказку, проверять и сравнивать ожидаемый ответ в уме.
    • Сейчас выбор пункта, разметка, генерация кода, создание JSONL, кросс‑проверка Godot 3/4 и просмотр raw‑prompt/response происходят в одном окне.
    • Вместо того чтобы просто быстро генерировать много вариантов, главное — не путаться, какой критерий использовался и в каком коде проводилась проверка.
    • При повторении 50 тестовых пунктов количество состояний, которые человек должен помнить, сократилось, что позволило быстрее находить паттерны ошибок.

  • С помощью этого инструмента можно непосредственно в интерфейсе увидеть, какие подсказки отправляются, в каком порядке вызываются массовое создание/проверка JSONL, а также как формируются проверочные и запросные подсказки.

    • Ожидаемый ответ фиксируется в зависимости от разметки и характера слота, чтобы критерий «да/нет» не вводил в заблуждение.
    • Результаты отображаются сразу по слотам, поэтому быстро видно, в какой комбинации кода и JSONL произошёл сбой.
    • Даже если ошибка вызвана подсказкой, использованная подсказка остаётся на экране, что облегчает её последующее исправление.

  • Инструмент уже достаточно развит, поэтому дальше планируется замедлить темп, отказаться от попыток резко увеличить объём и постепенно уточнять критерии проверки.

Документация: Qwen Validation Debugger Стратегия и запись реализации