2026-06-17 SWE-agent trajectory — заметка по ключевым словам
Основные выводы
Создание модели кодирования Godot 4 может потребовать гораздо больше данных, чем небольшие наборы вопросов‑ответов. Текущая проблема не просто в наборе инструкций, а ближе к задаче обучения агента программной инженерии, который читает длинный контекст репозитория, осуществляет навигацию по файлам, принимает решения, вносит изменения, проверяет их и генерирует патчи.
Подводя итог, название текущего направления близко к следующему.
Long-context repository-level software engineering agent trainingИли более коротко, это можно рассматривать как следующий ключевой термин.
SWE-agent trajectory trainingЕсли заменить на Godot, цель будет не просто модель вопросов и ответов по Godot, а ближе к следующему.
Создание набора данных траекторий SWE‑агента для GodotПочему небольших вопросов и ответов недостаточно
Было следующее беспокойство.
"Создай карту"
-> Читать проект
-> Найти связанные файлы
-> Проверить ассеты
-> Оценить синтаксис/API Godot 4
-> Исправить код
-> Запустить/тестировать/проверить
-> Создать патчЭта последовательность не заканчивается одним шагом вопрос -> ответ. Реальный кодирующий агент должен просматривать несколько файлов, принимать промежуточные решения, вносить исправления и выполнять проверку. Поэтому вместо набора данных, содержащего только конечный код ответа, более подходящим может быть создание обучающих данных из траекторий и патчей, оставленных агентом во время решения задачи.
Приоритеты для поиска
1. SWE-smith
2. nebius/SWE-agent-trajectories
3. CoderForge-Preview
4. ACC
5. aiXcoder CoLT
6. RepoBench / CrossCodeEval / RepoCoder
7. godot-dodo / wallstoneai datasetПримечание к случаю
SWE-agent trajectories
SWE-agent-trajectories — это набор данных записей действий агента, который просматривает issue на GitHub, исследует файлы репозитория, открывает необходимые файлы, редактирует их, тестирует и создает окончательный патч.
Ключевые слова:
- agent trajectory
- GitHub issue solving
- file exploration
- patch generation
- software engineering agent training
Ответ со стороны Godot:
"Создай карту"
-> Исследовать структуру проекта Godot
-> Проверить связанные сцены/скрипты/ресурсы
-> Внести изменения
-> Запустить или проверить скриншот
-> Создать патчSWE-smith
SWE-smith — это набор инструментов, который превращает репозиторий GitHub в среду обучения агента программной инженерии. По описанию он преобразует произвольный репозиторий GitHub в форму SWE-gym, а также позволяет создавать локализацию файлов, исправление программ и задачи в стиле SWE-bench.
Поддержка Godot:
Godot репозиторий
-> Создать задачу по изменению карты/сцены/скрипта
-> Создать траекторию агента Godot
-> Обучить модель патча GodotSWE-Gym
SWE-Gym — это пример, в котором кодовая база, исполняемая среда, модульные тесты и задача на естественном языке объединяются для обучения SWE‑агента и проверяющего.
Поддержка в Godot:
Godot project
+ исполняемая версия Godot
+ проверка scene/test/screenshot
+ задача на естественном языке
+ корректировка траектории
+ патчВажно отметить, что обучение происходит не только на коде или только на вопросах естественного языка, а также включает в себя среду выполнения и проверку.
CoderForge-Preview
CoderForge-Preview — это пример создания данных SFT с длинным контекстом на основе траекторий агента. Важно, что использовалась траектория с длинным контекстом до 128 К токенов.
Этот пример служит доказательством для следующего вопроса.
Не нужен ли большой контекст для работы на уровне репозитория?В реальном обучении кодирующих агентов также существует подход, использующий длительные контекстные траектории.
ACC
ACC: Compiling Agent Trajectories for Long-Context Training направлен на компиляцию траекторий агента в форму вопросов и ответов с длинным контекстом. Ключевой задачей является преобразование вызовов инструментов, наблюдений, содержимого файлов и результатов поиска, происходящих в нескольких ходах, в данные для обучения с длинным контекстом.
Этот пример связан со следующим вопросом.
Достаточно ли обучать только конечный код ответа?
Или нужно оставлять в обучающих данных процесс поиска файлов и принятия решений?RepoBench / CrossCodeEval / RepoCoder
Эта серия охватывает задачи понимания кода и его завершения на уровне репозитория.
Ключевые проблемы:
- Оценка только по single-file benchmark не позволяет отразить сложность реального проекта.
- Полезная информация разбросана по нескольким файлам.
- Необходимо оценивать code completion, требующий cross-file контекста.
- Требуется pipeline retrieval‑generation.
Поддержка для Godot:
Только по одному файлу сложно изменить карту.
Нужно рассматривать вместе сцену, скрипт, ресурсы, настройки проекта и путь к ассетам.aiXcoder CoLT
aiXcoder-7B-v2 и CoLT рассматривают проблему, когда даже при предоставлении длинного контекста модель может игнорировать полезную информацию.
重要的疑问:
Нужно ли вставлять контекст в большом объёме?
-> Нет.
Нужно обучить/проверить, действительно ли модель читает и использует даже при большом объёме.На стороне Godot даже если информация о Godot 4 находится в длинном контексте, модель может отвечать с использованием Python‑подобных шаблонов или API Godot 3. Поэтому может потребоваться обучение использованию long‑context или разработка данных, которые более явно фиксируют контекст Godot 4.
godot-dodo / wallstoneai dataset
Прямыми примерами для Godot являются godot-dodo и wallstoneai/godot-gdscript-dataset.
Они оба ближе к набору данных с исходным кодом GDScript или текстом репозитория. Это имеет смысл как отправная точка для специализированного обучения Godot, но они далеки от конечной цели — набора данных траекторий агента.
Сравнивая с текущей целью, можно сформулировать следующее.
## Существующий набор данных Godot:
GDScript raw code / repo text
## Необходимый набор данных Godot:
Godot repo context
+ пользовательская задача
+ исследование файлов
+ патч
+ проверка
+ траектория с большим контекстомКлючевые слова, связанные с текущими размышлениями
Если связать с вопросами, сформулированными в обзоре от 14 июня, получаем следующее.
Можно ли поместить весь контекст проекта и найденный фрагмент официальной документации в контекст ввода модели за один раз?
-> задача кодирования на уровне репозитория с длинным контекстом# Должны ли мы сохранять данные до процесса поиска и принятия решений?
→ проблема обучения траекторииЕсли дать большой контекст, сможет ли модель правильно использовать контекст Godot 4?
-> использование длинного контекста / проблема CoLTСсылки
- nebius/SWE-agent-trajectories: https://huggingface.co/datasets/nebius/SWE-agent-trajectories
- SWE-smith: https://github.com/SWE-bench/SWE-smith
- набор данных SWE-smith: https://huggingface.co/datasets/SWE-bench/SWE-smith
- SWE-Gym: https://arxiv.org/abs/2412.21139
- CoderForge-Preview: https://www.together.ai/blog/coderforge-preview
- ACC: https://arxiv.org/abs/2605.21850
- RepoBench: https://arxiv.org/abs/2306.03091
- CrossCodeEval: https://crosscodeeval.github.io/
- RepoCoder: https://arxiv.org/abs/2303.12570
- aiXcoder-7B-v2 / CoLT: https://arxiv.org/abs/2503.15301
- godot-dodo: https://github.com/minosvasilias/godot-dodo
- wallstoneai/godot-gdscript-dataset: https://huggingface.co/datasets/wallstoneai/godot-gdscript-dataset