idea_world_labDEV JOURNAL
miércoles, 17 de junio de 2026

2026-06-17 SWE-agent trajectory palabra clave memo

Conclusión principal

Es muy probable que al crear un modelo de codificación Godot 4, un pequeño conjunto de datos Q&A sea insuficiente. El problema que se está considerando ahora no es simplemente un problema de conjunto de datos de instrucciones, sino que se asemeja más a un problema de aprendizaje de un agente de ingeniería de software que lee contextos extensos a nivel de repositorio, realiza exploración de archivos, toma decisiones, modifica, verifica y genera parches.

En resumen, el nombre de la dirección actual se acerca a lo siguiente.

Long-context repository-level software engineering agent training

O, más brevemente, se puede considerar la siguiente palabra clave.

SWE-agent trajectory training

Si lo cambiamos a Godot, el objetivo no es un modelo simple de preguntas y respuestas de Godot, sino que se acerca a lo siguiente.

Crear conjunto de datos de trayectoria SWE-agent para Godot

¿Por qué no es suficiente solo con pequeñas preguntas y respuestas?

Las preocupaciones anteriores eran las siguientes.

"Crear mapa"
-> Leer proyecto
-> Buscar archivos relacionados
-> Verificar assets
-> Determinar sintaxis/API de Godot 4
-> Modificar código
-> Ejecutar/pruebas/validación
-> Generar parche

Este flujo no termina con un solo pregunta -> respuesta. El agente de codificación real debe explorar varios archivos, tomar decisiones intermedias, modificar y luego validar. Por lo tanto, en lugar de un conjunto de datos que solo conserva el código de la respuesta final, puede ser más apropiado crear datos de entrenamiento a partir de la trayectoria y los parches que el agente deja mientras resuelve el problema.

Prioridad de búsqueda

1. SWE-smith
2. nebius/SWE-agent-trajectories
3. CoderForge-Preview
4. ACC
5. aiXcoder CoLT
6. RepoBench / CrossCodeEval / RepoCoder
7. godot-dodo / wallstoneai dataset

Caso de nota

Trayectorias del agente SWE

SWE-agent-trajectories es un conjunto de datos de registros de comportamiento de agentes que, al ver un issue de GitHub, exploran los archivos del repositorio, abren los archivos necesarios, los modifican, los prueban y crean el parche final.

Palabras clave principales:

  • trayectoria del agente
  • resolución de issues de GitHub
  • exploración de archivos
  • generación de parches
  • entrenamiento de agentes de ingeniería de software

Respuesta del lado de Godot:

"Crear mapa"
-> Explorar la estructura del proyecto Godot  
-> Verificar escena/script/recurso relacionado  
-> Modificar  
-> Ejecutar o validar con captura de pantalla  
-> Generar parche

SWE-smith

SWE-smith es un conjunto de herramientas que convierte un repositorio de GitHub en un entorno de aprendizaje para agentes de ingeniería de software. En teoría, puede transformar cualquier repositorio de GitHub en forma de SWE‑gym, y crear localización de archivos, reparación de programas y tareas al estilo SWE‑bench.

Respuesta para Godot:

Godot repo
-> Crear tarea de modificación de mapa/escena/script
-> Crear trayectoria del agente Godot
-> Entrenamiento del modelo de parche Godot

SWE-Gym

SWE-Gym es un caso que agrupa codebase, entorno de ejecución ejecutable, pruebas unitarias y tarea de lenguaje natural para entrenar un agente SWE y un verificador.

Respuesta para Godot:

Godot project
+ versión de Godot ejecutable
+ verificación de escena/prueba/captura de pantalla
+ tarea de lenguaje natural
+ trayectoria modificada
+ parche

Importante es que no solo se aprende el código o solo las preguntas en lenguaje natural, sino que también se agrupa el entorno de ejecución y la verificación.

CoderForge-Preview

CoderForge-Preview es un caso que genera datos SFT de contexto largo basados en la trayectoria del agente. Es importante que se utilizó una trayectoria de contexto largo de hasta 128 K tokens.

Este caso sirve como base para la siguiente pregunta.

¿No sería necesario un gran contexto para el trabajo a nivel de repositorio?

Realmente hay un flujo en el entrenamiento de agentes de codificación que utiliza trayectorias de contexto largo.

ACC

ACC: Compiling Agent Trajectories for Long-Context Training es una dirección que compila la trayectoria del agente en forma de preguntas y respuestas de contexto largo. El núcleo consiste en convertir llamadas a herramientas, observaciones, contenidos de archivos y resultados de búsqueda que se extienden a lo largo de varios turnos en datos de aprendizaje de contexto extenso.

Este caso está relacionado con la siguiente pregunta.

¿Es suficiente aprender solo el código de la respuesta final?  
¿O debería dejar también el proceso de exploración de archivos y juicio como datos de entrenamiento?

RepoBench / CrossCodeEval / RepoCoder

Esta serie trata sobre la comprensión y finalización de código a nivel de repositorio.

Idea central del problema:

  • Con un benchmark de un solo archivo es difícil capturar la complejidad real de un proyecto.
  • La información útil está dispersa en varios archivos.
  • Es necesario evaluar la finalización de código que requiere contexto entre archivos.
  • Se necesita una canalización de recuperación‑generación.

Respuesta para Godot:

Es difícil modificar el mapa solo mirando un archivo.  
Se deben revisar juntos la escena, el script, los recursos, la configuración del proyecto y la ruta de los assets.

aiXcoder CoLT

aiXcoder-7B-v2 y CoLT abordan el problema de que, incluso con un contexto largo, el modelo puede ignorar información útil.

Pregunta importante:

¿Se debe incluir un contexto muy amplio?  
→ No.  
Incluso si se incluye mucho, es necesario entrenar/validar si el modelo realmente lo lee y lo utiliza.

Godot en el lado de Godot 4 contiene información dentro de un contexto largo, pero el modelo aún puede responder con patrones al estilo Python o con la API de Godot 3. Por lo tanto, puede ser necesario entrenar el uso de contextos largos o diseñar datos que fijen más fuertemente el contexto de Godot 4.

godot-dodo / wallstoneai dataset

Como ejemplos directos de Godot existen godot-dodo y wallstoneai/godot-gdscript-dataset.

Estos dos se acercan más a un conjunto de datos de código GDScript sin procesar o de texto del repositorio. Tienen sentido como punto de partida para el aprendizaje especializado en Godot, pero están alejados del objetivo final de un dataset de trayectorias de agentes.

Comparado con el objetivo actual, se puede resumir de la siguiente manera.

Conjunto de datos de Godot existente:
GDScript raw code / repo text

Conjunto de datos de Godot necesario:
+ user task
+ file exploration
+ patch
+ verification
+ long-context trajectory

Palabras clave relacionadas con la preocupación actual

Al conectar con la pregunta organizada en la retrospectiva del 14 de junio, se obtiene lo siguiente.

¿Podemos incluir todo el contexto del proyecto y los fragmentos de documentación oficial encontrados en una sola entrada de contexto del modelo?  
-> long-context repo-level coding problem
¿Debe dejarse como datos el proceso de búsqueda y juicio?
-> trajectory training problem
¿Incluso si se le da un contexto largo, el modelo usará correctamente el contexto de Godot 4?  
-> long-context utilization / CoLT problem

Enlaces de referencia