En el autobús hacia Seúl, volví a organizar mis dudas sobre el conjunto de datos/pipeline RAG de Godot 4
Antes pensaba en rastrear la documentación oficial de Godot, convertir proyectos de GitHub a formatos md y jsonl, y usar un chatbot RAG para determinar si era Godot 3 o 4.
Pero surgió la duda de si todo el contexto del proyecto y los fragmentos de documentación oficial encontrados podrían caber en el contexto de entrada del modelo de una sola vez.
Reflexioné sobre los límites del contexto de entrada al crear un chatbot RAG
Un proyecto de GitHub incluye README, estructura de directorios, varios archivos .gd, archivos de escena y rutas de recursos.
Si a eso se añaden los documentos oficiales obtenidos mediante RAG, el input se vuelve muy grande; por eso, diseñar qué archivos y fragmentos seleccionar es más importante que simplemente acumular documentos.
Analicé la forma del conjunto de datos de preguntas/respuestas
Una solicitud como “Crea un mapa” no siempre se resuelve con una sola pieza de código.
En la práctica se requieren varios pasos de razonamiento: comprender la estructura del proyecto, identificar los assets a usar, analizar el estilo de código existente, revisar la sintaxis de Godot 4 y decidir qué archivos modificar.
Por ello, me cuestioné si basta con incluir solo el código final en el dataset de instrucciones o si también se debe registrar el proceso de exploración y decisión.
Consideré la posibilidad de que el peso de Python vuelva a dominar al procesar por chunks
Incluso si se pide “Haz un mapa con Godot 4”, el modelo podría volver a priorizar pesos pre‑entrenados centrados en Python al leer el proyecto y los documentos por chunks.
Sentí la necesidad de inyectar fuertemente el contexto de Godot 4 al inicio del prompt y filtrar más estrictamente en la fase de pre‑procesamiento para evitar que código de Godot 3 o respuestas al estilo Python se mezclen.
Resumen del día
RAG o crawling por sí solos no son la solución; lo esencial es diseñar qué contexto leerá el modelo y cómo tomará decisiones a partir de una solicitud real.
Dividiremos el contexto del proyecto por archivo/rol/dependencia y, en los datos de instrucción, incluiremos no solo la respuesta final sino también, cuando sea necesario, el flujo de exploración y juicio.
Es necesario diseñar con mayor rigor los prompts, etiquetas, filtros y criterios de datos preferidos para que el contexto de Godot 4 no se diluya durante el razonamiento.