14. Juni 2026

Im Bus nach Seoul überlegte ich erneut die Fragen zum Godot 4‑Datensatz/RAG‑Pipeline

• Zunächst hatte ich daran gedacht, die offizielle Godot‑Dokumentation zu crawlen, das GitHub‑Projekt in md‑ und jsonl‑Formate zu konvertieren und dann über einen RAG‑Chatbot zu bestimmen, ob es sich um Godot 3 oder Godot 4 handelt
• Dabei stellte sich die Frage, ob man den gesamten Kontext des Projekts und die gefundenen Dokumentations‑Snippets gleichzeitig in den Model‑Eingabekontext einbinden kann

Überlegungen zu den Eingabekontext‑Grenzen beim Erstellen eines RAG‑Chatbots

• Ein einzelnes GitHub‑Projekt enthält README, Verzeichnisstruktur, mehrere .gd‑Dateien, Szenendateien und Ressourc‑Pfade
• Wenn man noch die per RAG gefundenen offiziellen Dokumentations‑Snippets hinzufügt, wird der Input zu groß; deshalb ist es wichtiger, zu planen, welche Dateien und Dokumentations‑Snippets ausgewählt werden, als einfach nur viele Dokumente zu sammeln

Fragen zur Form des Frage‑/Antwort‑Datensatzes

• Anfragen wie „Erstelle eine Karte“ enden nicht immer nur mit einem einzelnen Antwort‑Code‑Snippet
• In der Praxis müssen mehrere Schlussfolgerungs‑Schritte durchlaufen werden, etwa das Verstehen der Projektstruktur, das Prüfen der zu verwendenden Assets, die Analyse des bestehenden Code‑Stils, die Überprüfung der Godot 4‑Syntax und die Entscheidung, welche Dateien geändert werden sollen.

Daher stellt sich die Frage, ob es ausreicht, im Instruction‑Datensatz nur den endgültigen Code zu hinterlegen, oder ob auch der Such‑ und Entscheidungsprozess als Daten gespeichert werden muss

Beim Chunk‑basierten Verarbeiten besteht die Sorge, dass Python‑Gewichte wieder stärker werden könnten

• Auch wenn man „Erstelle eine Karte mit Godot 4“ anfordert, könnte das Modell während des Lesens des Projekts und der Dokumente in Chunk‑Einheiten wieder auf die Python‑zentrierten vortrainierten Gewichte zurückgreifen
• Es erscheint notwendig, den Godot‑4‑Kontext bereits zu Beginn des Prompts stark zu injecten und im Daten‑Preprocessing‑Schritt stärker zu filtern, damit keine Godot‑3‑Codes oder Python‑artige Antworten vermischt werden

Zusammenfassung des Tages

• RAG oder Crawling allein sind keine Lösung; entscheidend ist, zu entwerfen, welchen Kontext das Modell bei einer echten Anfrage liest und welche Entscheidungen es trifft
• Der Projekt‑Kontext soll nach Datei/Rolle/Abhängigkeit aufgeteilt werden, und im Instruction‑Datensatz sollen nicht nur die finalen Antworten, sondern bei Bedarf auch Such‑ und Entscheidungsabläufe enthalten sein
• Damit der Godot‑4‑Kontext im Inferenz‑Prozess nicht verwässert wird, müssen Prompt, Tags, Filterung und Präferenz‑Daten stärker gestaltet werden

Entwicklungsrückblick: docs/retrospectives/2026-06-14.md