idea_world_labDEV JOURNAL
Dienstag, 21. Juli 2026

21. Juli 2026

  • Mit dem Markdown → JSONL‑Konverter wurde die offizielle Dokumenten‑JSONL‑Umwandlung von 1 550 auf 1 422 Einträge vorangetrieben
  • Die Schritte 46 bis 50 des Qwen Validation Debugger wurden fortgesetzt, und die erzeugten Codes, die Godot‑3/4‑Engine‑Prüfung sowie die JSONL‑Validierungsergebnisse wurden überprüft
  • Beim Debug‑Log‑Eintrag 50 wurden der gemeinsame Code und die JSONL‑Validierung abgeschlossen; das dynamische Laden der Szenen‑Ressource in Eintrag 48 erzeugte einen festen Ressourcen‑Pfad, der nicht existiert, sodass die Engine‑Prüfung weiterhin ablehnte
  • Beim erneuten Versuch wird die vorherige Engine‑Diagnose übermittelt, und der Debugger wurde so verbessert, dass pro Durchlauf ein anderer stabiler Seed verwendet wird, ohne dass Syntax oder Antworten manuell registriert werden müssen
  • Der aktuelle JSONL‑Datensatz des Collectors 8501 wird in outputs/godot-rag-sqlite/godot-rag.sqlite3 geladen und die 1 570 Original‑URLs, Domains und SHA‑256‑Werte aus pages.zip werden mit den Record‑Quellen abgeglichen
  • In SQLite werden docs_chunks, api_mapping, label_prototypes, die Original‑Provenienz und ein FTS5‑Suchindex erstellt, sodass vor Abschluss der Gesamtsammlung ein Snapshot mit demselben Builder erneut erzeugt werden kann
  • Nachdem die JSONL‑Daten für Git vorbereitet wurden, werden SQLite‑ und Vektor‑DB‑Dumps verglichen; die Original‑Records und Provenienz bleiben unverändert erhalten, und es wird SQLite gewählt, das ohne separaten Server wiederhergestellt und geteilt werden kann
  • Zunächst wurde SQLite nur als Basis‑Artefakt für Git hinzugefügt, während die F‑Strategie des Source Flow Debugger weiterhin PostgreSQL nutzte, was zu Inkonsistenzen führte, weil dieselben JSONL‑Daten sowohl in SQLite als auch in PostgreSQL separat übernommen werden mussten
  • Um die doppelte Verwaltung zu eliminieren, werden die Basis‑Daten und das Ausführungs‑Repository der F‑Strategie zu einer einzigen, committeten SQLite‑Datei zusammengeführt und die PostgreSQL‑Verbindungs‑ und Migrations‑Pfade entfernt
  • BM25‑Kandidaten werden aus SQLite‑FTS5 gelesen, dann in Node mit Okapi BM25 berechnet; Embeddings werden im selben SQLite‑record_embeddings zusammen mit Modell, Dimension, Record‑Inhalt‑SHA‑256 und Float32‑Vektor gespeichert, sodass nur geänderte Records erneut indiziert werden
  • Der Source Flow Debugger prüft nun direkt die Revision, die Anzahl der Records und Embeddings der committeten SQLite ohne separate DB‑URL, und die gespeicherten Vektoren werden in Node mittels Cosine‑Similarity durchsucht
  • Da Vektor‑DB‑Dumps vom Embedding‑Modell, der Dimension und der Index‑Implementierung abhängen, werden sie nicht als separate Basis‑Daten behandelt, sondern bei Bedarf als abgeleitete Indizes im selben SQLite neu erzeugt.