Heute habe ich die Arbeit im Bus nach Seoul fortgesetzt.
Auf Basis des am 13. Juli erstellten Analyse‑Dokuments zum Qwen Validation Debugger habe ich die Klassifizierung, die Synthese‑Code‑Erstellung, die JSONL‑Erzeugung und den Validierungs‑Flow von Grund auf erneut überprüft.
Bei der Analyse sind folgende Probleme aufgefallen:
Die Beschreibung der common/separate‑Klassifizierungsphase wurde unverändert in die Code‑Generierungseingabe übernommen, sodass fehlerhafte Versionssyntax als Grundlage für nachfolgende Generierungsschritte einfließen konnte.
Es wurde nicht geprüft, ob der erzeugte Synthese‑Code vom Godot‑Engine‑Parser akzeptiert wird; daher konnten Godot‑4‑exklusive Syntax in Godot‑3‑Code gelangen und trotzdem zum nächsten Schritt übergehen.
Es war schwierig sicherzustellen, dass separat erzeugte Versionen denselben Funktionsumfang, Eingabefluss, Ziel und Ergebnis beibehalten.
Die Feldtypen und verschachtelten Strukturen der JSONL‑Antworten wurden nicht streng genug eingeschränkt, sodass abweichende Formen vom ursprünglichen Schema entstehen konnten.
Beim Erzeugen von negativem JSONL könnte der aktuelle Code mit einbezogen werden, wodurch das Modell die eigenen Code‑Belege erneut nutzt.
Wenn Slots unterschiedliche Versionen haben oder keine direkten Belege vorliegen, kann das Modell fälschlicherweise ein positives Ja ausgeben.
Es fehlten differenzierte Wiederholungs‑ und Struktur‑Antwort‑Beschränkungen für HTTP 429, 502, 503, 504, Verbindungsabbrüche und Zeitüberschreitungen.
Anstatt nur Teil‑Prompt‑Anpassungen vorzunehmen, habe ich beschlossen, den gesamten Ablauf neu zu strukturieren und ein Dokument erstellt, das Eingabe, Erzeugung, Prüfung, Schema und Bewertung für synthetische E2E‑Daten definiert.
Die Zielsetzung des Qwen Validation Debugger – E2E‑Tests mit synthetischen Daten vor dem Bau von Retriever und Validator zu prüfen – wurde erneut zusammengefasst.
Die Beschreibung des Klassifizierungsmodells wurde getrennt, sodass sie nicht mehr mit der Godot 3/4‑Code‑Erzeugung vermischt wird.
Der erzeugte Synthese‑Code wird nicht mehr ausschließlich dem Selbst‑Judgement von Qwen überlassen, sondern sofort mit --check-only --script der jeweiligen Godot 3/4‑Engine geprüft.
Negatives JSONL wird nun dynamisch aus anderen Test‑Items generiert, ohne den aktuellen Code zu kopieren, und nach der Erzeugung wird geprüft, ob direkte Belege mit dem aktuellen Code überschneiden.
Das bestehende JSONL‑Schema wird verwendet, um Pflichtfelder, Typen, Enums und optionale Felder zu validieren; Entscheidungen, die allein anhand von Version und direkter Text‑Begründung getroffen werden können, erfolgen vor dem Modellaufruf.
Die bei Cloudflare erworbene Domain ideaworldlab.com wurde mit dem Vercel‑Projekt verknüpft, DNS‑Verifizierung und HTTPS‑Zertifikatsausstellung abgeschlossen.
Ohne jedes Dokument manuell zu registrieren, werden Seiten, die aus README und Docs geparst werden, automatisch in canonical, hreflang, sitemap, robots, Open Graph und JSON‑LD übernommen – SEO/GEO‑Basis ist eingerichtet.
Dynamische Sitemap mit Koreanisch, Englisch, Japanisch, Chinesisch, Portugiesisch (Brasilien), Spanisch, Französisch, Deutsch, Russisch und x-default wurde in der Google Search Console eingereicht; 1 074 Seiten von ideaworldlab.com werden korrekt erkannt.
Registrierung bei Google, Bing, Naver und Yandex abgeschlossen.
Baidu wurde wegen der erforderlichen chinesischen Telefonnummer und regionalen Angaben nicht berücksichtigt.