Topics
Observation
16 entries
2026-07-28 Source Flow Debugger 実際ソース検索報告書2026-07-28 · 目的 既存の記録には実際の Godot プロジェクトを 134 個のチャンクに分割して検索し、関連文書が上位結果に含まれていたとだけ書かれていた。この表現だけでは各チャンクで何が返されたのか、返された JSONL が SQLite に実際に存在するのか、より直接的な文書が SQLite にあるのに検索順...Qwen Validation Debugger 合成データ E2E 契約2026-07-15 · 作成日: 2026年 7月 15日 文書の目的 Qwen Validation Debugger は、運用用 Retriever と検証器が完成する前に合成データで全体フローをテストするツールです。 1 つのテストテーマについて Godot 3 のコードと Godot 4 のコードを作成し、そのコードに...Qwen Validation Debugger プロンプト適用構造2026-07-13 · 作成日: 2026年 7月 13日 文書目的 この文書は tools/qwen-validation-debugger に実際に適用されたプロンプトを整理する。 解釈を付け加えず、コードがどの関数でどのプロンプトを作成し、どの API に送信し、どのような応答形式を期待するかだけを記録する。 対象ファイ...Qwen Godot コード JSONL 根拠 マッチング テスト チェックリスト2026-06-28 · 作成日: 2026年 6月 28日 目的 Qwen で Godot 3 コードチャンク 50 個を生成し、昨日実施した JSONL 根拠 マッチングテストと同様の方法で 例/いいえ 判定が正しく分かれるか確認する。 今回のテストは、モデルが Godot の知識を持っているかを確認するものではない。SOU...Qwen テスト用 JSONL スキーマと用途2026-06-28 · 作成日: 2026年 6月 28日 目的 Qwen で Godot コードチャンクを作成し、そのコードチャンクに対して正解 JSONL と不正解 JSONL を付けて はい/いいえ 検証を行う際に参照する JSONL 形式と各 JSONL の用途を整理する。 この文書はサンプルデータを提供する文書ではな...Retriever 検索 代替 分解 文書2026-06-28 · 作成日: 2026年 6月 28日 このディレクトリは Retriever 検索 代替 ChatGPT 原文 メモ を見やすく再分割した文書束です。 原文メモはそのまま保存します。この README には共通コンテキスト、現在の方式、モデル候補、選択ガイドをまとめました。下位文書は代替別の文書だけを置き...代替 B: BM25 のみ2026-06-28 · フロー BM25が見ること BM25は大まかに次の要素でスコアを作ります。 したがって、基準チャンクの次の単語が重要になります。 基準チャンクで成功する理由 原文メモのシミュレーションでは、次の文書が上位に出てくる。 直接合致するトークンは次のとおりです。 特に次のトークンはコーパスで稀な方なので、スコ...代替 C: embedding only2026-06-28 · フロー 埋め込みが必要な理由 BM25は正確な文字列に強いですが、説明文とコード表現が異なると弱くなることがあります。 例えば、chunkには次のコードがあります。 ドキュメントには次のように説明されている場合があります。 この場合、embeddingは意味的なつながりを捉えることができます。 基準チャ...代替 D: BM25 + 埋め込み 並列2026-06-28 · フロー 役割分担 BM25が捉えるもの: embeddingが捕まえるもの: Qwen direct-evidence validatorが行うこと: 利点 文字列検索と意味検索の弱点を相互に補完する。 Qwen がなくても一次候補の品質が向上する。 raw chunk 条件を維持する。 ハードコーディ...代替 E: Qwen クエリプロファイル作成2026-06-28 · フロー 例示出力 Qwenがうまく選択されれば、次のように検索プロファイルを作成できます。 長所 ハードコーディングを減らすことができる。 複雑なチャンクで意図を要約できる。 検索語を人が読みやすく作ることができる。 Godot の文脈推論を Qwen に任せることができる。 短所 遅い。 コストがかか...代替 F: BM25 + embedding + reranker + validator2026-06-28 · フロー 役割分担 BM25: code embedding: reranker: Qwen 直接証拠バリデータ: 基準チャンクで期待される整列 上位に来るべき候補: 下げるべき候補: PoC シミュレーション 基準チャンクを最終推薦フローに入れると仮定する。 1段階: BM25候補 BM25が取得する候...代替案 A: 現在の PostgreSQL フルテキスト維持2026-06-28 · フロー 利点 すでに実装されている。 PostgreSQLだけで可能である。 インフラがシンプルである。 search tsvをすでに持っているテーブルとすぐに合う。 欠点 BM25ではない。 長いコードチャンクに弱い。 plainto tsqueryが作る条件が過度に狭くなる可能性がある。 コードトー...結論から2026-06-28 · そうです。私の意図を間違えて捉えてしまいました。 正確にもう一度捉えると、これです。 そして重要な修正があります。 現在のプロジェクトの /api/retrieve は BM25 ではありません。 現在のコードは: です。PostgreSQL の ts rank cd は full‑text ranki...JSONL 収集状況に基づくテストリポジトリ選定観察日誌2026-06-27 · 作成日: 2026年 6月 27日 目的 現在までに生成された JSONL を基準に、どのような性格の Godot リポジトリを先にクローンしてテストするのが良いか判断する。 ここでの目標は「有名なリポジトリを何でも一つ選ぶこと」ではない。現在 DB に蓄積されている根拠がどの領域に強く、どの領域がまだ...JSONL 根拠マッチングプロンプト観察2026-06-27 · 作成日: 2026年6月27日 目的 今日は Source Flow Debuggerで実際の DB 検索を組み込む前に、GPT にデモ用の Godot コードチャンクと JSONL 候補を作成させ、LLM がその JSONL を根拠に適切に関連/無関係を判定できるか確認した。 最初の考えはシンプルだっ...2026-06-25 Qwen Markdown 分類 観察日誌2026-06-25 · 作成日: 2026年 6月 25日 目的 make md Web UIで Markdown ファイルを Qwen 3.6 にどのように渡し、どのような応答を受け取ったかを実際のデバッグ状態を基準に残す。 API キーはリクエストペイロードに含まれず、この文書にも記録しない。 観察時点の状態 state...