2026 年 6 月 25 日
- Godot ソースコード分析パイプラインで
docs_chunks、api_mapping、label_prototypesの役割を再整理したdocs_chunksはコード説明生成データフローで使用する。AST/コード断片とプロンプトを基準に公式ドキュメントのチャンクを検索し、関係のない根拠を除外した上で説明 JSONL を作成する。api_mappingは Godot 3 → Godot 4 で関数名、クラス名、シンボル名がどのように変わったかを保存する対象である。label_prototypesは名前だけが変わったレベルではなく、関数の使用方法、引数構成、呼び出しパターンが丸ごと変わった場合の変換パターンを保存する対象である。
- GitHub プロジェクトまたはローカルファイルシステムを AST/コード断片単位で分析し、必要な Retriever を呼び出した後に Qwen 3.6 をオンデマンドで呼び出す構造を整理した
- 公式ドキュメント Markdown は内容の性格に応じて説明本文は
docs_chunks、名前/シンボル変更はapi_mapping、使用方法/呼び出しパターン変更はlabel_prototypesのいずれか以上に分類し、JSONL として保存する - 各断片ごとの Retriever 検索結果、LLM 検証結果、Validator 通過結果を JSONL/score DB フローで保存する
- score DB のカラム、集計方式、分類ラベルはまだ決めておらず、現在はファイルシステム分類前の判断結果保存庫としてのみ役割を固定している
- その後、分類されたファイルシステムを基に SFT と DPO を設計するためのソースを作成する予定
- LLM 分類方式の文書化を進める中で、ユーザーの元々の要求とは異なり LLM が生成したコードが Markdown 全体ではなく先頭 3000 文字だけを送信していた問題を確認し、元の要求通り全体 Markdown を送信するよう修正した
- 今回の作業で、文書化が単なる記録ではなくコードの実際の動作を検証するプロセスであることを再確認した
- Markdown → JSONL 変換中に RunPod サーバーが予期せず停止し、Streamlit アプリを再起動した際に、既存の進行状態が初期化されずに続行されるかを観察した
- アプリ再起動後に処理中だったファイルは
pendingに戻り、再開すると既存の分類結果を再利用して同じファイルから続行されることを確認した - 長時間の変換作業では RunPod サーバーの終了/応答不可状態を早期に検知できる通知設定が必要であると整理した
- ロードマップ: docs/roadmaps/2026-06-25-source-analysis-scoring-architecture.md
- ロードマップ: docs/roadmaps/2026-06-25-markdown-jsonl-llm-classification.md
- ロードマップ: docs/roadmaps/2026-06-25-qwen-pr-review-workflow.md
- 観察日誌: docs/observations/2026-06-25-qwen-markdown-classification-observation.md
- 回顧: docs/retrospectives/2026-06-25-source-analysis-scoring.md
- 公式ドキュメント Markdown は内容の性格に応じて説明本文は