JSONL 依据匹配 提示 观察

编写日期：2026年 6月 27日

目的

今天在 Source Flow Debugger 中实际连接数据库搜索之前，让 GPT 生成用于演示的 Godot 代码块和 JSONL 候选项，并检查 LLM 是否能够依据这些 JSONL 正确判断相关/无关。

SOURCE_CODE + JSONL 候选
  -> 这个 JSONL 是否包含对应 source code 的内容？
  -> 是 / 否

但是实际上，仅凭这个问题仍然不足。LLM 并不是依据 JSONL 中的直接字符串证据，而是利用对 Godot 的自我知识或广泛的主题相似性来判断“是”的现象。

演示数据生成

首先让 GPT 生成任意的 Godot 块以及相关的 JSONL、无关的 JSONL。

请求意图如下。

任意的 Godot 块和任意的 JSONL。  
Godot 块特意使用 Godot 3 代码编写。  
JSONL 同时生成与 Godot 4 转换依据无关的内容。  
将其投给 LLM，测试能否显现相关 JSONL 与无关 JSONL 的差异。

捕获:

初始提示问题

最初，我这样问：

是

在这种方式下，即使输入相关 JSONL 时也会出现 예，即使输入无关 JSONL 时也会出现 예。

相关 JSONL 结果：

无关 JSONL 结果：

问题在于提问范围太广。“只要问‘是否包含对应的源代码内容’”，LLM 即使只看到 Godot、Godot3、Godot4、migration、2D、physics 等宽泛的词，也可能判断为相关。

这样的话，即使 Retriever 取回了不相关的 JSONL，LLM 也会用自己的知识填补并直接回答“是”。这并不是我们想要的验证方式。

修改后的提示

所以把提示改成了依据匹配判定器。

你是 JSONL 依据匹配判定器。

请判断以下 JSONL 是否直接包含对下面 SOURCE_CODE 的转换依据。

判定标准：
- 必须有 JSONL 的 `source_api`、`source_pattern`、`match_terms`、`required_when_seen_in_code`、`before_code` 中的任意一项与 SOURCE_CODE 中的实际字符串或 API 调用**完全匹配**，才算“是”。
- 仅仅出现 Godot、Godot3、Godot4、migration、2D、physics 等宽泛词汇不算相关。
- JSONL 中出现 “does not describe”、 “not related”、 “unrelated”、 “does not apply” 等否定表述的内容不视为相关依据。
- 若 JSONL 涉及其他 API、其他节点或其他系统，则为“否”。
- 不要使用你已有的 Godot 知识，只依据 JSONL 中的字符串依据进行判断。
- 回答时只能输出 **“是”** 或 **“否”** 中的一个。

在此提示中，判断标准被缩小为“直接字符串依据”。

特别是限制必须使以下字段之一直接匹配 SOURCE_CODE 的实际字符串/API 调用。

source_api
source_pattern
match_terms
required_when_seen_in_code
before_code

又阻止了 LLM 用广泛的主题词和自己的 Godot 知识进行推理。

修改后结果

相关的 JSONL 显示为 是。

无关 JSONL 的结果是 否。

通过此结果，再次确认在数据库检索之后的 LLM 验证阶段，不是简单的语义相似度判定，而是需要先确认“在检索到的 JSONL 中是否有直接对应当前 chunk 的字符串依据”。

今日获得的标准

DB搜索结果验证提示应具备以下标准。

• 不认可宽泛主题相似性作为依据。
• 不要让LLM利用其先前的Godot知识来填补不足的依据。
• JSONL中的显式字段必须与当前块的实际字符串/API调用直接对应。
• 对JSONL内容的否定性提及不视为相关依据。
• 相关/无关的初步判断最好简短且明确，限制为是或否。

在明天进行DB搜索时，这些标准非常重要。

docs_chunks, api_mapping, label_prototypes中获取候选 JSONL 之后，Qwen 验证阶段应如下工作。

chunkText
  -> 通过 DB 检索收集 JSONL 候选
  -> prompt + chunkText + 检索的 JSONL
  -> 判定 JSONL 中是否直接有字符串依据
  -> 丢弃不相关的 JSONL
  -> 仅使用相关的 JSONL 作为后续说明/迁移判断依据

今天实验的核心不是“LLM是否正确了解”，而是“能否让LLM仅依据JSONL中写的依据进行判断”。如果做不到，Retriever 带来的无关候选也会被 LLM 巧妙地拼接。因此不仅要提升检索质量，还需要单独设计检索结果验证提示。