분류 탐색
Observation
16개 항목
2026-07-28 Source Flow Debugger 실제 소스 검색 보고서2026-07-28 · 목적 기존 기록에는 실제 Godot 프로젝트를 134개 청크로 나눠 검색했고 관련 문서가 상위 결과에 포함됐다고만 적혀 있었다. 이 표현만으로는 각 청크에서 무엇이 반환됐는지, 반환된 JSONL이 SQLite에 실제로 존재하는지, 더 직접적인 문서가 SQLite에 있는데...Qwen Validation Debugger 합성 데이터 E2E 계약2026-07-15 · 작성일: 2026년 7월 15일 문서 목적 Qwen Validation Debugger는 운영용 Retriever와 검증기가 완성되기 전에 합성 데이터로 전체 흐름을 시험하는 도구다. 하나의 테스트 주제에 대해 Godot 3 코드와 Godot 4 코드를 만들고, 그 코드에...Qwen Validation Debugger 프롬프트 적용 구조2026-07-13 · 작성일: 2026년 7월 13일 문서 목적 이 문서는 tools/qwen-validation-debugger에 실제로 적용된 프롬프트를 정리한다. 해석을 덧붙이지 않고, 코드가 어떤 함수에서 어떤 프롬프트를 만들고, 어떤 API로 보내고, 어떤 응답 형식을 기대하는지만 기...Qwen Godot 코드 JSONL 근거 매칭 테스트 체크리스트2026-06-28 · 작성일: 2026년 6월 28일 목적 Qwen으로 Godot 3 코드 chunk 50개를 생성하고, 어제 진행한 JSONL 근거 매칭 테스트와 같은 방식으로 예/아니오 판정이 제대로 갈리는지 확인한다. 이번 테스트는 모델이 Godot 지식을 알고 있는지 보는 것이 아니다....Qwen 테스트용 JSONL 스키마와 용도2026-06-28 · 작성일: 2026년 6월 28일 목적 Qwen으로 Godot 코드 chunk를 만들고, 그 코드 chunk에 대해 정답 JSONL과 오답 JSONL을 붙여 예/아니오 검증을 할 때 참고할 JSONL 형식과 각 JSONL의 용도를 정리한다. 이 문서는 샘플 데이터를 제공하는...Retriever 검색 대안 분해 문서2026-06-28 · 작성일: 2026년 6월 28일 이 디렉토리는 Retriever 검색 대안 ChatGPT 원문 메모를 보기 쉽게 다시 나눈 문서 묶음이다. 원문 메모는 그대로 보존한다. 이 README에는 공통 맥락, 현재 방식, 모델 후보, 선택 가이드를 합쳤다. 하위 문서는 대안별 문...결론부터2026-06-28 · 맞습니다. 내가 의도를 틀리게 잡았습니다. 정확히 다시 잡으면 이겁니다. 그리고 중요한 수정 하나. 현재 프로젝트의 /api/retrieve는 BM25가 아닙니다. 현재 코드는: 입니다. PostgreSQL의 ts rank cd는 full-text ranking이고, BM...대안 A: 현재 PostgreSQL full-text 유지2026-06-28 · 흐름 장점 이미 구현되어 있다. PostgreSQL만으로 가능하다. 인프라가 단순하다. search tsv를 이미 가진 테이블과 바로 맞는다. 단점 BM25가 아니다. 긴 코드 chunk에 약하다. plainto tsquery가 만든 조건이 과하게 좁아질 수 있다. 코드...대안 B: BM25 only2026-06-28 · 흐름 BM25가 보는 것 BM25는 대략 다음 요소로 점수를 만든다. 그래서 기준 chunk의 다음 단어들이 중요해진다. 기준 chunk에서 성공하는 이유 원문 메모의 시뮬레이션에서는 다음 문서가 상위에 나온다. 직접 맞는 토큰은 다음이다. 특히 다음 토큰은 corpus에...대안 C: embedding only2026-06-28 · 흐름 embedding이 필요한 이유 BM25는 정확 문자열에 강하지만, 설명문과 코드 표현이 다르면 약해질 수 있다. 예를 들어 chunk에는 다음 코드가 있다. 문서에는 다음처럼 설명되어 있을 수 있다. 이 경우 embedding은 의미 연결을 잡을 수 있다. 기준 c...대안 D: BM25 + embedding 병렬2026-06-28 · 흐름 역할 분담 BM25가 잡는 것: embedding이 잡는 것: Qwen direct-evidence validator가 하는 것: 장점 문자열 검색과 의미 검색의 약점을 서로 보완한다. Qwen 없이도 1차 후보 품질이 좋아진다. raw chunk 조건을 유지한다....대안 E: Qwen query profile 생성2026-06-28 · 흐름 예시 출력 Qwen이 잘 뽑으면 다음처럼 검색 profile을 만들 수 있다. 장점 하드코딩을 줄일 수 있다. 복잡한 chunk에서 의도를 요약할 수 있다. 검색어를 사람이 읽기 좋게 만들 수 있다. Godot 문맥 추론을 Qwen에게 맡길 수 있다. 단점 느리다....대안 F: BM25 + embedding + reranker + validator2026-06-28 · 흐름 역할 분담 BM25: code embedding: reranker: Qwen direct-evidence validator: 기준 chunk에서 기대되는 정렬 높게 올라가야 할 후보: 낮아져야 할 후보: PoC 시뮬레이션 기준 chunk를 최종 추천 흐름에 넣는다고...JSONL 근거 매칭 프롬프트 관찰2026-06-27 · 작성일: 2026년 6월 27일 목적 오늘은 Source Flow Debugger에서 실제 DB 검색을 붙이기 전에, GPT에게 데모용 Godot 코드 chunk와 JSONL 후보를 만들게 하고, LLM이 그 JSONL을 근거로 제대로 관련/무관을 판정하는지 확인했다. 처...JSONL 수집 현황 기반 테스트 레포지토리 선정 관찰일지2026-06-27 · 작성일: 2026년 6월 27일 목적 현재까지 생성된 JSONL을 기준으로 어떤 성격의 Godot 레포지토리를 먼저 클론해서 테스트하는 것이 좋은지 판단한다. 여기서 목표는 “유명한 레포를 아무거나 하나 고르는 것”이 아니다. 지금 DB에 쌓이고 있는 근거가 어떤 영역에...2026-06-25 Qwen Markdown 분류 관찰일지2026-06-25 · 작성일: 2026년 6월 25일 목적 make md 웹 UI에서 Markdown 파일을 Qwen 3.6에 어떻게 전달했고, 어떤 응답을 받았는지 실제 디버그 상태를 기준으로 남긴다. API key는 요청 payload에 포함되지 않으며, 이 문서에도 기록하지 않는다. 관찰...