2026년 8월 1일 회고: Godot JSONL 검색 검증과 sitemap 색인 구조 개편

평소에 밤을 너무 많이 새게 되어 수면 패턴이 박살 났고, 오늘을 계기로 회복하려고 마음을 먹었다. 밤을 샌 상태에서 아침 9시부터 오후 2시까지, 점심시간을 제외하면 약 4시간 정도 작업한 것 같다.

중간중간 AWS MLA 자격증 영상도 보면서, 평소에 하던 것처럼 8510 페이지를 띄우고 작업을 진행했던 것 같다.

8510에서 진행한 JSONL 검색 검증

일단 오늘 작업의 경우 Qwen 검증 과정에서 일부 실패한 것을 제외하면, 실제 Godot 소스 청크를 기반으로 SQLite에서 JSONL 문서를 검색하는 과정은 성공했다고 본다. godotengine/godot-demo-projects의 2d/hexagonal_map 실제 파일 6개를 146개 청크로 나누고, BM25, embedding, union, reranker를 거치는 검색 결과와 SQLite 원문을 대조했다.

검색된 JSONL의 provenance와 원문이 서로 다른 사례는 없었다. 다만 일부 청크는 현재 수집된 JSONL 자체에 버전 차이를 직접 설명하는 근거가 없어서, Qwen이 임의로 Godot 3이나 Godot 4라고 확정하지 않고 관련 없음 또는 근거 부족으로 남기도록 했다.

다음 수집 방향

내일은 사용할 수 있는 레포지토리 후보를 많이 뽑아내고, 허깅페이스 버킷에 많이 올리고자 한다. 그걸 기반으로 8510 디버깅 프로그램의 입력을 CDN 엔드포인트로 지정하는 식으로 바꾸고, 파서별로 구분하는 게 나을 것 같다는 생각이 들었다.

sitemap 검색 노출 대상

그리고 전체적으로 sitemap도 아래와 같이 개편을 진행하였다. 현재 sitemap으로 검색 엔진에 제출되는 URL은 총 891개다.

페이지 종류	수	판단
도메인 루트	1	노출 적합
9개 언어 메인	9	노출 적합
소개·라이선스	18	안전함. 라이선스는 검색 유입 가치는 낮음
주제별 목록	63	대체로 적합
README 일지	260	노출 가능하나 날짜 제목이라 검색 경쟁력은 약함
회고	270	직접 작성한 원본 기록이라 노출 적합
관찰·실험 보고서	144	가장 적극적으로 노출할 만함
로드맵	81	노출 적합
연구 노트	27	노출 적합
데이터베이스 문서	9	노출 적합
회의록	9	노출 가능하나 검색 수요는 낮음

검색에서 제외한 페이지

검색에서 제외한 페이지도 확인했다.

• 오늘의 키워드 story 글 99개: noindex, follow, sitemap 제외
• story 주제 페이지 9개: noindex, follow, sitemap 제외
• 날짜별 묶음 페이지 279개: noindex, follow, sitemap 제외
• 태그 페이지: 존재하지 않으며 접근 시 404 + noindex