2026-07-03 회고

오늘 한 일

오늘은 간단하게 유튜브 24시간 스트림을 틀어둔 채 수집을 돌리고, 번역 테스트를 해보고, 6월 30일에 만들었던 검증 도구를 눌러가며 검증을 진행했다.

Markdown -> JSONL Converter 쪽은 공식문서 JSONL 변환 수집량이 737개에서 850개까지 올라갔다. 오늘도 큰 구현을 새로 밀어붙이기보다는, RunPod를 켜둘 수 있는 동안 수집을 진행하고 그 사이에 검증과 번역 흐름을 조금씩 확인하는 식이었다.

번역 쪽은 NVIDIA 무료 모델 API를 사용하는 파이프라인을 따로 실험 중이다. GitHub workflow secrets를 통해 어느 정도 성공하는 모습을 봤고, 일본어/중국어 README가 생성되는 화면도 확인했다. 아직 완전히 도입했다고 말할 단계는 아니지만, 문서가 많아질수록 자동 번역 흐름이 필요하다는 생각은 더 강해졌다.

검증 도구를 만든 보람

오늘 가장 크게 느낀 건, 6월 30일에 검증 도구를 만들어두길 정말 잘했다는 점이다. 사실상 그 도구가 없었으면 큰일 날 뻔했다.

예전 방식대로라면 Qwen에게 코드와 JSONL을 따로 만들게 하고, 그걸 다시 프롬프트에 붙이고, 기대 응답을 머릿속으로 비교해야 했다. 지금은 항목을 누르고, 코드와 JSONL을 생성하고, Godot 3 코드와 Godot 4 코드에 각각 검증을 걸고, raw prompt와 raw response까지 한 화면에서 볼 수 있다. 노가다는 여전히 있지만, 최소한 무엇이 틀렸는지 놓치지 않고 볼 수 있게 됐다.

오늘은 50개 테스트 항목 중 10번까지 눌러보면서 확인했다. 그 과정에서 LLM이 잘못 뱉은 케이스들이 실제로 존재했다.

• 1번에서는 docs_chunks 후보가 같은 _ready()나 viewport 계열 단서를 가지고 있다는 이유로, 실제로는 다른 코드 설명인데도 예가 나왔다.
• 3번, 4번, 7번에서는 Godot 3 기준 마이그레이션 JSONL을 이미 Godot 4 형태의 코드에 붙였는데도 예가 나오는 케이스가 있었다.
• 8번에서는 docs_chunks가 같은 추적/이동 주제나 비슷한 API를 다룬다는 이유로, 현재 SOURCE_CODE의 실제 동작과 다름에도 예로 판정되는 케이스가 있었다.
• 6번, 9번, 10번처럼 기대값대로 전부 통과한 항목도 있어서, 개선 방향 자체가 아예 틀린 것은 아니라고 봤다.

이 문제들은 JSONL 하나가 이상해서 생긴 문제라기보다, 나중에 하이브리드 서치로 비슷한 후보가 올라왔을 때 Qwen이 그것을 직접 근거로 볼지, 검색 후보일 뿐이라고 걸러낼지의 문제에 가깝다. 그래서 특정 토큰을 막는 방식이 아니라, 검증 프롬프트가 현재 코드와 JSONL 후보의 관계를 더 정확히 판정하도록 다듬어야 한다고 봤다.

느낀 점

오늘은 딱히 화려한 구현을 한 날은 아니었다. 자동 수집을 돌리고, 수기로 검증을 누르고, JSONL과 검증 결과를 보느라 생각보다 시간이 느리게 갔다. 그래도 뭔가 한 것 같아서 만족스럽다.

검증은 생각보다 오래 걸린다. 코드 하나와 JSONL 하나를 보는 것 같아도, docs_chunks, api_mapping, label_prototypes의 성격이 다르고, Godot 3 기준 코드와 Godot 4 기준 코드가 또 갈린다. 그걸 10개만 해도 꽤 많은 케이스가 나온다.

그래도 오늘처럼 사전에 틀리는 지점을 잡아두면, 나중에 실제 DB 검색과 Retriever 검증 흐름에서 사고로 터지는 일을 줄일 수 있을 것 같다. 다음에도 테스트하면서 미리 잡을 수 있는 문제는 계속 잡아두고 싶다.

개선한다면 RunPod만 붙잡고 가는 것보다 무료 API를 같이 쓰는 것도 방법일 수 있겠다. NVIDIA 무료 모델 API나 다른 무료 엔드포인트가 번역, 보조 검증, 문서 동기화 같은 작업에 안정적으로 들어올 수 있다면 RunPod 의존도를 조금 낮출 수 있을지도 모르겠다.