idea_world_labDEV JOURNAL
2026년 6월 30일 화요일

2026 년 6 월 30 일

  • 월드컵 시즌이라 월드컵을 보느라 잠을 제대로 못 자서 작업을 많이 하지는 못함
  • localhost:8501의 Markdown -> JSONL 변환은 현재 약 655개까지 진행된 상태로 확인함
  • 오늘은 큰 수집/학습보다 검증 테스트 디버깅 도구를 간단하게 만들고 다듬는 쪽에 집중함
  • 검증 테스트 디버깅 도구 전략을 세우고, 별도 웹 도구인 Qwen Validation Debugger를 구현함
    • 실행 경로는 tools/qwen-validation-debugger
    • 로컬 실행 명령은 npm run validation-debug:debug
    • 기본 주소는 http://127.0.0.1:8520/
  • 6월 28일에는 Qwen 챗봇으로 Godot 코드 chunk와 JSONL을 직접 만들고 예/아니오 검증을 손으로 해봤음
    • 이 방식은 가능성은 확인할 수 있었지만, 항목이 늘어날수록 복사/붙여넣기와 결과 비교가 너무 많아짐
    • 특히 docs_chunks, api_mapping, label_prototypes 세 테이블을 모두 테스트해야 하고, 공통문법이면 6개 슬롯, 버전 분리면 12개 슬롯이 필요해 수동 관리가 급격히 복잡해짐
  • 도구에서는 50개 Godot 테스트 항목을 샘플로 로드하고, 항목별로 Qwen이 공통문법인지 Godot 3/4 분리인지 먼저 라벨링하게 함
    • 공통문법이면 공통 코드 1개를 생성
    • 버전 차이가 있으면 Godot 3 코드와 Godot 4 코드를 각각 생성
    • 이후 테이블별 JSONL 슬롯을 자동으로 구성함
  • docs_chunks, api_mapping, label_prototypes를 같은 예/아니오로만 뭉개면 안 된다는 점을 다시 확인함
    • docs_chunks는 코드 설명 근거이므로 코드와 직접 맞으면 예
    • api_mapping과 label_prototypes는 마이그레이션 source 근거이므로, 이미 Godot 4로 적용된 코드나 공통문법에서는 아니오가 맞는 경우가 많음
    • 그래서 슬롯 이름을 설명 근거, 무관 설명, 변환 필요, 이미 적용, 공통/불필요, 무관 변환으로 나눔
  • 도구를 만들면서 가장 크게 바뀐 부분은 JSONL 생성 기준 코드와 검증 대상 코드를 분리한 것임
    • 처음에는 Godot 3 코드로 만든 JSONL은 Godot 3 코드에만 검증하고, Godot 4 코드로 만든 JSONL은 Godot 4 코드에만 검증하는 구조였음
    • 하지만 실제로는 Godot 3 기준 JSONL을 Godot 4 코드에 붙였을 때도 아니오가 나와야 하는지 확인해야 함
    • 그래서 각 슬롯마다 Godot 3 코드 검증, Godot 4 코드 검증 버튼을 따로 두고, 결과도 각각 저장하도록 개선함
  • 도구를 만든 뒤 개발 생산성이 꽤 달라짐
    • 이전에는 Qwen에게 매번 코드와 JSONL을 요청하고, 다시 프롬프트에 붙여 검증하고, 기대 응답을 머릿속으로 비교해야 했음
    • 지금은 항목 선택, 라벨링, 코드 생성, JSONL 생성, Godot 3/4 교차 검증, raw prompt/response 확인이 한 화면에서 이어짐
    • 단순히 빠르게 많이 만드는 것보다, 어떤 기준으로 생성했고 어떤 코드에 검증했는지 헷갈리지 않게 된 것이 가장 큼
    • 50개 테스트 항목을 반복할 때 사람이 기억해야 하는 상태가 줄어들어, 실패 패턴을 더 빨리 찾을 수 있게 됨
  • 이 도구를 통해 어떤 프롬프트로 요청을 보내는지, JSONL 일괄 생성/검증을 어떤 순서로 호출하는지, 검증 프롬프트와 요청 프롬프트 자체가 어떻게 구성되는지를 화면에서 직접 확인할 수 있게 됨
    • 기대 응답은 라벨링과 슬롯 성격에 따라 고정해두어 예/아니오 기준이 헷갈리지 않게 함
    • 응답 결과도 슬롯별로 바로 보이기 때문에, 어떤 코드와 어떤 JSONL 조합에서 실패했는지 훨씬 빨리 확인할 수 있음
    • 프롬프트 때문에 실패한 케이스가 있더라도, 사용된 프롬프트가 화면에 남아 있어 이후 프롬프팅을 수정하기 쉬워짐
  • 도구를 어느 정도 만들었으니 앞으로는 템포를 조금 늦추고, 무리해서 양을 늘리기보다 검증 기준을 천천히 다듬는 방향으로 진행할 계획
  • 기록 문서: Qwen Validation Debugger 전략과 구현 기록
  • 회고: docs/retrospectives/2026-06-30.md