2026-06-02 회고
오늘 한 일
오늘은 Godot 프로젝트의 gongju 맵 개선을 위해 Qwen 계열 모델을 다시 실험했다. 에셋 이미지를 모델이 직접 안정적으로 해석하기 어렵다는 점을 전제로, Codex가 먼저 이미지를 확인하고 assets/ASSET_LABELS.md에 에셋 경로, 픽셀 크기, 용도, 중복 여부, 주의사항을 영어로 정리했다.
이 문서는 Qwen이 Godot 코드를 작성할 때 PNG를 직접 해석하지 않아도 어떤 에셋을 써야 하는지 알 수 있도록 만든 보조 인덱스다. 실제로 맵 코드에서는 잘못된 스타일의 타일을 자연 오브젝트처럼 쓰거나, 집을 실제 건물 에셋이 아니라 grass sheet의 임의 좌표로 찍는 문제가 있었고, 이런 문제는 에셋 라벨이 있어야 더 쉽게 잡을 수 있었다.
Qwen2.5 Coder 실험
Godot 작업 보조 모델로 bekoozkan/godot-qwen2.5-coder-7b-instruct-bnb-4bit를 시도했다.
처음에는 llama.cpp로 실행했는데, Qwen Code의 tool calling이 제대로 연결되지 않았다. 모델이 실제 도구를 호출하는 대신 <function=glob> 같은 텍스트를 그대로 출력했고, 파일 목록 조회나 코드 수정으로 넘어가지 못했다. 이후 vLLM으로 실행해야 했다는 점을 확인했다.
다만 실행 방식이 달라져도 현재 기준에서는 Qwen2.5 Coder가 전체 프로젝트 맥락을 잡고 안정적으로 코드를 수정하는 수준까지는 가지 못했다. vLLM과 llama.cpp에서 응답 양상은 달랐지만, 결론적으로 둘 다 실제 코드 수정을 믿고 맡기기에는 부족했다.
하지만 이것은 Qwen을 제한적으로만 쓰겠다는 결론이 아니다. 오히려 Qwen을 반드시 코딩 도구로 만들기 위해 무엇을 학습시켜야 하는지 확인한 실패 사례로 본다. 지금 필요한 것은 모델 포기가 아니라 tool calling, Godot 프로젝트 맥락 읽기, 에셋 라벨 활용, 실행 결과 기반 재수정 흐름을 학습 데이터와 실행 환경에 맞게 정렬하는 일이다.
추가로 찾은 도구
로컬 모델 실행과 운영을 쉽게 만들 수 있는 참고 프로젝트로 club-3090을 확인했다.
또한 향후 모델 적응이나 파인튜닝 실험을 위해 LLaMA-Factory도 후보로 확인했다.
Qwen을 코딩 도구로 쓰려면 결국 Godot 작업에서 실제로 실패한 사례와 성공한 패턴을 모아 파인튜닝해야 한다. 충분한 실패 사례 없이 모델을 바꾸거나 학습 도구만 붙이면 같은 시행착오가 반복될 가능성이 높으므로, 앞으로는 이 실패들을 학습 데이터 후보로 남겨야 한다.
MCP와 리서치
Qwen에서 web-search-mcp를 통해 Reddit MCP 후보를 찾았고, reddit-mcp-buddy를 추가했다.
Godot, 로컬 모델, Qwen Code 같은 도구들은 공식 문서만으로 해결되지 않는 문제가 많아서 Reddit이나 커뮤니티 사례가 필요할 수 있다. 다만 MCP를 붙이는 것과 실제 개발 판단이 좋아지는 것은 별개의 문제다. 검색 결과를 코드 수정으로 연결하는 능력은 계속 검증해야 한다.
힘들었던 점
오늘은 솔직히 멘탈이 꽤 나갔다.
모델을 바꾸고, 서버 실행 방식을 바꾸고, MCP를 붙이고, 에셋 설명까지 만들어도 정작 Qwen이 프로젝트 전체를 읽고 고치는 단계까지 가지 못했다. 특히 도구 호출이 실제 호출로 처리되지 않고 텍스트로 출력되는 문제는 허탈했다. 겉으로는 코딩 에이전트처럼 보이지만 실제로는 파일을 읽지도, 수정하지도 못하는 상태였기 때문이다.
결국 잠시 쉬어야 했다. 계속 밀어붙이면 문제를 더 잘 보는 게 아니라 같은 실망만 반복할 것 같았다.
오늘의 판단
Qwen2.5 Coder는 지금 상태로는 전체 Godot 프로젝트를 맡길 수 있는 에이전트가 아니다. 하지만 목표는 Qwen을 제한적으로 쓰는 것이 아니라, 반드시 코딩 에이전트로 사용할 수 있게 만드는 것이다.
따라서 오늘의 실패는 사용 범위를 줄이는 근거가 아니라 파인튜닝과 실행 환경 정렬의 기준으로 삼는다.
- Codex가 이미지 해석, 파일 탐색, 실제 수정, 검증을 담당한다.
- Codex가 만든 에셋 라벨, 실제 수정 diff, 실행 오류, 재수정 과정을 Qwen 학습 데이터 후보로 남긴다.
- Qwen이 전체 프로젝트 맥락을 읽고 Godot 코드를 직접 수정하도록 tool calling과 작업 절차를 학습시킨다.
- tool calling이 깨지는 실행 환경은 즉시 실패로 판단하고, vLLM 기반으로 실제 도구 호출이 되는 구성을 먼저 맞춘다.
- LLaMA-Factory를 활용해 Godot 작업 패턴과 실패 사례 기반 파인튜닝을 시도한다.
다음 기준
- Qwen을 다시 테스트할 때는 vLLM 기반 tool calling이 실제로 동작하는지 먼저 확인한다.
- 도구 호출이 텍스트로 출력되면 그 세션은 바로 실패로 판단한다.
- Godot 작업은 반드시 실행 결과를 확인하고, 모델의 설명만으로 완료 처리하지 않는다.
- 에셋 사용은
assets/ASSET_LABELS.md를 기준으로 하고, 스타일이 다른 타일셋을 섞지 않는다. - LLaMA-Factory로 Godot 실패 사례 기반 튜닝을 준비한다.
- 최종 목표는 Qwen을 실제 코드 수정까지 수행하는 코딩 도구로 만드는 것이다.