같은 원고를 두 곳에 두 번씩 맡겨 봤다

왜 이 글을 믿을 수 있나

우리는 2026년 8월 3일에 같은 합성 원고, 같은 입력 파일, 같은 출력 형식을 두 구독 경로에 각각 여덟 번씩 넣었다. 기획, 초고, 윤문, 정합성 네 작업을 두 번씩, 모두 16회다. 16회 모두 프로세스가 정상 종료했고 약속한 형식의 결과를 돌려줬으며, 입력 파일이 바뀐 실행은 0건이었다.

우리가 하지 않은 것도 분명히 적는다. ChatGPT와 Claude의 웹 화면 자체는 써 보지 않았다. 우리가 만진 것은 각 구독 로그인으로 접근한 Codex CLI와 Claude Code다. 서비스 안의 프로젝트 기억, 전용 내보내기, 실제 요금 대비 효율은 확인하지 않았다. Gemini, 뤼튼, NotebookLM과 12개 소설 특화 서비스는 로그인 승인 범위가 아니어서 직접 품질 결과를 만들지 않았다.

입력은 실제 작품이 아니라 실험용으로 지어낸 합성 원고 하나다. 우리 개인 원고, 개인 규칙, 이전 대화 기억, 외부 연결(MCP)은 넣지 않았고, API 키 환경 변수를 지운 별도 작업공간에서 돌렸다. 새 가입이나 결제는 0건이다.

누구에게 필요한가

구독을 두 개 다 들고 있는데 어느 창을 먼저 열지 매번 망설이는 사람. 또는 하나만 결제할 예정이라 첫 번째 선택을 정하려는 사람. 다만 이 글은 "어느 서비스가 더 좋다"는 답을 주지 않는다. 우리가 준 네 가지 일감에서 각각 어느 쪽이 조건을 지켰는지만 말한다.

어떻게 시험했나

합성 작품에는 고정 사실을 미리 박아 뒀다. 벽시계가 가리키는 0시 17분, 공개 장소에서 쓰는 호칭 기록관님, 잉크를 맨손으로 만지지 않는 은색 집게, 왼쪽 안주머니의 푸른 우표, 검은 우체부가 넘지 못하는 붉은 선이다.

• 기획: 1~8화 순서, 우표의 미사용 → 6화 사용 → 소진 흐름, 검은 우체부 정체를 7화까지 보류하기.
• 초고: 700~1,100자 장면 하나. 위 사실을 전부 지키고 새 행동은 만들지 않기.
• 윤문: 중복과 어색한 연결만 줄이고 수치, 소품 위치, 호칭, 행동 순서는 그대로 두기.
• 정합성: 명시적 오류 6개를 심고, 비유나 과거 회상처럼 오해하기 쉬운 정상 문장 여러 개를 함께 넣어 오탐을 보기.

무엇이 나왔나

먼저 불리한 결과부터. 우리가 처음 만든 자동 판정 규칙이 틀렸다. '윤서와 도진이 검은 우체부에게 쫓긴다' 같은 정상 문장을 정체 공개로 잘못 세고 있었다. 정체를 실제로 특정하는 문장만 잡도록 고치고 저장된 출력을 다시 읽어 결과를 확정했다.

장면 초고에서는 분량이 갈렸다. Codex 경로는 두 번 모두 629자와 576자로 요청 범위에 못 미쳤다. Claude 경로는 834자와 767자로 두 번 모두 범위 안에 들어왔다. 필수 사실과 금지 조건은 네 결과 모두 지켰다.

그런데 Claude 첫 결과에는 한국 웹소설에서 낯설 수 있는 일본식 낫표가 섞여 있었다.

도진은 방금 로비에 들어선 참이었다. 그는 카운터 앞에 선 여자를 향해 조심스레 다가서며 낮게 불렀다.

「기록관님.」

윤서는 고개를 돌리지 않은 채 손끝으로 은색 집게를 집어 들었다.

같은 대목을 Codex 경로는 이렇게 썼다.

뒤늦게 합류한 도진이 윤서 곁에 멈췄다. 그는 시민들의 시선을 의식한 듯 목소리를 낮췄다. “기록관님, 그 편지입니까?”

Codex 두 번째 결과에는 기록관님, 저 편지입니까.라는 대사가 따옴표 없이 들어갔다. 보존해 둔 2회차 출력 원문에서 그대로 확인했다.

8화 기획은 반대였다. Codex 경로는 두 번 모두 모든 조건을 지켰다. Claude 경로는 상태 흐름과 정체 보류는 두 번 다 지켰지만, 첫 실행에서 정확한 0시 17분을 쓰지 않고 '하루 중 단 13분'만 남겼다.

윤문과 정합성에서는 차이가 나오지 않았다. 윤문은 두 경로 모두 두 번씩 사실과 행동 순서를 지켰다. 정합성은 네 실행 모두 심어 둔 오류 6개를 전부 찾았고, 보호한 정상 문장을 문제로 올린 경우는 0건이었다.

아쉬운 점과 한계

합성 작품 하나, 작업당 두 번의 실행이다. 이 숫자로 두 모델의 영구적 순위를 말할 수 없다. 분량을 지켰다는 것과 문장이 좋다는 것은 다른 이야기인데, 사람 작가나 독자가 어느 산문을 더 좋아하는지는 평가하지 않았다. 정합성 과제도 짧고 명시적인 설정에 오류를 여섯 개 심은 합성 검사라, 수십 화가 쌓인 뒤의 애매한 충돌은 다루지 못했다.

정합성에서 굳이 차이를 찾자면 서비스 이름이 아니었다. 확정된 설정과 원문을 함께 주고 '근거, 충돌, 최소 수정'으로 나눠 달라고 한 입력 형식이 훨씬 큰 변수였다.

다른 선택지

1. 한 번에 긴 장면 초고가 필요하면 Claude 경로를 먼저 열어 보고, 낫표 같은 문장부호는 따로 확인한다.
2. 고정 사실이 많은 기획표가 목적이면 Codex 경로를 먼저 보고, 목표 글자 수는 따로 세어 본다.
3. 윤문은 어느 쪽을 쓰든 통째로 덮어쓰지 말고 문장별로 승인한다.
4. 정합성은 도구를 고르기 전에 확정 설정과 원문을 표로 정리하는 편이 이득이 크다.
5. 소설 특화 서비스는 이번에 직접 돌리지 않았다. 그쪽 정보는 공개 사용기 종합으로만 읽어야 한다.