감수 스킬을 붙였더니 기준선이 더 나았다

왜 이 글을 믿을 수 있나

우리는 이 실험을 "전용 감수 스킬이 얼마나 더 잘 잡는지" 확인하려고 시작했다. 결과는 반대였고, 그 반대 결과를 그대로 싣는다.

2026년 8월 3일에 한국어 합성 case 네 개를 만들고 네 가지 조건에서 세 번씩, 모두 12회를 돌렸다. 조건은 아무 도구도 붙이지 않은 무도구 기준선, webnovel-harness-plugin의 감수 스킬, claude-webnovel-skills의 정합성 스킬, book-writer-skill의 질문형 진단이다. 12회 모두 형식에 맞는 결과가 나왔고 시간 초과는 0건, 입력 원고와 확정 설정 문서가 바뀐 실행도 0건이었다.

실제 작품과 개인 자료는 넣지 않았다. 모든 실행은 앱과 개인 노트 폴더 밖의 새 임시 폴더에서 시작했고, 개인 설정과 규칙을 무시하도록 읽기 전용 상태로 돌렸다. 정답표는 모델에게 보여주지 않았다.

한 번은 운영 사고가 있었다. 12회를 한 프로세스에서 순서대로 돌리던 마지막 구간에서 book-writer 3회차가 143초 뒤 강제 종료 신호를 받고 결과 없이 끝났다. 그 기록은 따로 보존했고, 앞선 11개를 재사용한 새 프로세스에서 그 한 건만 다시 돌려 131초에 정상 결과를 얻었다. 스킬 품질 실패가 아니라 긴 실행 묶음의 운영 경계로 분리했다.

누구에게 필요한가

정합성 검사용 스킬을 깔까 말까 고민 중인 사람. 그리고 이미 깔아 놓고 나온 심각도 등급을 그대로 믿어도 되는지 궁금한 사람.

어떻게 시험했나

합성 원고에 확정 오류 여덟 개를 심었다. 나이 31세와 28세의 충돌, 열쇠가 오른쪽 코트 주머니인데 왼쪽 바지 주머니에서 나오는 것, 항상 존댓말인 관계에서 튀어나온 반말, 알려 준 적 없는 암호를 먼저 입력하는 인물, 이름을 세 번 불러야 하는 규칙을 두 번으로 발동시킨 장면, 부상으로 못 쓰는 오른손 사용, 실제보다 7분 빠른 시계를 반대로 계산한 표시, 주인공에게만 보이는 상태창을 동료가 읽는 대사다.

동시에 건드리면 안 되는 정상 항목 열두 개를 함께 넣었다. 믿을 수 없는 화자의 확신, 의도적으로 생략한 이동, 상황에 따른 호칭 전환, 회귀 기억, 가짜 사망 클리프행어, 효과음 같은 장르 관습이다. 오탐을 세기 위한 대조군이다.

무엇이 나왔나

네 조건 모두 매 반복에서 확정 오류 8개를 전부 찾았다. 그리고 네 조건 모두 보호 항목을 오류로 올린 경우가 0건이었다. 전용 스킬을 붙여서 추가로 찾아낸 오류는 없었다.

차이는 탐지량이 아니라 판정 태도에서 나왔다. 무도구 기준선은 세 번 모두 같은 여덟 개를 같은 심각도로 분류했다. 감수 스킬은 암호 선지식과 시계 계산 오류의 등급이 반복마다 MAJOR와 CRITICAL 사이를 오갔다. 정합성 스킬은 상태창 규칙 위반 하나가 두 번은 CRITICAL, 한 번은 MAJOR였다.

가장 눈에 띈 건 질문형 진단이었다. 같은 문장, 같은 근거를 두고 1회차와 3회차의 판정이 달랐다.

1회차는 확정 오류로 올렸다.

"label": "동료가 상태창 문구를 직접 읽음",
"severity": "MAJOR",
"manuscriptEvidence": "“상태창에 적힌 ‘남은 회귀 보정 2회’까지 나도 똑똑히 봤어.”",
"canonEvidence": "상태창의 글자는 서은하에게만 보인다. 동료는 서은하의 시선·손짓·표정에는 반응할 수 있지만 상태창 문구나 숫자를 직접 읽을 수 없다."

3회차는 같은 문장을 질문으로 낮췄다.

"label": "동료의 상태창 직접 판독 주장",
"severity": "QUESTION",
"confidence": "medium",
"certaintyReason": "정본 규칙과 발화 내용은 충돌하지만, 원고가 대사로 제시하고 서은하가 즉시 부정하므로 객관 사실 확정 전까지 QUESTION으로 남긴다."

같은 조건의 1회차에서는 다른 문제도 있었다. 부상당한 오른손을 쓰면 안 된다는 하나의 제한을, 장면 초반의 '움켜쥔'과 결말의 '비틀어'로 나눠 두 항목으로 등록했다. 같은 문제가 두 번 센 셈이다.

아쉬운 점과 한계

이 결과를 "스킬이 필요 없다"로 읽으면 안 된다. 확정 설정이 짧고 명료했고, 우리가 출력 형식까지 상세히 정해 줬다. 그 조건에서는 최신 모델 혼자서도 탐지 상한에 닿았다는 뜻이다. 장편의 상태 보존, 매번 같은 형식의 보고서, 설치 흐름은 이 실험이 재지 않은 별도 가치다.

합성 case 네 개와 12회 실행이며, 실제 장편이나 다른 장르, 사람 편집자의 선호를 대표하지 않는다. 우리는 보호 항목을 정본에 또박또박 적어 뒀는데, 작가가 의도를 문서로 남기지 않은 실제 상황에서는 오탐 위험이 더 클 수 있다. 그리고 모든 조건의 오탐이 0이었기 때문에 오탐 우위는 아예 비교할 수 없었다. 속도 숫자도 로컬 환경과 캐시에 흔들리므로 순위로 쓰지 않는다.

다른 선택지

지적을 받았을 때 네 갈래로 나눠 읽는 편이 도구 선택보다 이득이 컸다.

1. 바로 믿을 지적: 원고 문장과 확정 설정 문장이 함께 제시되고 둘이 직접 충돌하는 항목.
2. 한 번 더 계산할 지적: 시각, 나이, 횟수처럼 합산이 필요한 항목. 이번엔 모두 찾았지만 장편에서는 따로 검사하는 편이 낫다.
3. 작가에게 물을 지적: 확정 설정이 결론을 유보한 항목. 수정 명령이 아니라 질문으로 남긴다.
4. 버릴 지적: 근거가 없거나 같은 문제를 표현만 바꿔 두 번 센 항목.