왜 AI 채점 시스템은 같은 에세이에 서로 다른 점수를 매기는가

서론

브라우저 탭 두 개, 에세이 한 편, 그리고 완전히 다른 두 가지 결과. 첫 번째 검사 도구는 8%라고 표시하고, 두 번째는 61%라고 합니다. 텍스트를 복사해 붙여넣는 과정에서 변경된 부분은 전혀 없고, 단 한 글자도 수정하지 않았는데, 어느 화면을 믿어야 할지 확신이 서지 않습니다.

둘 다 거짓말을 하는 것은 아닙니다. 단지 질문에 대한 답을 다르게 내놓고 있을 뿐이며, 그 이유를 이해하면 당황스러움을 떨쳐낼 수 있습니다. 이 글에서는 이러한 차이가 어디서 비롯되는지, 결과를 합리적으로 비교하는 방법, 그리고 결과의 불일치가 실제로 무엇을 의미하는지 설명합니다.

서로 다른 훈련, 서로 다른 본능

모든 검사 도구는 고유한 방식으로 구축됩니다. 어떤 도구는 언어 모델이 문장을 얼마나 예측할 수 있는지를 측정하는 ‘퍼플렉시티(perplexity)’에 중점을 둡니다. 다른 도구는 문장 길이와 구조의 다양성을 나타내는 ‘버스티니스(burstiness)’를 고려합니다. 많은 도구는 이를 인간과 기계가 작성한 텍스트의 라벨링된 예시에 기반해 훈련된 분류기와 결합하며, 이러한 예시에 포함된 내용이 이후 도구가 감지하는 모든 요소를 형성합니다.

Phrasly의 탐지기 페이지에 따르면, 이 도구의 훈련 데이터는 100만 건 이상의 실제 인간 작성 기사를 기반으로 한다고 합니다. 이는 알아둘 가치가 있는 공급업체의 주장인데, 바로 이 점이 핵심을 잘 보여주기 때문입니다. 주로 뉴스 기사로 훈련된 도구는 학생의 글로 훈련된 도구와 달리 학술 에세이를 다르게 평가할 것입니다. 두 검수 도구가 같은 문장을 읽고도 서로 다른 결론에 도달할 수 있는 이유는, 각기 다른 글 모음집에서 학습했기 때문입니다.

백분율이 의미하는 바는 도구에 따라 다릅니다

표면에 드러나는 수치조차 표준화되어 있지 않습니다. 어떤 검사 도구는 전체 텍스트가 기계에 의해 작성되었을 확률을 보고하고, 다른 도구는 기계가 작성한 것으로 판단되는 문장의 비율을 보고하며, 또 다른 도구는 문장별 점수의 평균을 산출합니다. 모두 백분율로 표시하지만, 측정하는 대상은 서로 다릅니다. 기준치도 다릅니다. 어떤 도구는 50% 이상을 기계 작성으로 간주하는 반면, 다른 도구는 80%가 되어야 기계 작성으로 판단하므로, 동일한 원본 결과물이 정반대의 라벨을 받을 수 있습니다.

그렇기 때문에 두 출처에서 나온 단순한 수치만으로는 직접 비교할 수 없습니다. 각 도구가 점수를 어떻게 설명하는지 확인하고, 해당 문장을 강조 표시하고 확률을 함께 보여주는 도구를 우선적으로 선택하세요. 수치 뒤에 숨겨진 문장을 확인할 수 있다면, 도구가 붙인 라벨이 아니라 실제로 어떤 부분을 표시했는지를 비교할 수 있습니다.

모델 업데이트로 인한 공백

AI 글쓰기 도구는 끊임없이 변화하지만, 탐지 도구는 이에 뒤처집니다. Centric DXB의 2026년 설명 자료에 따르면, 이 문제를 ‘분포 변화(distribution shift)’라고 설명합니다. 즉, 구형 모델로 훈련된 분류기는 신형 모델이 등장하면 재훈련될 때까지 정확도가 떨어집니다. 지난달 업데이트된 검출기와 작년에 업데이트된 검출기는 동일한 에세이를 매우 다르게 처리할 수 있습니다. 그렇다고 해서 오래된 검출기가 무용지물이 되는 것은 아닙니다. 이는 앱의 출시일을 확인하듯이 도구의 최근 업데이트 내역을 확인해야 하며, 업데이트 소식이 없는 경우 각별한 주의를 기울여야 한다는 것을 의미합니다.

지원 범위도 중요한 요소입니다. Phrasly의 페이지에는 ChatGPT, Claude, Gemini, Perplexity, DeepSeek, Grok 등이 대상 모델로 명시되어 있으며, 영어, 스페인어, 프랑스어, 독일어를 지원합니다. 지원 범위가 좁은 도구는 다른 도구가 포착하는 패턴을 놓치거나, 단순히 이해하지 못하는 사람의 글을 오탐으로 표시할 수 있습니다.

같은 에세이, 다른 시각으로 읽기

텍스트에는 인간적인 측면도 존재합니다. 스탠퍼드 연구진이 주도한 2023년 연구에서는 비영어권 사용자들이 작성한 91편의 TOEFL 에세이를 대상으로 널리 사용되는 7가지 탐지 도구를 테스트한 결과, 평균 61.3%가 AI 생성물로 잘못 분류되었습니다(Liang 외, Patterns, 2023). 평범하고 신중하며 예측 가능한 문장 구조는 퍼플렉시티 기반 도구가 기계적이라고 판단하는 특징입니다.

에세이가 제2언어로 작성되었거나, 구조가 매우 정형화된 학술적 스타일로 쓰였거나, 표준 템플릿을 기반으로 작성된 경우, 더 높은 점수가 나오고 도구들 간의 판정 불일치도 더 커질 것으로 예상할 수 있습니다. 이러한 불일치는 무작위적인 것이 아닙니다. 이는 각 검출기가 정직한 작가들 사이에서 흔히 볼 수 있는 글쓰기 스타일에 얼마나 민감하게 반응하는지를 반영합니다. 주제 역시 영향을 미칩니다. 고정된 용어와 반복적인 구조를 가진 기술 문서는 개인적인 성찰 글보다 검출기가 분석할 수 있는 변이성이 적습니다.

결과를 비교하는 현명한 방법

두 도구의 결과가 일치하지 않을 때, 마음에 드는 점수가 나올 때까지 계속 붙여넣고 싶은 유혹을 참으세요. 대신 체계적인 계획을 세우세요. 글의 분량도 간과하지 마세요. 매번 동일한 전체 에세이를 붙여넣으세요. 서론만 제공받은 검사기는 10페이지 분량을 제공받은 검사기와는 전혀 다른 문제를 해결하고 있기 때문입니다.

• 검토 사이에 수정을 가하지 않은 동일한 전체 텍스트를 확인해 보세요.

• 각 도구가 점수를 어떻게 산정하는지 확인하세요.

• 표면적인 수치보다는 강조 표시된 문장들을 비교하세요.

• 두 도구 모두에서 표시된 문장은 모두 표시해 두세요. 이러한 중복 부분이 가장 유용한 단서이기 때문입니다.

• 해당 문장을 구체적이고 독창적인 내용으로 다시 작성한 후, 다시 분석해 보세요.

한 가지 AI 검사기를 기준점으로 정하고 일관되게 사용하세요. 그래야 점수의 변화가 도구의 변화가 아닌 글쓰기 방식의 변화를 반영합니다. 일관성은 배울 수 있는 추세를 제공하지만, 도구를 이리저리 바꾸면 잡음만 생깁니다. 이 작업을 자주 한다면 간단한 기록을 남겨두세요: 날짜, 도구, 점수, 그리고 어떤 문장이 표시되었는지. 에세이를 몇 편 작성하면 각 도구가 여러분의 글쓰기 스타일에 어떻게 반응하는지 알게 될 것이며, 이는 어떤 단일 판독보다 더 큰 가치가 있습니다.

의견 차이가 바로 정보일 때

많은 사람들이 간과하는 점이 있습니다. 신뢰할 수 있는 두 도구가 여러분의 텍스트에 대해 극명하게 의견이 엇갈린다면, 이는 모호함의 증거입니다. 그 글은 소프트웨어가 판단할 수 없는 회색 지대에 속해 있으며, 두 수치 중 어느 것도 증거로 취급되어서는 안 됩니다. 2023년 OpenAI는 자사의 AI 텍스트 분류기를 철회했는데, 이는 26%의 진양성률과 9%의 위양성률을 보고한 후였습니다(OpenAI, 2023). 이는 자원이 풍부한 팀조차도 명확한 경계를 그리는 데 어려움을 겪는다는 사실을 상기시켜 줍니다.

따라서 판정이 엇갈릴 때의 올바른 대응은 본인의 작업 과정을 신뢰하는 것입니다. 초안, 개요, 메모를 잘 보관하고, 자신의 논리를 자신의 말로 설명할 준비를 하십시오. 교수나 편집자가 점수에 대해 묻는다면, 그러한 기록들이 어떤 단일 검사 결과보다 더 설득력 있게 말해 줄 것입니다. 누군가에게 수치를 보고해야 한다면, 범위를 제시하고 사용한 도구의 이름을 밝히십시오.

일치하는 결과는 드물며, 이를 아는 것이 유용하다

서로 다른 방식으로 훈련되고, 서로 다른 모델을 기반으로 하며, 약간씩 다른 요소를 측정하는 다양한 도구들이 동일한 점수를 산출하는 경우는 거의 없습니다. 이 사실을 알면 ‘단 하나의 정답’을 쫓는 것을 멈추고, 더 나은 일을 시작할 수 있습니다. 바로 강조 표시된 부분을 꼼꼼히 읽고, 일반적인 문장을 다듬으며, 글을 쓴 과정을 기록하는 것입니다. 두 검사 도구 간의 점수 차이는 위기가 아닙니다. 오히려 더 면밀히 살펴보라는 신호입니다.

탐지 점수가 어떻게 산출되는지, 그리고 어떤 한계가 있는지 더 자세히 알고 싶다면, Phrasly 블로그의 관련 글을 통해 이러한 질문들에 대해 더 깊이 탐구해 볼 수 있습니다.