なぜAI採点ツールは同じエッセイに対して異なるスコアをつけるのか

はじめに

2つのブラウザタブ、1つのエッセイ、そして大きく異なる2つの結果。1つ目のチェックツールは8％と表示し、2つ目は61％と表示しています。貼り付けの間に本文の内容は一切変わっておらず、一語も編集していないのに、どちらの画面を信じればいいのか分からなくなってしまいました。

どちらも嘘をついているわけではありません。単に質問に対する答え方が異なるだけであり、その理由を理解すれば、その場のパニックも解消されます。この記事では、この差がどこから生じているのか、結果を賢明に比較する方法、そして結果の不一致が実際に何を示唆しているのかを解説します。

異なる学習、異なる直感

どのチェッカーも、独自のアルゴリズムに基づいて構築されています。言語モデルにとってその表現がどれほど予測可能かを測る指標である「パープレキシティ」を重視するものもあれば、文の長さや構造の多様性を示す「バースト性」を重視するものもあります。多くのツールは、これらを、人間や機械が作成したテキストのラベル付き例を用いて学習させた分類器と組み合わせており、それらの例に含まれる内容が、その後ツールが認識するすべての要素を形作ります。

Phraslyの検出機能のページには、100万件以上の実際の人間の記事を用いて学習が行われていると記載されています。このベンダーの主張は知っておく価値があります。なぜなら、ニュース記事を主に用いて学習されたツールは、学生の文章で学習されたツールとは異なる基準で学術論文を評価するという点を如実に示しているからです。2つのチェッカーが同じ文章を読み、異なる結論に達することもあります。それは、それぞれが異なる文章ライブラリから学習したためです。

パーセンテージの意味はツールによって異なる

表題の数値でさえ標準化されていません。あるチェッカーは、テキスト全体が機械によって書かれた確率を報告します。別のチェッカーは、機械によって書かれたと判定した文の割合を報告します。さらに別のチェッカーは、文ごとのスコアの平均値を算出します。いずれもパーセンテージを表示していますが、測定している対象は同じではありません。閾値も異なります。あるツールは50％を超えると機械執筆の可能性が高いと判断する一方、別のツールは80％に達するまで判定を保留するため、まったく同じ生データが正反対のラベル付けを受ける可能性があります。

そのため、2つのソースからの単なる数値だけを直接比較することはできません。各ツールがスコアをどのように説明しているかを確認し、該当する文をハイライト表示し、確率も示しているツールを優先してください。数値の背景にある文を確認できれば、ツールが付けたラベルそのものではなく、実際にどの文がフラグ付けされたかを比較することができます。

モデルの更新によるギャップ

AIライティングツールは絶えず変化していますが、検出ツールはその変化に追いついていません。Centric DXBが2026年に公開した解説記事では、この問題を「分布のシフト」として説明しています。古いモデルで学習された分類器は、新しいモデルが登場すると精度が低下し、再学習されるまでその状態が続きます。 先月更新されたチェッカーと昨年更新されたチェッカーでは、同じエッセイの扱い方が大きく異なる可能性があります。だからといって、古いチェッカーが役に立たないわけではありません。つまり、アプリのリリース日を確認するのと同じように、ツールの最新の更新情報を確認し、更新情報が公開されていない場合は、特に注意を払うべきだということを意味します。

対応範囲も重要な要素です。Phraslyのページでは、対象モデルとしてChatGPT、Claude、Gemini、Perplexity、DeepSeek、Grokなどを挙げており、英語、スペイン語、フランス語、ドイツ語に対応しています。対応範囲が狭いツールは、他のツールが検出するパターンを見逃したり、単に理解できない人間による文章を不正と判定したりする可能性があります。

同じエッセイでも、読み方次第で印象は変わる

テキストには人間的な側面もあります。 スタンフォード大学の研究者らが主導した2023年の研究では、英語が母国語ではない人々が書いた91編のTOEFLエッセイに対し、広く使用されている7つの検出ツールをテストしたところ、平均で61.3％が誤ってAI生成と判定されました（Liang et al., Patterns, 2023）。平易で、慎重で、予測可能な表現は、パープレキシティ（perplexity）ベースのツールにとって「機械的」とみなされるものです。

もしあなたのエッセイが第二言語で書かれている場合、あるいは厳格に構造化された学術的なスタイルや標準的なテンプレートに沿って書かれている場合は、スコアが高くなり、ツール間の判定の不一致も増えることが予想されます。この不一致はランダムなものではありません。それは、各検出ツールが、誠実な執筆者に共通する文章スタイルに対してどれほど敏感であるかを反映しているのです。主題も影響します。専門用語や反復的な構造を持つ技術文書は、個人的な考察に比べて、検出ツールが分析に利用できるバリエーションが少ないのです。

結果を比較する賢明な方法

2つのツールの評価が食い違う場合、気に入る数値が出るまで何度も貼り付け直したくなる誘惑に負けないでください。代わりに計画を立てましょう。文章の長さも見落とさないでください。毎回同じエッセイ全文を貼り付けてください。導入部だけを与えられたチェッカーと、10ページ分を与えられたチェッカーでは、解決すべき問題が異なるからです。

• スキャン間で編集を加えず、同じ全文をチェックしてみてください。

• 各ツールがスコアをどのように算出しているかに注目してください。

• 見出しの数値ではなく、ハイライトされた文を比較してください。

• 両方のツールでフラグが立てられた文には印をつけておきましょう。その重複部分が最も有用な手がかりとなるからです。

• それらの文章を具体的かつ独創的な表現に書き直してから、再度分析を実行してください。

1つのAIチェッカーを基準として選び、一貫して使用してください。そうすれば、スコアの変動はツールの変化ではなく、あなたの文章の変化を反映したものとなります。一貫性があることで、そこから学べる傾向が把握できますが、ツールを頻繁に切り替えるとノイズが生じます。これを頻繁に行う場合は、日付、ツール、スコア、そしてどの文がハイライトされたかを簡単なログとして記録しておきましょう。数本のエッセイを処理すれば、各ツールがあなたの文体にどのように反応する傾向があるかが分かってきます。これは、単一の読み取り結果よりもはるかに価値のある情報です。

意見の相違こそが情報となる場合

ここで、多くの人が見落としがちな点があります。信頼できる2つのツールがあなたの文章について著しく意見が分かれる場合、それは曖昧さの証拠なのです。 その文章は、ソフトウェアでは判断できないグレーゾーンにあり、どちらの数値も証拠として扱うべきではありません。2023年、OpenAIは自社のAIテキスト分類器について、真陽性率が26％、偽陽性率が9％であると報告した後、その提供を中止しました（OpenAI, 2023）。これは、豊富なリソースを持つチームでさえ、明確な線引きに苦労していることを示しています。

したがって、判定が分かれた場合の適切な対応は、自身の執筆プロセスに依拠することです。下書き、アウトライン、メモを保管し、自分の言葉で論旨を説明できるようにしておきましょう。指導教員や編集者からスコアについて尋ねられた場合、それらの記録は、単一のスキャン結果よりも説得力があります。どうしても数値を報告しなければならない場合は、範囲を伝え、使用したツールの名称を明記してください。

一致することは稀であり、そのことを知っておくことは有益だ

異なるツールは、異なる方法で学習され、異なるモデル向けに構築され、測定する項目もわずかに異なるため、スコアが一致することはめったにありません。このことを理解すれば、単一の「正解」の数値を追い求めるのをやめ、より有意義なことに取り組むことができます。つまり、指摘された箇所を読み直し、汎用的な文章を強化し、執筆の過程を記録することです。2つのチェッカー間のスコアの差は危機ではありません。それは、より注意深く見直すきっかけなのです。

検出スコアがどのように算出されるのか、またその限界についてさらに理解を深めたい場合は、Phraslyのブログ記事でこれらの疑問についてより深く掘り下げています。