Warum KI-Prüfprogramme für denselben Aufsatz unterschiedliche Bewertungen vergeben

Einleitung

Zwei Browser-Tabs, ein Aufsatz und zwei sehr unterschiedliche Ergebnisse. Der erste Plagiatsprüfer gibt 8 Prozent an. Der zweite sagt 61. Am Text hat sich beim Einfügen nichts geändert, du hast kein einziges Wort bearbeitet, und jetzt bist du dir nicht sicher, welchem Bildschirm du glauben sollst.

Keiner von beiden lügt. Sie beantworten die Frage einfach unterschiedlich, und wenn man versteht, warum das so ist, lässt die Panik sofort nach. In diesem Artikel wird erklärt, woher diese Diskrepanz kommt, wie man Ergebnisse sinnvoll vergleicht und was eine solche Abweichung dir wirklich sagt.

Unterschiedliches Training, unterschiedliche Instinkte

Jedes Prüftool basiert auf einem eigenen Rezept. Manche stützen sich auf „Perplexity“, ein Maß dafür, wie vorhersehbar deine Formulierung für ein Sprachmodell ist. Andere gewichten die „Burstiness“, also die Vielfalt in Satzlänge und -struktur. Viele kombinieren diese Faktoren mit Klassifikatoren, die anhand von gekennzeichneten Beispielen menschlicher und maschineller Texte trainiert wurden – und was diese Beispiele enthalten, prägt alles, was das Tool anschließend wahrnimmt.

Auf der Detektor-Seite von Phrasly heißt es, dass das Training auf über 1 Million echter menschlicher Artikel basiert – eine Angabe des Anbieters, die es zu beachten gilt, da sie den Punkt verdeutlicht: Ein Tool, das hauptsächlich mit Nachrichtenartikeln trainiert wurde, wird einen wissenschaftlichen Aufsatz anders bewerten als eines, das mit studentischen Texten trainiert wurde. Zwei Prüfprogramme können denselben Satz lesen und zu unterschiedlichen Schlussfolgerungen gelangen, weil sie aus unterschiedlichen Textkorpora gelernt haben.

Was der Prozentsatz bedeutet, hängt vom Tool ab

Selbst die in der Überschrift genannte Zahl ist nicht standardisiert. Ein Prüftool gibt die Wahrscheinlichkeit an, dass der gesamte Text maschinell verfasst wurde. Ein anderes gibt den Anteil der Sätze an, die es für maschinell verfasst hält. Ein drittes bildet den Durchschnitt der Satzbewertungen. Sie alle geben einen Prozentsatz an, messen dabei aber nicht dasselbe. Auch die Schwellenwerte unterscheiden sich. Ein Tool stuft möglicherweise alles über 50 Prozent als wahrscheinlich maschinell verfasst ein, während ein anderes erst ab 80 Prozent dies tut – so können identische Rohdaten zu gegensätzlichen Einstufungen führen.

Deshalb lassen sich reine Zahlen aus zwei Quellen nicht direkt miteinander vergleichen. Achten Sie darauf, wie jedes Tool seine Bewertung beschreibt, und bevorzugen Sie solche, die hervorgehobene Sätze und Wahrscheinlichkeiten anzeigen. Wenn Sie die Sätze hinter der Zahl sehen können, können Sie vergleichen, was die Tools tatsächlich markiert haben, anstatt nur die von ihnen vergebenen Bezeichnungen zu betrachten.

Modellaktualisierungen hinterlassen Lücken

KI-Schreibtools ändern sich ständig, und Erkennungsprogramme hinken hinterher. Ein Erklärbeitrag von Centric DXB aus dem Jahr 2026 beschreibt das Problem als Verteilungsverschiebung: Ein auf älteren Modellen trainierter Klassifikator verliert an Genauigkeit, wenn neuere Modelle auf den Markt kommen – bis er neu trainiert wird. Ein im letzten Monat aktualisierter Prüfer und einer, der im letzten Jahr aktualisiert wurde, können denselben Aufsatz sehr unterschiedlich bewerten. Das bedeutet nicht, dass ältere Prüfer nutzlos sind. Es bedeutet vielmehr, dass Sie die aktuellen Update-Hinweise eines Tools genauso überprüfen sollten wie das Veröffentlichungsdatum einer App und das Ausbleiben von Informationen als Grund für besondere Vorsicht betrachten sollten.

Auch der Abdeckungsbereich spielt eine Rolle. Auf der Seite von Phrasly werden ChatGPT, Claude, Gemini, Perplexity, DeepSeek und Grok als Zielmodelle genannt; unterstützt werden Englisch, Spanisch, Französisch und Deutsch. Ein Tool mit einem engeren Abdeckungsbereich könnte Muster übersehen, die ein anderes Tool erkennt, oder Texte als „künstlich“ kennzeichnen, die es einfach nicht versteht.

Derselbe Aufsatz, anders gelesen

Hinzu kommt die menschliche Seite des Textes. Eine von Stanford-Forschern geleitete Studie aus dem Jahr 2023 testete sieben weit verbreitete Detektoren an 91 TOEFL-Aufsätzen von Nicht-Muttersprachlern, und durchschnittlich 61,3 Prozent wurden fälschlicherweise als KI-generiert eingestuft (Liang et al., Patterns, 2023). Einfache, sorgfältige und vorhersehbare Formulierungen werden von einem auf Perplexity basierenden Tool als maschinenähnlich eingestuft.

Wenn Ihr Aufsatz in einer Zweitsprache verfasst ist, in einem stark strukturierten akademischen Stil oder nach einer Standardvorlage, müssen Sie mit höheren Werten und größeren Diskrepanzen zwischen den Tools rechnen. Diese Diskrepanzen sind nicht zufällig. Sie spiegeln wider, wie empfindlich die einzelnen Prüfsysteme auf einen Schreibstil reagieren, der bei ehrlichen Autoren üblich ist. Auch das Thema spielt eine Rolle. Technische Texte mit ihren festgelegten Begriffen und wiederkehrenden Strukturen bieten einem Detektor weniger Variationsmöglichkeiten als eine persönliche Reflexion.

Ein sinnvoller Weg, Ergebnisse zu vergleichen

Wenn zwei Tools zu unterschiedlichen Ergebnissen kommen, widerstehe der Versuchung, den Text immer wieder einzufügen, bis du eine Zahl erhältst, die dir gefällt. Gehe stattdessen planvoll vor. Übersehe dabei nicht die Länge. Füge jedes Mal denselben vollständigen Aufsatz ein, denn ein Prüfer, dem nur deine Einleitung vorgelegt wird, löst ein anderes Problem als einer, der zehn Seiten zur Verfügung hat.

• Überprüfen Sie denselben vollständigen Text, ohne zwischen den Überprüfungen Änderungen vorzunehmen.

• Achte darauf, wie jedes Tool seine Bewertung definiert.

• Vergleichen Sie die hervorgehobenen Sätze statt der Gesamtwerte.

• Markieren Sie alle Sätze, die von beiden Tools markiert wurden, da diese Überschneidung der nützlichste Hinweis ist.

• Formulieren Sie diese Zeilen mit konkreten und originellen Formulierungen um und führen Sie den Scan anschließend erneut durch.

Wählen Sie einen KI-Prüfer als Ihre Basis und verwenden Sie ihn konsequent, damit Veränderungen in der Punktzahl Veränderungen in Ihrem Schreibstil widerspiegeln und nicht Veränderungen im Tool. Konsistenz liefert Ihnen einen Trend, aus dem Sie lernen können, während das Wechseln zwischen Tools nur Unruhe verursacht. Führen Sie ein kleines Protokoll, wenn Sie dies häufig tun: Datum, Tool, Punktzahl und welche Sätze markiert wurden. Nach einigen Aufsätzen werden Sie wissen, wie sich jedes Tool in Bezug auf Ihren Stil tendenziell verhält, was mehr wert ist als jede einzelne Auswertung.

Wenn Uneinigkeit die Information ist

Hier ist ein Punkt, den viele Menschen übersehen. Wenn zwei seriöse Tools bei deinem Text stark voneinander abweichen, ist das ein Hinweis auf Mehrdeutigkeit. Der Text befindet sich in einer Grauzone, die Software nicht klären kann, und keine der beiden Zahlen verdient es, als Beweis herangezogen zu werden. Im Jahr 2023 zog OpenAI seinen eigenen KI-Textklassifikator zurück, nachdem eine True-Positive-Rate von 26 Prozent und eine False-Positive-Rate von 9 Prozent gemeldet worden waren (OpenAI, 2023) – eine Erinnerung daran, dass selbst gut ausgestattete Teams Schwierigkeiten haben, eine klare Grenze zu ziehen.

Die richtige Reaktion auf ein uneinheitliches Ergebnis ist daher, sich auf Ihren eigenen Arbeitsprozess zu verlassen. Bewahren Sie Entwürfe, Gliederungen und Notizen auf und seien Sie bereit, Ihre Argumentation mit eigenen Worten zu erläutern. Wenn ein Dozent oder Lektor nach einem Ergebnis fragt, sagen diese Unterlagen mehr aus als jeder einzelne Scan. Wenn Sie jemandem eine Zahl mitteilen müssen, geben Sie die Spanne an und nennen Sie die Tools.

Übereinstimmung ist selten – und das ist gut zu wissen

Verschiedene Tools, die unterschiedlich trainiert wurden, für unterschiedliche Modelle entwickelt sind und leicht unterschiedliche Aspekte messen, liefern selten übereinstimmende Bewertungen. Wenn man das weiß, hört man auf, einer einzigen „richtigen“ Zahl hinterherzujagen, und beginnt, etwas Besseres zu tun: die hervorgehobenen Stellen zu lesen, allgemeine Sätze zu verbessern und festzuhalten, wie man geschrieben hat. Eine Diskrepanz zwischen zwei Prüfprogrammen ist keine Krise. Sie ist ein Anstoß, genauer hinzuschauen.

Wenn Sie mehr darüber erfahren möchten, wie Erkennungswerte zustande kommen und wo ihre Grenzen liegen, finden Sie im Phrasly-Blog weiterführende Artikel, die diese Fragen ausführlicher behandeln.