Γιατί τα προγράμματα ελέγχου με τεχνητή νοημοσύνη δίνουν διαφορετικές βαθμολογίες για το ίδιο δοκίμιο

Εισαγωγή

Δύο καρτέλες στο πρόγραμμα περιήγησης, ένα δοκίμιο και δύο πολύ διαφορετικές απαντήσεις. Το πρώτο πρόγραμμα ελέγχου δείχνει 8 τοις εκατό. Το δεύτερο δείχνει 61. Τίποτα στο κείμενο δεν άλλαξε μεταξύ των δύο επικολλήσεων, δεν επεξεργαστήκατε ούτε μία λέξη και τώρα δεν είστε σίγουροι ποια οθόνη να πιστέψετε.

Κανένας από τους δύο δεν λέει ψέματα. Απλώς απαντούν διαφορετικά στην ερώτηση, και αν καταλάβετε το γιατί, θα σας περάσει ο πανικός. Αυτό το άρθρο εξηγεί από πού προέρχεται η διαφορά, πώς να συγκρίνετε τα αποτελέσματα με λογική και τι σας λέει πραγματικά αυτή η διαφορά.

Διαφορετική εκπαίδευση, διαφορετικά ένστικτα

Κάθε εργαλείο ελέγχου έχει δημιουργηθεί με βάση τη δική του «συνταγή». Ορισμένα βασίζονται στην «περίπλοκη φύση» (perplexity), ένα μέτρο του πόσο προβλέψιμη είναι η διατύπωσή σας για ένα γλωσσικό μοντέλο. Άλλα σταθμίζουν την «ασυμμετρία» (burstiness), δηλαδή την ποικιλία στο μήκος και τη δομή των προτάσεων. Πολλά συνδυάζουν αυτά τα στοιχεία με ταξινομητές που έχουν εκπαιδευτεί σε επισημασμένα παραδείγματα κειμένων από ανθρώπους και μηχανές, και το περιεχόμενο αυτών των παραδειγμάτων διαμορφώνει όλα όσα παρατηρεί στη συνέχεια το εργαλείο.

Η σελίδα του ανιχνευτή Phrasly αναφέρει ότι η εκπαίδευσή του βασίζεται σε πάνω από 1 εκατομμύριο πραγματικά ανθρώπινα άρθρα, ένας ισχυρισμός του προμηθευτή που αξίζει να γνωρίζετε, καθώς επεξηγεί το θέμα: ένα εργαλείο που έχει εκπαιδευτεί κυρίως σε ειδησεογραφικά άρθρα θα κρίνει ένα ακαδημαϊκό δοκίμιο διαφορετικά από ένα εργαλείο που έχει εκπαιδευτεί σε κείμενα φοιτητών. Δύο εργαλεία ελέγχου μπορούν να διαβάσουν την ίδια πρόταση και να καταλήξουν σε διαφορετικά συμπεράσματα, επειδή έχουν μάθει από διαφορετικές βιβλιοθήκες κειμένων.

Το τι σημαίνει το ποσοστό εξαρτάται από το εργαλείο

Ακόμη και ο αριθμός που αναγράφεται στον τίτλο δεν είναι τυποποιημένος. Ένας έλεγχος αναφέρει την πιθανότητα ολόκληρο το κείμενο να έχει γραφτεί από μηχανή. Ένας άλλος αναφέρει το ποσοστό των προτάσεων που θεωρεί ότι έχουν γραφτεί από μηχανή. Ένας τρίτος υπολογίζει τον μέσο όρο των βαθμολογιών των προτάσεων. Όλοι εμφανίζουν ένα ποσοστό, αλλά δεν μετρούν το ίδιο πράγμα. Τα κατώφλια διαφέρουν επίσης. Ένα εργαλείο μπορεί να χαρακτηρίσει οτιδήποτε πάνω από 50 τοις εκατό ως πιθανό να έχει γραφτεί από μηχανή, ενώ ένα άλλο περιμένει μέχρι το 80, οπότε το ίδιο ακατέργαστο αποτέλεσμα μπορεί να οδηγήσει σε αντίθετες ετικέτες.

Γι’ αυτό και ένας απλός αριθμός από δύο πηγές δεν μπορεί να συγκριθεί άμεσα. Προσέξτε πώς κάθε εργαλείο περιγράφει τη βαθμολογία του και προτιμήστε αυτά που επισημαίνουν τις προτάσεις και τις πιθανότητες. Όταν μπορείτε να δείτε τις προτάσεις πίσω από τον αριθμό, μπορείτε να συγκρίνετε τι πραγματικά επισήμαναν τα εργαλεία και όχι τις ετικέτες που απέδωσαν.

Οι ενημερώσεις των μοντέλων αφήνουν κενά

Τα εργαλεία συγγραφής με τεχνητή νοημοσύνη αλλάζουν συνεχώς, ενώ οι ανιχνευτές υστερούν. Ένα επεξηγηματικό άρθρο του 2026 από την Centric DXB περιγράφει το πρόβλημα ως μετατόπιση κατανομής: ένας ταξινομητής που έχει εκπαιδευτεί σε παλαιότερα μοντέλα χάνει την ακρίβειά του όταν εμφανίζονται νεότερα, μέχρι να επανεκπαιδευτεί. Ένα εργαλείο ελέγχου που ενημερώθηκε τον περασμένο μήνα και ένα που ενημερώθηκε πέρυσι μπορεί να χειριστεί το ίδιο κείμενο με πολύ διαφορετικό τρόπο. Τίποτα από αυτά δεν καθιστά τα παλαιότερα εργαλεία ελέγχου άχρηστα. Σημαίνει ότι πρέπει να ελέγχετε τις πρόσφατες σημειώσεις ενημέρωσης ενός εργαλείου με τον ίδιο τρόπο που θα ελέγχατε την ημερομηνία κυκλοφορίας μιας εφαρμογής, και να αντιμετωπίζετε τη σιωπή ως λόγο για επιπλέον προσοχή.

Η κάλυψη αποτελεί επίσης παράγοντα. Η σελίδα του Phrasly αναφέρει τα ChatGPT, Claude, Gemini, Perplexity, DeepSeek και Grok μεταξύ των μοντέλων που στοχεύει, ενώ υποστηρίζει τα αγγλικά, τα ισπανικά, τα γαλλικά και τα γερμανικά. Ένα εργαλείο με στενότερη κάλυψη ενδέχεται να παραλείψει μοτίβα που ένα άλλο εντοπίζει, ή να επισημάνει κείμενο γραμμένο από άνθρωπο που απλά δεν κατανοεί.

Το ίδιο δοκίμιο, διαφορετική ανάγνωση

Υπάρχει επίσης η ανθρώπινη πλευρά του κειμένου. Μια μελέτη του 2023 υπό την ηγεσία ερευνητών του Στάνφορντ εξέτασε επτά ευρέως χρησιμοποιούμενους ανιχνευτές σε 91 δοκίμια TOEFL που είχαν γραφτεί από μη φυσικούς ομιλητές της αγγλικής γλώσσας, και κατά μέσο όρο το 61,3% χαρακτηρίστηκε εσφαλμένα ως δημιουργημένο από τεχνητή νοημοσύνη (Liang et al., Patterns, 2023). Η απλή, προσεκτική και προβλέψιμη διατύπωση είναι αυτό που ένα εργαλείο βασισμένο στον δείκτη perplexity θεωρεί ως «μηχανικό».

Αν η έκθεσή σας είναι γραμμένη σε μια δεύτερη γλώσσα, σε ένα αυστηρά δομημένο ακαδημαϊκό ύφος ή βασίζεται σε ένα τυποποιημένο πρότυπο, αναμένετε υψηλότερες βαθμολογίες και μεγαλύτερη διαφωνία μεταξύ των εργαλείων. Η διαφωνία αυτή δεν είναι τυχαία. Αντανακλά το πόσο ευαίσθητος είναι κάθε ανιχνευτής σε ένα ύφος γραφής που είναι συνηθισμένο μεταξύ των ειλικρινών συγγραφέων. Το θέμα παίζει επίσης ρόλο. Η τεχνική γραφή, με τους σταθερούς όρους και τις επαναλαμβανόμενες δομές της, προσφέρει σε έναν ανιχνευτή λιγότερες παραλλαγές για να επεξεργαστεί σε σύγκριση με μια προσωπική ανασκόπηση.

Ένας λογικός τρόπος σύγκρισης των αποτελεσμάτων

Όταν δύο εργαλεία διαφωνούν, αντισταθείτε στον πειρασμό να συνεχίζετε να επικολλάτε το κείμενο μέχρι να βρείτε μια βαθμολογία που σας αρέσει. Αντ’ αυτού, ακολουθήστε ένα σχέδιο. Μην παραβλέπετε το μήκος. Επικολλήστε κάθε φορά το ίδιο πλήρες δοκίμιο, διότι ένας ελεγκτής στον οποίο δίνεται μόνο η εισαγωγή σας αντιμετωπίζει ένα διαφορετικό πρόβλημα από αυτόν στον οποίο δίνονται δέκα σελίδες.

• Ελέγξτε το ίδιο πλήρες κείμενο, χωρίς να κάνετε αλλαγές μεταξύ των ελέγχων.

• Παρατηρήστε πώς κάθε εργαλείο καθορίζει τη βαθμολογία του.

• Συγκρίνετε τις επισημασμένες προτάσεις αντί για τους συνολικούς αριθμούς.

• Σημειώστε κάθε πρόταση που επισημαίνεται και από τα δύο εργαλεία, καθώς αυτή η επικάλυψη αποτελεί το πιο χρήσιμο στοιχείο.

• Ξαναγράψτε αυτές τις γραμμές με κάτι συγκεκριμένο και πρωτότυπο και, στη συνέχεια, εκτελέστε ξανά την ανάλυση.

Επιλέξτε έναν έλεγχο AI ως βάση αναφοράς και χρησιμοποιήστε τον με συνέπεια, έτσι ώστε οι αλλαγές στη βαθμολογία να αντανακλούν αλλαγές στο κείμενό σας και όχι αλλαγές στο εργαλείο. Η συνέπεια σας δίνει μια τάση από την οποία μπορείτε να μάθετε, ενώ το να πηγαίνετε από το ένα εργαλείο στο άλλο σας δίνει παραπληροφόρηση. Κρατήστε ένα μικρό ημερολόγιο αν το κάνετε αυτό συχνά: ημερομηνία, εργαλείο, βαθμολογία και ποιες προτάσεις επισημάνθηκαν. Μετά από μερικά δοκίμια θα ξέρετε πώς τείνει να συμπεριφέρεται κάθε εργαλείο στο στυλ σας, κάτι που αξίζει περισσότερο από οποιαδήποτε μεμονωμένη ανάγνωση.

Όταν η διαφωνία είναι η πληροφορία

Εδώ είναι ένα σημείο που πολλοί άνθρωποι παραβλέπουν. Αν δύο αξιόπιστα εργαλεία διαφωνούν έντονα σχετικά με το κείμενό σας, αυτό αποτελεί ένδειξη αμφισημίας. Το κείμενο βρίσκεται σε μια γκρίζα ζώνη που το λογισμικό δεν μπορεί να επιλύσει, και κανένας από τους δύο αριθμούς δεν αξίζει να αντιμετωπιστεί ως απόδειξη. Το 2023, η OpenAI απέσυρε τον δικό της Ταξινομητή Κειμένου Τεχνητής Νοημοσύνης (AI Text Classifier) αφού ανέφερε ποσοστό αληθών θετικών 26% και ποσοστό ψευδών θετικών 9% (OpenAI, 2023), υπενθυμίζοντας ότι ακόμη και ομάδες με άφθονους πόρους δυσκολεύονται να τραβήξουν μια σαφή γραμμή.

Επομένως, η σωστή αντίδραση σε μια διχασμένη κρίση είναι να βασιστείτε στη δική σας διαδικασία. Φυλάξτε τα προσχέδια, τα σχέδια και τις σημειώσεις σας, και να είστε έτοιμοι να εξηγήσετε το επιχείρημά σας με δικά σας λόγια. Αν ένας διδάσκων ή ένας επιμελητής ρωτήσει για μια βαθμολογία, αυτά τα αρχεία μιλούν πιο δυνατά από οποιαδήποτε μεμονωμένη ανάλυση. Αν πρέπει να αναφέρετε έναν αριθμό σε κάποιον, αναφέρετε το εύρος και ονομάστε τα εργαλεία.

Η ομοφωνία είναι σπάνια, και αυτό είναι χρήσιμο να το γνωρίζετε

Διαφορετικά εργαλεία, εκπαιδευμένα με διαφορετικό τρόπο, σχεδιασμένα για διαφορετικά μοντέλα και που μετρούν ελαφρώς διαφορετικά πράγματα, σπάνια θα παράγουν ταυτόσημες βαθμολογίες. Γνωρίζοντας αυτό, μπορείτε να σταματήσετε να αναζητάτε έναν μοναδικό σωστό αριθμό και να αρχίσετε να κάνετε κάτι καλύτερο: να διαβάζετε τα σημεία που επισημαίνονται, να ενισχύετε τυχόν γενικές προτάσεις και να διατηρείτε αρχείο του τρόπου με τον οποίο γράψατε. Μια διαφορά μεταξύ δύο εργαλείων ελέγχου δεν αποτελεί κρίση. Είναι μια προτροπή να εξετάσετε πιο προσεκτικά.

Αν θέλετε να κατανοήσετε καλύτερα πώς προκύπτουν οι βαθμολογίες ανίχνευσης και πού παρουσιάζουν ελλείψεις, μπορείτε να διαβάσετε περισσότερα στο blog της Phrasly, όπου εξετάζονται αυτά τα ζητήματα με μεγαλύτερη λεπτομέρεια.