Mengapa Sistem Pemeriksa Berbasis AI Memberikan Skor yang Berbeda untuk Esai yang Sama

Pendahuluan

Dua tab browser, satu esai, dan dua hasil yang sangat berbeda. Pemeriksa pertama menunjukkan 8 persen. Yang kedua menunjukkan 61. Tidak ada yang berubah dalam teks saat disalin, Anda tidak mengedit satu kata pun, dan kini Anda tidak yakin layar mana yang harus dipercaya.

Keduanya tidak berbohong. Mereka menjawab pertanyaan dengan cara yang berbeda, dan memahami alasannya akan menghilangkan rasa panik di saat itu. Artikel ini menjelaskan dari mana perbedaan tersebut berasal, cara membandingkan hasil dengan bijak, dan apa yang sebenarnya disampaikan oleh perbedaan tersebut.

Pelatihan yang berbeda, insting yang berbeda

Setiap alat pemeriksa dibangun berdasarkan resepnya sendiri. Beberapa mengandalkan “perplexity”, yaitu ukuran seberapa dapat diprediksi susunan kata Anda bagi model bahasa. Yang lain mempertimbangkan “burstiness”, yaitu variasi panjang dan struktur kalimat. Banyak yang menggabungkan hal-hal ini dengan klasifikasi yang dilatih menggunakan contoh-contoh berlabel dari teks manusia dan mesin, dan apa yang terkandung dalam contoh-contoh tersebut membentuk segala hal yang diperhatikan alat tersebut selanjutnya.

Halaman detektor Phrasly menyebutkan bahwa pelatihannya didasarkan pada lebih dari 1 juta artikel asli karya manusia; klaim penyedia ini patut diperhatikan karena menggambarkan poin ini: alat yang dilatih terutama pada artikel berita akan menilai esai akademis secara berbeda dibandingkan alat yang dilatih pada tulisan mahasiswa. Dua pemeriksa dapat membaca kalimat yang sama dan mencapai kesimpulan berbeda karena mereka belajar dari perpustakaan tulisan yang berbeda.

Arti persentase tersebut bergantung pada alat yang digunakan

Bahkan angka utama tersebut tidak seragam. Satu alat melaporkan probabilitas bahwa seluruh teks ditulis oleh mesin. Alat lain melaporkan persentase kalimat yang dianggap ditulis oleh mesin. Alat ketiga menghitung rata-rata skor kalimat. Semuanya menampilkan persentase, namun tidak mengukur hal yang sama. Ambang batasnya pun berbeda. Satu alat mungkin menganggap segala sesuatu di atas 50 persen sebagai kemungkinan ditulis oleh mesin, sementara yang lain menunggu hingga 80 persen, sehingga hasil mentah yang identik dapat diberi label yang berlawanan.

Itulah mengapa angka mentah dari dua sumber tidak dapat dibandingkan secara langsung. Perhatikan bagaimana setiap alat menjelaskan skornya, dan pilihlah yang menampilkan kalimat yang disorot serta probabilitasnya. Ketika Anda dapat melihat kalimat di balik angka tersebut, Anda dapat membandingkan apa yang sebenarnya ditandai oleh alat-alat tersebut, bukan hanya label yang mereka berikan.

Pembaruan model meninggalkan celah

Alat penulisan AI terus berubah, sementara detektor tertinggal. Sebuah penjelasan tahun 2026 dari Centric DXB menggambarkan masalah ini sebagai pergeseran distribusi: klasifikator yang dilatih pada model lama kehilangan akurasi saat model baru muncul, hingga dilatih ulang. Alat pendeteksi yang diperbarui bulan lalu dan yang diperbarui tahun lalu dapat menangani esai yang sama dengan cara yang sangat berbeda. Hal ini tidak berarti alat pendeteksi yang lebih lama menjadi tidak berguna. Artinya, Anda harus memeriksa catatan pembaruan terbaru suatu alat seperti halnya Anda memeriksa tanggal rilis sebuah aplikasi, dan menganggap ketiadaan informasi sebagai alasan untuk lebih berhati-hati.

Cakupan juga menjadi faktor. Halaman Phrasly menyebutkan ChatGPT, Claude, Gemini, Perplexity, DeepSeek, dan Grok di antara model-model yang menjadi sasarannya, serta mendukung bahasa Inggris, Spanyol, Prancis, dan Jerman. Alat dengan cakupan yang lebih sempit mungkin melewatkan pola yang terdeteksi oleh alat lain, atau menandai tulisan manusia yang tidak dimengerti sama sekali.

Esai yang sama, dibaca dengan cara berbeda

Ada juga sisi manusiawi dari teks tersebut. Sebuah studi tahun 2023 yang dipimpin oleh peneliti Stanford menguji tujuh detektor yang banyak digunakan pada 91 esai TOEFL karya penutur non-pribumi bahasa Inggris, dan rata-rata 61,3 persen salah dilabeli sebagai hasil buatan AI (Liang dkk., Patterns, 2023). Gaya penulisan yang sederhana, hati-hati, dan dapat diprediksi adalah hal yang dianggap mirip mesin oleh alat berbasis perplexity.

Jika esai Anda ditulis dalam bahasa kedua, dengan gaya akademis yang sangat terstruktur, atau mengikuti templat standar, bersiaplah untuk mendapatkan skor yang lebih tinggi dan lebih banyak ketidaksepakatan di antara alat-alat tersebut. Ketidaksepakatan ini bukanlah hal yang acak. Hal ini mencerminkan seberapa sensitif setiap alat pendeteksi terhadap gaya penulisan yang umum di kalangan penulis jujur. Topik yang dibahas juga berperan. Tulisan teknis, dengan istilah-istilah tetap dan struktur yang berulang, memberikan variasi yang lebih sedikit bagi alat pendeteksi untuk dianalisis dibandingkan dengan refleksi pribadi.

Cara bijak untuk membandingkan hasil

Ketika dua alat tidak sependapat, tahan godaan untuk terus menempelkan teks hingga Anda mendapatkan angka yang Anda sukai. Gunakan rencana sebagai gantinya. Jangan abaikan panjang teks. Tempelkan esai lengkap yang sama setiap kali, karena alat pemeriksa yang hanya diberikan bagian pengantar Anda sedang memecahkan masalah yang berbeda dari alat yang diberikan sepuluh halaman.

• Periksa teks lengkap yang sama, tanpa melakukan pengeditan di antara pemindaian.

• Perhatikan bagaimana setiap alat menentukan skornya.

• Bandingkan kalimat-kalimat yang disorot, bukan angka-angka utama.

• Tandai kalimat apa pun yang ditandai oleh keduanya, karena tumpang tindih tersebut merupakan petunjuk yang paling berguna.

• Tulis ulang kalimat-kalimat tersebut dengan sesuatu yang spesifik dan orisinal, lalu jalankan kembali.

Pilih satu pemeriksa AI sebagai acuan dasar dan gunakan secara konsisten, sehingga perubahan skor mencerminkan perubahan dalam tulisan Anda, bukan perubahan pada alat tersebut. Konsistensi memberi Anda tren yang dapat dipelajari, sementara berpindah-pindah alat hanya menimbulkan kebisingan. Buatlah catatan singkat jika Anda sering melakukannya: tanggal, alat, skor, dan kalimat mana yang ditandai. Setelah beberapa esai, Anda akan tahu bagaimana setiap alat cenderung bereaksi terhadap gaya penulisan Anda, yang nilainya lebih berharga daripada satu kali pembacaan saja.

Ketika ketidaksepakatan adalah informasi

Inilah poin yang sering terlewatkan oleh banyak orang. Jika dua alat yang terpercaya sangat tidak sepakat mengenai teks Anda, itu adalah bukti adanya ambiguitas. Tulisan tersebut berada di zona abu-abu yang tidak dapat diselesaikan oleh perangkat lunak, dan tidak ada satu angka pun yang layak dianggap sebagai bukti. Pada tahun 2023, OpenAI menarik kembali AI Text Classifier miliknya setelah melaporkan tingkat true-positive sebesar 26 persen dan tingkat false-positive sebesar 9 persen (OpenAI, 2023), sebuah pengingat bahwa bahkan tim dengan sumber daya yang memadai pun kesulitan untuk menarik garis yang tegas.

Jadi, respons yang tepat terhadap hasil yang terbelah adalah mengandalkan proses Anda sendiri. Simpan draf, kerangka, dan catatan, serta bersiaplah untuk menjelaskan argumen Anda dengan kata-kata Anda sendiri. Jika seorang pengajar atau editor menanyakan skor, catatan-catatan tersebut lebih bermakna daripada hasil pemindaian tunggal mana pun. Jika Anda harus melaporkan angka kepada seseorang, laporkan rentangnya dan sebutkan nama alat-alat tersebut.

Kesepakatan Jarang Terjadi, dan Hal Itu Berguna untuk Diketahui

Alat yang berbeda, dilatih dengan cara berbeda, dirancang untuk model yang berbeda, dan mengukur hal-hal yang sedikit berbeda, jarang sekali menghasilkan skor yang sama. Mengetahui hal ini memungkinkan Anda berhenti mengejar satu angka yang “benar” dan mulai melakukan hal yang lebih baik: membaca bagian-bagian yang ditandai, memperkuat kalimat-kalimat umum, dan mencatat bagaimana Anda menulis. Perbedaan antara dua alat pemeriksa bukanlah krisis. Itu adalah dorongan untuk memeriksa lebih teliti.

Jika Anda ingin memahami lebih lanjut tentang bagaimana skor deteksi dihasilkan dan di mana kekurangannya, bacaan lebih lanjut di blog Phrasly membahas pertanyaan-pertanyaan ini secara lebih mendalam.