Neden Yapay Zeka Değerlendiricileri Aynı Kompozisyona Farklı Puanlar Veriyor?

Giriş

İki tarayıcı sekmesi, bir makale ve birbirinden çok farklı iki sonuç. İlk kontrol aracı yüzde 8 diyor. İkincisi ise yüzde 61. Metni yapıştırırken hiçbir değişiklik yapmadınız, tek bir kelimeyi bile düzenlemediniz, ama şimdi hangi ekrana inanacağınızı bilemiyorsunuz.

İkisi de yalan söylemiyor. Soruya farklı şekilde cevap veriyorlar ve bunun nedenini anlamak, o anki paniğinizi ortadan kaldırır. Bu yazıda, bu farkın nereden kaynaklandığı, sonuçları mantıklı bir şekilde nasıl karşılaştırabileceğiniz ve bu uyuşmazlığın size gerçekte ne anlattığı açıklanıyor.

Farklı eğitim, farklı içgüdüler

Her kontrol aracı kendine özgü bir formüle göre geliştirilmiştir. Bazıları, bir dil modeli için ifadelerinizin ne kadar öngörülebilir olduğunu ölçen “perplexity” değerine dayanır. Diğerleri ise cümle uzunluğu ve yapısındaki çeşitliliği ifade eden “burstiness” değerini dikkate alır. Birçoğu bunları, insan ve makine metinlerinin etiketlenmiş örnekleri üzerinde eğitilmiş sınıflandırıcılarla birleştirir; bu örneklerin içeriği, aracın daha sonra algıladığı her şeyi şekillendirir.

Phrasly’nin algılayıcı sayfasında, eğitiminin 1 milyondan fazla gerçek insan makalesine dayandığı belirtiliyor. Bu, bilmeye değer bir satıcı iddiasıdır çünkü şu noktayı açıkça ortaya koyar: Çoğunlukla haber makaleleriyle eğitilmiş bir araç, akademik bir makaleyi, öğrenci yazıları üzerinde eğitilmiş bir araçtan farklı şekilde değerlendirecektir. İki denetleyici, farklı yazı kütüphanelerinden öğrendikleri için aynı cümleyi okuyup farklı sonuçlara varabilir.

Yüzde değerinin ne anlama geldiği, araca göre değişir

Başlıktaki rakam bile standart değildir. Bir kontrol aracı, metnin tamamının makine tarafından yazılma olasılığını bildirir. Bir diğeri, makine tarafından yazıldığını düşündüğü cümlelerin oranını bildirir. Üçüncüsü ise cümle puanlarının ortalamasını alır. Hepsi bir yüzde gösterir, ancak aynı şeyi ölçmezler. Eşik değerleri de farklılık gösterir. Bir araç yüzde 50’nin üzerindeki her şeyi makine tarafından yazılmış olasılığı yüksek olarak değerlendirirken, bir diğeri yüzde 80’e kadar bekler; bu nedenle aynı ham çıktı, zıt etiketlere dönüşebilir.

Bu nedenle, iki kaynaktan alınan salt sayılar doğrudan karşılaştırılamaz. Her aracın puanını nasıl açıkladığına bakın ve vurgulanan cümleleri ve olasılıkları gösteren araçları tercih edin. Rakamın ardındaki cümleleri görebildiğinizde, araçların eklediği etiketler yerine aslında neleri işaretlediklerini karşılaştırabilirsiniz.

Model güncellemeleri boşluklar yaratır

AI yazma araçları sürekli değişir ve tespit araçları bu değişime ayak uydurmakta zorlanır. Centric DXB’nin 2026 tarihli bir açıklamasında bu sorun, “dağılım kayması” olarak tanımlanmaktadır: eski modeller üzerinde eğitilmiş bir sınıflandırıcı, yeni modeller ortaya çıktığında yeniden eğitilene kadar doğruluğunu yitirir. Geçen ay güncellenen bir denetleyici ile geçen yıl güncellenen bir denetleyici, aynı makaleyi çok farklı şekilde ele alabilir. Bunların hiçbiri eski denetleyicileri işe yaramaz hale getirmez. Bu, bir uygulamanın sürüm tarihini kontrol eder gibi bir aracın son güncelleme notlarını kontrol etmeniz ve herhangi bir güncelleme haberinin olmaması durumunda ekstra dikkatli olmanız gerektiği anlamına gelir.

Kapsam da önemli bir faktördür. Phrasly’nin sayfasında, hedeflediği modeller arasında ChatGPT, Claude, Gemini, Perplexity, DeepSeek ve Grok’un adları geçmekte ve İngilizce, İspanyolca, Fransızca ve Almanca dillerini desteklemektedir. Kapsamı daha dar olan bir araç, başka bir aracın yakaladığı kalıpları gözden kaçırabilir veya basitçe anlamadığı insan yazısını hatalı olarak işaretleyebilir.

Aynı deneme, farklı okunur

Metnin insani bir yönü de vardır. Stanford araştırmacıları tarafından yürütülen 2023 tarihli bir çalışmada, İngilizceyi ana dili olarak konuşmayan kişilerin yazdığı 91 TOEFL denemesi üzerinde yaygın olarak kullanılan yedi algılayıcı test edildi ve bunların ortalama yüzde 61,3’ü yanlış bir şekilde yapay zeka tarafından üretilmiş olarak etiketlendi (Liang ve ark., Patterns, 2023). Sade, dikkatli ve öngörülebilir ifade biçimi, perplexity tabanlı bir aracın makine tarafından yazılmış gibi değerlendirdiği unsurlardır.

Denemeniz ikinci bir dilde, son derece yapılandırılmış bir akademik üslupla veya standart bir şablon temelinde yazılmışsa, daha yüksek puanlar ve araçlar arasında daha fazla uyuşmazlık bekleyebilirsiniz. Bu uyuşmazlık rastgele değildir. Her bir denetleyicinin, dürüst yazarlar arasında yaygın olan bir yazım stiline ne kadar duyarlı olduğunu yansıtır. Konu da bu konuda rol oynar. Sabit terimleri ve tekrarlanan yapıları olan teknik yazılar, bir algılayıcıya kişisel bir yansıma yazısına kıyasla üzerinde çalışabileceği daha az çeşitlilik sunar.

Sonuçları karşılaştırmanın mantıklı bir yolu

İki araç arasında uyuşmazlık olduğunda, hoşunuza giden bir sayı elde edene kadar metni tekrar tekrar yapıştırma isteğine karşı koyun. Bunun yerine bir plan izleyin. Metnin uzunluğunu göz ardı etmeyin. Her seferinde aynı makalenin tamamını yapıştırın; çünkü yalnızca giriş bölümünüzü verilen bir kontrol aracı, on sayfa verilen bir kontrol aracından farklı bir sorunu çözmeye çalışır.

• Aynı tam metni, taramalar arasında herhangi bir düzenleme yapmadan kontrol edin.

• Her bir aracın puanını nasıl belirlediğine dikkat edin.

• Başlık rakamları yerine vurgulanan cümleleri karşılaştırın.

• Her iki araç tarafından da işaretlenen cümleleri işaretleyin, çünkü bu örtüşme en yararlı ipucudur.

• Bu satırları daha spesifik ve özgün bir şekilde yeniden yazın, ardından testi tekrar çalıştırın.

Bir AI kontrol aracını temel referans olarak seçin ve tutarlı bir şekilde kullanın; böylece puandaki değişiklikler, araçtaki değişiklikleri değil, yazınızdaki değişiklikleri yansıtır. Tutarlılık, ders çıkarabileceğiniz bir eğilim sunarken, araçlar arasında geçiş yapmak size gereksiz gürültü yaratır. Bunu sık sık yapıyorsanız küçük bir kayıt tutun: tarih, araç, puan ve hangi cümlelerin işaretlendiği. Birkaç deneme yazısından sonra, her aracın sizin yazım tarzınıza göre nasıl tepki verdiğini anlayacaksınız; bu, tek bir okumadan çok daha değerlidir.

Anlaşmazlık bir bilgi kaynağı olduğunda

İşte birçok kişinin gözden kaçırdığı bir nokta. İki saygın araç, metniniz konusunda keskin bir şekilde anlaşmazlık gösteriyorsa, bu belirsizliğin kanıtıdır. Yazı, yazılımın bir sonuca varamadığı bir gri alanda yer alır ve her iki sayı da kanıt olarak değerlendirilmeyi hak etmez. 2023 yılında OpenAI, yüzde 26 doğru pozitif oran ve yüzde 9 yanlış pozitif oran bildirdikten sonra kendi AI Metin Sınıflandırıcısını geri çekti (OpenAI, 2023); bu durum, kaynakları bol olan ekiplerin bile kesin bir sınır çizmekte zorlandığını hatırlatır.

Dolayısıyla, çelişkili bir sonuca karşı doğru tepki, kendi sürecinize güvenmektir. Taslaklarınızı, ana hatlarınızı ve notlarınızı saklayın ve argümanınızı kendi kelimelerinizle açıklamaya hazır olun. Bir öğretim görevlisi veya editör puanınızı sorarsa, bu kayıtlar tek bir tarama sonucundan çok daha anlamlı olacaktır. Birine bir rakam bildirmek zorunda kalırsanız, aralığı belirtin ve araçların adlarını verin.

Fikir Birliği Nadirdir ve Bunu Bilmek Yararlıdır

Farklı şekilde eğitilmiş, farklı modeller için geliştirilmiş ve biraz farklı unsurları ölçen farklı araçlar, nadiren birbiriyle örtüşen puanlar verir. Bunu bilmek, tek bir doğru sayının peşinden koşmayı bırakıp daha iyi bir şeye odaklanmanızı sağlar: Önemli noktaları okumak, genel cümleleri güçlendirmek ve nasıl yazdığınızın kaydını tutmak. İki kontrol aracı arasındaki fark bir kriz değildir. Daha yakından bakmanız için bir uyarıdır.

Tespit puanlarının nasıl hesaplandığını ve hangi noktalarda yetersiz kaldığını daha iyi anlamak istiyorsanız, Phrasly blogundaki diğer yazılar bu konuları daha derinlemesine ele almaktadır.