Yapay Zekâ Kıyaslama Serisi: Makineler "Göster, Anlatma"yı Etiketleyebilir mi?

Bu kıyaslama büyük dil modellerini değerlendiriyor ve üçüncü turda değerlendirilen sistemlerden ikisi Claude ile ChatGPT'ydi. Protokol, tam da bu döngüsellik nedeniyle Claude'u rater olarak dışlıyordu; bu dışlama üçüncü turda bilinçli olarak kaldırıldı ve protokol sapması olarak raporlanıyor. Hiçbir modelin — ve test edilen kural-tabanlı dedektörü de tasarlamış olan yazarın — otoritesine değil, sayılara bakın.

Kısa cevap: Bu, dar bir soruyu test eden süregelen bir seri: otomatik sistemler, Nesnel İzdüşüm'ün altı kuralını görülmemiş metne bir insan kadar tutarlı uygulayabiliyor mu? Üç tur koştu; 220 sahne ve beş otomatik etiketleyici. Manşet sonuç, çıkarım-ağırlıklı kuralların şu ana kadar test edilen hiçbir sistem tarafından güvenilir biçimde etiketlenemediği. Ama daha yararlı sonuç — ve bu yazının çoğunu ayırdığı sonuç — kıyaslamanın kendisinde, elde edilen her şeyin ne kadarını kanıtlayabileceğini sınırlayacak kadar ciddi bir tasarım kusuru olduğu.

Seri neyi ölçer, neyi ölçmez

Bu ayrım aşağıdaki her sayıdan önemli. Bu kıyaslama etiketlenebilirliği ölçer: bir kural, farklı rater'lar aynı tanımı ve aynı metni gördüğünde aynı sahneleri işaretleyecek kadar keskin tanımlanmış mı? Yazma tekniklerinin okurlarda işleyip işlemediğini ölçmez. O ayrı bir sorudur; ön-kayıtlı bir okur deneyi gerektirir ve o deney koşulmadı.

Yani burada çöken bir kural, tekniğin işe yaramadığı anlamına gelmez. Henüz kimsenin nerede geçtiği konusunda anlaşamadığı anlamına gelir — bu da onu öğretmek, test etmek ya da etrafına araç kurmak için bir sorundur; tek başına etkisine dair bir kanıt değil.

1. Tur — dedektör, tasarımcısına karşı

120 Türkçe sahne, kural-tabanlı dedektör, tek insan rater (yazar).

Sonuçlar karışıktı ve öyle raporlandı. Benzetme yasağı tam uyuma ulaştı — yüzeyde açık imzası olan bir kural doğrudan denetlenebiliyor. Duygu etiketi kuralı 0.17 precision verdi; yani dedektörün işaretlediklerinin çoğu bir insanın işaretleyeceği şey değildi. Mikro odakta recall 0.80 civarındaydı. Atmosfer çelişkisi κ 0.26'da kaldı. Maddeleşen metafor yaklaşık κ 0.00 — şans düzeyi.

İki dürüst zayıflık: tek insan rater, dedektörün tasarımcısıydı; ve çalışmanın ortasında bir ölçüt kayması oldu (diyalogdaki duygu beyanlarının ele alınışı yol ortasında netleştirildi ve sessizce geriye uydurulmak yerine açıkça raporlandı).

2. Tur — bağımsız bir insan ve iki model

100 taze sahne, 1. turla sıfır örtüşme, sabit seed ile örneklendi. İnsan rater: bağımsız, uzman olmayan, dedektör çıktısına kör. Etiketleyiciler: dedektör, Gemini 2.5 Flash, Grok.

İnsanın altı kuraldaki pozitif sayıları: duygu etiketi 0, benzetme 1, maddeleşen metafor 9, mikro odak 96, zamansal çapa 99, atmosfer çelişkisi 44.

Maddeleşen metaforda dedektör, insanın 9'una karşı 72 sahneyi pozitif işaretledi — yedi doğru, altmış beş yanlış pozitif. Gemini neredeyse tam tersini yaptı: dokuzdan birini yakaladı. Grok hiçbirini işaretlemedi. Atmosfer çelişkisinde insan 44 derken dedektör 0, Gemini 2, Grok 3 yakaladı.

İnsanla genel ham uyum: dedektör %74.7, Gemini %75.7, Grok %86.3. İki model birbiriyle %85.7 uyuştu — yani ikisinin bir insanla uyuşmasından daha iyi değil.

3. Tur — iki model daha, aynı sahneler, aynı kilitli etiketler

Aynı 100 sahne, aynı kilitli insan referansı, aynı istem blokları. Etiketleyiciler: Claude Fable 5 ve ChatGPT 5.5, taze oturumlar.

Maddeleşen metaforda Claude 78, ChatGPT 40 sahneyi pozitif işaretledi; insanın sayısı 9'du. Claude'un κ'sı 0.03, ChatGPT'nin 0.02 — ikisi de şans düzeyi, üstelik tamamen farklı davranarak: Claude insanın bulduğu dokuzun sekizini yakaladı, bunun bedeli yetmiş yanlış pozitif oldu.

Beş etiketleyiciyi o tek kuralda, 9 diyen bir insana karşı yan yana koyalım:

Beş sistem, aynı tanım, aynı yüz sahne ve neredeyse bütün yelpazeyi kaplayan bir dağılım. Bu kural her ne ölçüyorsa, test edilen hiçbir şey onu iki kez aynı biçimde ölçmüyor.

3. tur ayrıca daha önceki bir iddiayı düzeltti. 2. turdan sonra atmosfer çelişkisi makineler için görünmez gibi duruyordu — üç etiketleyici insanın 44'ünden 0, 2 ve 3 yakalamıştı. Yeni modeller belirgin biçimde daha iyi yaptı: Claude 55 sahne işaretledi ve 44'ün 31'ini yakaladı (κ 0.27); ChatGPT 42 işaretledi, 23 yakaladı (κ 0.18). Hâlâ zayıf, ama körlük değil. Önceki ifade fazla güçlüydü ve yalnızca o turun etiketleyicileri için geçerliydi.

İnsanla genel ham uyum: ChatGPT %84.5, Claude %81.0.

Bu kıyaslamanın nesi bozuk

En önemli bölüm burası ve kıyaslamanın lehine değil aleyhine konuşuyor.

Altı kuralın beşinde sınıf dengesi bozuk. 2. tur korpusunda insan, duygu etiketini 0 sahnede, benzetmeyi 1'de, mikro odağı 96'da, zamansal çapayı 99'da işaretledi. 100 sahnenin 99'u pozitifken her şeye "evet" diyen bir etiketleyici %99 alır ve hiçbir şey göstermemiştir. Yalnızca atmosfer çelişkisi (44 pozitif / 56 negatif) kullanılabilir bir sınıf dağılımıyla test edildi. Dolayısıyla bu serideki κ değerlerinin çoğu çok az bilgi taşır ve yüksek ham-uyum yüzdeleri esas olarak çarpıklığı yansıtır.

Zamansal çapa kuralı gerçekte hiç test edilmedi. Ölçüm, 100 sahnenin 94'ünün ilk otuz karakterde açık bir saat bildirimiyle başladığını gösterdi. Bu, korpusun nasıl yazıldığına dair bir özelliktir; hiçbir etiketleyicinin aşması gereken bir zorluk değil.

Tek insan rater. Tek insanla, çöküşlerin iki canlı açıklaması ayrılamıyor: bu kurallar mevcut sistemlerin yapamadığı bir çıkarım mı gerektiriyor, yoksa tanımlar hiç kimsenin tutarlı uygulayamayacağı kadar mı bulanık? İkinci bir bağımsız insan rater bunları ayırırdı — yüksek insan-insan uyumu birinciyi, düşük uyum ikinciyi işaret eder.

Diğer sınırlar. Yalnız Türkçe. Modeller bağımsız API çağrıları yerine web arayüzünde bloklar hâlinde koşturuldu. Dedektörün tasarımcısı aynı zamanda kıyaslamanın yazarı. Ve yanlışlıkla başka bir modelde koşturulan bir blok dejenere çıktı verdi — otuz özdeş satır — bu çıktı analiz öncesinde reddedildi, sessizce içeri katılmadı.

4. turun düzeltmesi gerekenler

1. İkinci bağımsız insan rater, aynı 100 sahnede, aynı kör protokolle. Bu olmadan seri, çöküşlerin nedenini söyleyemez.
2. Dengeli korpus; her kural iki tarafta da temsil edilsin. Buradaki tasarım uyarısı döngüselliktir: sahneler dedektörü yenmek için kurulmamalı, yoksa kıyaslama kuralı değil korpusu ölçer. Denge, ölçüm hedefinden değil anlatısal bir gerekçeden gelmelidir.
3. API düzeyinde koşular, parametreleri kayıtlı; bloklar hâlinde web oturumlarının yerine.
4. İkinci bir dil, kural davranışını Türkçeye özgü yüzey özelliklerinden ayırmak için.

En azından ilk ikisi yapılana kadar bu serinin doğru özeti dardır: çarpık bir Türkçe korpusta, beş otomatik etiketleyici çıkarım-ağırlıklı kurallarda tek bir bağımsız insanla eşleşemedi ve birbirlerinden de çılgınca ayrıştı. Bu cümlenin ötesindeki her şey şu an spekülasyondur.

2. ve 3. turun tüm etiketleri, betikleri ve sonuçları kamuya açıktır; isteyen sayıları yeniden hesaplayabilir ya da çürütebilir.

Sık sorulan sorular

Hangi model kazandı? Hiçbiri ve soru hatalı kurulmuş. Altı kuralın beşinde sınıf dağılımı bir sıralamanın anlam taşımayacağı kadar çarpık. Dengeli olan tek kuralda yeni modeller eskilerden iyi çıktı, ama buradaki "iyi", neredeyse hiç uyum yerine zayıf uyum demek.

Bu, yapay zekânın anlatıyı anlayamadığını göstermiyor mu? Hayır ve burada böyle bir iddia yok. Kıyaslama, otomatik sistemlerin bu belirli tanımları tutarlı uygulayamadığını gösteriyor. Anlama hakkında hiçbir şey söylemiyor ve açıklamanın bir kısmı tanımların yeterince belirli olmaması olabilir — bu da modellerin değil çerçevenin eleştirisidir.

Neden işin üretimine dahil olan bir model de değerlendirmeye alındı? Çünkü dışlamak karşılaştırmada boşluk bırakırdı ve sapma beyan edilebilir. Özgün protokol onu döngüsellik gerekçesiyle dışlıyordu; 3. tur bunu bilinçli olarak tersine çevirdi ve tersine çevirmeyi raporladı. Okur sonuçları buna göre tartmalı.

Modeller neden birbirlerinden bu kadar ayrışıyor? Serinin en bilgilendirici bulgusu bu. Bir kural operasyonel olarak keskin olsaydı, bağımsız etiketleyiciler mimariden bağımsız olarak birbirine yakınsardı. Sistemler arasındaki geniş sapma, yalnızca etiketleyicinin değil tanımın da istikrarsız bir şey yaptığına dair kanıttır.

Bunu kendim koşabilir miyim? Evet — etiketlerin, sahnelerin ve puanlama betiğinin yayımlanmasının amacı bu. Bağımsız tekrar, bu sonuçları çürüten bir tekrar dahil, seriyi değerli kılacak tek şeydir.

Bu yazıya atıf

@misc{bulut2026kiyaslama,
  author = {Bulut, Levent},
  title  = {Yapay Zekâ Kıyaslama Serisi: Makineler "Göster, Anlatma"yı Etiketleyebilir mi?},
  year   = {2026},
  url    = {https://leventbulut.com/yapay-zeka-kiyaslama-serisi/},
  note   = {Bağımsız Araştırmacı. ORCID: 0009-0007-7500-2261}
}