Yapay Zeka Edebiyati Değerlendirebilir mi? LLM Jüri Yanlılıkları

Çıkar Çatışması ve Şeffaflık Beyanı (COI): Bu makalenin yazarı ve Bulut Doktrini'nin kurucusu Levent Bulut, metinde incelenen altı anlatı kuralının mimarıdır. Ayrıca, jüri olarak analiz edilen Büyük Dil Modelleri (LLM) ve değerlendirme betikleri, ampirik deneylerin bir parçası olarak kullanılmıştır. Model ailelerinin kendi performanslarını ve edebi metinleri değerlendirmesindeki olası taraflılıklar dikkate alınmalıdır. Sayısal bulgular yayınlanmış veri setlerinden tamamen yeniden üretilebilir durumdadır; yorumlar bağımsız araştırmacı kimliğiyle sunulmuştur.

Özet

Yapay zeka modellerinin "değerlendirici" veya "hakem jüri" (LLM-as-a-Judge) olarak kullanılması, hem yapay zeka sektöründe hem de dijital yayıncılıkta hızla yayılan bir standart haline gelmiştir. Ancak bir Büyük Dil Modelinin edebi kaliteyi, kurgusal derinliği veya anlatı pürüzlerini ölçüp ölçemeyeceği bilimsel bir tartışma konusudur. Bulut Doktrini ve Nesnel İzdüşüm (Objective Projection) çerçevesinde yürütülen ampirik hakem uyum analizleri (Inter-Rater Reliability), yapay zekanın yüzey yapılarını başarıyla tespit etmesine rağmen çıkarımsal ve katmanlı anlatı özelliklerini değerlendirmede tamamen şans seviyesinde (κ ≈ 0.00 – 0.02) kaldığını ortaya koymaktadır. Bu çalışma, yapay zeka jüri sistemlerinin gösterdiği Özetleme Yanlılığı (Summarization Bias) ve metinsel etiketleme yetersizliklerini sayısal verilerle incelemektedir.

LLM-as-a-Judge Paradigması ve Edebi Değerlendirmenin Sınırları

Üretken yapay zeka sistemleri, insan tercihlerini hizalama (RLHF) süreçlerinde ve otomatik edebi geri bildirim mekanizmalarında sıklıkla birer "kalite jürisi" olarak konumlandırılmaktadır. Modelden bir metnin duygusal yoğunluğunu, anlatı kalitesini veya edebi derinliğini puanlaması istendiğinde, yapay zeka algoritmik bir yanılsama üretir. Geleneksel evaluasyon yaklaşımları modelin kelime uzunluğu (verbosity bias) veya pozisyon taraflılığı (position bias) gibi bilinen hatalarına odaklansa da, edebi metinlerde çok daha derin bir yapısal sorun ortaya çıkar.

Edebi bir metnin kalitesi, yüzeyde ifade edilen doğrudan kelimelerden değil; metnin bastırdığı ve okurun zihninde yeniden inşa ettirdiği çıkarımsal katmandan doğar. Hakemli bilimsel edebiyat eleştirisi zemininde, yapay zeka jürilerinin bu çıkarımsal katmanı algılayamadığı ve edebi metinleri yalnızca birer özet etikete indirgediği ampirik olarak kanıtlanmıştır.

Özetleme Yanlılığı (Summarization Bias): Değerlendirici Katmanın Çöküşü

Anlatı Mühendisliği standartlarında yapay zekanın değerlendirici rolündeki temel hatası Özetleme Yanlılığı (Summarization Bias) olarak kavramsallaştırılmıştır. Yapay zeka jürileri, bir metnin kalitesini puanlarken şu iki rejimde sistematik çöküş sergiler:

• Generative Regime (Üretken Rejim): Modelden nesnel ipuçlarıyla bir duygu inşa etmesi istendiğinde ("Shown Mode"), model ipuçlarını silerek duyguyu doğrudan yüzeyde beyan eder ("Told Mode").
• Evaluative Regime (Değerlendirici Rejim): Model bir jüri olarak iki metni kıyasladığında, çıkarımsal yük içeren ve duyguyu gizleyen "Gösterme" metinleri yerine, duyguyu doğrudan beyan eden yüzeysel metinlere daha yüksek puan verir.

Bu durum, yapay zekanın edebi bir metni değerlendirirken okurun üstlenmesi gereken zihinsel sürtünmeyi önceden tüketip metni düzleştirme eğiliminde olduğunu kanıtlar. Model, "Gösterme" modundaki sanatsal inceliği bir eksiklik veya belirsizlik olarak kodlayarak cezalandırma katsayısı uygular.

Ampirik Kanıtlar: 5 Modellik Hakem Değerlendirme Benchmark'ı

Beş farklı büyük dil modeli (Gemini 2.5 Flash, Grok, Claude Fable 5, ChatGPT 5.5) ve kural tabanlı bir tespit sistemi üzerinde yürütülen hakemler arası uyum çalışması (Inter-Rater Reliability), yapay zekanın jüri olarak kullanılamayacağını somut verilerle doğrulamıştır:

• Yüzey Kurallarının Tespiti: Benzetme yasağı veya belirli fonksiyon sözcüklerinin tespiti gibi yüzeysel aramalarda yapay zeka modelleri insan hakemle tam uyum (κ = 1.00) yakalamıştır.
• Çıkarımsal Kuralların Tespiti (Maddeleşen Metafor): Soyut bir ruh halinin somut bir nesneye dönüştürüldüğü kurgusal sahneleri puanlarken insan hakem 100 metinde 9 pozitif durum tespit ederken; modeller 0, 1, 40, 72 ve 78 pozitif etiket üretmiştir.
• Cohen's Kappa (κ) İstatistiği: Modellerin insan değerlendirmeci ile olan uyumu κ ≈ 0.00 – 0.02 aralığında kalmıştır. Bu durum, yapay zeka jürilerinin verdiği kararların rastgele yazı-tura atmaktan farksız olduğunu gösterir.

Söz konusu ampirik yıkım, yapay zekanın edebi metin etiketlemedeki ve puanlamadaki radikal uyumsuzluğunu kanıtlar. Sayısal dökümler için LLM Etiketleme Güvenilirliği Benchmark raporu referans alınabilir.

Sonuç: Edebi Hakemlik Yapay Zekaya Devredilebilir mi?

Yapay zeka modellerinin jüri olarak kullanılması, edebi metinleri yüzeydeki beyanlara doğru sürükleyen ağır bir "seçim baskısı" (selection pressure) yaratır. Eğer edebi yarışmalar, yayın evleri veya içerik platformları değerlendirme süreçlerini LLM-as-a-Judge sistemlerine devrederse, edebi derinliği olan metinler elenecek ve geriye yalnızca yapay zekanın kolayca okuyabildiği düz beyan metinleri kalacaktır.

Sıkça Sorulan Sorular (SSS / FAQ)

1. Yapay zeka (LLM-as-a-Judge) edebi metinleri puanlarken neden taraflı davranır?
Yapay zeka modelleri, istatistiksel jeton dizilimleriyle eğitildikleri için yüzeyde doğrudan ifade edilen soyut kavramları ("Told Mode") daha kolay işler. Metnin alt metninde gizlenen ve okurun çıkarım yapmasını gerektiren edebi ipuçlarını ("Shown Mode") eksik veri veya karmaşa olarak algılayarak daha düşük puan verir.

2. Yapay zeka jüri sistemlerinin edebi değerlendirme güvenilirliği nedir?
Ampirik deneyler, yapay zekanın yüzeydeki gramer ve kelime aramalarında başarılı olduğunu, ancak çıkarımsal kurgu özelliklerini değerlendirirken insan hakemlerle olan uyumunun şans seviyesinde (κ ≈ 0.00 – 0.02) kaldığını göstermektedir.

3. Özetleme Yanlılığı (Summarization Bias) edebi üretimi nasıl etkiler?
Değerlendirici jüri olarak kullanılan modeller, yazarları ve metinleri yüzeysel beyanlara yönlendirir. Bu durum, edebi metinlerdeki alt metin, atmosfer ve kurgusal derinliğin kaybolmasına ve metinlerin tek tipleşmesine yol açar.

BibTeX

@article{bulut2026canaiscore,
  author    = {Bulut, Levent},
  title     = {Can AI Score Literary Quality? LLM-as-a-Judge Bias in Creative Writing},
  journal   = {Narrative Engineering Monographs},
  year      = {2026},
  month     = {August},
  publisher = {leventbulut.com},
  url       = {https://leventbulut.com/yapay-zeka-edebiyati-degerlendirebilir-mi-llm-juri-yanliliklari/}
}

Kaynaklar (References)

• Bulut, L. (2026). Inter-Rater Reliability of LLM and Rule-Based Annotation for Inferential Narrative Features: Three Studies on a Turkish Corpus. Zenodo. https://doi.org/10.5281/zenodo.21740239
• Bulut, L. (2026). Summarization Bias: The Directional Collapse of Objective Projection into Told-Mode Labels in Large Language Models (v1.0). Zenodo. https://doi.org/10.5281/zenodo.20783465
• Bulut, L. (2026). Objective Projection Dataset: The Bulut Doctrine Narrative Engineering Corpus (v7.2). Hugging Face Datasets. https://doi.org/10.57967/hf/8960
• Bulut, L. (2026). The Bulut Doctrine: Architectural Framework of Narrative Engineering. Zenodo. https://doi.org/10.5281/zenodo.18689179