Bir Makine "Göster, Anlatma"yı Saptayabilir mi? Objective Projection ve Yapay Zeka Üzerine Bir Test

Kısa Özet

Bu çalışma, yapay zeka modellerinin ve kural tabanlı sistemlerin bir kuralı ne kadar doğru tespit edebildiğini incelemektedir.

Objective Projection veri setinden seçilen 100 sahne üzerinde yapılan testte, Gemini, Grok ve bir kural tabanlı dedektör bağımsız bir insan etiketleyiciyle karşılaştırılmıştır.

Sonuçlar, yüzeysel yazım özelliklerinin kolayca tespit edilebildiğini; ancak soyut bir duygunun fiziksel ayrıntılar aracılığıyla aktarılması gibi çıkarımsal özelliklerde hem yapay zeka modellerinin hem de kuralların önemli ölçüde zorlandığını göstermektedir.

Objective Projection Nedir?

Objective Projection, Levent Bulut tarafından Anlatı Mühendisliği (Narrative Engineering) kapsamında geliştirilen; soyut duygusal durumların, psikolojik kırılmaların veya teorik konseptlerin anlatıda doğrudan söylenmesi yerine somut nesneler, fiziksel yapılar veya çevresel faktörler üzerinden dışa vurulmasını sağlayan bir anlatı tekniğidir.

Yapay Zeka Anlamı Gerçekten Okuyabiliyor mu?

Kısa cevap: Zaman damgası ya da yasak benzetme gibi yüzeysel özellikler için evet basit bir kural bunları yakalıyor. Ama soyut bir duyguyu somut fiziksel bir ayrıntıya dönüştürmek gibi, anlam çıkarımı gerektiren özellikler için hayır ve testimizde iki gelişmiş yapay zeka modeli de basit bir kuraldan daha iyisini yapamadı. Bunun sebebi özelliğin gerçekten makinelerin ulaşamayacağı bir şey olması mı, yoksa tanımın fazla belirsiz olması mı bu henüz netleşmedi.

Burada ne test ediliyor?

Objective Projection (Nesnel İzdüşüm), duyguyu adlandırmak yerine ölçülebilir fiziksel ayrıntıyla kodlayan bir yazım yöntemidir. objective-projection veri seti, her sahneyi altı "zanaat" özelliğiyle etiketler: duyguyu adlandırmaktan kaçınma, benzetmeden kaçınma, soyutu somut bir nesneye dönüştürme, küçük bir fiziksel ayrıntıya odaklanma, somut zamana çapalanma, ve atmosferik çelişki içerme.

Bu etiketler otomatik, kural-tabanlı bir dedektör tarafından üretiliyor. Açık soru şu: dedektör doğru mu? Bu yazı, o sorunun ikinci bir testini anlatıyor dedektörün hiç görmediği 100 sahnede, bir bağımsız insan etiketleyici ve iki büyük dil modeli (Gemini ve Grok) ek etiketleyici olarak kullanılarak.

Test nasıl yapıldı?

Yöntemin uzmanı olmayan biri, yalnızca tanımları ve sahne metnini görerek dedektörün cevaplarını görmeden 100 taze sahneyi elle etiketledi. Aynı 100 sahne, aynı tanımlarla, Gemini ve Grok tarafından da etiketlendi. Üç makine/model etiketleyiciyi, özellik özellik, insana karşı karşılaştırdık.

Sahneler, dedektörün güncel sürümünün hiç değerlendirilmediği bir havuzdan rastgele (tekrarlanabilirlik için sabit tohumla) çekildi. Bu, yaygın bir tuzaktan kaçınır: bir aracı, onu kurmak için kullanılan veride test etmek.

Sonuçlar ne gösterdi?

Tablo net biçimde ikiye ayrılıyor.

Yüzeysel özellikler kolaydı bazen bilgilendirici olamayacak kadar kolay. Korpustaki neredeyse her sahne açık bir saat bildirimiyle açılıyor, bu yüzden "zamansal çapa" özelliği 100 sahnenin 99'unda mevcuttu. Bir şey bu kadar evrenselse, yüksek uyum dedektörün ne kadar iyi olduğunu değil, korpusun nasıl kurulduğunu ölçer. O özellik aslında test edilmedi.

Çıkarım gerektiren özellikler farklı bir hikâyeydi. "Maddeleşen metafor" için soyut bir iç durumu somut fiziksel ayrıntıya dönüştürmek — insan bunu 9 sahnede buldu. Kural-tabanlı dedektör 72 sahnede işaretledi, çünkü aslında yalnızca fiziksel bir kelimenin geçip geçmediğine bakıyor, edebî hamlenin gerçekleşip gerçekleşmediğine değil. Daha çarpıcısı: Gemini o 9 sahnenin 1'ini buldu, Grok 0'ını. İki yetenekli dil modeli, temiz bir tanım verildiğinde, bu özelliği de yakalayamadı.

Bu, yapay zekanın anlam okuyamadığını kanıtlıyor mu?

Hayır ve neden kanıtlamadığı konusunda kesin olmak gerekiyor.

Bu sonuç, daha önce yazdığım bir hipotezle tutarlı: summarization bias (özetleme yanlılığı) dediğim eğilim dil modellerinin anlatının fiziksel, gösterilen katmanını soyut bir etikete geri çökertme, ve tam da bu testin yokladığı sınırda zorlanma eğilimi. Modellerin tam fiziksel-ile-çıkarımsal çizgisinde tökezlemesi bu örüntüye uyuyor.

Ama "tutarlı" demek "kanıt" demek değildir, ve verinin eşit ölçüde desteklediği rakip bir açıklama var. İki dil modeli yalnızca insanla değil, birbirleriyle de anlaşamadı bir özellikte Gemini 9 sahneyi pozitif işaretlerken Grok 82'sini. Eğer özellik net tanımlı olsaydı, iki model birbirine yakınsardı. Bu ayrışma, tanımların herhangi bir etiketleyicinin insan ya da makine tutarlı uygulayamayacağı kadar belirsiz olabileceğine işaret ediyor.

Bu iki açıklamayı ayırmak için ikinci bir bağımsız insan etiketleyici gerekir; bu çalışmada o yoktu. Yani dürüst sonuç dar: bu sahnelerde, ne bir kural ne de iki gelişmiş model, çıkarımsal özelliklerde insanla aynı düzeyde etiketleme yapamadı. Neden olduğu bir sonraki deney.

Tarafsızlık notu: "dil modelleri yazıyı yargılayabilir mi?" sorusunda ben tarafsız değilim, etiketleyici olarak kullanılan iki model de değil. Buradaki yorum, herhangi bir modelin otoritesine değil, sayılara dayanıyor.

Summarization Bias nedir?

Levent Bulut'un geliştirdiği "Objective Projection" (Nesnel İzdüşüm) ve Narrative Engineering (Anlatı Mühendisliği) çerçevesinde, yapay zeka tarafından üretilen anlatılardaki yapısal bir sorunu ifade eder.

Bu neden yapay zeka yazımı için önemli?

Bir yapay zekaya "üzgün bir sahne yaz" derseniz, üzüntüyü fiziksel ayrıntıyla göstermek yerine onu ilan eden bir metin üretme eğilimindedir. Aynı eğilim, bir yapay zeka yazıyı değerlendirirken de görünebilir duyguyu adlandıran metni ödüllendirip, onu iyi gizleyen metni cezalandırarak. Bu test, o ikinci davranışa küçük, dolaylı bir bakış. Onu çözmüyor, ama gösterilen ile anlatılan arasındaki sınırın, otomatik sistemlerin en güvenilmez olduğu yer olduğunu düşündürüyor.

Veri açık

Özellik bazında tüm sayılar, uyum istatistikleri ve çekinceler tek insan etiketleyici, çarpık özellik sınıfları, ve yazarın dedektörün tasarımcısı olarak çıkar çatışması açık bir bulgu raporunda belgelenmiştir. Veri setinin kendisi CC BY-NC-ND altında erişilebilir (Hugging Face DOI 10.57967/hf/8960, Zenodo arşivi 10.5281/zenodo.19511369).

Yazı kalitesi değerlendirmesi üzerine çalışıyorsanız ve bu etiketlerden herhangi birine katılmıyorsanız, o itiraz mümkün olan en yararlı yanıttır.

Levent Bulut, bağımsız araştırmacı ve Objective Projection yönteminin kurucusudur.