Bilimsel edebiyat eleştirisi: ne yapabilir, ne yapamaz

Kabaca her kuşakta bir kez, birileri edebiyat eleştirisinin bilim olmak üzere olduğunu duyurur. Kabaca her kuşakta bir kez, bu duyuruyu dar bir alanda gerçek bir ilerleme, yöntemin dokunamayacağı sorulara taşma, bir tepki dalgası ve uzun bir sessizlik izler.

Bu yeterince sık tekrarlandı; artık örüntünün kendisi incelenmeye değer. Aşağıda beş ciddi girişimin haritası, her birinin geçmek zorunda olduğu tek sınav ve şu anki dalganın — benimki dahil — o sınav karşısındaki durumu var.

1. İfade aslında ne anlama geliyor

"Bilimsel edebiyat eleştirisi" tek bir şey değil ve etrafındaki kafa karışıklığının çoğu, birbirinden epey farklı üç hırsı aynı torbaya koymaktan geliyor:

• Betimleyici. Metinlerin özelliklerini ölçmek — sözcük sıklıkları, cümle yapıları, bir korpus boyunca olay örgüsünün biçimi. Burada ilkesel olarak tartışmalı hiçbir şey yok. Metinlerin sayılabilir özellikleri vardır.
• Nedensel. Metnin biçimsel bir özelliğinin okurda ölçülebilir bir etki ürettiğini göstermek. Gerçek iddialar burada yaşıyor, zorluk da burada.
• Değerlendirici. Hangi eserlerin iyi olduğuna karar vermek. Hiçbir ampirik yöntem bunu yapmadı ve bence hiçbiri yapmayacak. Size Hamlet'in 84 aldığını söyleyen bir yöntem değeri ölçmemiştir; her ne ölçtüyse onu ölçmüş ve üstüne itibarlı bir ad iliştirmiştir.

Eleştirinin bilimsel olup olamayacağına dair tartışmaların çoğu, aslında birinin sessizce birinci hırstan üçüncüsüne kayıp kaymadığına dair tartışmalardır.

2. Beş girişim ve her birinin doğru yaptığı şey

Rus Biçimciliği (1910'lar–1920'ler)

Biçimciler, önemli olan ilk hamleyi yaptılar: edebî etkinin yazarın hayatından ya da okurun ruhundan değil, metindeki araçlardan doğduğunu öne sürdüler. Şklovski'nin yabancılaştırma kavramı — sanatın, alışkanlık hâline gelmiş olanı yeniden yabancı kılarak, algıyı yavaşlatarak işlediği — bir mekanizma iddiasıdır. Şu özelliğin bu etkiyi ürettiğini söyler.

Propp daha ileri gitti ve tanınabilir biçimde ampirik bir şey yaptı: bir Rus halk masalı korpusunu aldı ve sabit bir sırayla tekrarlanan sonlu bir anlatı işlevleri envanteri çıkardı. Sonuç hakkında ne düşünülürse düşünülsün, yöntem korpus temelliydi ve çıktısı yeni masallara karşı sınanabilirdi.

Doğru yaptıkları: etki yapıdan doğar ve yapı kesin biçimde betimlenebilir.
Eksik olan: hiçbir okur ölçülmedi. Yabancılaştırma, zihinler hakkında bir hipotezdi ve tamamen metinlerden savunuldu.

Practical Criticism (1929)

I. A. Richards neredeyse kimsenin yapmadığı bir şey yaptı: okurlar üzerinde deney yaptı. Cambridge'li öğrencilerine yazar adları silinmiş şiirler dağıttı ve yazılı tepkilerini topladı.

Sonuçlar işin içindeki herkes için utandırıcıydı. Yetkin, eğitimli okurlar birbirinden çarpıcı biçimde ayrışan okumalar üretti, bariz özellikleri kaçırdı ve şiirin nasıl olması gerektiğine dair önyargılardan ağır biçimde etkilendi. Yazarın adını kaldırın, uzlaşma buharlaşıyor.

Doğru yaptığı: okurların nasıl tepki verdiğine dair bir iddianız varsa, okurlara sorun.
Ortaya çıkardığı: okur tepkisi, eleştirinin kendinden emin tonunun ima ettiğinden çok daha değişken — ve bu bulgu sürekli yeniden keşfediliyor.

Stilometri (1964'ten itibaren)

Alandaki en temiz başarı hikâyesi. Mosteller ve Wallace, yazarlığı Hamilton ile Madison arasında tartışmalı olan on iki Federalist yazısını ele aldı ve soruyu işlev sözcüklerinin — ve, için, üzerine gibi, hiçbir konu taşımayan ve yazarın bilinçsizce istikrarlı bir kişisel oranda kullandığı sözcüklerin — frekanslarına dayalı Bayesçi bir çözümlemeyle çözdüler.

Sonuçları tartışmalı yazıları Madison'a atfetti ve yöntem o günden bu yana daha yeni tekniklerle defalarca yeniden koşuldu. Yazar atfını nicel bir alan olarak başlattı.

Neden işledi: sorunun bir doğru cevabı vardı. O yazıları biri yazmıştı. Yöntemden bağımsız bir gerçek vardı ve yöntem bilinen vakalara karşı sınanabiliyordu.
Söylemediği şey: yazıların iyi olup olmadığı ya da neden ikna ettikleri hakkında hiçbir şey.

Edebiyatın ampirik incelemesi (1980'ler–)

Biçimciliğin hipotezini alıp nihayet ölçen gelenek bu. Çok atıf alan dört çalışmalık bir dizide Miall ve Kuiken, okurlara bir kısa öyküyü bölüm bölüm sundu ve okuma sürelerini derecelendirmelerle birlikte kaydetti. Biçimsel öne çıkarmanın yoğun olduğu bölümler daha yavaş okundu, daha çarpıcı ve daha etkileyici bulundu — ve etki, okurun edebiyat eğitimine bağlı değildi.

Bu gerçek bir sonuç. Şklovski'nin 1917'de koltuktan öne sürdüğü yavaşlayan algı iddiası, yetmiş küsur yıl sonra saniye cinsinden ölçülebilir çıktı.

Bu geleneğin doğru yaptığı: döngüyü kapattı. Metin özelliği → okur ölçümü → istatistiksel sınama.
Sınırı: etkiler ölçülü, okurlar arası varyans büyük ve tek bir kısa öyküden "edebiyata" genelleme yapmak tam da yöntemin yasakladığı hamle.

Hesaplamalı okuma ve uzaktan okuma (2000'ler–)

En yeni dalga ölçeği büyüttü: bir kanonu yakından okumak yerine binlerce kitabı aynı anda çözümleyip bütünün biçimine bakmak — kayan tür sınırları, olay örgüsü boyunca duygu eğrileri, on yıllara göre değişen sözcük dağarcığı.

Hiçbir insan okurun göremeyeceği şeyler üretiyor, çünkü hiçbir insan on bin romanı aynı anda zihninde tutamaz. Aynı zamanda alanın en yaygın başarısızlık biçimini de üretiyor ve bunu tam olarak adlandırmakta fayda var: bir korpus üzerinde yapılan bir işlem, kendiliğinden edebiyat hakkında bir bulgu değildir. "Model bu kitapları bir araya kümeledi" ile "bu kitaplar bir tür oluşturur" arasındaki mesafe eksiksiz bir yorum argümanıdır ve grafikle birlikte bedava gelmez.

3. Beşinin de geçmesi gereken sınav

Sözcük farklarını kaldırın, yukarıdaki her girişim aynı üç yükümlülükle karşılaşıyor. Gösterişsizdirler ve işlerin çoğu burada ölür.

Operasyonel tanımlar

Bir kavram, iki bağımsız kişi aynı metne uyguladığında aynı cevaba varacak biçimde tanımlanmalıdır. Kabaca aynı değil. Aynı.

Kulağa muhasebe gibi geliyor. Bütün girişimin en zor kısmı budur ve alanın edebiyata bakan ucunun en zayıf yeri de burasıdır — çünkü eleştiri sözlüğü başka bir amaç için gelişti: yabancılar tarafından birebir uygulanmak için değil, üretken ve çağrışım açıcı olmak için.

Yanlışlanabilirlik

İddianın kaybedebilmesi gerekir. "Bu roman bellek ile mekân arasındaki gerilimi sahneler" kaybedemez; aleyhine sayılacak hiçbir gözlem yoktur. "Okurlar öne çıkarılmış bölümlerde daha uzun duraklayacak" kaybedebilirdi, kaybetmedi.

Tekrarlanabilirlik

Sonuçta payı olmayan birinin aynı sonuca ulaşması gerekir. Kimsenin tek başına yerine getiremeyeceği yükümlülük budur ve bir çerçevenin gerçek mi, yoksa bir kişinin atıf eklenmiş özel sözlüğü mü olduğuna nihayet karar veren de budur.

4. Güvenilirlik nerede kırılıyor

Bu üçünden ilki sessiz katildir ve nedenini anlamakta fayda var.

Diyelim ki belirli bir anlatı aracının belirli bir etki ürettiğini öne sürdünüz. Bunu test edebilmek için önce hangi pasajların o aracı içerdiğini belirlemeniz gerekir. Bunu kendiniz yaparsanız, aracı değil kendi tutarlılığınızı ölçmüş olursunuz. İki kişi yapar ve anlaşamazsa, veriniz yoktur — birbiriyle bağdaşmayan iki veri kümeniz vardır.

Bunun istatistiği şans düzeltmeli uyumdur, genellikle Cohen kappa. Ve dikkatli işleri bile yakalayan bir tuzakla gelir: özellik nadir ya da neredeyse evrenselken ham yüzde uyumu neredeyse anlamsızdır. Bir araç 100 pasajın 96'sında bulunuyorsa, her pasajı pozitif işaretleyen bir değerlendirici %96 uyum alır ve tam olarak sıfır bilgi katar. Bu sayıyı sınıf dağılımı olmadan bildirmek performansı çarpıcı biçimde abartır.

Bu varsayımsal bir başarısızlık biçimi değil. Olağan olan bu.

5. Bir örnek — başarısız olan kısım dahil

Ampirik disiplini savunan bir sayfanın kendisini de ona tabi tutması gerektiği için, kendi çalışmamdan bir vaka.

Altı zanaat özelliği için etiketlenmiş bir korpus yayımlıyorum — iki yasak (anlatıcı duygu adlandıramaz, benzetme kullanamaz) ve dört olumlu teknik. Etiketler kural tabanlı bir dedektörle üretilmiş ve veri setiyle birlikte dağıtılmıştı. Bir insanın bunlara katılıp katılmayacağı hiç test edilmemişti.

Üç çalışma boyunca beş otomatik etiketleyici, kör insan etiketlerine karşı puanlandı. En çok çıkarım gerektiren özellikte — soyut bir durumun somut fiziksel bir ayrıntıya dönüştürülmesi — yüz pasajın 0, 1, 40, 72 ve 78'ini pozitif işaretlediler. İnsan 9 işaretledi. Cohen kappa, altı etiketleyicinin beşinde şans düzeyinde ya da ondan ayırt edilemez çıktı.

İki ayrıntı daha, ikisi de aleyhime:

• Etiketleyiciler insandan olduğu kadar birbirlerinden de ayrıştı. Bir kuralda ikisi sırasıyla 9 ve 82 pasajı pozitif işaretledi; insan sayısı 96'ydı. Aynı yazılı tanım, aynı yüz pasaj.
• İlk çalışmada insan etiketleyici bendim ve kendi ölçütüm yarı yolda kaydı. Kuralın tamamını yeniden etiketlemek zorunda kaldım.

İki okuma ayakta kalıyor ve çalışma başına tek etiketleyiciyle bunları ayıramıyorum. Ya özellik gerçekten çıkarımsal — metinde bulunan değil okurun kurduğu bir şey; o hâlde hiçbir otomatik dedektör bulamaz. Ya da tanımım herkesin, benim de dahil, tutarlı uygulayamayacağı kadar gevşek. İkisini ayırmak ikinci bir bağımsız insan etiketleyici gerektiriyor.

Bunu bir yöntem ekine gömmek yerine alan hakkındaki bir sayfaya koymamın sebebi şu: bu olağan sonuçtur, sıra dışı değil. Yorumsal özellikler için hazırlanmış etiketleme şemalarının çoğu bu şekilde hiç test edilmedi. Bir kısmı bu testten sağ çıkmazdı.

6. Bu alan dürüstçe ne sunabilir

Sağlam zemin:

• Yazar atfı ve tarihlendirme. Ortada bir gerçek var ve yöntemler bilinen vakalara karşı doğrulanabiliyor.
• Ölçekte biçimsel betimleme — korpuslar boyunca sözcük dağarcığı, sözdizimi, yapısal örüntüler.
• Alımlama ve tepki ölçümü: okuma süreleri, göz hareketleri, fizyolojik sinyaller, hatırlama. Ölçülü ama gerçek etkiler.
• Denetimli bir küme içinde karşılaştırmalı iddialar: bu sürüm şu sürümden daha yavaş okundu.

Zayıf zemin:

• Edebî niteliğin tek sayılık herhangi bir puanı.
• Metnin nasıl kurulduğu ya da nasıl işlendiği değil, ne anlama geldiği hakkındaki iddialar.
• Tek bir korpustan, tek bir dilden ya da tek bir türden "edebiyata" genelleme.
• Değerlendiriciler arası güvenilirliği bildirilmemiş bir etiket katmanına dayanan her şey.

Dürüst konum, coşkulu konumdan daha dar ve çok daha dayanıklı. Tek bir şeyi güvenilir biçimde ölçen bir yöntem, her şeye işaret eden bir çerçeveden daha değerlidir.

7. Kontrol listesi

Bu alanda bir iş kuruyor ya da değerlendiriyorsanız, beş soru işin çoğunu görür:

1. İki yabancı bu tanımı uygulayıp anlaşabilir mi? Test edilmediyse henüz tanım değildir.
2. Şans düzeltmeli uyum, sınıf dağılımıyla birlikte bildirilmiş mi? Çarpık bir özellikte tek başına ham yüzde size hiçbir şey söylemez.
3. Hangi gözlem bu iddiayı yanlışlar? Hiçbiri yanlışlamıyorsa bu eleştiridir — ki sorun değil, ama bulgu değildir.
4. Yazarla bağı olmayan biri bunu yeniden üretti mi? Yayın hacmi tekrarlanabilirlik değildir; ayrı eksenlerdir ve insan bunları kendi lehine karıştırmaya yatkındır.
5. Betimleyici bir sonuç, nedensel ya da değerlendirici bir sonuç gibi mi bildiriliyor? Kayma genellikle özetin son cümlesinde olur.

8. Neden yine de uğraşmalı

Bu sicile bakınca akla gelen soru şu: insan neden uğraşsın?

Çünkü alternatif alçakgönüllülük değil, iyi düzyazıyla yazılmış yanlışlanamazlık. Yanlış olamayan bir eleştiri bilgi biriktirmez; pozisyon biriktirir. Ampirik kısıt tam da sizden bir şey alabildiği için rahatsız edicidir — ve hiçbir şeyin alınamadığı bir alan, hiçbir şeyin kurulamadığı bir alandır.

Ve arada bir, hiçbir sezgi miktarının veremeyeceği bir şey verir: 1917'de yavaşlayan algı hakkında öne sürülmüş bir iddianın, 1990'larda bir kronometre ve bir kısa öyküyle doğrulanması. Bu, maliyeti olan disipline değer.

Kaynaklar

Geleneğin temel çalışmaları

• Propp, V. (1928). Morphology of the Folktale.
• Richards, I. A. (1929). Practical Criticism: A Study of Literary Judgment.
• Mosteller, F. & Wallace, D. L. (1964). Inference and Disputed Authorship: The Federalist. Addison-Wesley.
• Miall, D. S. & Kuiken, D. (1994). Foregrounding, defamiliarization, and affect: Response to literary stories. Poetics, 22, 389–407.
• Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37–46.
• Byrt, T., Bishop, J. & Carlin, J. B. (1993). Bias, prevalence and kappa. Journal of Clinical Epidemiology, 46(5), 423–429.
• Artstein, R. & Poesio, M. (2008). Inter-coder agreement for computational linguistics. Computational Linguistics, 34(4), 555–596.

Bu projeden

• Dil modeli ve kural tabanlı etiketlemede değerlendiriciler arası güvenilirlik — beşinci bölümdeki üç çalışma
• Edebiyatın Fiziği gerçekten fizik mi? — aynı üç yükümlülüğün kendi çerçeveme uygulanması
• The Scope Map — bu çerçevenin iddia etmedikleri
• Objective Projection Convergence Test v2.0 — ön kayıtlı protokol, henüz koşulmadı

Sık sorulan sorular

Bilimsel edebiyat eleştirisi nedir?

Edebiyatı yalnızca yorumla değil, ampirik yöntemlerle — korpus çözümlemesi, okur deneyleri, istatistiksel modelleme — inceleyen yaklaşımlar için bir şemsiye terim. Metin özellikleri üzerine betimleyici çalışmayı, okur tepkisi üzerine nedensel çalışmayı ve korpus ölçeğinde hesaplamalı çözümlemeyi kapsar. Edebî değerin ampirik yargısını kapsamaz ve bunda hiçbir zaman başarılı olmamıştır.

Edebî nitelik ölçülebilir mi?

Hiçbir yöntem bunu yapmadı ve bu hedef genellikle bir kategori hatası sayılır. Ölçülebilen şeyler, metinlerin biçimsel özellikleri ve okurlardaki ölçülebilir etkilerdir. Nitelik yargısı olarak sunulan bir puan, genellikle başka bir şeyi ölçmüş ve adını değiştirmiştir.

Stilometri nedir?

Yazı üslubunun istatistiksel incelemesi; en başarılı uygulaması yazar atfıdır. Klasik vakası, tartışmalı Federalist yazılarının 1964'te yaygın işlev sözcüklerinin frekanslarıyla çözümlenip Madison'a atfedilmesidir. İyi işlemesinin sebebi, yazarlık sorularının doğru ya da yanlış olunabilecek bir gerçeğe sahip olmasıdır.

Öne çıkarma nedir ve doğrulandı mı?

Öne çıkarma (foregrounding), sıradan kullanımdan sapan ve dikkati metnin kendisine çeken biçimsel özellikleri anlatır; Rus Biçimciliği ve Prag Okulu'ndan gelen bir kavramdır. Miall ve Kuiken'in 1994'teki dört çalışması, okurların daha yoğun öne çıkarılmış bölümlerde daha uzun süre geçirdiğini ve bu bölümleri daha çarpıcı ve daha etkileyici bulduğunu, üstelik edebiyat eğitiminden bağımsız olarak, ortaya koydu.

Değerlendiriciler arası güvenilirlik neden bu kadar önemli?

Çünkü edebiyat hakkındaki ampirik iddiaların çoğu, önce hangi pasajların o özelliği taşıdığını belirlemeyi gerektirir. Bağımsız değerlendiriciler bunda anlaşamıyorsa, sonraki her istatistik bu anlaşmazlığı devralır. Şans düzeltmeli uyum, sınıf dağılımıyla birlikte bildirilmelidir; çünkü bir özellik nadir ya da neredeyse evrenselken ham yüzde uyumu şişer.

Uzaktan okuma bilimsel mi?

Ölçümleri yeniden üretilebilir; bu gerçek bir güç. Modelin bir araya getirdiği şeyden tür, dönem ya da etki hakkındaki bir iddiaya geçen yorum adımı ise hesaplamanın sağlamadığı ayrı bir argümandır. Çıktıyı kendi kendini yorumlar saymak, bu alandaki en yaygın hatadır.

Levent Bulut — Bağımsız araştırmacı. ORCID 0009-0007-7500-2261.