Dil modellerinde ‘görünmez’ ırkçılık

• Yeni bir Nature çalışması, şimdiye dek çoğunlukla ‘açık’ örneklerle tartışılan ırkçılık meselesine farklı bir yerden bakıyor: Örtük ırkçılık.

Çeviri: Yeni Özgür Politika

Yapay zeka destekli dil modelleri artık hayatın her yerinde: Yazı yazdırıyoruz, sorular soruyoruz, metin özetletiyoruz. Üstelik kullanım alanı yalnızca günlük işler değil; işe alım süreçlerinden hukuki değerlendirmelere kadar ‘yüksek riskli’ alanlarda da bu sistemlere giderek daha fazla rol veriliyor. Tam da bu yüzden, dil modellerinin toplumsal önyargıları nasıl taşıdığı sorusu kritik hale geliyor.

Yeni bir Nature çalışması, şimdiye dek çoğunlukla ‘açık’ örneklerle tartışılan ırkçılık meselesine farklı bir yerden bakıyor: Örtük ırkçılık. Yani ırkın adı anılmadan, ‘renk körü’ bir dille, fakat sonuçları bakımından ayrımcılığı sürdüren tutumlar… Araştırmacılara göre dil modelleri, bu örtük ırkçılığı lehçe önyargısı biçiminde yeniden üretiyor.

Irk söylenmiyor, ama sistem ‘anlıyor’

Çalışmanın merkezinde Afrikalı Amerikan İngilizcesi (AAE) var. Bu lehçe, ABD’de siyah topluluklarla ilişkilendirilen belirgin dil özellikleri taşıyor. Araştırmacılar tam da buradan hareketle, modellerin ırk bilgisi verilmeden nasıl karar verdiğini ölçüyor: Aynı anlamı taşıyan iki cümle düşünün—biri AAE biçiminde, diğeri standartlaştırılmış Amerikan İngilizcesi (SAE) biçiminde. Irk hiç yazmıyor, hiç söylenmiyor. Sadece dilin ‘tonu’ ve yapısı değişiyor. Ve sonuç: Dil modelleri, AAE konuşurlarını daha olumsuz özelliklerle ilişkilendirmeye daha yatkın. Üstelik bu olumsuzluk, insanlarda deneysel olarak kaydedilmiş bazı en sert stereotiplerle yarışacak düzeyde.

‘Yüzeyde’ daha kibar, ‘derinde’ daha sert

Araştırmanın en çarpıcı bulgularından biri şu: Dil modelleri, Afrikalı Amerikalılar hakkında açıkça sorulduğunda daha ‘olumlu’ bir tablo çizebiliyor. Ancak aynı modeller, ırkı anmadan, yalnızca lehçe üzerinden değerlendirme yaptığında daha negatif bir kalıp yargı üretmeye geçiyor.

Yani sistem, ‘ırkçılıktan arınmış’ görünebiliyor; ama karar mekanizmasının derininde, lehçe üzerinden işleyen bir ayrımcılık var. Çalışma bunu, ‘açık’ ve ‘örtük’ stereotipler arasındaki belirgin bir kopuş olarak tarif ediyor.

İş, mahkeme, ceza: Risk büyüyor

Lehçe önyargısı yalnızca ‘temsili’ bir sorun değil; karar çıktılarında da etkili. Araştırmacılar, dil modellerine iş eşleştirme gibi senaryolar verildiğinde, AAE konuşurlarına daha düşük prestijli işler önerildiğini gösteriyor. Yine kurgusal adli senaryolarda, yalnızca AAE ile verilen bir beyanın, SAE’ye kıyasla daha fazla mahkûmiyet ve daha sık ölüm cezası tercihi ile ilişkilendiği raporlanıyor.

Buradaki kritik nokta şu: Modellerin önüne konuşanın ırkı koyulmuyor. Ama lehçe, kararları kaydırmaya yetiyor.

‘Önyargı azaltma’ çözümleri, sorunu gizleyebilir

Araştırma, mevcut ‘önyargı azaltma’ pratiklerini de mercek altına alıyor. Model ölçeğini büyütmek (daha büyük, daha güçlü modeller) AAE’yi işleme becerisini artırıyor; ancak bu, önyargıyı azaltmıyor. Bazı sonuçlara göre büyük modeller örtük önyargıyı daha güçlü taşıyabiliyor.

Daha da önemlisi: İnsan geri bildirimiyle hizalama (HF) gibi yöntemler, modellerin ‘açık’ ırkçı ifadelerini törpüleyebiliyor. Fakat bu, lehçe üzerinden işleyen daha örtük ayrımcılığı ortadan kaldırmıyor; hatta yüzeyde sorunsuz görünen ama derinde önyargılı bir sistem üretebiliyor.

Asıl tehlike: “Sorun çözüldü” sanmak

Çalışma, tam da burada uyarıyor: Eğer yalnızca açık ırkçılık test edilir, yalnızca ‘doğrudan ırk sözcükleri’ üzerinden denetim yapılırsa, lehçe üzerinden yürüyen örtük ayrımcılık gözden kaçabilir. Bu da iki riski büyütür:

1. Modellerin örtük önyargısı fark edilmeden artabilir.

2. “Açık önyargı azaldı” diye, ırkçılığın çözüldüğü zannedilebilir.

Oysa lehçe üzerinden işleyen bu mekanizma, özellikle işe alım, hukuk ve kamu hizmetleri gibi alanlarda, gerçek hayatta yeni eşitsizlik kapıları açabilir.

Dil modelleri ‘kibar’ konuşmayı öğrenmiş olabilir. Fakat bu, adil karar verdikleri anlamına gelmiyor. Irkın adı geçmeden de ayrımcılık üretilebiliyorsa, mesele yalnızca kelimeler değil; sistemin karar mantığıdır. Araştırmanın çağrısı açık: Dil teknolojisini ‘güvenli’ ve ‘adil’ kullanmak istiyorsak, örtük önyargıları görünür kılan testlere, şeffaflığa ve gerçek hayattaki kullanım senaryolarını hesaba katan denetimlere ihtiyaç var.

*Valentin Hofmann, Pratyusha Ria Kalluri, Dan Jurafsky ve Sharese King’in araştırması

* Nature’de yayınlanan araştırmanın İngilizcesi çevrilerek kısaltıldı.

Kaynak: https://www.nature.com