Ön yargı otomasyonu

İngiltere’de bu yıl Kovid-19 nedeni ile üniversiteye giriş için gereken A-Seviyesi sınavları yapılamadığı için İngiltere’nin sınavlardan sorumlu birimi Ofqual, öğrencilerin A-Seviyesi sınav sonuçlarını bir algoritma ile belirlemeye karar verdi. Algoritma her bir öğrencinin sınav sonucunu belirlemek için girdi olarak öğrencinin okulunun son üç yıldaki derecelendirmelerini, öğrencinin öğretmeni tarafından tahmin edilen sınav sonucunu ve öğrencinin önceki sınav sonuçlarını kullanıyordu. Hesaplar bitip de sonuçlar açıklandığında öğrencilerin yüzde 40’a yakını beklediklerinden daha düşük notlar ile karşılaştılar. Uzmanların Ofqual’ın açıkladığı verileri incelediğinde algoritmanın pek çok sıkıntısı da ortaya çıktı. Bu sıkıntılardan en çarpıcı olanı algoritmanın özel okullardaki öğrencilerin notlarını yükseltme olasılığının devlet okullarındakine kıyasla çok daha fazla olmasıydı . Notları düşürülen öğrencilerin yaptıkları eylemler ve veriyi analiz eden uzmanların açıklamaları sayesinde hükümet geri adım attı ve sınav sonucu olarak öğretmenlerin tahmin ettiği notların kullanılacağını açıkladı.

Gerek kamuda gerekse de özel sektörde basit ya da karmaşık karar verme mekanizmaları için algoritmaların, makine öğrenmesinin ve yapay zekanın kullanımı her geçen gün artıyor. Bu karar verme mekanizmalarının otomasyonu ise yazının başında aktardığım A-Seviyesi sınavları örneğinde olduğu gibi kaynağı insan olan çeşitli ön yargıların bu yeni dijital karar verme mekanizmalarına da aktarılması riskini taşıyor. Nasıl mı? Algoritmalar -şimdilik- insanlar tarafından geliştiriliyor. Yani geliştiricinin farkında olduğu ya da olmadığı kendi ön yargılarını algoritmaya yansıtma olasılığı ciddi bir olasılık. Makine öğrenmesine dayanan modeller ise insanlar tarafından oluşturulmuş, dolayısıyla da yine ön yargılı olma olasılığı yüksek veri kümeleri ile eğitiliyor. Bu veri kümeleri ile eğitilen modellerin vardığı sonuçların ise veri kümesine içkin ön yargıyı taşımama olasılığı yok. Ancak algoritmalara içkin bu ön yargılar çoğunlukla yeterince önemsenmiyor. Karar verme süreçlerinin otomasyonunun iş yükünü azaltması en uyduruk algoritmaların dahi pek de incelenmeden kullanılmasına yol açıyor.

Çocuğu orta okula yeni başlayan Akademisyen Dana Simmons’ın aktardıkları halihazırda kullanılan algoritmaların ne kadar saçma olabileceğini de gösteriyor. Simmons’ın çocuğunun okulundaki ödevler Edgenuity adında bir şirketin algoritması ile değerlendirilip not veriliyor. Çocuğunun ilk ödev notu 100 üzerinden 50. Simmons bu duruma üzülüp çocuğuna algoritma ile ilgili tüyo veriyor: uzun cümleler, bolca özel ad kullanımı… Çocuğunun ikinci ödev notu bir anda 80’e çıkıyor. Ancak hikaye burada bitmiyor. Çocuk biraz daha kurcalayarak algoritmayı çözüyor ve tüm ödev notlarını 100’e çıkartıyor. Nasıl mı? Her yanıtta iki düzgün cümle ardından soru ile ilgili akla gelen ne kadar anahtar kelime varsa hepsini içeren uzunca bir laf salatası ile. Eğitimde ölçme ve değerlendirme algoritmalarının kullanılmasının oluşturduğu riskler ortada ancak bütün bu riskler iş yükünün algoritmalara havale edilmesine engel olamıyor.

Algoritmaların oluşturduğu risklerin eğitimden daha tehlikeli olduğu alanlar da var. Suçu, daha gerçekleşmeden engelleme ve cezalandırmayı bilim kurgu okur ve izleyicileri Philip K. Dick’in 1956 tarihli “Azınlık Raporu” hikayesinden ve bu hikayeden uyarlanan Spielberg’ün yönettiği aynı adı taşıyan filmden  hatırlayacaktır. Bu size uzak ve kurgusal bir gelecek gibi göründüyse yanılıyorsunuz. Tampa Bay Times, Pasco County/Florida polisi yıllardır bir algoritma ile belirledikleri “Suç işleme potansiyeli taşıyan” kişileri taciz ettiğini ortaya çıkarttı.CitizenLab’ın birkaç gün önce yayımladığı rapora göre ise Kanada çapında çok sayıda polis departmanı konum ya da kişi bazlı algoritmaları ve algoritmik gözetim teknolojilerini kullanıyor. Henüz kanıtlarıyla ortaya çıkmamış olsa da pek çok ülkede güvenlik birimlerince benzer sistemlerin kullanıldığını tahmin etmek güç değil. Suç ve suç işleme potansiyeline dair ön yargıların bu kullanılan algoritmalara içkin olmama olasılığı ise neredeyse sıfır. Sınıf, zenginlik/yoksulluk, şehir/semt, ten rengi vb. parametreler açısından bu ön yargı otomasyonunun ne gibi sonuçlar doğuracağını öngörmek için kahin olmaya gerek yok.