Kolumbiya Yüksek Mahkemesi, bir temyiz başvurusunu reddederken yapay zeka tespit aracı kullanmış, ancak bu kararın kendisi de aynı araç tarafından analiz edildiğinde %93 oranında yapay zeka çıktısı olarak işaretlenmiştir. Bu durum, hukuk sistemlerinde yapay zeka dedektörlerinin güvenilirliği konusunda ciddi bir çelişkiyi ve metodolojik bir kırılganlığı ortaya koymaktadır. Olay, finansal piyasalar üzerindeki belirsizlik algısını artırmakla kalmamış, teknolojik araçların yargısal süreçlerdeki rolüne dair küresel bir tartışmayı da tetiklemiştir.
Mahkeme, Winston AI adlı bir yazılımı kullanarak sunulan dilekçeyi analiz etmiş ve belgede sadece %7 insan içeriği tespit etmiştir. Bu bulguya dayanarak, dilekçenin usulüne uygun bir başvuru olarak kabul edilemeyeceğine ve reddedilmesi gerektiğine karar vermiştir. Ancak, avukat Emmanuel Alessio Velasquez, mahkemenin kendi karar metnini (Auto AP760/2026) aynı Winston AI aracına girdirdiğinde çarpıcı bir sonuçla karşılaşmıştır. Mahkemenin kendi yazdığı karar metni, %93 oranında yapay zeka tarafından oluşturulmuş olarak tespit edilmiştir.
Bu çelişki, yapay zeka dedektörlerinin metodolojik zayıflığını gözler önüne sermektedir. Aynı araçla yapılan farklı testler, sonuçların ne kadar değişken olabileceğini göstermektedir. GPTZero adlı başka bir dedektör, mahkeme kararının sadece açılış cümlelerini taradığında %100 yapay zeka sonucunu verirken, metnin tamamını ve gerçeklik bağlamını içerecek şekilde taradığında ise %100 insan yazımı sonucuna ulaşmıştır. Bu durum, dedektörlerin metnin uzunluğuna ve içeriğinin bağlamına göre nasıl farklı tepkiler verebileceğinin somut bir kanıtıdır.
Yapay zeka dedektörlerinin hatalı sonuç verme oranları, yalnızca Kolumbiya'da değil, dünya genelinde sıkça raporlanmaktadır. Kolumbiya'daki avukatlar, benzer testler yaparak bu araçların ne kadar inandırıcı olmadığına dair kanıtlar sunmuşlardır. Avukat Andres F. Arango G, 2019 yılında, büyük dil modelleri henüz yaygınlaşmadan önce sunulan bir dilekçeyi test etmiş ve araç bu metni %95 yapay zeka çıktısı olarak işaretlemiştir. Benzer şekilde, avukat Nicolas Buelvas'ın 2020 yılında hazırladığı lisans tezi de %100 yapay zeka olarak sınıflandırılmıştır. Bu örnekler, dedektörlerin tarihsel bağlamı veya metnin gerçek yazarını dikkate almadığını, sadece istatistiksel desenlere odaklandığını göstermektedir.
Bu tür hatalı tespitlerin yaygınlığı, eğitim ve hukuk sistemlerinde de büyük sorunlara yol açmıştır. 2023 yılında yayınlanan bir çalışmada, ana dili İngilizce olmayan öğrencilerin TOEFL deneme sınavı denemelerinin %61'inden fazlasının yanlışlıkla yapay zeka ile yazılmış olarak işaretlendiği tespit edilmiştir. Turnitin gibi yaygın kullanılan bir dedektör, 2023 yılında yapay zeka içeriği %20'nin altında olduğunda yanlış pozitif oranlarının arttığını kabul etmiştir. Vanderbilt Üniversitesi, yıllık 3.000 yanlış pozitif tahmini nedeniyle 2023 yılında bu özelliği devre dışı bırakmıştır. Arizona Üniversitesi ise bir öğrencinin yanlış bir tespit nedeniyle notundan %20 kaybetmesi üzerine yapay zeka dedektörü özelliklerini kaldırmıştır. Kaliforniya Davis Üniversitesi'nde 2024 yılında yapılan bir olayda, 17 dilbilim öğrencisi yanlışlıkla yapay zeka kullanımıyla suçlanmış ve bunların 15'i ana dili İngilizce olmayan öğrencilerdir.
Yatırımcılar ve teknoloji meraklıları için bu gelişmenin anlamı nettir: Yapay zeka dedektörleri, şu anki haliyle, bir metnin gerçekten insan tarafından mı yoksa makine tarafından mı üretildiğini kesin olarak belirleyememektedir. Bu araçlar, cümle uzunlukları, kelime tahmin edilebilirliği ve metnin 'patlamalı' yapısı gibi istatistiksel desenleri ölçer. Ancak, bu desenler insan yazarlar tarafından da kolayca üretilebilir. Kolumbiya Yüksek Mahkemesi'nin kendi kararını yapay zeka ile yazdığı iddiası, bu teknolojinin sınırlarını ve yargısal süreçlerdeki kullanımının risklerini bir kez daha hatırlatmaktadır. Gelecekte, bu tür araçların güvenilirliği artana kadar, yargı kararlarının dayandığı kanıtların bu tür araçlara değil, daha kapsamlı ve doğrulanabilir yöntemlere dayanması gerektiği açıktır.
İlk yayın: Decrypt | Analiz ve yorum: Rumour Team Türkiye