Bir yapay zekâ modelinin yeterince iyi olduğuna kim karar verir?
Bir yapay zekâ modelini birkaç örnekle deneyip iyi göründüğüne karar vermek kolaydır. Bir Chevrolet bayisinin, Air Canada'nın ve DPD'nin sohbet botları ile Google'ın grip tahmin modeli, canlıya alındıktan sonra kimsenin önceden test etmediği durumlarda hata yaptı. "Yeterince iyi"nin ne anlama geldiğine karar vermek bir iş kararıdır ve sonuçlar gelmeden önce verilmelidir.
Klasik yazılım projelerinde kabul kriterleri geliştirme başlamadan yazılır. Ortaya çıkan ürün bu kriterlere göre ya kabul edilir ya da reddedilir. Böylece “bitti” kelimesinin ne anlama geldiği herkes için baştan bellidir. Yapay zekâ projeleri ise nadiren böyle yürür. Model geliştirilir, birisi onu birkaç örnekle dener, cevaplar makul görünür ve “iyi görünüyor” cümlesi fark edilmeden canlıya geçiş kararına dönüşür.
Bu alışkanlığın riski basit bir nedenden kaynaklanır. Yapay zekâ modelleri, klasik yazılımın hata yaptığı biçimde hata yapmaz. Soruların çoğuna iyi, bir kısmına kötü cevap verebilir, bir güncellemeden sonra farklı davranabilir ya da veriler ve kullanıcı davranışları değiştikçe zamanla daha az isabetli hale gelebilir. Birkaç deneme bunların hiçbirini ortaya çıkarmaz. Bunu ancak önceden üzerinde uzlaşılmış bir değerlendirme gösterebilir. Böyle bir değerlendirme test vakalarından, önemli olan ölçütlerden ve modelin ulaşması gereken eşikten oluşur. Bu değerlendirmeye neyin gireceğine karar vermek ise yalnızca teknik değil, aynı zamanda bir yönetim meselesidir.
Kimsenin test etmediği hatalar
Son yılların en bilinen yapay zekâ hataları, çoğu zaman modelin kendisinden kaynaklanmadı. Her biri, sistem canlıya alınmadan önce kimsenin sormadığı bir soruyu gün yüzüne çıkardı.
Görev tanımının dışındaki talepler. Aralık 2023’te kullanıcılar, Kaliforniya’daki Chevrolet of Watsonville bayisinin web sitesindeki ChatGPT tabanlı satış asistanının kendisinden istenen neredeyse her şeyi yaptığını fark etti. Asistan Python kodu yazdı, rakip markanın kamyonetini önerdi ve bir kullanıcı ondan her söylenene katılmasını istedikten sonra, 2024 model bir Chevy Tahoe’yu bir dolara satma teklifini “yasal olarak bağlayıcı bir teklif” diyerek kabul etti.1 Sistemi sağlayan firma yaşananları şaka olarak nitelendirdi ve botun yetkilerini kısıtladı. Test edilmemiş olan, asistanın neyi reddetmesi gerektiğiydi.

Bayinin sohbet botunu ünlü yapan paylaşım. Chris Bakke, X, 18 Aralık 2023.
Şirketin kendi kurallarıyla çelişen cevaplar. Jake Moffatt, Air Canada’nın web sitesindeki sohbet botuna, yakınını kaybeden yolculara uygulanan indirimli biletleri sorduğunda bot, tam fiyatlı bilet alıp indirimi 90 gün içinde talep edebileceğini söyledi. Havayolunun gerçek politikası buna izin vermiyordu. Air Canada, Britanya Kolumbiyası’ndaki uyuşmazlık kurulu önünde sohbet botunun kendi eylemlerinden sorumlu ayrı bir tüzel kişilik olduğunu savundu. Kurul bu savunmayı “dikkat çekici” bularak reddetti ve Şubat 2024’te havayolunu aradaki farkı ödemeye mahkûm etti.2 Eksik olan test, botun cevaplarının şirketin kendi politikalarıyla uyuşup uyuşmadığıydı.

The Register, 15 Şubat 2024.
Güncellemeden sonra değişen davranış. Ocak 2024’te İngiliz kargo şirketi DPD’nin bir müşterisi sohbet botundan yardım istedi, alamadı ve ardından botu küfretmeye, DPD’nin ne kadar işe yaramaz olduğunu anlatan bir şiir yazmaya ikna etti. Paylaşımı kısa sürede geniş kitlelere yayıldı. DPD, hatanın bir sistem güncellemesinden sonra ortaya çıktığını ve yapay zekâ bileşenini hemen devre dışı bıraktığını açıkladı.3 Güncellemeden önce kabul edilebilir davranan sistem, güncellemeden sonra yeniden test edilmemişti.

Ashley Beauchamp, X, 18 Ocak 2024. DPD, paylaşım yayıldıktan sonra sohbetindeki yapay zekâ bileşenini devre dışı bıraktı.
Değişen dünya. Sorun yalnızca üretken yapay zekâya özgü değil. Google Flu Trends, grip yaygınlığını arama sorgularından tahmin ediyordu ve bir dönem büyük verinin halk sağlığında kullanımına örnek gösteriliyordu. Şubat 2013’te, grip benzeri hastalıklar nedeniyle yapılan doktor başvurularının oranını ABD Hastalık Kontrol ve Önleme Merkezleri’nin (CDC) bildirdiğinin iki katından fazla tahmin etti.4 Araştırmacılar daha sonra arama alışkanlıklarındaki ve Google’ın kendi arama motorundaki değişikliklere, ayrıca tahminlerin gerçek verilerle sorunu zamanında fark edecek sıklıkta karşılaştırılmamasına dikkat çekti.

Nature, 13 Şubat 2013.
Yeterince iyiyi tanımlayan üç karar
Bu örneklerin hepsi aynı üç karara işaret ediyor. Bu kararların model geliştirilmeden önce verilmesi gerekir.
| Parça | Cevap verdiği soru | Kim karar vermeli |
|---|---|---|
| Test seti | Model, zor ve kötü niyetli olanlar dahil hangi vakalarla başa çıkabilmeli? | İşi bilen uzmanlar ve teknik ekip birlikte |
| Ölçütler | Hangi hatalar önemli, hangileri kabul edilemez? | İşin sahibi |
| Eşik | Canlıya geçmek için hangi sonuç yeterince iyi? | İşin sahibi, sonuçlar gelmeden önce |
Test setini otomatik bir kontrole dönüştürüp çalıştırmak teknik ekibin işidir. Bu sete neyin gireceğine ve neyin başarılı sayılacağına ise işin sahibi karar verir. Çünkü beceriksiz bir cevapla maliyetli bir cevap arasındaki farkı en iyi o bilir. Biraz resmi konuşan bir sohbet botu küçük bir sorundur. İade politikası uyduran bir sohbet botu ise hukuki bir sorundur.
Morgan Stanley bunun iyi yapıldığında nasıl göründüğünü gösteriyor. Firma, finansal danışmanlarına sunduğu yapay zekâ asistanını yaygınlaştırmadan önce, modelin ürettiği özetleri danışmanlara ve mühendislere doğruluk ve tutarlılık açısından puanlattı. Örnek sorularla her gün tekrarlanan regresyon testleriyle de zayıf noktaları müşteriye ulaşmadan yakaladı.5 Cevaplara güvenecek olan kişiler, iyi bir cevabın ne olduğuna karar verilmesinde de söz sahibiydi.
Değerlendirme canlıya geçişle bitmez
DPD’nin sohbet botu da Google Flu Trends de bir süre sorunsuz çalıştıktan sonra hata yaptı. Bu nedenle aynı test seti her güncellemeden sonra ve sistem canlıya alındıktan sonra da düzenli aralıklarla yeniden çalıştırılmalı, sonuçlar gerçekte olanlarla karşılaştırılmalıdır. Böylece değerlendirme, canlı ortamdaki sürekli performans takibinin de temeli haline gelir. Daha önceki bir yazımızda ele aldığımız gibi, bu takip PoC aşamasında hiç gerekmeyen ama canlı ortamda vazgeçilmez olan işlerden biridir.
Ele aldığımız aşama-kapı modelinde değerlendirme, hem fizibilite kapısında hem de ölçeklendirmeden önce aranan kanıttır. Üst yöneticiler onu dört soruyla sınayabilir. Test vakalarını kim yazdı ve bu vakalar işin en çok çekindiği durumları kapsıyor mu? Hangi hatalar kabul edilemez ve buna kim karar verdi? Modelin ulaşması gereken sonuç ne ve bu eşik sonuçlar gelmeden önce mi belirlendi? Testler bir sonraki sefer ne zaman çalışacak? Bu sorulara cevap veremeyen bir yapay zekâ projesi, “yeterince iyi”nin ne anlama geldiğine henüz karar vermemiştir. O kararı sonunda bir müşteri ya da bir yargı mercii onun yerine verebilir.
Footnotes
-
Gizmodo, I’d Buy That for a Dollar: Chevy Dealership’s AI Chatbot Goes Rogue, Aralık 2023. Orijinal paylaşım: Chris Bakke, X, 18 Aralık 2023. ↩
-
Moffatt v. Air Canada, 2024 BCCRT 149, 14 Şubat 2024; The Register, Air Canada must pay damages after chatbot lies to grieving passenger about discount, 15 Şubat 2024. ↩
-
TIME, AI Chatbot Curses at Customer and Criticizes Company, Ocak 2024. Orijinal paylaşım: Ashley Beauchamp, X, 18 Ocak 2024. ↩
-
D. Lazer, R. Kennedy, G. King ve A. Vespignani, The Parable of Google Flu: Traps in Big Data Analysis, Science 343, 14 Mart 2014; D. Butler, When Google got flu wrong, Nature, 13 Şubat 2013. ↩
-
OpenAI, Morgan Stanley uses AI evals to shape the future of financial services. ↩