Apoje
← Son Görüşler
Apoje

Çalışan bir PoC, yatırım için yeterli gerekçe değildir

Hazır büyük modeller ve kodlama ajanları sayesinde etkileyici görünen bir yapay zekâ konsept doğrulaması (PoC) geliştirmek hiç olmadığı kadar kolaylaştı. Ancak aynı çözümü canlı ortama hazır hale getirmek çok daha zorlu bir iş. Çözümün doğru verilerle test edilmesi, ölçeklenebilir olması, şirketin diğer sistemleriyle entegre edilmesi ve performansının sürekli takip edilmesi gerekiyor. Bu adımların her biri ayrı bir maliyet getirir. Çalışan bir PoC yatırım tartışmasını başlatır, kararı vermez.

Yapay zekâ projeleri Ölçeklendirme İnovasyon yönetimi

Konsept doğrulama (PoC), bir yapay zekâ projesinin en ucuz aşamasıdır. Bir veri örneği, küçük bir ekip ve birkaç hafta çoğu zaman yeterlidir. Sonrası ise daha pahalıdır ve bunun tek nedeni hacmin büyümesi değildir. Canlıya geçiş, PoC’de hiç yapılmayan işleri beraberinde getirir. Veri akışları, ana sistemlerle entegrasyon, modelin performans takibi, yeniden eğitim, uzman kontrolü ve güvenlik önlemleri bunların başında gelir ve her birinin ayrı bir işletim maliyeti vardır.

Pek çok proje de bu geçişte takılıp kalıyor. IDC’nin Lenovo ile yürüttüğü araştırmaya göre şirketlerin başlattığı her 33 yapay zekâ PoC çalışmasından yalnızca 4’ü canlıya alınıyor.1 IDC bu tabloyu modellerin yetersizliğiyle açıklamıyor. Araştırmaya göre asıl sorun, kurumların veri, süreç ve BT altyapısı açısından yeterince hazır olmaması. Bu oranın kendiliğinden iyileşmesi de beklenmemeli, çünkü PoC geliştirmek giderek ucuzluyor. Hazır büyük modeller ve kodlama ajanları sayesinde küçük bir ekip, ikna edici bir yapay zekâ PoC’sini artık birkaç gün içinde ortaya çıkarabiliyor. Bu da canlıya geçişin gerektirdiği emeği küçümsemeyi kolaylaştırıyor.

PoC, sanıldığından daha dar bir soruya cevap verir

Bir PoC tek bir soruya cevap aramak için tasarlanır. Bu fikir işe yarayabilir mi? Özenle seçilmiş bir veri örneği, birkaç istekli kullanıcı, kontrollü bir ortam ve sorunları elle çözen bir ekip bu soru için doğru koşullardır. Canlıya geçişte ise başka sorular gündeme gelir. Sistem tüm verilerle, tüm kullanıcılar için ve her gün çalışabilecek mi? Yatırım hesabının kaldırabileceği bir maliyetle işletilebilecek mi? Performans düştüğünde bunu fark edecek biri olacak mı?

PoC’deCanlı ortamda
Seçilmiş bir veri örneğiyle çalışırUç durumlar ve zamanla değişen veriler dahil tüm verilerle çalışmalıdır
Birkaç kullanıcıya hizmet verirTam kapasitede ve kabul edilebilir yanıt sürelerinde çalışmalıdır
Diğer sistemlerden bağımsız çalışırAna sistemlere, yetkilendirme ve güvenlik altyapısına entegre olmalıdır
Hataları ekip elle düzeltirHatalar ve performans düşüşleri sürekli takiple yakalanmalı, düzeltmenin bir sorumlusu olmalıdır
Maliyeti düşüktür, çoğu zaman indirimli ya da ücretsiz kaynaklarla karşılanırİşletim maliyeti yatırım hesabında yer almalıdır
Onu geliştiren ekip tarafından kullanılırİşi bu sisteme göre değişen çalışanlar tarafından benimsenmelidir

Hazır modeller ve kodlama ajanları farkı görmeyi zorlaştırıyor

PoC geliştirmeyi ucuzlatan iki gelişme aynı anda yaşandı. Birincisi, GPT ve Claude gibi büyük ve genel amaçlı modeller. Birkaç iyi yazılmış talimatla (prompt) bu modellerden çoğu zaman ilk denemede kabul edilebilir sonuçlar alınabiliyor. Özel bir model eğitmeye ya da haftalarca veri hazırlamaya gerek kalmadan elde edilen bu sonuçlar, bir PoC için genellikle yeterince iyi görünüyor. Ancak aynı modelin binlerce farklı vakada tutarlı sonuç vermesi, uç durumlarda hata yapmaması ve tam kapasitede makul bir maliyetle çalışması ayrı bir mesele. Bunu ancak gerçek verilerle yapılan sistematik testler gösterebilir.

Üstelik aynı modeller canlı ortam için her zaman doğru tercih değildir. Dış bir servis üzerinden çağrılan büyük bir model, gerçek zamanlı çalışması gereken bir süreçte kabul edilemeyecek gecikmelere yol açabilir. Maliyeti her istekle birlikte artar. Şirket verisinin dış bir sağlayıcıya gönderilmesi de veri gizliliği ve tedarikçi bağımlılığı sorularını beraberinde getirir. Bu nedenle pek çok canlı sistem, belirli bir iş için eğitilmiş ya da uyarlanmış daha küçük bir modelle veya klasik makine öğrenmesiyle çalışır. Büyük modeller ise yalnızca gerçekten ihtiyaç duyulan vakalarda devreye girer. Gartner’a göre de rutin işleri küçük ve ucuz modellere, karmaşık işleri ise büyük modellere yönlendiren sistemler öne çıkacak.2 En büyük modelle kurulan bir PoC, işin yapılıp yapılamayacağını sınar. Aynı yöntemle ölçekte yapılıp yapılamayacağını ise sınamaz.

İkincisi, kodlama ajanları ve yapay zekâ destekli yazılım geliştirme. Bu araçlar sayesinde modelin etrafındaki arayüz ve bağlantılar da birkaç gün içinde kurulabiliyor. Google Cloud’un yaklaşık 5.000 teknoloji profesyoneliyle yaptığı DORA 2025 araştırmasında katılımcıların yüzde 90’ı işte yapay zekâ kullandığını söylüyor. Araştırmaya göre yapay zekâyı daha yoğun kullanan ekipler yazılımı daha hızlı teslim ediyor, ancak teslimatlarında daha fazla istikrarsızlık yaşıyor. Raporun ana mesajı da bu yönde. Yapay zekâ, ekiplerin güçlü yanlarını da zayıf yanlarını da büyütüyor.3

Yöneticiler için bunun anlamı açık. Çalışan bir PoC artık ucuz bir kanıt. Bir ekibin bir şey geliştirebildiğini gösteriyor, kurumun onu işletebileceğini değil. “Elimizde çalışan bir PoC var” cümlesi yatırım tartışmasını bitirmemeli, başlatmalı.

Model, sistemin küçük bir parçası

Google mühendisleri 2015’te yayımladıkları Hidden Technical Debt in Machine Learning Systems başlıklı makalede, gerçek bir makine öğrenmesi sisteminde model kodunun küçük bir yer tuttuğunu gösterdi. Modelin etrafındaki veri, yapılandırma, performans takip altyapısı ve modeli canlıda çalıştıran sistemler çok daha büyük ve karmaşıktı.4 Bu tespit üretken yapay zekâdan önce yapıldı ve bugün her türlü yapay zekâ sistemi için geçerliliğini koruyor. PoC ise çoğunlukla aşağıdaki şeklin ortasındaki küçük kutuyu, yani modeli sınar.

PoC sonrasında bir yapay zekâ sisteminin ihtiyaç duydukları

  • Veri toplama
  • Veri doğrulama
  • Veri akışları ve veri hazırlama
  • Ana sistemlerle entegrasyon
  • Model
  • Tam kapasitede çalıştırma
  • Model performansının takibi
  • Yeniden eğitim
  • Belirsiz vakalarda uzman kontrolü
  • Güvenlik, yetkilendirme ve mevzuata uyum
  • Yapılandırma ve sürüm yönetimi
  • Süreç ve rol değişiklikleri
Şekil 1. Canlı bir yapay zekâ sisteminde model, pek çok bileşenden yalnızca biridir. D. Sculley ve diğerlerinin Hidden Technical Debt in Machine Learning Systems (NeurIPS 2015) çalışmasından uyarlanıp genişletilmiştir.

Testte başarılı olup sahada zorlanan üç sistem

PoC ile canlı ortam arasındaki fark nadiren tek bir büyük hata olarak ortaya çıkar. Çoğu zaman üç noktadan birinde kendini gösterir.

Model yeni veriyle karşılaştığında. Epic’in sepsis tahmin modeli ABD hastanelerinde yaygın olarak kullanılıyordu. Michigan Medicine araştırmacıları modeli 38.455 hastane yatışı üzerinde bağımsız olarak test ettiğinde, sonuçlar geliştiricinin bildirdiği başarının belirgin biçimde gerisinde kaldı. Model, sepsis gelişen her üç hastadan ikisini gözden kaçırdı. Sağlık ekiplerinin tek bir gerçek vakayı bulabilmesi için sistemin uyardığı sekiz hastayı değerlendirmesi gerekiyordu.5

Sistem sahaya çıktığında. Google Health’in diyabetik retinopati tarama sistemi laboratuvarda yüzde 90’ın üzerinde doğruluğa ulaşmıştı. Tayland’daki 11 klinikte ise görüntülerin beşte birinden fazlası kalite yetersizliği nedeniyle reddedildi. Yavaş internet bağlantısı sonuçları geciktirdi, hemşireler ve hastalar aksaklıkları telafi etmek için geçici çözümler bulmak zorunda kaldı.6 Model isabetliydi, ancak sahadaki koşullar tasarlandığı koşullardan farklıydı.

Model ölçek ve parayla karşılaştığında. Zillow, ev fiyatı tahminlerini Zillow Offers aracılığıyla ev alıp satmak için kullanıyordu. Şirket Kasım 2021’de bu işi kapatacağını açıkladı. Ev alım satım biriminin o çeyrekteki zararı 421,6 milyon dolara ulaştı ve şirket çalışanlarının yaklaşık dörtte birini çıkardı. CEO Rich Barton, ev fiyatlarını tahmin etmedeki belirsizliğin öngördüklerinin çok ötesinde olduğunu söyledi.7 Bir fiyat tahmininde kabul edilebilir olan hata payı, şirket bu tahmine dayanarak yüksek hacimde ev satın almaya başladığında bilançoyu tehdit eden bir riske dönüştü.

İşletim maliyeti yatırım hesabına baştan dahil edilmeli

Canlı ortamdaki maliyetler PoC bütçesinden yalnızca büyüklük olarak değil, nitelik olarak da farklıdır. Gartner, üretken yapay zekâda birim token maliyetinin 2030’a kadar yüzde 90’dan fazla düşeceğini öngörüyor. Ancak ajan tabanlı görevler standart bir sohbet botuna göre 5 ila 30 kat daha fazla token tükettiği için toplam harcamanın artması bekleniyor.2 Gartner’a göre müşteri hizmetlerinde çözüm başına üretken yapay zekâ maliyeti 2030’a kadar 3 doları aşacak ve yurt dışından hizmet veren pek çok müşteri temsilcisinin maliyetini geride bırakacak.8 Klasik makine öğrenmesinin de kendine özgü işletim maliyetleri var. Veri akışları, yeniden eğitim, performans takibi ve modelin emin olamadığı vakaların uzmanlarca kontrol edilmesi bunların başında geliyor. Bu kalemlerin hiçbiri PoC bütçesinde görünmez.

Üst yöneticiler ve inovasyon liderleri için asıl değişiklik, daha önce ele aldığımız aşama-kapı modelinde PoC ile ölçeklendirme arasındaki kapıda yapılmalı. Onay vermeden önce dört soru sorulabilir. Model, çalışacağı ortamdan gelen ve daha önce görmediği verilerle test edildi mi? Modelin performansını kim takip edecek ve bir düşüş olduğunda ne yapılacak? Uzman kontrolü dahil, tam kapasitede tamamlanan iş başına maliyet ne? Model devreye girdiğinde hangi süreçler değişecek ve bu değişimin sahibi kim? Bu sorulara cevap veremeyen bir PoC, fikrin işe yarayabileceğini göstermiş olabilir. Ancak kurumun bu çözümü canlı ortamda işletebileceğini henüz göstermiş değildir.

Footnotes

  1. CIO.com, 88% of AI pilots fail to reach production, but that’s not all on IT. IDC ve Lenovo araştırmasını aktarıyor, 25 Mart 2025. ↩

  2. Gartner, Gartner Predicts That by 2030, Performing Inference on an LLM With 1 Trillion Parameters Will Cost GenAI Providers Over 90% Less Than in 2025, 25 Mart 2026. ↩ ↩2

  3. Google Cloud, Announcing the 2025 DORA Report, 23 Eylül 2025. ↩

  4. D. Sculley ve diğerleri, Hidden Technical Debt in Machine Learning Systems, NeurIPS 2015. ↩

  5. A. Wong ve diğerleri, External Validation of a Widely Implemented Proprietary Sepsis Prediction Model in Hospitalized Patients, JAMA Internal Medicine, 2021. ↩

  6. MIT Technology Review, Google’s medical AI was super accurate in a lab. Real life was a different story., 27 Nisan 2020. ↩

  7. CNBC, Zillow says it’s closing homebuying business, cutting 25% of workforce, 2 Kasım 2021. ↩

  8. Gartner, Gartner Predicts GenAI Cost Per Resolution for Customer Service Will Exceed Offshore Human Agent Costs by 2030, 26 Ocak 2026. ↩