Satya Nadella: Yapay Zeka Modellerine "İçeriden Gelebilecek Risk" Gibi Davranılmalı

Microsoft CEO'su Satya Nadella, X'te yayınladığı "Süper Zeka Çağında İçeriden Risk Olarak Modeller" başlıklı yazısında, şirketlerin yapay zekaya bakışını değiştirmesi gerektiğini savundu. Temel fikri şu: zekanın kendisini sağlamak ile onun üzerindeki yetkiyi birbirinden ayırmak.

Kısaca

• Sorun: Nadella'ya göre geleneksel yazılımda bir davranışı belirli bir kod satırına kadar izleyebiliyorduk; bugünün modellerinde bunu yapamıyoruz. Buna rağmen bu modellere en hassas verilerimize erişim ve bizim adımıza kritik işler yapma yetkisi veriyoruz. Model sağlayıcısının verdiği güvenceler, sorumluluğu şirketin üzerinden kaldırmıyor.
• Önerdiği yaklaşım: Kapalı ya da açık ağırlıklı fark etmeksizin modellere "içeriden risk" gibi davranmak. Bunun nedeni kötü niyetli olmaları değil; önemli sistemlere erişimi olan yetenekli her aktörün hata yapabilmesi ya da ele geçirilebilmesi. Şirketlerin güçlü çalışanlar için zaten uyguladığı kimlik tanımlama, yetkiyi sınırlama, kayıt tutma ve sınır koyma ilkeleri modellere de uygulanmalı.
• Kontrol modelin dışında: Modelin neye erişebileceğini ve ne yapabileceğini belirleyen kontroller modelin içinde değil, dışında durmalı. Nadella, bir modeli başka bir modelle denetlemenin yararlı ama tek başına yetersiz olduğunu, bunun "iç içe kara kutular" yaratabileceğini söylüyor.
• Yedi ilke: Tek bir modele bağımlı kalmamak; her önemli model eylemini değiştirilemez ve insanın okuyabileceği bir kayıtla izlemek; yalnızca başarılı işleri değil hataları ve saldırıları da sürekli test etmek; erişim ve yetkiyi bağımsız kontrol etmek; denetimi denetlenen modelden bağımsız tutmak; yetkili bir insanın modeli iş ortasında durdurabilmesini sağlamak; bir şey ters gittiğinde etkilenenlere zamanında bilgi vermek.

Bizim yorumumuz

Yazının son cümlesi her şeyi özetliyor: en güvenilir yapay zeka sistemi, en çok güvendiğimiz modele sahip olan değil, modele en az güvenmemizi gerektiren sistem olacak. Bu, büyük şirketler kadar küçük işletmeler için de geçerli. Gelen kutuna, müşteri listene ya da ödeme hesabına erişen bir AI ajanı kullanıyorsan, Nadella'nın ilkelerinden küçük bir işletmeye uyarlanabilecek birkaç somut alışkanlık çıkıyor. Ajana yalnız işi için gerekli erişimi ver. Yaptıklarının kaydını tut ve ara ara kendin oku. Önemli bir sonucu aynı modele kontrol ettirme. Her zaman durdurabileceğin bir yol bırak. Bunu daha önce, ajanların kendi başına çalışmasının önce düşük riskli işlerle sınanması gerektiğini anlattığımız Grok Bot yazısında da vurgulamıştık. Bir not: Microsoft bu alanda kurumsal güvenlik ve ajan yönetimi ürünleri satıyor; yazı aynı zamanda şirketin kendi konumunu da yansıtıyor. Ama önerdiği ilkeler, kimin ürününü kullanırsan kullan, sağduyulu ilkeler.

Kaynak: Satya Nadella, X