Agent'a yetkiyi kademeli ver: sürekli güvenilirlikle kazanılan, bozulunca geri alınan izinler
Closing the AI agent trust gap with graduated autonomy · Dev Arora
Agent'lar müşteri verisini okuyor, kayıt açıyor, iade işliyor, hesap siliyor; ama çoğu ekip ikili bir seçimle yetiniyor: tam erişim ya da salt-okunur. Tam erişim riskli, çünkü agent'lar öngörülemez biçimde başarısız oluyor; salt-okunur ise değerin çoğunu kullanılmaz bırakıyor. Agent'ın yapabildiği ile ona emanet edilen arasındaki mesafeye yazı güven açığı (trust gap) diyor.
Önerilen desen kademeli özerklik: agent genişletilmiş izinleri sürekli güvenilirlikle kazanıyor, performans düşünce kaybediyor. Gerekçesi şu: klasik IAM “kim ne yapabilir?” sorusunu bir kez, kurulum anında cevaplar ve sorumlunun tutarlı davrandığını varsayar. LLM agent'ı bu varsayımı bozar: aynı agent pazartesi isabetli, salı günü bir prompt ya da model güncellemesinden sonra halüsinasyon üretebilir.
Çerçeve altı katmandan oluşuyor ve her biri tek bir tasarım kararı taşıyor. Puanlama: son 50 eylem üzerinden, beş boyutta 0-100 arası ağırlıklı skor; *güvenlik bağımsız bir taban, güçlü metriklerle ortalamada kaybolmaz*. Kademe sistemi: her agent T1'den başlar, *yavaş terfi eder, anında düşürülür*. Eylem öncesi: hızlı süreç-içi filtreler ikinci bir kontrolle desteklenir, tek başına güvenilmez. Uygulama: Cedar politikalarıyla, *varsayılan ret, agent'ın sürecinin dışında zorlanır*. Eylem sonrası: denetim kayıtları eylem öncesi durumu tutar, böylece geri dönüş mümkün olur. Teslim kapısı: *düşman testlerinde yetkisiz tek bir araç çağrısı sürümü bloke eder*. Güven durumu DynamoDB'de, teslimat kapısı CodePipeline'da.
Öne çıkanlar
- Yetkilendirme bir kerelik değil süreklidir: agent'ın güvenilirliği zamanla değişir, izinleri de değişmeli.
- Terfi yavaş, düşüş anında: asimetri, riski sınırlayan temel kural.
- Zorlama agent'ın kendi sürecinin dışında yapılmalı; agent kendi kısıtını kendi denetleyemez.
- Geri dönüşebilirlik için eylem öncesi durumu kaydetmek, “ne olduğunu” değil “nasıl geri alırım”ı cevaplar.
- Her katman yapılandırma: skorlama modeli, eşikler ve değerlendirme ölçütleri kod değil ayar.
Neden önemli?
“Agent'a erişim ver” kararı çoğu ekipte bir kez, sezgiyle verilir. Bu yazı o kararı ölçülebilir ve geri alınabilir hâle getiriyor. İnsan çalışanlara da böyle davranırız: yeni biri küçük yetkiyle başlar, güven kazandıkça genişler.
Sende karşılığı
Bunu Mobit'teki doküman arama asistanında bugün uygulayabilirsin. Asistanın yalnızca okuma yetkisiyle başlasın; bir şeyi silebilmesi, paylaşabilmesi ya da kayıt değiştirebilmesi ayrı, kapalı izinler olsun ve kontrolü modelin cevabına değil Spring Security katmanına koy (“deny by default”). Basit bir güven puanı için bile kullanıcının düzeltmelerini say: bir agent'ın son 50 yanıtının kaçı kullanıcı tarafından geri alındı? Bu tek sayı, yetkiyi genişletmeden önce sana somut bir eşik verir.
Sözlük
- graduated autonomy kademeli özerklik
- Agent'a verilen yetkinin kanıtlanmış güvenilirliğe göre kademe kademe artırılıp azaltıldığı yaklaşım.
- deny by default varsayılan ret
- Açıkça izin verilmeyen her eylemin engellendiği yetkilendirme ilkesi.
- decision provenance karar kaynağı izi
- Bir eylemin hangi sinyalden, hangi alternatifler değerlendirilerek ve hangi güvenle alındığının kaydı.
- Cedar Cedar politika dili
- AWS'in geliştirdiği, yetkilendirme kurallarını koddan ayrı yazmayı sağlayan politika dili.