Önce kanıtı kod toplasın, sonra model yorumlasın: Cloudflare’in multi-agent güvenlik hattı
Building an evidence-grounded agentic security operations harness on Cloudflare · Deanna Tran, Javier Castro
Güvenlik uyarıları nadiren tek tek gelir. Bir uyarı ortamda bir dalga yaratır ve bir analistin hangilerinin ilişkili olduğuna, ne anlama geldiklerine karar vermesi gerekir. Cloudflare, Managed Defense ekibi için bu işin büyük kısmını üstlenen multi-agent bir düzenek kurdu ve ilk denemenin neden başarısız olduğunu açıkça anlatıyor.
Tek agent neden başarısız oldu? İlk prototipte tüm soruşturma tek bir genel amaçlı agent’a verildi. Faydalı analiz üretti ama kanıtın desteklemediği iddialar da uydurdu. Telemetri, dedektör açıklamaları, politikalar ve tehdit istihbaratı tek bir prompta ezilince rolleri birbirine karıştı. Üç tekrar eden sorun: (1) Bağlam otoriteye dönüştü: bir tespit, saldırının gerçekleştiğinin kanıtı değil bir hipotezdir; geniş bir agent bu ayrımı bulandırır. (2) Kapsam kaydı: agent yanlış hesabı, zaman aralığını ya da kaynağı sorgulayabilir; bir prompta sınır olarak güvenemezsin. (3) Hata kayboldu: bir sorgu zaman aşımına uğrarsa sonuç ‘bakılmadı’ ile ‘bakıldı ve bulunamadı’yı ayırt etmeyebilir.
Önce keşif, sonra inference. Çözüm, kanıt toplamayı ve kapsam denetimini model analizinden önce uygulama koduna taşımak. Düzeneğin ön yarısında agent yok: deterministik kod, sürümlü API çağrılarıyla sabit bir keşif workflow çalıştırıp müşteri kimliğini, tespit geçmişini, trafik tabanını, uygulanan aksiyonun sonucunu ve ağ gözlemlerini topluyor. Bu sabit snapshot değerlendirmeyi de tekrarlanabilir yapıyor: agent’lar veriyi kendileri çekerse iki koşu girdileri değiştiği için farklı sonuç verebilir; aynı görüntü yeniden oynatılınca farklar yalnızca yorumdan gelir.
Gürültüyü erken ele. Uyarıların çoğu olay değil. Bilinen yüksek hacimli gürültü geldiği anda deterministik olarak pasif sınıflanıyor. Geri kalan için hafif bir triage modeli (Cloudflare’in açık kaynak decision model Clef) her uyarıyı keşif verisiyle karşılaştırıyor: bu daha önce görüldü mü, analistler ne karar verdi?
Uzman agent’lar. Derin inceleme gereken uyarılarda bir koordinatör dört uzman agent’ı paralel çalıştırıyor: trafik analizi, müşteri bağlamı, küresel telemetri ve tehdit istihbaratı. Bir sentez agent’ı onların tipli bulgularını tek bir tavsiyede birleştiriyor; yeni kanıt çekemiyor ve onaylı sözlüğün dışında bir sınıflandırma seçemiyor. Her görevi dar tutmak, desteksiz iddiaları yakalamayı ve tavsiyeleri denetlemeyi kolaylaştırıyor.
Öne çıkanlar
- Prompt bir güvenlik sınırı değildir; kapsamı kod zorlar.
- ‘Bakılmadı’ ile ‘bakıldı, bulunamadı’ farklı sonuçlardır ve ayrı temsil edilmelidir.
- Veriyi model değil deterministik kod toplarsa değerlendirme tekrarlanabilir olur.
- Ucuz ve hızlı bir model önce gürültüyü eler; pahalı model yalnızca gerekene bakar.
- Dar görevli uzman agent’lar + yeni veri çekemeyen sentez agent’ı, uydurmayı yapısal olarak sınırlar.
Neden önemli?
Agent sistemlerinde hatanın kaynağı çoğu zaman model değil, modele bırakılan sorumluluğun genişliğidir. Bu yazı ‘ne kadarını koda, ne kadarını modele vermeli’ sorusuna üretimden gelen net bir cevap: veri toplama, kapsam ve sözlük kodda; yorum modelde.
Pratikte
Bir LLM hattına ve arama asistanına aynı üç kural uyar. Bir: modelin tool çağırarak veri çekmesine izin vermeden önce, ihtiyaç duyacağı veriyi kodla çek ve prompt’a hazır ver; hangi kaydın hangi kullanıcıya ait olduğunu SQL’deki WHERE belirlesin, prompt değil. İki: her tool sonucuna açık bir durum alanı ekle: ok, empty, error. Boş liste ile hata aynı görünürse model ‘bulunamadı’ diye uydurur. Üç: çıktıyı serbest metin yerine sabit bir sözlükle (enum) sınırla. Bu üç değişiklik, daha büyük bir modele geçmekten çoğu zaman daha fazla hata azaltır.
Sözlük
- SIEM
- Güvenlik kayıtlarını toplayıp ilişkilendiren ve uyarı üreten sistem.
- triage
- Gelen uyarıları önem ve aciliyete göre hızlıca sınıflandırıp önceliklendirme.
- hallucination
- Modelin girdideki kanıtla desteklenmeyen bir bilgiyi doğruymuş gibi üretmesi.
- typed output
- Biçimi ve izin verilen değerleri önceden şemayla sabitlenmiş model çıktısı.