RAG yetmedi, geri bildirim işe yaradı: Uber’in sözleşme agent’ı dört yinelemede nasıl olgunlaştı
Scaling AI in Legal: Building Uber's Redlining Agent
Uber’de her yıl binlerce sözleşme müzakere ediliyor. İş yüksek riskli ve ayrıntıcı, ama içinde şaşırtıcı ölçüde yapı var: benzer maddeler, müşteriler arasında tekrar eden düzeltmeler (redline) ve yerleşik reasoning kalıpları. Legal Redlining Agent (LRA), avukatların zaten çalıştığı yere, Microsoft Word’e eklenti olarak yerleşiyor: karşı tarafın düzeltmelerini buluyor, niyeti yorumluyor, politikaya uygun kabul/ret/değiştir önerisi veriyor, gerekçeli yorum yazıyor ve riskli maddeleri işaretliyor. Uber’in bildirdiği sonuç: ortalama inceleme süresinde %20’den fazla azalma ve yapay zekâ kararlarında %91 doğruluk. Avukatın yargısının yerini almıyor.
1. yineleme, RAG. Hukuk ekibinin el kitapları ve örnek müzakere turları içeri alındı. Üç sorun çıktı: isabetsiz anlamsal benzerlik (gömülen ‘anahtar’ ile getirilmek istenen içerik doğası gereği farklıydı), uygunsuz ton (aşırı savunmacı ya da aşırı olumlu cevaplar) ve genelleyememe (el kitabında olmayan durumlarda fiilen rastgele cevaplar).
2. yineleme, geri bildirim. Başta yalnızca avukatın kararı, metin ve bir ‘beğenmedim’ işareti saklanıyordu. Dönüm noktası, avukatın beklediği eylemi, yorumunu ve sonunda kullandığı metni toplamak oldu: böylece karşı tarafın niyeti doğrudan avukatın kesin diline eşlendi. Çalışma anında agent binlerce geçmiş etkileşimi tutan bu depoyu sorguluyor: önce metadata filtreli benzerlik araması havuzu yaklaşık 20 belgeye indiriyor, sonra bir LLM adayların niyetle gerçekten örtüştüğünü doğruluyor. Bağlam kurulurken exponential decay ağırlığı son kararları öne alıyor (değişen hukuki tutuma uyum, kavram kaymasına karşı) ve kabul/ret örnekleri dengeli tutuluyor. Sonuç: model fine-tuning olmadan neredeyse gerçek zamanlı öğrenen, dinamik few-shot bir sistem. Öneriyi etkileyen geçmiş geri bildirimler arayüzde gösteriliyor; bu şeffaflık güveni kuran şey.
3. yineleme, ton. Hattın sonuna yalnızca üslubu ayarlayan ek bir LLM çağrısı kondu. Asıl kırılma, tonu tanımlayan dilin sahipliğini avukatlara vermek oldu: mühendisler promptun iskeletini, hukuk ekibi içeriğini yönetti ve günler içinde kendi seslerine oturttular. Çıkan ilke: çıktı biçimini doğrudan etkileyen promptları alan uzmanları yazmalı, yapay zekâ ekibi yalnızca iyi uygulamaları gözetmeli.
4. yineleme, agent ile değişiklik. Asıl zaman kazancı karşı teklifi yazmakta. Düz metin üretimi terim uyduruyor ya da sözleşmenin tanımlı terimlerinden sapıyordu; ‘değiştir’ kararında geçmiş geri bildirim ve kurallara başvuran bir agent workflow’a geçildi. Yazı, bu ilk neslin bugünkü agent altyapıları yaygınlaşmadan kurulduğunu da not ediyor.
Öne çıkanlar
- Aracı kullanıcının çalıştığı yere koymak (Word eklentisi) benimsenmenin ön koşulu.
- Sorgu ile getirilmek istenen içerik farklı türdeyse düz gömme benzerliği isabetsiz kalır.
- ‘Beğenmedim’ zayıf sinyaldir; uzmanın düzelttiği son metin güçlü sinyaldir.
- Yeni örneklere daha çok ağırlık vermek, değişen politikaya fine-tuning uyum sağlar.
- Ton ve biçim promptlarını alan uzmanı yazsın; mühendis iskeleti yönetsin.
Neden önemli?
Çoğu RAG projesi 1. yinelemede takılır: belgeleri gömüp arar ve sonuçların neden tutarsız olduğunu anlamaz. Uber’in yolu, kaliteyi asıl yükselten şeyin daha iyi bir model değil, uzman düzeltmelerinden oluşan ve sürekli büyüyen bir örnek deposu olduğunu gösteriyor.
Pratikte
Bir sınıflandırma hattı için hazır bir tarif. Bir insanın düzelttiği her kaydı (girdi, modelin cevabı, doğru cevap, tarih) bir tabloda sakla. Yeni kayıt gelince bu tablodan en benzer birkaç düzeltmeyi getirip prompt’a few-shot örnek olarak koy ve yeni düzeltmelere daha yüksek ağırlık ver (örneğin exp(-gün/30)). Fine-tuning yok, GPU yok, ama sistem her düzeltmeyle iyileşir. İki ayrıntıyı atlama: örneklerde sınıfları dengeli tut ve arayüzde ‘bu kararı şu geçmiş örnekler etkiledi’ diye göster. Bir ders daha: doküman aramayı ayrı bir ekran yapmak yerine kullanıcının zaten çalıştığı ekranın içine yerleştir.
Sözlük
- redline
- Bir sözleşme taslağında karşı tarafın önerdiği, izlenebilir biçimde işaretlenmiş değişiklik.
- few-shot prompting
- Modele görevi, promptun içine konan birkaç çözümlü örnekle öğretme.
- concept drift
- Doğru cevabın zamanla değişmesi; eski örneklerin güncelliğini yitirmesi.
- exponential decay
- Bir değerin ağırlığını yaşı arttıkça sabit oranla düşüren ağırlıklandırma.
- metadata filtering
- Benzerlik aramasını, kayıtların etiketlerine göre önce daraltma.