Karar vermek için sohbet modeli gerekmez: Cloudflare Clef
Introducing Clef: our open-source decision models, and new RL fine-tuning platform · Michelle Chen, Alex Reneau
Cloudflare, Clef adlı bir karar modeli (decision model) ailesini açık kaynak (Apache 2.0) olarak yayımladı. Karar modeli, serbest metin üretmek yerine önceden tanımlı seçenekler arasından seçim yapan bir model: örneğin bir isteğin etki şiddetini ‘etki yok / küçük / büyük / kritik’ olarak puanlamak ya da bir alan adını sınıflandırmak. Çıktı katı biçimde tiplenmiş (strictly typed) olduğundan sonucu ayrıştırmak için metin işlemek gerekmiyor.
Clef’in öne çıkan özellikleri: görselleri sınıflandırabilen bir görü kodlayıcısı, 64k bağlam penceresi (Cloudflare’in önceki modeli Jev’de 32k) ve Jev ile API uyumluluğu. İki boyutu var: daha güçlü Clef ve gecikmeye duyarlı kararlar için Clef-Flash. Alan sınıflandırma örneğinde Clef 2,2 saniyede cevap veriyor; karşılaştırılan gpt-oss-120b 4,7 saniyede.
Hızın nedeni mimaride: Clef, Qwen tabanlı bir model üzerinde yalnızca prefill geçişi yapıyor ve geçerli şema seçeneklerini paralel puanlıyor. Karar adımı otoregresif olmadığından token token ara metin üretilmiyor. Cloudflare ayrıca bu modeller için ince ayar (fine-tuning) hizmeti sunuyor: önce ileri konuşlandırılmış mühendis ekibiyle, ileride kendin kullanabileceğin bir platform olarak.
Öne çıkanlar
- Seçenekli karar problemi için serbest metin üretmek hem yavaş hem hata yapmaya açık.
- Tipli çıktı (şemaya uyan seçim) ayrıştırma hatalarını ortadan kaldırır.
- Prefill-only ve paralel puanlama: üretim yok, token token bekleme yok.
- Karar modeli ne kadar küçük ve hızlıysa, onu isteğin her adımında çağırmak o kadar mümkün olur.
Neden önemli?
LLM’leri her işte kullanma eğilimi maliyet ve gecikme biriktirir. Bu yazı, işin doğasına uygun daha dar bir araç seçmenin (sınıflandırma için karar modeli) hem hızı hem güvenilirliği artırdığını gösteriyor.
Sende karşılığı
DBH’daki LLM hattında bunu doğrudan düşünebilirsin: bir belgeyi ‘yakıt, elektrik, su’ gibi sabit kategorilere ayırmak serbest metin üretimi gerektirmez. Mevcut çağrıyı JSON şeması ve enum ile kısıtlayıp çıktıyı doğrula; ya da küçük, açık bir model denemesi yap ve doğruluk ile süreyi ölç. Mobit’te sorgu türünü (arama mı, soru mu) belirleyen adım için de aynı yaklaşım geçerli.
Sözlük
- decision model karar modeli
- Serbest metin üretmek yerine verilen seçenekler arasından seçim yapan model.
- prefill ön doldurma
- Girdi token’larının modelden tek seferde geçirilip işlendiği aşama.
- autoregressive otoregresif
- Çıktıyı her adımda bir token olarak, önceki tokenlara bakarak üretme yöntemi.
- fine-tuning ince ayar
- Hazır bir modeli kendi veriyle belirli bir göreve uyarlamak için ek eğitme.