Ses ve video için ayrı model zinciri kurma: Clef-omni ve arkasındaki eğitim tarifi
Introducing Clef-omni with full multimodality, plus a faster Clef and a cheaper Clef-flash · Michelle Chen, Alex Reneau
Cloudflare, geçen hafta yayımladığı açık ağırlıklı karar modelleri Clef ve Clef-flash’ın ardından Clef-omni’yi duyurdu: metin ve görselin yanında ses (wav, mp3) ve video (mp4, webm) girdisi alan bir decision model. Aynı yazıda Clef-flash’ın fiyatı düşürüldü ve Clef hızlandırıldı. Ağırlıklar Hugging Face’te açık.
Pratik fark şu: konuşmayı önce metne çeviren, videoyu ses ve görüntü kanallarına ayıran ardışık model zincirleri kurmak yerine tek bir modele soruyorsun. Yazıdaki örnek bir kurulum denetimi: cihazın bir fotoğrafı, çalışırken alınmış bir ses kaydı ve fanın bir videosu tek istekte gönderiliyor; sorular şema olarak veriliyor (‘etiket fotoğrafta görünüyor mu’, ‘cihaz takırtısız çalışıyor mu’, ‘fan dönüyor mu’) ve her biri tipli bir cevap alıyor.
Mimari tarafı öğretici. Clef-omni, zaten metin, görsel, ses ve video işleyebilen Qwen3-Omni-30B-A3B-Instruct adlı bir mixture of experts (MoE) (MoE) modelin üzerine kurulu. Clef modelleri çıktı token’ı üretmediği için (LLM gibi metin yazmıyorlar) gelen dosyaları yazıya dökme ya da altyazılama maliyeti ortadan kalkıyor; medya ögeleri doğrudan tek bir dizinin içine yerleşiyor.
Eğitim tarifi Clef ile aynı: omurga donduruluyor, yalnızca düşük ranklı adaptörler (LoRA) eğitiliyor ve standart son-eğitim yaklaşımı uygulanıyor: etiket yumuşatmalı çapraz entropi kaybı ile Brier puanı calibration’ı birlikte. Calibration bir decision model için kritik: ‘%90 eminim’ dediği kararların gerçekten yaklaşık %90’ı doğru çıkmalı. Yazıya göre yalnızca metin içeren kararlar medyanda yaklaşık 130 ms’de dönüyor. Bir not daha: Clef’in ilk sürümü bir cuma akşamı karar verilip hafta sonu eğitilmiş ve perşembe yayımlanmış.
Öne çıkanlar
- Model zinciri (ses→metin→karar) her halkada gecikme ve hata biriktirir; tek model bunu kaldırır.
- Omurgayı dondurup yalnızca LoRA eğitmek, büyük bir modeli günler içinde ve ucuza uyarlamayı sağlar.
- Decision model’de doğruluk kadar calibration önemli: güven puanı gerçek isabet oranını yansıtmalı.
- Çıktı token’ı üretmemek, gecikmenin en büyük kalemini ortadan kaldırır.
Neden önemli?
Dondurulmuş omurga + LoRA + calibration, bugün küçük bir ekibin açık bir modelden kendi işine özel bir model çıkarmasının en erişilebilir yolu. Yazı ayrıca ‘her şeyi metne çevir, sonra LLM’e sor’ alışkanlığının tek seçenek olmadığını gösteriyor.
Pratikte
Ses akışı olan bir uygulamada konuşmayı önce metne çevirip sonra bir LLM’e soruyorsan iki modelin gecikmesini ve iki modelin hatasını topluyorsun. Sorun bir sınıflandırma ise (telaffuz doğru mu, cümle tamamlandı mı) sesi doğrudan alan bir modeli denemeye değer. Calibration’ı da kendi modellerinde ölç: PyTorch’ta bir sınıflandırıcının tahminlerini güven aralıklarına böl (yüzde 80-90, yüzde 90-100) ve her aralıktaki gerçek isabet oranına bak. Model ‘yüzde 95 eminim’ deyip yüzde 70 tutturuyorsa eşik değerlerin anlamsızdır; temperature scaling bunu birkaç satırda düzeltir.
Sözlük
- LoRA (low-rank adaptation)
- Modelin ağırlıklarını dondurup yalnızca küçük ek matrisleri eğiterek yapılan ucuz fine-tuning.
- calibration
- Modelin bildirdiği güven olasılığının gerçek doğruluk oranıyla örtüşmesi.
- Brier score
- Tahmin edilen olasılık ile gerçek sonuç arasındaki farkın karesinin ortalaması; düşük olan iyidir.
- mixture of experts (MoE)
- Her girdi için yalnızca bir kısmı çalışan alt ağlardan oluşan model mimarisi.
- multimodal
- Metin, görsel, ses ve video gibi birden çok girdi türünü birlikte işleyebilen.