Kullanıcı dizilerinden ölçekleme yasalarına: ağır modelleme çevrimdışı, sıralama çevrimiçi
From User Sequences to Scaling Laws: A Multi-Stage Architecture for Meta’s Ads Ranking
Meta'nın öneri platformları her gün milyarlarca etkileşim işliyor. Reklam sıralamada binlerce reklamı milisaniyeler içinde getirip sıralamak gerekiyor. Bu bütçe yüzünden birçok yaklaşım melez bir yapı kullanıyor: dizi modelini ve sıralama modelini birbirine bağlayan hibrit bir düzen.
Yazı bu düzenin üç bedelini sayıyor: bileşenler arası kayıplı bilgi aktarımı, hâlâ süren elle özellik mühendisliği ve sıralama ile dizi modeli birbirini kısıtladığı için ölçekleme tavanı. Çözüm iki parça: (1) ağır kullanıcı modellemesini hafif çevrimiçi sıralama işinden ayıran çok aşamalı dizi modeli, (2) özellik etkileşimlerini doğrudan veriden öğrenen yoğun tokenizasyon ve hedef-farkında dikkat tekniği.
Meta, bu gelişmelerin toplamda Instagram'da %6, Facebook'ta %3 dönüşüm artışı ve Facebook'ta %3,5 tıklama artışı sağladığını söylüyor. Mimari, şirketin GEM adlı üretken reklam öneri modelinin çekirdek parçası.
Öne çıkanlar
- Ağır modelleme (kullanıcı dizisi) çevrimdışı, hafif sıralama çevrimiçi: iki iş farklı gecikme bütçelerine sahip.
- Hibrit düzenin kayıplı aktarımı ve ölçekleme tavanı, çok aşamalı ayrımla aşılıyor.
- Hedef, LLM tarzı ve öngörülebilir ölçekleme yasaları olan bir üretim platformu.
Neden önemli?
“Pahalı hesabı istek anından çıkar” ilkesi, öneri sistemlerinde de arama sistemlerinde de temel bir mühendislik hamlesidir. Gecikme bütçesi dar ise model büyüklüğünü artırmanın yolu, büyük kısmı istek yolundan çıkarmaktır.
Sende karşılığı
Mobit'teki doküman aramada aynı deseni zaten kullanıyorsun: belge embedding'lerini önceden hesaplayıp saklıyor, sorgu anında yalnızca sorguyu vektörleştiriyorsun. Bu yazı, o kararın büyük ölçekli hâli. KlioAI'da da kullanıcının öğrenme profilini her istekte modele yeniden hesaplatmak yerine arka planda güncellenen bir özet olarak tutabilirsin.
Sözlük
- sequence modeling dizi modelleme
- Kullanıcı eylemlerinin sırasını ve zamanlamasını girdi olarak kullanan modelleme yaklaşımı.
- scaling laws ölçekleme yasaları
- Model, veri ve hesap büyüdükçe kalitenin ne ölçüde arttığını öngören ampirik ilişkiler.
- target-aware attention hedef-farkında dikkat
- Dikkat ağırlıklarını değerlendirilen reklama (hedefe) göre hesaplayan mekanizma.