Netflix hesaplama altyapısını daha Kubernetes-yerel hâle getirme yolculuğunda, Kubernetes ekosisteminden bileşenleri kendi konteyner platformu Titus'a dahil ediyor. Örneklerden biri Kueue: toplu iş yükleri için bulut-yerel bir iş kuyruğu sistemi.

Kueue, kendi geliştirdikleri CMB (Compute Managed Batch) çözümündeki özel kuyruklama ve zamanlama mantığının büyük kısmının yerini almış. CMB'nin yaptığı işler tanıdık: bir kiracı hiyerarşisi üzerinden iş yüklerini yönetip kuyruklamak, öncelikle sıralı çalıştırma sağlamak ve kapasiteyi kiracı bazında yönetmek. Kiracılar organizasyon, platform ya da uygulama bazında gruplama sağlıyor ve her kiracının bir kapasite yapılandırması var — ağırlık ve diğer kiracılardan izolasyon garantileri dahil.

Yazı milyonlarca toplu işin nasıl taşındığını da anlatıyor.

Uber'in ML ekibi 2022'de embedding'lere yatırım yapmış ve odak noktası Two-Tower Embeddings (TTE) olmuş. Amaç öneri sistemlerini beslemek: yemek siparişi verenler (eater) ve restoranlar (store) için embedding üretip uygulamak.

Embedding'in tanımı yazıda net veriliyor: bir varlığın (mağaza, kullanıcı, ürün, sürücü, konum) zengin bir temsili. İnsan dostu özellikleri — mağaza menüsü, ürün fiyatı, kullanıcının tercih ettiği mutfak, geçmiş siparişleri — makine öğrenmesi dostu vektörlere dönüştürüyor.

"Two-tower" adı mimariden geliyor: iki ayrı ağ (kule), biri kullanıcıyı biri öğeyi kendi vektörüne çeviriyor; eşleşme skoru bu iki vektörün benzerliği. Bunun pratik değeri büyük — öğe vektörlerini önceden hesaplayıp saklayabilirsin, sorgu anında yalnızca kullanıcı vektörünü hesaplayıp en yakın komşuları ararsın.

Yol da dürüstçe anlatılmış: yaklaşım yaklaşık bir yıl sonra yayına girmiş, ve şehir bazında binlerce modelden tek bir küresel bağlamsal modele doğru evrilmiş.