inference
2 özet
- 26 Ekim 2026 Context window 1 milyon, KV cache havuzu 681 bin: Workers AI’da cross-request veri sızıntısı 8 Eylül 2026’da bir güvenlik araştırmacısı Cloudflare’i, Workers AI’daki GLM-5.3 modelinde 27 Ağustos’tan beri süren bir tenant isolation sorunu konusunda uyardı. 27 Ağustos ile 9… Cloudflare Blog
- 20 Ekim 2026 Round-robin yetmiyor: llm-d 1.0 ile agent trafiği için cache-aware routing Google, Red Hat, IBM ve diğerleriyle birlikte kurduğu llm-d’nin 1.0 sürümünü PyTorch Conference’ta yayımladı: CNCF Sandbox projesi, Kubernetes-native, dağıtık LLM inference için a… Google Cloud Blog