Olay değil konuşma: ChatGPT’nin ad stack’i neden request-response değil, stateful session
How we built ChatGPT’s novel ad stack for user trust and relevance
Geleneksel bir reklam sistemi iyi tanımlanmış bir olayla başlar: kullanıcı bir arama yapar ya da bir sayfa açar, sistem aday reklamları getirir, sıralar, bir açık artırma (auction) çalıştırır ve sonucu gösterir. ChatGPT’de böyle somut bir an yok: insanlar tek bir arama sorgusuyla değil hedeflerle geliyor (bir gezi planlamak, bir yazılım seçmek, ev döşemek) ve niyet birkaç turda, hatta birkaç oturumda netleşiyor. Yazıdaki örnek: bir konuşma koşuyla ilgili genel bir soruyla başlıyor, birkaç tur sonra ayakkabı sorusuna geliyor. İlk mesaja göre hareket eden bir sistem yanlış niyeti yakalayabilir.
OpenAI’ın üç temel tasarım kararı var. (1) Stateful ads session: reklam sistemi her mesajı bağımsız bir istek saymıyor; uygun bir tur boyunca süren bir session tutuyor, bilgiyi turlar ve konuşmalar arasında hatırlıyor. Böylece niyeti fazla basite indirgeyip yanlış okuma, kullanıcının gerçek ihtiyacı netleşmeden reklam akışını erken başlatma ve istek her değiştiğinde akışı gereksiz yeniden çalıştırma riskleri azalıyor. (2) Tool call mimarisiyle çalışan, post-training uygulanmış özel bir LLM: konuşmanın bağlamını ve altındaki niyeti yorumlayıp retrieval, ranking, relevance ve auction araçlarını agentic bir döngüde çağırıyor. Önce konuşmayı kısa metin özetlerine ve semantic embedding’lere çeviriyor; tek bir sorgu yerine niyetin farklı yönlerini temsil eden birden çok sorgu üretebiliyor (bir gezi planı birden çok ticari niyet taşıyabilir). Konuşma ilerleyip bağlam güncellendikçe orchestrator yeni bir tool çağrı seti çalıştırıp daha iyi reklamları istemciye döndürebiliyor. (3) Reklam seçimi cevap üretiminden ayrı bir servis: ChatGPT’nin cevabının reklamlardan etkilenmemesi için seçim, kendi uygunluk ve kalite kurallarıyla konuşmayı tüketen ayrı bir sistemde çalışıyor. Yazıya göre ChatGPT’nin reklam sistemine bağımlılığı yok ve iki servis içerik üretim modelini paylaşmıyor.
OpenAI orchestrator’un kullanıcı değeri ile reklamveren değerini dengelediğini ve ‘her zaman önce kullanıcıyı koyduğunu’ söylüyor; bu bir şirketin kendi beyanı, bağımsız bir doğrulama değil. Yazı ayrıca ChatGPT Ads’in lansmandan 200 günden az bir sürede yıllıklandırılmış 1 milyar dolar gelir seviyesine ulaştığını ve lansmandan beri 100 binden fazla reklamverenin reklam verdiğini belirtiyor.
Öne çıkanlar
- Sohbet gibi niyetin birkaç turda oluştuğu sistemlerde request-response yerine stateful session tasarla.
- Gelir getiren bileşeni cevap üreten bileşenden ayrı bir servis yapmak, birbirine sızmayı yapısal olarak engeller.
- Birden çok sorgu üretmek, tek bir niyetin farklı yönlerini yakalar.
- LLM’i tek başına karar verici değil, retrieval/ranking/auction araçlarını çağıran bir orchestrator olarak kullan.
Neden önemli?
Yazı reklamdan bağımsız olarak önemli bir mimari soruyu gösteriyor: agentic bir ürünün yan sistemleri (öneri, reklam, arama) kullanıcı cevabından nasıl ayrılır ve konuşma bağlamını nasıl takip eder? Ayrım hem güveni hem de arıza yalıtımını sağlıyor.
Pratikte
Chat tabanlı bir ürün yazarsan aynı ayrımı küçük ölçekte yapabilirsin: ana cevap üretimi ayrı, ikincil özellikler (öneri, ilgili içerik, analitik) ayrı bir servis ya da en azından ayrı bir modül olsun ve ikincisi çökünce birincisi etkilenmesin (timeout, circuit breaker). Konuşma bağlamını tek mesaja indirgemek yerine son birkaç turun kısa bir özetini tutup sorgularda onu kullan.
Sözlük
- stateful session
- Birden çok istek boyunca durum (state) tutan oturum; her istek bağımsız değildir.
- request-response
- Her isteğin tek başına işlenip bir cevap döndüğü klasik iletişim modeli.
- post-training
- Önceden eğitilmiş bir modelin belirli bir görev için ek eğitimle uyarlanması.
- auction
- Reklam alanı için teklif veren adaylar arasından seçim ve fiyatlama yapan mekanizma.
- circuit breaker
- Sürekli hata veren bir bağımlılığa çağrıyı geçici olarak kesen koruma deseni.