Habitat, OpenAI ürünlerinin ihtiyaç duyduğu bilgiye hızlı ve güvenilir erişmesi için kurulan çevrimiçi depolama platformu. Bugün saniyede 70 milyondan fazla isteği işliyor, haftada 1 milyar kişinin kullandığı ürünleri destekliyor, yaklaşık 40 coğrafi bölgede çalışıyor ve 500 petabayttan fazla veri sunuyor. Başlangıcı ise çok mütevazı: DevDay 2023’te GPT’ler için, tek bir veritabanına bağlanan basit bir Python istemci kütüphanesi olarak çıktı.

Kütüphane fikri işe yaradı: ürün mühendisleri şema arama, yönlendirme, yetkilendirme, şifreleme, serileştirme ve bağlantı havuzlamayı düşünmek zorunda değildi; hatta verinin Azure Cosmos DB’den mi, önbellekten mi geldiğini bile bilmiyorlardı. Yetenekler (istemci tarafı önbellek, sıkıştırma, şifreleme) paylaşılan kütüphaneye kolayca eklendi.

2025 ortasında istemci tarafı uygulama sınırına dayandı. Servis sayısı büyüyünce geriye uyumlu protokol değişikliği yapmak imkânsızlaştı. Yazıdaki örnek çok öğretici: en kritik veri kümelerinin bölge kesintisindeki etkisini azaltmak için bunları bölgesel dağıtık Cosmos DB hesaplarına taşımak istediler. Bu, istemciye yönlendirme mantığı eklemeyi (özellik bayrağı arkasında), tüm istemcilere yaymayı ve sonra bayrağı açmayı gerektirdi. Onlarca servisi koordine etmek günler sürdü; gölgeleme eklemek birkaç gün daha, bir hata düzeltmesi yine birkaç gün. Sonunda tam bayrağı açma aşamasında bir ekip kendi servisini ilgisiz bir sebeple hatalı eski istemciye geri aldı ve kaçınmaya çalıştıkları kesinti yaşandı.

Karar: Habitat’ı kendi servisine çıkarmak. Kazanç: dağıtım, gözlemlenebilirlik ve platform geliştirmeleri için tek kontrol noktası; erişim denetimi, denetim kaydı ve altta yatan depolamaya erişimi merkezî uygulamak için tek darboğaz (güvenlik açısından avantaj). Bilinçli bir seçim daha: servisi Python’da bıraktılar. Python’un yüksek verimli bir servis için ek ağ gecikmesi ve CPU/bellek maliyeti getireceğini, 100 kat ölçekte kabul edilemeyeceğini ve eninde sonunda yeniden yazılacağını biliyorlardı; ama bunu ‘stratejik bir teknik borç’ olarak gördüler: öncelik maliyet değil, ürün geliştiricileri engelden kurtarmak ve platform kararlılığıydı. Üstüne, kendi kodlama modellerinin ilerlemesinin gelecekte bu göçü kolaylaştıracağına dair hesaplı bir bahis de oynadılar. Bu, iki bölümlük serinin ilk yazısı.