data engineering
13 özet
- 5 Kasım 2026 Her çekirdek işe yarasın: Uber’de Spark’ı Gluten/Velox ve storage-aware engine ile hızlandırmak Uber dünyanın en büyük Apache Spark filolarından birini işletiyor: yalnızca data lake ingestion 200.000’den fazla CPU çekirdeği tüketiyor, üzerindeki ETL daha da fazlasını. Spark … Uber Engineering
- 27 Ekim 2026 Onlarca ekip, tek arama index’i: Uber Freight’ın fragment composition yaklaşımı Uber Freight 40’tan fazla microservice işletiyor ve arama, çoğu Uber kullanım senaryosundaki bir avuç kaynağın aksine yaklaşık yüz veri kaynağından ve tablodan veri çekmek zorunda… Uber Engineering
- 21 Ekim 2026 Dosyayı kopyalama, işaret et: BigQuery ObjectRef ile unstructured data Görsel, video, ses ve doküman gibi yapılandırılmamış veriyi analiz etmek bugüne kadar yapılandırılmış ve yapılandırılmamış veri için ayrı pipeline’lar yönetmek demekti. Dosyalar C… Google Cloud Blog
- 8 Ekim 2026 Postgres’e bulk load’da darboğaz okuma değil, tek yazıcı Postgres gibi operasyonel veritabanları, verinin küçük alt kümeleri üzerinde çok sayıda eşzamanlı, düşük gecikmeli sorgu için tasarlandı. Terabaytlarca veri yüklemek ya da tabloyu… Databricks Engineering
- 22 Eylül 2026 Eğitimde gördüğünü üretimde görmemek: Uber’in özellik loglama çerçevesi Uber'in hedefi net: inference anında kullanılan özellikler, bir sonraki model yinelemesini eğitirken kullanılan özelliklerle aynı olsun. Tek doğruluk kaynağı, daha güçlü model per… Uber Engineering
- 18 Eylül 2026 Veritabanı kurmadan genom sorgulamak: ayda yaklaşık 0,40 dolar Avustralya’nın ulusal bilim kurumu CSIRO, genomik varyant verisini güvenle sorgulamak için sBeacon adlı serverless bir çözüm kurmuş (GA4GH Beacon standardının üretime hazır bir uy… AWS Architecture Blog
- 19 Haziran 2026 Kodu kanarya ile test ediyoruz da veriyi kim test ediyor? Netflix'te bir üretim arızası oldu: kod deploy edilmemişti, konfigürasyon değişmemişti. Ama daha önceki bir olaya müdahale ederken elle yapılan bir düzeltme, bir veri akışını bozm… Netflix Tech Blog
- 31 Temmuz 2026 Aynı Postgres'e iki kimlik doğrulama yolu: bedeli olan bir uzlaşma Databricks, geliştirici portalı Backstage'i Lakebase (yönetilen Postgres) üzerinde çalıştırma serisinin üçüncü bölümünde işletim verisiyle analitik veriyi birleştiriyor. Normal bi… Databricks Engineering
- 31 Temmuz 2026 Netflix cihaz yeteneklerini analitik için nasıl modelliyor Netflix 4K'dan bulut oyunculuğuna kadar geniş bir özellik yelpazesini çok çeşitli cihazlarda sunuyor — ama her cihaz aynı değil. RAM, CPU çekirdek sayısı, ekran yetenekleri ve pla… Netflix Tech Blog
- 30 Temmuz 2026 Eski veri ambarı göçü: karmaşıklık puanı ve bağımlılık grafiği Databricks, eski veri ambarlarındaki tescilli SQL lehçelerini (T-SQL, Snowflake, Redshift, Oracle, BigQuery, Teradata) açık ANSI SQL'e çeviren bir agent duyuruyor. Ürün duyurusu o… Databricks Engineering
- 29 Temmuz 2026 Veriyi taşımadan sorgulamak: Iceberg REST kataloğu Google Cloud, Apache Iceberg üzerine kurulu "sınırsız lakehouse" iyileştirmelerini duyuruyor: şirket içi sistemler, farklı bulutlar ve SaaS uygulamaları tek bir sorgu yüzeyinden e… Google Cloud Blog
- 14 Temmuz 2026 Dolandırıcılık halkalarını bulmak: yapılandırılmış veri neden yetmiyor Sigorta dolandırıcılığında klasik yaklaşım kural tabanlı kontroller, elle tetiklenen incelemeler, geçmiş talep desenleri ve yalnızca yapılandırılmış veri analizine dayanıyor. Bili… AWS Architecture Blog
- 9 Temmuz 2026 Niyeti mantıktan ayırmak: veri pipeline'larında kopyala-yapıştır tuzağı Veri pipeline'ları genelde basit betikler olarak başlar. Büyüdükçe dönüşüm mantığını kopyalarsın ve küçük bir değişiklik birden çok workflow’a çığ gibi yayılır. Dönüşüm mantığını … AWS Architecture Blog