Databricks Engineering
Veri mühendisliği, spark, lakehouse, etl, veri kalitesi, ml pipeline
9 özet · Orijinal blog →
- 31 Ekim 2026 Her pull request için production kopyası: Lakebase branching ile CI/CD (Snorkel AI) Lakebase branching for CI/CD: lessons from 100 PR databases Snorkel AI kodu Kubernetes üzerine kurulu bir CI pipeline’ıyla yayınlıyor: her açık pull request ve bazı ad-hoc commit’ler kendi geçici Kubernetes namespace’ini (‘PR namespace’) a…
- 20 Ekim 2026 Agent’ın hafızası: neyi saklayacağına karar vermek ve ‘dreaming’ pipeline’ı (MemCurrent) MemCurrent: Designing Persistent Memory for Production Agents Production agent’ı yazmak ve sürdürmek, ‘vibe coding’ ile bir agent çıkarmaktan çok daha zor. Geliştiriciler çoğunlukla kalite (özellikle long-tail görevlerde doğru cevap) ile ver…
- 16 Ekim 2026 npm’deki gizli ikili dosya: LLM’e alan bilgisini prompt’la enjekte etmek Closing the Binary Blind Spot: Domain-Knowledge Injection for LLM Malware Triage in npm Packages Databricks, kasım 2025’ten beri npm kayıt defterindeki kötü amaçlı paketleri topluyor. OSV tavsiyeleriyle doğrulanmış 11.413 paket sürümünün yüzde 96,2’sinde kötü amaçlı kod kayna…
- 8 Ekim 2026 Postgres’e bulk load’da darboğaz okuma değil, tek yazıcı Load terabytes of data in minutes into Lakebase Postgres Postgres gibi operasyonel veritabanları, verinin küçük alt kümeleri üzerinde çok sayıda eşzamanlı, düşük gecikmeli sorgu için tasarlandı. Terabaytlarca veri yüklemek ya da tabloyu…
- 8 Ekim 2026 Her kodlama agent’ına kendi veritabanı dalı Lakebase and Agentic SDLC: Branching Databases for Coding Agents Kodlama agent’larını paralel çalıştırmak olağan hâle geliyor ve araçlar buna göre gelişti. Geliştirme akışının gözden kaçan parçası ise veritabanı. Her agent’ın kod yazması, şema …
- 1 Ekim 2026 100 TB’lık veritabanını saniyeler içinde geri almak: dal tabanlı restore Lakebase Postgres branch-based restores for fast recovery at scale Geleneksel yönetilen Postgres’te point-in-time recovery (PITR) (PITR) üç adımdan oluşur: yeni bir örnek ayağa kaldırmak, snapshot’u (snapshot) nesne depolamadan diske çekmek ve WA…
- 30 Eylül 2026 Postgres’te maliyeti düşüren üç ayar: paylaşımlı dallar, autoscaling, sıfıra inme A practical guide to cost optimization with Lakebase Postgres Databricks’in Lakebase rehberi maliyeti üç yerden kısmayı öneriyor. Dallar (branch) depolamayı paylaşıyor, yani bir geliştirme ya da test kopyası verinin tamamını ikinci kez sakla…
- 31 Temmuz 2026 Aynı Postgres'e iki kimlik doğrulama yolu: bedeli olan bir uzlaşma Backstage with Lakebase, part 3 Databricks, geliştirici portalı Backstage'i Lakebase (yönetilen Postgres) üzerinde çalıştırma serisinin üçüncü bölümünde işletim verisiyle analitik veriyi birleştiriyor. Normal bi…
- 30 Temmuz 2026 Eski veri ambarı göçü: karmaşıklık puanı ve bağımlılık grafiği Convert proprietary code to open ANSI SQL with Genie Code Databricks, eski veri ambarlarındaki tescilli SQL lehçelerini (T-SQL, Snowflake, Redshift, Oracle, BigQuery, Teradata) açık ANSI SQL'e çeviren bir agent duyuruyor. Ürün duyurusu o…