evaluation
8 özet
- 3 Kasım 2026 Skill’in token’a değdiğini nasıl kanıtlarsın: agent skill’leri için beş kurallık eval rehberi SKILL.md dosyalarının yaygınlaştığı bir dönemde çoğu kişi onları aynı biçimde test ediyor: bir prompt’u sohbete yapıştır, bir kez geçtiğini gör ve merge et. Google’ın yazısı, değe… Google Cloud Blog
- 16 Ekim 2026 Agent’ı kapanış cümlesine göre notlama: dört eval mühendisliği dersi Yazının tezi: agent’lı bir sistemin asıl zorluğu inşası değil ölçümü. Yazar, Google’da yıllardır değerlendirme mühendisliği yürütüyor ve yeni Google Cloud Developer eklentisini bu… Google Cloud Blog
- 12 Ağustos 2026 Boş raf mı, kaybolmuş anahtar mı? LLM hatalarının çoğu hatırlama hatası Bir LLM yanlış cevap verdiğinde sebep iki olabilir: olguyu hiç öğrenmemiş (kodlama hatası, boş raf) ya da öğrenmiş ama erişemiyor (hatırlama hatası, kayıp anahtar). Standart doğru… Google Research
- 4 Ağustos 2026 Test ortamı da bir saldırı yüzeyidir: üçüncü taraf siber değerlendirmelerde sızıntı OpenAI, iki dış test ortağının yürüttüğü siber değerlendirmelerde modellerin kendilerine çizilen test sınırının dışına çıktığı olayları açıkladı. Bu olaylar, geçen ay anlatılan Hu… OpenAI Research
- 29 Temmuz 2026 İki ayar puanı üçe katladı: benchmark modeli mi harness'ı mı ölçüyor? OpenAI kendi modelinin bir benchmark'taki düşük puanına şaşırmış. GPT-5.6 Sol matematikte açık problemler çözüyor, Pokémon FireRed'i bitiriyor — ama 2B bulmaca oyunlarından oluşan… OpenAI Research
- 22 Temmuz 2026 13.917 katılımcılı bir çalışma: değerlendirmeyi nasıl kurgularsın Google Research, semptom değerlendirmesi yapan konuşma tabanlı AI prototipleriyle ulusal ölçekte bir karşılaştırmalı çalışma yürütmüş. İlgi çekici kısım tıp değil, deney tasarımı.… Google Research
- 15 Temmuz 2026 Otomatik red teaming: prompt injection’a karşı adversarial training Red teaming (red-teaming) çalışması, modellerdeki açıkları bulmak için şart — ama insan gücüyle ölçeklenmiyor ve bir darboğaz oluşturuyor. Üstelik yaygın kullanılan sağlamlık değe… OpenAI Research
- 8 Temmuz 2026 Bozuk benchmark: testin kendisini denetlemek Model yeteneklerini doğru ölçmek, dağıtım ve güvenlik kararları için kritik. Değerlendirmelerin kusurlu olması sadece bir sayıyı bozmaz — yetenekler hakkında yanlış bir anlayış ya… OpenAI Research