AI Evals: "Çalışıyor Gibi"den "Çalışıyor"a

LLM uygulaman bir prompt değişikliğinden sonra daha mı iyi, daha mı kötü? Çoğu ekip bunu birkaç çıktıya göz atarak tahmin eder. Bu eğitimde tahmini ölçüme çevirirsin: çıktıları okuyup hataları adlandırır, kendi eval setini kurar, otomatik puanlayıcılar yazar ve bunları insan hükmüne karşı sınarsın. Sonunda kaliteyi düşüren değişikliği yayına çıkmadan durduran bir kapın ve canlıdan öğrenen bir döngün olur.

Seviye
Orta
Süre
24 saat
Format
Canlı Online
Orta

Kurs Hakkında

LLM uygulamaları klasik yazılım gibi bozulmaz. Hata fırlatmaz, çökmez; akıcı ve kendinden emin bir şekilde yanlış cevap verir. Bir prompt'u düzeltirsin, üç örnekte daha iyi görünür, yayına alırsın; başka yerde neyin bozulduğunu müşteri fark eder. Bu eğitim "bana iyi göründü" ile "ölçtüm, biliyorum" arasındaki mesafeyi kapatır.

Ne kuracaksın: Eğitim boyunca kullanıcının ihtiyacına göre laptop öneren, araç kullanan bir danışman agent'ın üzerinde çalışırsın. İçinde senin bilmediğin hatalar vardır; önce onları çıktıları okuyarak kendin bulursun. Sonra adım adım bir ölçüm sistemi kurarsın: hata kategorileri, eval seti, kod tabanlı puanlayıcılar, insan hükmüne karşı sınanmış bir LLM hakemi, agent davranışını ölçen bir karşılaştırma tablosu ve kaliteyi düşüren değişikliği durduran bir CI kapısı. Son adımda canlıdaki hatayı eval setine geri taşıyan döngüyü kurarsın.

Nasıl çalışacaksın: Kodun büyük kısmını Claude Code yazar; hükmü sen verirsin. Bir çıktının iyi mi kötü mü olduğuna, neyin ölçüleceğine ve eşiğin nerede duracağına sen karar verirsin. Bu ayrım eğitimin omurgasıdır: testi de notu da yapay zekâya bırakırsan ölçtüğün şey kalite olmaz.

Kimler için: LLM tabanlı bir özellik geliştirmiş ya da geliştirmekte olan yazılımcılar ve teknik liderler içindir. Bir LLM'i API üzerinden çağırmış olman ve Claude Code kullanabilmen yeterlidir. Bağımsız bir eğitimdir; başka bir kursa katılmış olman gerekmez. AI Native Uygulama Geliştirme kursunu bitirdiysen, onun eval modülünün bıraktığı yerden devam edersin. Hiç kod yazmamış katılımcılar için uygun değildir.

Ne beklemelisin: Canlı oturumlar uygulamalıdır ve ilk oturumların ardından kısa ödevler vardır. Çıktıları kendi gözünle okuyup etiketlemeden bu eğitimden verim alamazsın.

Kapsam dışı: Model eğitimi, fine-tuning ve akademik benchmark'lar bu eğitimin konusu değildir. RAG değerlendirme tanıtım düzeyinde ele alınır; odak, araç kullanan uygulamalar ve agent'lardır. Belirli bir eval aracının kullanım kılavuzu da değildir; öğrendiğin yöntem araçtan bağımsızdır.

Ekibiniz için: Eğitimi bitiren bir geliştirici, "bu değişiklik uygulamayı iyileştirdi mi?" sorusuna izlenimle değil sayıyla cevap verir. Hataları kategorilere ayırır ve hangisine yatırım yapılacağını gösterir, otomatik puanlamaya ne kadar güvenilebileceğini ölçer, kalite düşüşünü yayından önce yakalar. Sonuç: daha az geri dönüş, daha hızlı ve gerekçeli yayın kararı.

Kurs İçeriği 8 Ders

1
Klasik test neden yetmiyor?
Göster
Testlerin hepsi yeşilken uygulaman nasıl yanlış cevap verebilir?
- Aynı girdiye farklı çıktı veren sistemde ölçüm mantığı
- Üç ölçüm türü ve hangisinin ne zaman kullanılacağı
- Çıktı: gözle fark edilmeyen bir bozulmayı gösteren ilk karşılaştırma
2
Önce veriye bak: çıktı okuma ve hata analizi
Göster
Neyi ölçeceğini, uygulamanın nerede hata yaptığını görmeden bilebilir misin?
- Çıktıları ve ara adımları okuyup gerekçesiyle etiketlemek
- Notlardan hata kategorileri çıkarmak ve önceliklendirmek
- Çıktı: uygulamana özgü hata sınıflandırması
3
Golden dataset kurmak
Göster
Her değişiklikten sonra aynı soruları elle mi soracaksın?
- Temsil edici, zor ve sınır durumları kapsayan örnek seçimi
- Sentetik verinin yardımcı ve yanıltıcı olduğu yerler
- Çıktı: etiketlenmiş ve sürümlenmiş bir eval seti
4
Kod tabanlı puanlayıcılar
Göster
Hangi hatalar bir LLM'e sormadan, düz kodla yakalanabilir?
- Şema, zorunlu alan ve doğru araç çağrısı gibi kesin kontroller
- Puanlayıcının kendisini bilinen iyi ve kötü örnekle sınamak
- Çıktı: kendi hata kategorilerin için çalışan puanlayıcılar
5
LLM hakemi ve kalibrasyonu
Göster
Cevabı başka bir LLM'e puanlatıyorsan, o hakeme neden güveniyorsun?
- Tek ölçütlü, gerekçeli hakem kriteri yazmak
- Hakemin hükmünü kendi etiketlerinle karşılaştırıp uyumu ölçmek
- Çıktı: ne kadar güvenilebileceği sayıyla bilinen bir hakem
6
Agent'ı değerlendirmek
Göster
Cevap güzel görünüyor; peki agent işi gerçekten yaptı mı?
- Son cevabı, izlenen yolu ve tek tek araç çağrılarını ayrı ölçmek
- Kaliteyi maliyet ve gecikmeyle aynı tabloda görmek
- Çıktı: iki sürümü üç boyutta karşılaştıran eval tablosu
7
CI/CD'de eval kapısı
Göster
Kaliteyi düşüren değişiklik yayına çıkmadan nasıl durdurulur?
- Eşik belirlemek ve oynak sonuçlarla başa çıkmak
- Eval'i her değişiklikte otomatik çalıştırmak
- Çıktı: bozuk bir değişikliği reddeden çalışan bir kapı
8
Canlıdan öğrenmek: izleme ve iyileştirme döngüsü
Göster
Eval setinin hiç görmediği bir soru canlıda geldiğinde ne olur?
- Canlı trafikten örnek alıp puanlamak
- Bulunan hatayı eval setine ve kapıya geri taşımak
- Çıktı: canlıdan beslenen, kendini güncelleyen bir ölçüm döngüsü
Yeni sınıf açıldığında haber verelim

Bu eğitim için şu an kayda açık sınıf yok.

Kurs Detayları
Süre: 24 saat
Seviye: Orta
Format: Canlı Online
Güncellenme: 16.11.2026
Paylaş
DZ
Dinamik Zihin
Genellikle hemen yanıtlar
Merhaba!
Dinamik Zihin'e hoş geldiniz!

Eğitimlerimiz hakkında bilgi almak veya sorularınızı sormak için mesaj gönderebilirsiniz.
Az önce