eber
Bir asistanın ürün sorusuna düzgün bir paragrafla yanıt verdiğini görmek iyi bir ilk izlenim yaratır. Yine de bu yanıtın güncel belgeden geldiğini, önemli bir koşulu atlamadığını ve kullanıcının görmemesi gereken bilgi içermediğini kontrol etmek gerekir.
Testi yalnızca geliştiricinin seçtiği birkaç soruyla yapmayın. Asistanı kullanacak ekiplerin gerçek sorularını toplayın. Aynı bilgiyi farklı kelimelerle soran örnekleri de ekleyin. Belgelerin hazır olup olmadığı ayrı bir çalışma konusudur; burada hazır kaynaklar üzerinde verilen yanıtın nasıl değerlendirileceğine odaklanıyoruz.
Soruyla birlikte beklenen yanıtı da hazırlayın
Her test kaydında soru, kullanıcı rolü, ilgili belge, beklenen temel bilgi ve kabul edilmeyecek hata bulunabilir. Örneğin soru bir ürünün saklama koşuluyla ilgiliyse, yanıtın hangi kılavuza ve hangi bölüme dayanması gerektiğini yazın.
Her seferinde aynı cümlenin kurulmasını beklemek yerine korunması gereken bilgileri belirleyin. Önemli bir sayı, tarih veya istisna doğru aktarılmalı. Yanıtın kısa olması, gerekli koşulu atlamasını haklı çıkarmaz.
Dört farklı soru türünü deneyin
- Yanıtı belli soru: Bilgi güncel bir belgede açıkça bulunur. Asistan ilgili belgeyi ve bilgiyi gösterebilmeli.
- Eksik bilgi içeren soru: Hangi ürünün veya dönemin sorulduğu belli değildir. Ek soru sorması gerekebilir.
- Yanıtı bulunmayan soru: Kaynaklarda bu bilgi yoktur. Uydurma bir açıklama yerine eksikliği belirtmesi beklenir.
- Yetki sınırı olan soru: Bilgi belgelerde vardır ama denemeyi yapan kullanıcının erişimi yoktur. Yanıtta bu bilginin açığa çıkıp çıkmadığı kontrol edilir.
Eski ve yeni sürümü olan belgeler için de örnek hazırlayın. Aynı sorunun farklı tarihlerdeki kaynaklarda farklı yanıtları varsa güncel olanın nasıl seçileceğini açıkça kararlaştırın.
Sorunun aramada mı, yanıtta mı olduğunu bulun
Asistan yanlış yanıt verdiğinde hemen modeli değiştirmeye yönelmeyin. Önce ilgili belgenin bulunup bulunmadığına bakın. Doğru belge hiç gelmediyse arama adımı incelenmeli. Belge bulunmuş ama yanıt yanlış hazırlanmışsa metnin nasıl kullanıldığına bakılmalı.
Microsoft'un RAG değerlendirme rehberi, yanıt kalitesinin birden fazla ölçütle değerlendirilmesini ve sonuçların kaydedilmesini ele alır. İş ekibiniz için bunu anlaşılır bir tabloya çevirebilirsiniz: “belge bulundu”, “ana bilgi doğru”, “önemli eksik yok”, “kaynak açılıyor” ve “yetki kuralı çalışıyor”.
Hataları etkilerine göre ayırın
Her hatanın etkisi aynı değildir. Yanıttaki gereksiz bir cümleyle yanlış fiyat bilgisini veya yetkisiz belge bilgisini ayrı kaydedin. Hangilerinin kullanıma açılmadan önce çözülmesi gerektiğini işin sorumlusuyla belirleyin. Her şirket için geçerli tek bir başarı yüzdesi yoktur.
Test kaydına kullanılan belge sürümünü, uygulama sürümünü ve yapılan değişikliği ekleyin. Böylece bir düzenleme sonrasında önceki soruları yeniden sorup neyin iyileştiğini görebilirsiniz. Yeni belge eklemek veya talimatı değiştirmek de yeniden kontrol gerektirebilir.
Kurumsal yapay zeka çözümünü ekibin kullanımına açmadan önce, kabul ölçütlerini iş ve teknik ekiplerin aynı şekilde anladığından emin olun.
