eber
Belge otomasyonunda güven puanı eşiğini seçmek için doğru değerlerini bildiğiniz belgelerle deneme yapın. Önce hangi alanlardaki okuma hatalarının işi etkileyeceğini belirleyin. Ardından farklı eşiklerde gözden kaçan hataları ve çalışanlara düşen kontrol yükünü karşılaştırın. Her belge için geçerli tek bir doğru eşik yoktur.
Bu yaklaşım, özellikle “Kontrole çok fazla belge geliyor, eşiği düşürelim mi?” sorusuna yanıt ararken işe yarar. İnceleme bekleyen belge sayısının azalması tek başına iyileşme sayılmaz. Hatalı kayıtlar da incelemeye takılmadan geçmeye başlamış olabilir.
Güven puanı neyi anlatır?
Güven puanı, modelin çıkardığı bilginin doğru olduğuna ilişkin tahminidir. Microsoft Document Intelligence belgeleri, alan düzeyindeki puanı bu şekilde tanımlar ve her alan için puan verilmeyebileceğini belirtir. Bu nedenle zorunlu bir alanın güven puanı yoksa ne yapılacağını da belirlemelisiniz.
Bir miktarın doğru okunması, siparişteki miktarla uyuştuğunu göstermez. Güven puanı, okuma sonucunu değerlendirmeye yardımcı olur; şirketinizin kontrol kurallarının yerini tutmaz. Belgeyi alma, bilgiyi çıkarma ve kaydı onaylama adımlarını henüz ayırmadıysanız önce belge işleme akışını planlama rehberine bakabilirsiniz.
Önce her alandaki hatanın sonucunu belirleyin
Bir depoda malzeme teslim formlarından kayıt taslakları hazırlandığını düşünelim. Bu varsayımsal örnekte sistem ürün kodunu, miktarı, birimi ve serbest açıklama alanını alıyor. Açıklama alanı stok kararında kullanılmıyor; miktar ile birim ise birlikte değerlendiriliyor. Taslak hazırlanması, malzemenin kabul edildiği veya stok kaydının değiştiği anlamına gelmiyor.
Ekiple birlikte her alan için kısa bir not hazırlayın:
- Ürün kodu: Yanlış okunursa kayıt başka bir ürüne bağlanabilir. Kod, mevcut ürün listesiyle eşleşmeli.
- Miktar ve birim: Birlikte kontrol edilmeli. Sayının doğru okunması, “adet” ile “koli” ayrımındaki hatayı telafi etmez.
- Serbest açıklama: Bu akışta kullanılmıyorsa düşük puanı bütün taslağı durdurmamalı. Belirsiz metni doğrulanmış bilgi gibi aktarmak yerine asıl belgede bırakabilirsiniz.
- Zorunlu ama bulunamayan alan: Diğer alanların puanı yüksek olsa bile kayıt incelemeye gönderilmeli.
Hangi hatalarda işlemin durması gerektiğine, kaydı kullanacak ekip karar vermeli. Yapay zeka danışmanlığı çalışmasında araçları karşılaştırmadan önce netleştirilmesi gereken kararlardan biri de budur.
İki kuralı aynı belgeler üzerinde karşılaştırın
Farklı form düzenlerini, temiz taramaları ve zor okunan örnekleri içeren bir belge grubu hazırlayın. Her zorunlu alanın doğru değerini belgenin aslından kontrol ederek kaydedin. Kuralı geliştirmek için kullandığınız belgelerden ayrı olarak, son kontrolde kullanacağınız örnekler de ayırın.
Ardından aynı belgelerde iki eşik yaklaşımını deneyin. Her iki yaklaşımda da puandan bağımsız kontroller aynı kalsın: Zorunlu alan eksikse, ürün listesinde eşleşme yoksa veya miktar ile birim tutarsızsa kayıt incelemeye gönderilsin. Zorunlu bir alan çıkarılmış olsa da güven puanı yoksa bu örnekte kayıt incelemeye gönderilsin. Böylece karşılaştırmada yalnızca eşik uygulamasını değiştirmiş olursunuz.
A kuralı: Çıkarılan alanlardan herhangi birinin puanı ortak eşiğin altındaysa bütün belgeyi incelemeye gönder.
B kuralı: Alanın önemine göre eşik uygula. Bu akışta kullanılmayan açıklama alanının düşük puanı nedeniyle bütün belgeyi bekletme; belirsiz açıklamayı taslağa aktarma.
Aşağıdaki örnekler gerçek bir denemenin sonucu değildir. Karşılaştırmada nelere bakılabileceğini gösterir. Birim alanı için B kuralında ortak eşikten daha yüksek bir eşik seçildiği varsayılmıştır:
| Belgedeki durum | Ortak eşik (A) | Alana göre eşik (B) |
|---|---|---|
| Diğer kontroller tamam, yalnızca kullanılmayan açıklama alanının puanı düşük | Kullanılabilir taslak gereksiz yere bekleyebilir | Belirsiz açıklama aktarılmadan taslak hazırlanabilir |
| Ürün kodu yüksek puanla okunmuş ama ürün listesinde yok | Ürün eşleşmediği için inceleme istenir | Ürün eşleşmediği için inceleme istenir |
| Diğer kontroller tamam; birimin puanı ortak eşiğin üzerinde, bu alan için seçilen daha yüksek eşiğin altında | Puan nedeniyle inceleme istenmez | Birim alanının puanı nedeniyle inceleme istenir |
| Zorunlu alan hiç çıkarılamamış | Eksik alan nedeniyle kayıt bekletilir | Eksik alan nedeniyle kayıt bekletilir |
| Zorunlu alan çıkarılmış, ancak güven puanı verilmemiş | Puan yokluğu nedeniyle inceleme istenir | Puan yokluğu nedeniyle inceleme istenir |
Bu karşılaştırma, B kuralının her koşulda daha iyi olduğunu kanıtlamaz. Hangi kayıtların neden incelemeye ayrıldığını görmenizi sağlar. Sonucu kendi belgelerinizde kontrol etmeniz gerekir.
Eşiği değiştirirken hataları ve kontrol yükünü birlikte izleyin
Google Document AI değerlendirme rehberi, tahminleri test belgelerinde işaretlenmiş doğru değerlerle karşılaştırır. Rehber, eşik yükseldikçe eşik üstünde kalan tahminler içinde doğru olanların oranının genellikle arttığını, ancak doğru tahminlerin bir bölümünün de eşik altında kalabildiğini açıklar.
Teknik ekipten aynı model ve belge grubuyla birkaç farklı eşik denemesini isteyin. Modeli veya belgeleri de değiştirirseniz sonuçtaki farkın nedenini ayırt edemezsiniz. Her eşik için iki liste tutun:
- İncelemeye gönderilmeden geçen hatalar: Hangi alan yanlıştı? Bu hata sonraki adımda neyi etkilerdi?
- Doğru olduğu halde incelemeye gönderilen kayıtlar: Güven puanı nedeniyle incelenen hangi kayıtlarda tüm gerekli alanlar doğruydu ve diğer kontrol kuralları sağlanıyordu? Çalışan kontrol için ne kadar zaman ayırdı?
Süreçten sorumlu ekip, hangi hataların kabul edilemeyeceğini denemeden önce yazsın. Bu hataları otomatik geçiren eşikleri eleyin. Kalan seçenekleri kontrol süresi ve bekleyen iş yükü açısından karşılaştırın. Seçtiğiniz kuralı, son kontrol için ayrı tuttuğunuz belgelerde yeniden deneyin. Hiçbir seçenek beklentiyi karşılamıyorsa ilgili alan için insan kontrolünü sürdürün. Küçük bir denemede hata görülmemesi, sonraki tüm belgelerin doğru işleneceği anlamına gelmez.
Eşiği yalnızca ikinci listedeki kayıtları azaltmak için değiştirmeyin. Belgeler çoğunlukla bulanık görüntüler nedeniyle bekliyorsa önce tarama biçimini iyileştirin. Sorun tek bir form düzeninde yoğunlaşıyorsa o düzeni ayrıca inceleyin. Süreç otomasyonu planında, belgeyi hazırlayan kişinin yaptığı iş de değerlendirmeye dahil edilmeli.
Seçtiğiniz kuralı kayda geçirerek devreye alın
Kısa bir karar notu hazırlayın. Belge türünü, kullanılan modeli, alanlara göre eşikleri, puan bulunmadığında izlenecek yolu, puandan bağımsız kontrolleri ve incelemeden sorumlu kişiyi belirtin. Deneme tarihini ve kullanılan örnekleri de ekleyin. Teknik ekip, kuralları uygularken kaydın neden kontrole gönderildiğini ekranda gösterebilmeli. Yalnızca “düşük güven” uyarısı yeterli olmayabilir.
Yazılım geliştirme ve devreye alma sırasında kuralın hangi sürümünün kullanıldığını kaydetmek, sonradan ortaya çıkan değişiklikleri araştırmayı kolaylaştırır. Yeni bir model, farklı bir form düzeni veya tarama yöntemi kullanılmaya başlandığında aynı karşılaştırmayı tekrarlayın.
Kullanım başladıktan sonra yalnızca incelemeye gönderilen belgeleri kontrol etmeyin. Otomatik geçen kayıtlardan da işin riskine uygun örnekler seçin. Böylece çalışanların kontrolünü gerçekten gerekli kayıtlara yönlendirirken önemli hataların fark edilmeden geçip geçmediğini de sınayabilirsiniz.
