RAG değerlendirmesinde sık yapılan bir hata: bir ekip sistemi arşivdeki en temiz on PDF üzerinde test eder, harika cevaplar alır — ve buna dayanarak tüm arşiv için sözleşme imzalar. Üretimin bir ayı sonunda doğruluk yarıya düşer ve kimse nedenini açıklayamaz. Neden genellikle model değildir; arşivin "geri kalanının" büyük bölümünün taramalar, birleşik hücreli tablolar ve hiç metin katmanı olmayan belgelerden oluşmasıdır.
RAG, cevap üretiminde değil birkaç adım öncesinde — metin çıkarma aşamasında kırılır. Gürültülü bir tarama, karmaşık yapılı bir tablo veya mühendislik çizimi, retrieval hiç çalışmadan önce içerik olarak doğru bir belgeyi zayıf bir indekse dönüştürebilir.
Bunu araştırmalar da doğrular: OHRBench, OCR kalitesinin tüm hattı zincirleme etkilediğini gösterdi — retrieval metin yerine gürültü alır, sıralama eksik pasajları karşılaştırır ve generation bozuk veriden emin bir cevap yazar. HD-RAG ayrıca birleşik hücreli tabloların satır satır OCR değil, özel bir table-aware analiz gerektirdiğini tespit etti. Gerçek belgeler üzerindeki UDA benchmarkı ise dipnotlu sıradan çok sütunlu PDFlerin, aynı model kullanılsa bile temiz bir metin korpusundan belirgin şekilde daha kötü sonuç verdiğini gösteriyor.
Buradan doğrudan bir sonuç çıkıyor: on temiz PDF, arşivin tamamının hazır olup olmadığı hakkında hiçbir şey söylemez. Anlamlı bir pilot en iyi belgeleri değil, kullanıcıların gerçekte soracağı taramalar, tablolar ve çok sayfalı ekler gibi tipik belgeleri içermelidir.
Bir pilot başlatmadan önce arşivi dört noktada dürüstçe değerlendirmek gerekir: ne kadarı metin katmanı olmayan tarama; karmaşık yapılı tablolar var mı; sayfa numaraları dönüşümden sonra korunuyor mu; yalnızca dosyanın tamamına değil belirli bir tablo satırına atıf yapılabiliyor mu. Bunlardan herhangi birine "bilmiyoruz" cevabı, arşiv değerlendirmesinin pilottan önce yapılması gerektiğinin işaretidir.
Knovium bu değerlendirmeyi hazırlığın açık bir parçası haline getirir: arşivdeki her belge kaynak kalitesi sınıfına göre etiketlenir — "temiz metin", "PDF", "tarama", "karmaşık tablo" — ve bu etiketleme, sistem soruları cevaplamaya başlamadan önce müşteriye gösterilir; ilk zayıf cevaplardan sonra bir mazeret olarak ortaya çıkmaz.