RAG-ты бағалаудағы жиі кездесетін қате: команда жүйені архивтегі ең таза он PDF-те тексереді, тамаша жауап алады — және осының негізінде бүкіл архивке келісімшарт жасайды. Продакшеннің бір айынан кейін дәлдік екі есе төмендейді, ешкім себебін түсіндіре алмайды. Себебі әдетте модельде емес, «қалған» архивтің басым бөлігі скандар, біріктірілген ұяшықты кестелер және мәтіндік қабаты жоқ құжаттардан тұратынында.
RAG жауап генерациясында емес, бірнеше қадам ертерек — мәтінді извлечение кезінде бұзылады. Шуылы бар скан, күрделі құрылымды кесте немесе инженерлік чертеж мазмұны дәл құжатты retrieval іске қосылмай тұрып-ақ әлсіз индекске айналдырады.
Мұны зерттеулер растайды: OHRBench OCR сапасы бүкіл pipeline-ды каскадты түрде анықтайтынын көрсетті — retrieval мәтіннің орнына шу алады, ranking толық емес үзінділерді салыстырады, ал generation бүлінген деректен сенімді жауап құрастырады. HD-RAG бөлек растайды: біріктірілген ұяшықты кестелер жол-жол OCR емес, арнайы table-aware талдауды талап етеді. Ал нақты құжаттардағы UDA бенчмаркі сілтемелері бар әдеттегі көп бағанды PDF-тер, тіпті жауап моделі бірдей болса да, таза мәтіндік корпусқа қарағанда айтарлықтай әлсіз нәтиже беретінін көрсетеді.
Мұнан тікелей қорытынды шығады: он таза PDF бүкіл архивтің дайын екенін білдірмейді. Мағыналы пилот ең жақсы құжаттарды емес, пайдаланушылар шынымен сұрайтын типтік құжаттарды — скандарды, кестелерді, көп беттік қосымшаларды қамтуы керек.
Пилотты іске қоспас бұрын архивті төрт параметр бойынша адал бағалаған жөн: архивтің қандай бөлігі мәтіндік қабаты жоқ скан; күрделі құрылымды кесте бар ма; конвертациядан кейін бет нөмірлері сақтала ма; тек файлдың өзіне емес, кестенің нақты жолына сілтеме жасауға бола ма. Осы сұрақтардың кез келгеніне «білмеймін» деген жауап — архивті бағалауды пилоттан кейін емес, алдында жүргізу керегінің белгісі.
Knovium бұл бағалауды дайындықтың ашық бөлігіне айналдырады: архивтегі әр құжат сапа класы бойынша белгіленеді — «таза мәтін», «PDF», «скан», «күрделі кесте» — және бұл белгілеу жүйе сұрақтарға жауап бере бастағанға дейін тапсырыс берушіге көрінеді, алғашқы әлсіз жауаптардан кейінгі сылтау ретінде емес.