Частая ошибка при оценке RAG: команда тестирует систему на десяти самых чистых PDF из архива, получает отличные ответы — и на основе этого подписывает контракт на весь архив. Через месяц продакшена точность падает вдвое, и никто не может объяснить почему. Причина обычно не в модели, а в том, что «остальной» архив на значительную часть состоит из сканов, таблиц с объединёнными ячейками и документов без текстового слоя.

RAG ломается не в генерации ответа, а на несколько шагов раньше — при извлечении текста. Скан с шумом, таблица со сложной структурой или инженерный чертёж превращают точный по содержанию документ в плохой индекс ещё до того, как до него дойдёт retrieval.

Это подтверждается исследованиями: OHRBench показал, что качество OCR каскадно влияет на весь пайплайн — retrieval получает шум вместо текста, ранжирование сравнивает неполные фрагменты, а генерация уверенно формулирует ответ на основе испорченных данных. HD-RAG отдельно фиксирует, что таблицы с объединёнными ячейками требуют специального, table-aware разбора, а не построчного OCR. А бенчмарк UDA на реальных документах показывает, что обычные многоколоночные PDF с сносками дают заметно более слабый результат, чем чистый текстовый корпус, — даже при одной и той же модели.

Отсюда прямое следствие: десять чистых PDF ничего не говорят о готовности всего архива. Показательный пилот должен включать не лучшие документы, а типичные — вместе со сканами, таблицами и многостраничными приложениями, которые реально будут задавать пользователи.

Перед тем как запускать пилот, стоит честно оценить архив по четырём параметрам: какая доля — это сканы без текстового слоя; встречаются ли таблицы со сложной структурой; сохраняются ли номера страниц при конвертации; можно ли сослаться на конкретную строку таблицы, а не только на файл целиком. Ответ «не знаем» на любой из этих вопросов — сигнал, что оценку архива нужно провести до, а не после пилота.

Knovium делает эту оценку явной частью подготовки: каждый документ архива размечается по классу качества — «чистый текст», «PDF», «скан», «сложная таблица», — и эта разметка видна заказчику до того, как система начнёт отвечать на вопросы, а не всплывает как оправдание после первых слабых ответов.