«Пилот жақсы өтті» — бұл инженерге де, заңгерге де, қаржы директорына да ештеңе айтпайтын сөйлем. Жақсы дегені қандай? Жауаптар дәл болды ма? Барлық 50 бақылау сұрағында ма, әлде тек 30-ында ма? Жүйе пайдаланушылар шынымен қоятын сұрақтарда тексерілді ме, әлде демонстрацияда көрсетуге ыңғайлыларында ма?
«Ұнады» мен «қабылдаудан өтті» арасындағы айырмашылық — бірнеше әдемі жауаптан қалған субъективті әсер емес, метрика матрицасы. Бөлек тексеру керек: дұрыс құжат табылды ма, цитата дұрыс па, мәтін сұраққа толық жауап бере ме, модель өзінен ештеңе қоспай ма, және жауап қолайлы уақытта келе ме.
RAG бағалау шолулары — Yu және әріптестері (2024), Gao және әріптестері (2023) — бұл деңгейлерді анық бөледі: retrieval сапасы (керекті үзінді табылды ма), generation сапасы, яғни faithfulness (жауап табылған контекстке қаншалықты сай), және бірінші екеуіне сыймайтын, бөлек тексеруді талап ететін пайдаланушы үшін түпкілікті пайдалылық.
Latency бұл тізімде бөлек тұр, өйткені бұл техникалық деталь емес, пайдалану шарты: 30 секундта келетін дәл жауап диспетчер немесе алаңдағы инженердің жұмыс процесіне мүлде сыймауы мүмкін — сонда жүйе қаншалықты дәл болса да, оны ашуды жай тоқтатады.
Пилотты іске қоспас бұрын үш нәрсені жадта емес, қағазда бекіткен жөн: алдын ала белгілі дұрыс дереккөзі бар 30-50 бақылау сұрағының тізімі; нақты пайдалану сценарийіне арналған рұқсат етілген latency шегі; және жүйе бірдеңе ойдан шығарғаннан кейін емес, алдын ала — «дәлел жеткіліксіз» жауабы қашан жарамды саналатыны туралы анық ереже.
Әдеттегі демонстрация мен Knovium пилотының айырмашылығы: мұнда жүйе қай жерде дәрменсіз болғаны алдын ала көрінеді — сәтсіздіктер мен жартылай жауаптар журналы сәтті жауаптармен бірге жүргізіледі, және жауаптың үш күйі — табылды, жартылай табылды, дәлел жеткіліксіз — тек жақсы шыққандар бойынша емес, әр бақылау сұрағы бойынша тіркеледі.