RAG y evaluación de sistemas generativos

1. ¿Por qué medir la recuperación antes de la calidad de la respuesta final?
2. ¿Qué significa recall@k en un conjunto en el que el pasaje probatorio está anotado?
3. ¿A qué nivel hay que verificar las citas de una respuesta generada?
4. ¿Por qué incluir preguntas sin respuesta en el conjunto de evaluación?
5. ¿Por qué aplicar los derechos de acceso antes de la búsqueda documental?

Respuestas. 1. Una nota de extremo a extremo no localiza el fallo; sin pasaje probatorio en el contexto, no se puede acusar correctamente a la generación. 2. La proporción de preguntas para las cuales al menos un pasaje probatorio aparece entre los k resultados. 3. A nivel de cada afirmación importante, verificando que un pasaje identificado la sostiene realmente. 4. Miden el rechazo y la abstención cuando falta la evidencia. 5. Un filtrado después de la generación llega demasiado tarde: un documento prohibido ya pudo entrar en el contexto del modelo e influir en la respuesta o exponerla.