RAG et évaluation des systèmes génératifs

1. Pourquoi mesurer la récupération avant la qualité de la réponse finale ?
2. Que signifie recall@k dans un jeu où le passage probant est annoté ?
3. À quel niveau faut-il vérifier les citations d'une réponse générée ?
4. Pourquoi inclure des questions sans réponse dans le jeu d'évaluation ?
5. Pourquoi appliquer les droits d'accès avant la recherche documentaire ?

Réponses. 1. Une note de bout en bout ne localise pas la panne ; sans passage probant en contexte, la génération ne peut pas être correctement accusée. 2. La proportion de questions pour lesquelles au moins un passage probant apparaît parmi les k résultats. 3. Au niveau de chaque affirmation importante, en vérifiant qu'un passage identifié la soutient réellement. 4. Elles mesurent le refus et l'abstention lorsque la preuve manque. 5. Un filtrage après génération arrive trop tard : un document interdit a déjà pu entrer dans le contexte du modèle et influencer ou exposer la réponse.