RAG e avaliação de sistemas generativos

1. Por que medir a recuperação antes da qualidade da resposta final?
2. O que significa recall@k em um conjunto em que a passagem probatória está anotada?
3. Em qual nível é preciso verificar as citações de uma resposta gerada?
4. Por que incluir perguntas sem resposta no conjunto de avaliação?
5. Por que aplicar os direitos de acesso antes da busca documental?

Respostas. 1. Uma nota de ponta a ponta não localiza a falha; sem passagem probatória no contexto, a geração não pode ser corretamente responsabilizada. 2. A proporção de perguntas para as quais ao menos uma passagem probatória aparece entre os k resultados. 3. No nível de cada afirmação importante, verificando que uma passagem identificada realmente a sustenta. 4. Elas medem a recusa e a abstenção quando a prova falta. 5. Uma filtragem após a geração chega tarde demais: um documento proibido já pode ter entrado no contexto do modelo e influenciado ou exposto a resposta.