PFIA 2024
APIA
Derby LLM - Évaluation comparative des approches RAG et fine-tuning
Christophe Bouvard, Mathieu Ciancone, Antoine Gourru, Marion Schaeffer
Les grands modèles de langage ont récemment été largement exploités dans les agents conversationnels, où l’injection de connaissances pour des domaines d’applications spécifiques est un enjeu crucial. Nous comparons deux approches : le fine-tuning et la génération augmentée de récupération. Nous évaluons ces techniques pour deux cas d’usage différents avec des métriques automatiques et la préférence humaine. Bien que la pertinence des réponses soit proche, la fidélité et la préférence humaine avantagent la génération augmentée de récupération.