PFIA 2024
Utilisation de LLMs pour la classification d’avis client et comparaison avec une approche classique basée sur CamemBERT
Nicolas Vautier, Marc Hery, Mourad Miled, Irène Truche, François Bullier, Anne-Laure Guénet, Guillaume Dubuisson Duplessis, Sabrina Campano, Philippe Suignard
Les cas d’usage courants de la relation client chez EDF comme le routage d’un document à la bonne personne, la catégorisation de documents, font actuellement appel à une tâche de classification automatique supervisée. Dans ce contexte, cet article compare deux approches pour la classification de commentaires de satisfaction et e-mails de clients : une approche classique mise en production à EDF basée sur CamemBERT fine-tuné sur des données EDF et une approche plus récente basée sur des LLM (Large Language Models). Pour cette 2ème approche plusieurs stratégies de prompting sont testées (zéro-shot, few-shot et context prompting) avec plusieurs LLM open-source : Mistral, Mixtral et NeuralHermès sur 10 tâches de classification de référence de 3 types différents : classification binaire, multiclasses, et multilabels. En plus de ces stratégies, l’impact du pré-traitement sur les textes en entrée des LLM a été évalué, ainsi que l’apport de leur finetuning spécifiquement pour les tâches. S’il ressort de ces tests que les performances des LLM non finetunés sont en deçà de celles des approches CamemBERT, l’étude apporte des enseignements sur l’impact du prompting, du prétraitement des textes et l’apport du finetuning dans l’utilisation de ces modèles.