Utilisation de LLMs pour la classification d’avis client et comparaison avec une approche classique basée sur CamemBERT
Résumé
Common customer relationship use cases at EDF, such as routing a document to the right person and document categorization, currently require a supervised automatic classification task. In this context, this article compares two approaches for the classification of satisfaction comments and customer emails : a classic approach put into production at EDF based on CamemBERT fine-tuned on EDF data and a more recent approach based on LLMs (Large Language Models). For this 2nd approach, 3 prompting strategies are tested (zero-shot, few-shot, et keyword prompting) with several open-weights LLMs : Mistral, Mixtral, Neural-Hermès, Llama3 and Phi3 on reference classification tasks of 2 different types : binary classification and multilabel. In addition to these strategies, the impact of pre-processing on the LLM input texts was evaluated, as well as the contribution
of their fine-tuning specifically for the tasks. If it appears from these tests that the performances of non-finetuned LLMs are below those of CamemBERT approaches, the study provides lessons on the impact of prompting, text preprocessing and the contribution of fine-tuning in the use of these models.
Les cas d’usage courants de la relation client chez EDF comme le routage d’un document à la bonne personne, la catégorisation de documents, font actuellement appel à une tâche de classification automatique supervisée. Dans ce contexte, cet article compare deux approches pour la classification de commentaires de satisfaction et e-mails de clients : une approche classique mise en production à EDF
basée sur CamemBERT fine-tuné sur des données EDF et une approche plus récente basée sur des LLMs (Large Language Models). Pour cette 2ème approche, 3 stratégies de prompting sont testées (zero-shot, few-shot, et keyword prompting) avec plusieurs LLMs "open-weights" : Mistral, Mixtral, NeuralHermès, Llama3 et Phi3 sur des tâches de classification de référence de 2 types différents : classification binaire et multilabel. En plus de ces stratégies, l’impact du pré-traitement sur les textes en entrée des LLMs a été évalué, ainsi que l’apport de leur fine-tuning spécifiquement pour les tâches. S’il ressort de ces tests que les performances des LLMs non fine-tunés sont en deçà de celles des approches CamemBERT, l’étude apporte des enseignements sur l’impact du prompting, du pré-traitement des textes et l’apport du fine-tuning dans l’utilisation de ces modèles.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|
