PhD 2026 Verified

Zero/Few shot learning applied to text classification

Visit original source

Abstract

Zero/Few-shot learning appliqué à la classification de textes Les institutions financières s'appuient de plus en plus sur des données textuelles non structurées, pour surveiller le risque de crédit. Leur volume et l'hétérogénéité rendent l'analyse manuelle complexe, d'où la classification automatique de texte devient essentielle. Cette thèse, réalisée dans le cadre du projet GoldenEye du Groupe BPCE, traite des défis liés à la limitation des données annotées et aux grands espaces d'étiquettes évolutifs. L'annotation manuelle est coûteuse et impratique à grande échelle, ce qui motive l'adoption des approches zero-shot et few-shot, réduisant la dépendance aux données annotées tout en maintenant des performances robustes. L'objectif principal est de concevoir des méthodes de classification de texte efficaces en termes de données, adaptées aux contraintes industrielles et aux contextes de supervision limitée. Plutôt que de se concentrer sur un seul modèle, la thèse explore plusieurs axes complémentaires en zero-shot et few-shot.La première contribution porte sur la classification few-shot multi-classe avec des modèles de langage masqués basés sur des prompts. Les verbalisateurs, correspondance entre classes et ensembles de mots-étiquettes, sont essentiels pour relier les étiquettes aux prédictions de tokens du modèle. Cette thèse propose un cadre de benchmarking pour les verbalizers manuels, automatiques et soft, montrant que le choix du verbalisateur influence fortement la performance en few-shot. Basé sur cette étude MaVEN (Manual Verbalizer Enrichment with Nearest Neighbors' Embedding) enrichit les verbalisateurs manuels en utilisant les voisins dans l'espace d'embedding, améliorant la performance.La deuxième contribution concerne la classification few-shot multi-étiquette, où la dépendance entre étiquettes posent des défis aux méthodes traditionnelles traitant chaque étiquette indépendamment. La thèse propose une formulation séquence-à-ensemble avec des transformeurs texte-à-texte (T5), considérant la prédiction multi-étiquette comme une génération séquentielle des prédictions pour capturer cette dépendance. Un pipeline d'entraînement en trois étapes (pré-entraînement, adaptation au domaine et spécialisation des chaînes) permet une forte généralisation inter-domaines. Les expériences montrent des performances supérieures aux baselines, et l'analyse d'ablation interprète les caractéristiques de fonctionnement de la méthode proposée.La troisième contribution traite la classification zero-shot multi-étiquette extrême, avec des espaces d'étiquettes très grands et aucune donnée annotée. La thèse propose un cadre d'auto-entraînement contrastif guidé par curriculum, qui raffine progressivement les représentations en utilisant des tâches de cloze inversé informé d'étiquettes, exploitant la sémantique tout en contrôlant le bruit des pseudo-étiquettes. Les expériences sur des benchmarks à grande échelle montrent des performances compétitives par rapport à de baselines zero-shot. L'analyse souligne que la conception attentive de l'entraînement permet un apprentissage zero-shot efficace même à grande échelle.En faisant progresser la classification zero-shot et few-shot, tant sur le plan méthodologique que pratique, ce travail montre que la formulation des tâches (via verbalizers, génération séquentielle et conception de curriculum) est un levier clé dans l'apprentissage sous supervision limitée. Ancrée dans un contexte industriel, la thèse fait le lien entre la recherche académique et le déploiement en conditions réelles.

Keywords

Not available

Specialisations

Similar theses