Exploring reinforcement learning in natural language processing
الملخص
El Procesament del Llenguatge Natural és el conjunt de tasques que tracten amb el llenguatge "humà". En aquest treball ens centrem en la traducció automàtica, una d'aquestes tasques, que consisteix en traduir automàticament d'un idioma a un altre. La principal forma d'afrontar aquesta tasca és mitjançant l'ús de tècniques de aprenentatge profund, particularment d'aprenentatge supervisat. Aquest treball té com objectiu explorar l'aplicació de tècniques de aprenentatge per reforç a la traducció automàtica. Experimentem amb dos datasets d'extremadament baixos recursos (IWSLT14 alemany-anglès i FLoRes nepalès-anglès) així com amb dues arquitectures d'aprenentatge profund diferents: el Transformer i una red bi-LSTM. Hem observat que les tècniques habituals d'aprenentatge per reforç aplicades al Transformer requereixen molta memòria de la GPU i per tant no hem pogut completar exitosament l'entrenament dels models. No obstant, hem obtingut resultats positius als experiments amb bi-LSTM.
الكلمات المفتاحية
غير متوفر
التخصصات
رسائل وأطاريح مشابهة
- Machine learning and natural language processing for sentiment analysis on the internet Matija Jerin · University of Maribor · 2025
- Machine Learning Models for Efficient and Robust Natural Language Processing Emma Strubell · University of Massachusetts Amherst · 2019
- Explorations of In-Context Reinforcement Learning Ethan Brooks · University of Michigan · 2024
- Natural language processing for business documents Ελευθέριος-Παναγιώτης Λούκας · 2025
- Coreference resolution in natural language processing Ruicheng Liu · Nanyang Technological University · 2025
- A generative chatbot with natural language processing David Liebman · 2020
