Natural language processing for business documents

Η Επεξεργασία Φυσικής Γλώσσας (NLP) για επιχειρηματικά και χρηματοοικονομικά κείμενα (Hahn et al., 2018; Chen et al., 2022) αποτελεί ένα ταχέως αναπτυσσόμενο ερευνητικό πεδίο που εφαρμόζει υπολογιστικές τεχνικές σε κείμενα όπως εταιρικά έγγραφα, αναφορές αναλυτών και οικονομικές ειδήσεις. Τα έγγραφα αυτά παρουσιάζουν μοναδικές προκλήσεις λόγω του εξειδικευμένου λεξιλογίου (El-Haj et al., 2019), του κρίσιμου ρόλου των αριθμητικών δεδομένων, των ιδιαίτερων συντακτικών δομών και της σημασιολογίας του εκάστοτε πεδίου. Οι δυσκολίες αυτές εντείνονται από ευρύτερα προβλήματα, όπως η επεξεργασία μεγάλου όγκου μη δομημένων δημόσιων δεδομένων και η οικονομικά αποδοτική ανάπτυξη γλωσσικών μοντέλων, ιδίως για οργανισμούς με περιορισμένους πόρους όπως οι small-to-medium enterprises (SMEs). Η αντιμετώπιση αυτών των προκλήσεων είναι κρίσιμη για εφαρμογές που εκτείνονται από την ανίχνευση απάτης (Goel and Gangolly, 2012), τη long-form summarization (Cao et al., 2024) και την εξαγωγή πληροφορίας έως τη χρηματοοικονομική question answering (Maia et al., 2018). Η παρούσα διατριβή στοχεύει στην προώθηση της εφαρμοσμένης NLP και της αξιοποίησης επιχειρηματικών εγγράφων σε πραγματικές συνθήκες, αντιμετωπίζοντας σύγχρονες βιομηχανικές προκλήσεις σε διαφορετικά επίπεδα της τεχνητής νοημοσύνης, και πιο συγκεκριμένα στο επίπεδο των δεδομένων, των εφαρμογών και της ανάπτυξης (deployment), με σταθερή έμφαση σε περιβάλλοντα περιορισμένων πόρων. Διατυπώνουμε τρία βασικά ερευνητικά ερωτήματα: (1) Πώς μπορούν τα ανοικτής πρόσβασης, μη δομημένα επιχειρηματικά έγγραφα να αξιοποιηθούν αποτελεσματικά για NLP; (2) Πώς μπορούν οι σύγχρονες μέθοδοι NLP που βασίζονται σε deep learning (DL) να προσαρμοστούν και να επεκταθούν ώστε να δημιουργούν επιχειρηματική αξία σε εργασίες όπως το automatic document tagging, λαμβάνοντας υπόψη τις ιδιαιτερότητες της χρηματοοικονομικής γλώσσας και την έντονη εξάρτησή της από αριθμητικά δεδομένα; (3) Για τις συνήθεις βιομηχανικές εργασίες text classification, ποιες προσεγγίσεις είναι οι πιο ακριβείς και οικονομικά αποδοτικές σε συνθήκες περιορισμένων πόρων; Το τρίτο ερώτημα μελετάται μέσω μιας πραγματικής εφαρμογής οικονομικά αποδοτικής αναγνώρισης πρόθεσης σε διαλόγους πελατών, με σύγκριση μεταξύ BERT-based models και Large Language Models (LLMs) και με βελτιστοποίηση του κόστους ανάπτυξης των LLMs. Για την αντιμετώπιση των παραπάνω, αρχικά εστιάζουμε στον «εκδημοκρατισμό» της πρόσβασης στα επιχειρηματικά έγγραφα μέσω της ανάπτυξης του EDGAR-CORPUS, του μεγαλύτερου δημόσια διαθέσιμου financial NLP corpus στα Αγγλικά, των domain-specific word embeddings EDGAR-W2V, τα οποία υπερτερούν των εναλλακτικών προσεγγίσεων, καθώς και του EDGAR-CRAWLER, ενός open-source εργαλείου εξαγωγής χρηματοοικονομικών δεδομένων με εκατοντάδες χρήστες από τον ακαδημαϊκό χώρο, τη FinTech κοινότητα και την ανάπτυξη web εφαρμογών. Στη συνέχεια, εισάγουμε το XBRL tagging ως μια πραγματική εργασία NLP, όπου δημιουργούμε το FiNER-139, το πρώτο dataset για το συγκεκριμένο πρόβλημα, και δείχνουμε ότι τα LSTM μοντέλα μπορούν να υπερέχουν έναντι του BERT λόγω περιορισμών της αρχιτεκτονικής των transformers και της τυπικής τεχνικής tokenization σε σχέση με τον κατακερματισμό αριθμητικών tokens. Μετά από εκτενή αξιολόγηση διαφορετικών μεθόδων, προτείνουμε μια νέα τεχνική tokenization με χρήση pseudo-tokens για transformer μοντέλα, η οποία βελτιώνει σημαντικά την απόδοση σε numeric-first tasks, οδηγώντας στην κυκλοφορία νέων state-of-the-art BERT μοντέλων (SEC-BERT) ειδικά σχεδιασμένων για το χρηματοοικονομικό πεδίο. Τέλος, για την οικονομικά αποδοτική αναγνώριση πρόθεσης, πραγματοποιούμε μια εκτενή συγκριτική μελέτη στο Banking77 dataset (Casanueva et al., 2020), δείχνοντας ότι μικρότερα BERT-based models μπορούν να είναι πιο αποδοτικά και οικονομικά από τα LLMs, απαιτώντας μόνο ελαφρώς περισσότερα επισημασμένα δεδομένα εκπαίδευσης. Παράλληλα, παρουσιάζουμε το “Dynamic Few-Shot Prompting”, μια προσέγγιση βασισμένη σε Retrieval-Augmented Generation (RAG) που μειώνει δραστικά το κόστος inference των LLMs διατηρώντας υψηλή ακρίβεια, και διερευνούμε τη χρησιμότητα της synthetic data generation. Η διατριβή καθιστά δημόσια διαθέσιμους βασικούς πόρους: το EDGAR-CORPUS, τα EDGAR-W2V embeddings, το λογισμικό EDGAR-CRAWLER, το dataset FiNER-139, την οικογένεια μοντέλων SEC-BERT, καθώς και ένα επιμελημένο υποσύνολο του Banking77 dataset, το οποίο περιλαμβάνει expert-selected παραδείγματα για κάθε intent class και το οποίο αποδεικνύεται κρίσιμο για την επίτευξη υψηλής απόδοσης σε few-shot learning σενάρια.