Graph Neural Networks for Writer Identification and Retrieval

Schreiberidentifizierung (Writer Identification) zielt darauf ab, ein handschriftliches Dokument seinem korrekten Autor zuzuordnen, während Schreibersuche (Writer Retrieval) darauf abzielt, Dokumente desselben Autors aus einer Datenbank abzurufen. Während aktuelle State-of-the-Art-Ansätze auf Dokumentenebene hohe Leistung erzielen, führt die Verwendung von statischen Aggregationsmethoden wie Mittelwert- oder Summenbildung, die Wort- oder Zeilenfeatures zu globalen Repräsentationen von Dokumenten zusammenfassen und dabei feingranulare Details nicht erfassen, zu einem Leistungsabfall auf Wort- und Zeilenebene. In dieser Arbeit wird eine gelernte Aggregationsfunktion auf Basis von Graph Neural Networks vorgestellt, wobei jeder Graph ein Dokument oder eine Zeile als Ganzes repräsentiert. Innerhalb jedes Graphen kodieren die einzelnen Knoten aggregierte Repräsentationen lokaler Handschriftmerkmale, während die Graphstruktur deren räumliche Beziehungen modelliert. Es werden Experimente durchgeführt, um den Einfluss verschiedener Designentscheidungen zu untersuchen, einschließlich der Anzahl und Art der Merkmale, der Strategien zur Graphkonstruktion sowie der Architekturen der Graph Neural Networks. Die Experimente werden hinsichtlich der Identifikationsgenauigkeit, der Hard-Top-k-Metrik und der Mean Average Precision evaluiert. Die Ergebnisse heben das Potenzial von Graph Neural Networks als gelernte Aggregationsfunktion im Kontext der Schreiberidentifizierung und -suche hervor. Beispielsweise erzielt die beste Konfiguration im Rahmen der Schreibersuche auf Dokumentenebene eine mittlere durchschnittliche Präzision (mean Average Precision) von 79,36% und 66,58% auf Zeilenebene im CVL-Datensatz mit durchschnittlich 250 Featurepunkten pro Zeile. Dies zeigt eine starke Leistung auf Dokumentenebene und kommt insbesondere der Aufgabe auf Zeilenebene zugute, bei der nur eine begrenzte Menge an Handschriftinformationen zur Verfügung steht.