02. September 2024

Herzlichen Glückwunsch zum Bachelor, lieber Florian

Unser MATSE Florian hat seine Bachlorarbeit bestanden – und das mit grandiosen 1,0. Und einem sehr interessanten Thema: GerMS-Detect – Sexism Detection in German Online News Fora.

Zentrales Thema der Bachelorarbeit war ein KI-Wettbewerb, der die Entwicklung von Tools in den Fokus stellt, die Sexismus und Misogynie in Online-Kommentaren erkennen. Dazu wurden Kommentare vom Veranstalter bereitgestellt, die von „echten“ Menschen, hinsichtlich ihres sexistischen Gehalts, bewertet wurden. Die Aufgabe war es, bei anderen Kommentaren zu entscheiden, ob diese von den Menschen ebenfalls als sexistisch bewertet werden würden.

Um diese Aufgabe zu lösen, hat Florian in seiner Bachelorarbeit unterschiedliche Machine-Learning-Modelle trainiert und verglichen, welche die besten Ergebnisse erzielen. Die Modelle, die am besten performten, reichte er beim Veranstalter ein.

Infos zum Projekt:

Ursprünglich wurden die Daten des Projektes zur Entwicklung eines Modells genutzt, das die Menschen unterstützt, potenziell sexistische Kommentare oder Foren mit vermehrt sexistischen Kommentaren, zu erkennen.

Die Schwierigkeit dabei: Texte, die als sexistisch eingestuft werden, sind oft sehr herausfordernd für automatische Klassifizierungen, da sie sich oft auf einen impliziten Kontext beziehen, der aufgrund der Vermeidung einschlägiger Sprachmuster, nicht erreichbar ist. Diese Texte beinhalten keine eindeutigen sexistischen Wörter oder Schimpfwörter; selbst menschliche Kommentatoren sind sich teilweise unsicher, ob diese subtilen Texte als sexistisch eingestuft werden sollen und wenn ja, in welchem Schweregrad.

Neben den individuellen Folgen, die Sexismus mit sich bringen kann, stellt es auch ein sehr großes gesellschaftliches Problem dar, wenn 50% der Bevölkerung diskriminiert bzw. eingeschüchtert werden und deswegen weniger am öffentlichen Diskurs in sozialen Medien teilnehmen. 

Der Wettbewerb bietet die Möglichkeit zu lernen, wie man mit abweichenden Einschätzungen der Kommentatoren umgeht und wie man Modelle für einen solchen Text trainiert, die eventuell zusätzlich anzeigen, wie groß die Abweichungen in einem neuen Text sein können.

Unterteilung in zwei Subtasks: 

1. Mehrere binäre Label vorhersagen, welche die Präsenz von Sexismus auf verschiedene Arten anzeigt. Dieses Label basiert auf den Bewertungen der Texte durch verschiedene Kommentatoren und sagen zusätzlich die mehrheitliche Einschätzung, die die Kommentatoren abgegeben haben, voraus. 
2. Verteilungen erstellen, welche die Verteilung der echten Bewertungen der Textpassage möglichst gut annähern.

Sowohl Subtask 1 als auch Subtask 2 fanden in einem Closed Track und in einem Open Track statt. Im Closed Track konnten die Modelle nur mit dem zur Verfügung gestellten Training-Set trainiert werden. Es waren nur die Daten erlaubt, die für das Vortraining vorgesehen waren und nur die Ergebnisse des Closed Track ging in die Auswertung des Wettbewerbs ein.

Im Open Track hingegen gab es keine Beschränkung und es konnte alles genutzt werden, wie z.B. Language Modelle und eigene Trainingsdaten – allerdings mit der Auflage diese mit der Community zu teilen – sowie andere interessante Ansätze. Die Ergebnisse des Open Track sind nicht wettbewerbsrelevant, kommen aber auf eine eigene Bestenliste. Sie dienen hauptsächlich dazu, interessante Strategien zu erforschen, die schwer zu reproduzieren sind.

Herzlichen Glückwunsch, lieber Florian, zur bestandenen Bachlorarbeit mit der herausragenden Note 1,0! Wir sind unglaublich stolz auf dich und gratulieren von ganzem Herzen.