Nutzerkommentare in sozialen Medien und auf Newsseiten werden immer raffinierter. KI-Kommentarmoderation jedoch auch. Die aktuelle Generation von Moderationsmodellen ist in der Lage, facettenreiche Sprachspiele zu erkennen und gemäß gewünschter Moderationseinstellungen zu behandeln. Ein Einblick, warum diese neuen Modelle eine kontextbezogene und schnellere Prüfung von Kommentaren ermöglichen:
Die Herausforderung ‚Moderation‘
Die Moderation von Nutzerkommentaren ist eine anspruchsvolle Aufgabe. Moderationsteams müssen rund um die Uhr immer kreativere Kommentare auf ihre Angemessenheit überprüfen. Das ist zeitintensiv und setzt viel Konzentration voraus. Denn Sprachspiele mit Textlängen, Emojis und Blockwords können Beschränkungen von Plattformen und Netiquetten gekonnt umschiffen und manuelle Aufwände erhöhen. Menschliche Moderation benötigt deshalb neben Ausdauer auch eine ausgeprägte Sensibilität, um toxische Kommentare, Ironie sowie subversive Äußerungen zu erkennen und gleichbleibend zu behandeln.
KI-Kommentarmoderation kann dabei unterstützen und ist bereits bei vielen Kommentar-Communitys im Einsatz. Ihr Vorteil ist, dass sie jederzeit und in Echtzeit funktioniert. Diese Ausdauer hilft Moderationsteams, große Kommentarmengen effizient zu bewältigen.
Aber: KI kann die menschliche Moderation nicht vollständig ersetzen. Selbst bei automatischen Klassifikationen kann die KI bei der Beurteilung von Kommentaren „unsicher“ sein, sodass menschliche Entscheidungen erforderlich sind. Zudem passieren Fehler, die von Menschen korrigiert werden müssen. Dies ist nützlich, da die regelmäßige Überprüfung durch Menschen die Qualität der KI verbessert. Denn Sprache entwickelt sich ständig weiter und menschliches Sprachverständnis ist entscheidend, um die KI an diese Veränderungen anzupassen und ihre Leistungsfähigkeit zu gewährleisten. Die Synergie zwischen KI und menschlicher Moderation kann dabei mittels Automatisierungsraten, Risiko (für falsche Entscheidungen) und Assistenzquoten kontinuierlich gemessen werden.
Um die Komplexität der menschlichen Moderation darzustellen, muss auch die KI über verschiedene Experten-Klassifikatoren verfügen, welche die unerwünschten Phänomene, Kontexte und jeweilige Striktheiten gemäß der spezifischen Netiquette erkennen können. Die neue Generation der Moderations-KI erweitert dieses Ensemble um Klassifikatoren, die auf großen Sprachmodellen (Large Language Models: LLM) basieren und mehr Kontext dynamisch mit Weltwissen verbinden können.
Die nächste Generation der KI-Moderation
Wie funktioniert die aktuelle KI-Technologie in der Kommentarmoderation? Sie nutzt eine dreistufige Architektur, bei der drei Ebenen der KI zusammenarbeiten. Die höheren Ebenen greifen ein, wenn die darunterliegenden Ebenen keine klare Entscheidung treffen können. Diese Architektur ermöglicht auch die Integration zusätzlicher Informationen wie die Eingabe von Kontextinformationen zu Kommentaren (z. B. der Inhalt des kommentierten Artikels oder vorherige Kommentare) oder Informationen zu den Moderationsrichtlinien des Community Managements.
Die erste Ebene der regelbasierten KI nutzt tausende klar definierte Regeln, um schnell und effektiv zu arbeiten. So werden etwa Textlänge, erlaubte Zeichen und reguläre Ausdrücke geprüft. Diese Regeln können schnell angepasst werden, um auf neue Herausforderungen zu reagieren.
Dreischichtige KI-Architektur der nächsten Generation von KI-Moderation
In der zweiten Schicht der Architektur befinden sich zahlreiche spezialisierte Modelle, die darauf trainiert sind, bestimmte Inhalte wie Hassrede oder andere Sprachmuster zu erkennen und zu klassifizieren. Häufig arbeiten mehrere dieser Klassifikationsmodelle als Team (Ensemble) zusammen, um ein Phänomen zuverlässig zu klassifizieren. Dabei berücksichtigen sie auch Kontextinformationen. Die Modelle werden durch überwachtes Lernen trainiert. Das bedeutet, dass Menschen große Mengen von Kommentaren kategorisieren, z. B. als „sprachlich angemessen“. Durch Trainingsdaten lernen die Modelle, wie sie neue Kommentare einordnen sollen.
In der dritten Schicht der KI-Architektur kommen LLM-basierte Experten-Klassifikatoren zum Einsatz, um besonders schwierige oder unklare Kommentare zu bearbeiten. Im Vergleich zu den Modellen der vorherigen Schicht, besitzen die großen Sprachmodelle ein umfassenderes Weltwissen und können größere Zusammenhänge besser verstehen. Allerdings haben LLM auch ihre Einschränkungen: Ihre Klassifizierungen sind nicht immer konsistent und sie lassen sich nur begrenzt trainieren. Deshalb müssen diese LLM-basierten Klassifikatoren auf klar abgegrenzte Themen oder Phänomene spezialisiert werden, um verlässlich zu arbeiten.
Die dreischichtige KI-Architektur versucht also, Herausforderungen in der Kommentarmoderation zu bewältigen, indem sie komplexere Kommentare an die nächste Schicht weitergibt, die über spezialisierte Modelle mit größerem Weltwissen verfügt. Dadurch erhöht sich neben der Präzision der KI-Entscheidungen auch der Automatisierungsgrad.
Fazit
Kommentarmoderation behandelt sehr große Mengen und zum Teil komplexe und dynamische Sprachspiele.
KI kann mit Klassifikation weitreichend helfen, macht aber Fehler und braucht konstanten menschlichen Support, um mit der sprachlichen Dynamik mitzuhalten.
KI-Moderation besteht aus sehr vielen Regel- und Expertenmodellen.
In der neuen Schichten-Architektur kommen LLM-basierte Experten-Klassifikatoren dazu, welche durch Weltwissen mit Kontext verbesserte Ergebnisse erzielen können.
In News- und Social-Media Communitys kann mit diesem Verfahren eine zuverlässige Automatisierung von mehr als 80% erzielt werden, was die Arbeitslast in Moderationsteams erheblich erleichtert.