Die nächste Generation der KI-Kommentarmoderation

Sven-Uwe Janietz


Nutzerkommentare in sozialen Medien und auf Newsseiten werden immer raffinierter. KI-Kommentarmoderation jedoch auch. Die aktuelle Generation von Moderationsmodellen ist in der Lage, facettenreiche Sprachspiele zu erkennen und gemäß gewünschter Moderationseinstellungen zu behandeln. Ein Einblick, warum diese neuen Modelle eine kontextbezogene und schnellere Prüfung von Kommentaren ermöglichen:

Die Herausforderung ‚Moderation‘

Die Moderation von Nutzerkommentaren ist eine anspruchsvolle Aufgabe. Moderationsteams müssen rund um die Uhr immer kreativere Kommentare auf ihre Angemessenheit überprüfen. Das ist zeitintensiv und setzt viel Konzentration voraus. Denn Sprachspiele mit Textlängen, Emojis und Blockwords können Beschränkungen von Plattformen und Netiquetten gekonnt umschiffen und manuelle Aufwände erhöhen. Menschliche Moderation benötigt deshalb neben Ausdauer auch eine ausgeprägte Sensibilität, um toxische Kommentare, Ironie sowie subversive Äußerungen zu erkennen und gleichbleibend zu behandeln.

KI-Kommentarmoderation kann dabei unterstützen und ist bereits bei vielen Kommentar-Communitys im Einsatz. Ihr Vorteil ist, dass sie jederzeit und in Echtzeit funktioniert. Diese Ausdauer hilft Moderationsteams, große Kommentarmengen effizient zu bewältigen.

Aber: KI kann die menschliche Moderation nicht vollständig ersetzen. Selbst bei automatischen Klassifikationen kann die KI bei der Beurteilung von Kommentaren „unsicher“ sein, sodass menschliche Entscheidungen erforderlich sind. Zudem passieren Fehler, die von Menschen korrigiert werden müssen. Dies ist nützlich, da die regelmäßige Überprüfung durch Menschen die Qualität der KI verbessert. Denn Sprache entwickelt sich ständig weiter und menschliches Sprachverständnis ist entscheidend, um die KI an diese Veränderungen anzupassen und ihre Leistungsfähigkeit zu gewährleisten. Die Synergie zwischen KI und menschlicher Moderation kann dabei mittels Automatisierungsraten, Risiko (für falsche Entscheidungen) und Assistenzquoten kontinuierlich gemessen werden.

Um die Komplexität der menschlichen Moderation darzustellen, muss auch die KI über verschiedene Experten-Klassifikatoren verfügen, welche die unerwünschten Phänomene, Kontexte und jeweilige Striktheiten gemäß der spezifischen Netiquette erkennen können. Die neue Generation der Moderations-KI erweitert dieses Ensemble um Klassifikatoren, die auf großen Sprachmodellen (Large Language Models: LLM) basieren und mehr Kontext dynamisch mit Weltwissen verbinden können.

Die nächste Generation der KI-Moderation

Wie funktioniert die aktuelle KI-Technologie in der Kommentarmoderation? Sie nutzt eine dreistufige Architektur, bei der drei Ebenen der KI zusammenarbeiten. Die höheren Ebenen greifen ein, wenn die darunterliegenden Ebenen keine klare Entscheidung treffen können. Diese Architektur ermöglicht auch die Integration zusätzlicher Informationen wie die Eingabe von Kontextinformationen zu Kommentaren (z. B. der Inhalt des kommentierten Artikels oder vorherige Kommentare) oder Informationen zu den Moderationsrichtlinien des Community Managements.

Die erste Ebene der regelbasierten KI nutzt tausende klar definierte Regeln, um schnell und effektiv zu arbeiten. So werden etwa Textlänge, erlaubte Zeichen und reguläre Ausdrücke geprüft. Diese Regeln können schnell angepasst werden, um auf neue Herausforderungen zu reagieren.

Dreischichtige KI-Architektur der nächsten Generation von KI-Moderation 

In der zweiten Schicht der Architektur befinden sich zahlreiche spezialisierte Modelle, die darauf trainiert sind, bestimmte Inhalte wie Hassrede oder andere Sprachmuster zu erkennen und zu klassifizieren. Häufig arbeiten mehrere dieser Klassifikationsmodelle als Team (Ensemble) zusammen, um ein Phänomen zuverlässig zu klassifizieren. Dabei berücksichtigen sie auch Kontextinformationen. Die Modelle werden durch überwachtes Lernen trainiert. Das bedeutet, dass Menschen große Mengen von Kommentaren kategorisieren, z. B. als „sprachlich angemessen“. Durch Trainingsdaten lernen die Modelle, wie sie neue Kommentare einordnen sollen.

In der dritten Schicht der KI-Architektur kommen LLM-basierte Experten-Klassifikatoren zum Einsatz, um besonders schwierige oder unklare Kommentare zu bearbeiten. Im Vergleich zu den Modellen der vorherigen Schicht, besitzen die großen Sprachmodelle ein umfassenderes Weltwissen und können größere Zusammenhänge besser verstehen. Allerdings haben LLM auch ihre Einschränkungen: Ihre Klassifizierungen sind nicht immer konsistent und sie lassen sich nur begrenzt trainieren. Deshalb müssen diese LLM-basierten Klassifikatoren auf klar abgegrenzte Themen oder Phänomene spezialisiert werden, um verlässlich zu arbeiten.

Die dreischichtige KI-Architektur versucht also, Herausforderungen in der Kommentarmoderation zu bewältigen, indem sie komplexere Kommentare an die nächste Schicht weitergibt, die über spezialisierte Modelle mit größerem Weltwissen verfügt. Dadurch erhöht sich neben der Präzision der KI-Entscheidungen auch der Automatisierungsgrad.

Fazit

  • Kommentarmoderation behandelt sehr große Mengen und zum Teil komplexe und dynamische Sprachspiele.

  • KI kann mit Klassifikation weitreichend helfen, macht aber Fehler und braucht konstanten menschlichen Support, um mit der sprachlichen Dynamik mitzuhalten.

  • KI-Moderation besteht aus sehr vielen Regel- und Expertenmodellen.

  • In der neuen Schichten-Architektur kommen LLM-basierte Experten-Klassifikatoren dazu, welche durch Weltwissen mit Kontext verbesserte Ergebnisse erzielen können.

  • In News- und Social-Media Communitys kann mit diesem Verfahren eine zuverlässige Automatisierung von mehr als 80% erzielt werden, was die Arbeitslast in Moderationsteams erheblich erleichtert.

Ihr Datenschutz, unsere Aufgabe

Wir setzen auf unserer Website verschiedene Technologien ein. Einige von ihnen sind essenziell und damit für den Betrieb der Website notwendig, während andere nicht notwendig sind, uns jedoch helfen, unser Online-Angebot zu verbessern und wirtschaftlich zu betreiben. Die Einwilligung umfasst die von Ihnen ausgewählten Verarbeitungen und die mit ihnen verbundene Speicherung von Informationen auf Ihrem Endgerät sowie deren anschließendes Auslesen und die folgende Verarbeitung personenbezogener Daten. Sie können in die einwilligungbedürftigen Verarbeitungen mit dem Klick auf die Schaltfläche „Alle Akzeptieren“ einwilligen oder per Klick auf „Ablehnen und Einstellungen“ sich granular dagegen entscheiden. Sie können diese Auswahl jederzeit über den Link „Datenschutz-Einstellungen“ aufrufen und nachträglich anpassen. Wir weisen Sie darauf hin, dass bezogen auf einzelne Cookies und Dienstleister eine Verarbeitung Ihrer Daten in den USA erfolgt. Die USA werden vom Europäischen Gerichtshof als ein Land mit einem nach EU-Standards unzureichendem Datenschutzniveau eingeschätzt. Es besteht insbesondere das Risiko, dass Ihre Daten durch US-Behörden, zu Kontroll- und zu Überwachungszwecken, möglicherweise auch ohne Rechtsbehelfsmöglichkeiten, verarbeitet werden können.