sdecoret - stock.adobe.com
5 Arten der KI-Inhaltsmoderation und wie sie funktionieren
KI verändert die Art, wie Unternehmen Inhalte moderieren, insbesondere in sozialen Medien und aufgrund der Zunahme KI-generierter Inhalten. Tipps für die KI-Inhaltsmoderation.
Desinformationen und unangemessene Inhalte gibt es in digitalen Umgebungen zuhauf, und die Benutzer haben oft Schwierigkeiten, die Quelle solcher Inhalte zu bestimmen oder sie herauszufiltern.
Die Moderation von Inhalten ist eine gängige Praxis bei der Überprüfung sozialer Medien. Sie ermöglicht die Genehmigung oder Ablehnung von Kommentaren und Inhalten, die von Benutzern erstellt und gepostet werden. Die Aufgabe besteht darin, Inhalte, die gegen die Regeln verstoßen, zu entfernen, um sicherzustellen, dass die veröffentlichten Beiträge den Community-Richtlinien und Nutzungsbedingungen entsprechen.
Künstliche Intelligenz (KI) kann bei diesem Prozess unterstützen. Sie sucht nach KI-generierten Inhalten, die gegen die Regeln oder Richtlinien einer Social-Media-Plattform, einer Website oder einer Organisation verstoßen, markiert diese und entfernt sie. Dazu gehören Audio, Video, Text, Bilder, Beiträge und Kommentare, die zum Beispiel als beleidigend, vulgär oder gewaltverherrlichend gelten.
Was ist Inhaltsmoderation?
„In der Vergangenheit haben Unternehmen Inhalte mit menschlichen Moderatoren moderiert, die alle Inhalte vor der Veröffentlichung überprüft haben“, sagt Jason James, CIO beim Anbieter von Einzelhandelssoftware Aptos. Die Moderatoren prüften die Inhalte auf ihre Angemessenheit und genehmigten sie entweder und veröffentlichten sie oder lehnten sie ab und sperrten sie.
Leider wussten die Benutzer oft nicht, ob ihre Inhalte abgelehnt wurden und wenn ja, welche Kriterien für die Ablehnung galten. Der gesamte Prozess war manuell und verhinderte Echtzeit-Reaktionen auf Beiträge. Außerdem hing die Genehmigung von der Entscheidung und den Neigungen eines einzelnen Moderators ab.
Infolgedessen haben viele Unternehmen laut James eine Mischung aus automatisierten und menschlichen Eingriffen zur Moderation von Inhalten eingeführt. Die menschliche Moderation zusätzlich zur Automatisierung ist von entscheidender Bedeutung, denn wenn etwas Anstößiges durch die Maschen fällt, hat das für das Unternehmen ernsthafte Konsequenzen.
Eine automatische Moderation findet statt, wenn nutzergenerierte Inhalte, die über die Plattform oder Website veröffentlicht werden, automatisch daraufhin überprüft werden, ob sie gegen die Regeln und Richtlinien der Plattform verstoßen. „Wenn dies der Fall ist, entfernt die Plattform den Inhalt entweder ganz oder übergibt ihn an eine menschliche Moderation“, erläutert Sanjay Venkataraman, Chief Transformation Officer bei ResultsCX, einem Anbieter von CX-Management.
Moderation für KI-generierte Inhalte
Die Moderation von KI-Inhalten ist ein Machine-Learning-Modell. Es nutzt laut Venkataraman Technologie für die Verarbeitung natürlicher Sprache (Natural Language Processing, NLP) und bezieht plattformspezifische Daten ein, um unangemessene nutzergenerierte Inhalte zu erkennen.
Ein KI-Moderationsdienst kann automatisch Moderationsentscheidungen treffen – Inhalte ablehnen, genehmigen oder eskalieren – und lernt kontinuierlich aus seinen Entscheidungen. Die Moderation von KI-generierten Inhalten ist komplex, und die Regeln und Richtlinien entwickeln sich im Gleichschritt mit dem Tempo der Technologie.
„Inhalte, die mit generativer KI und großen Sprachmodellen (Large Language Model, LLM) erstellt werden, sind den von Menschen erstellten Inhalten ähnlich“, erklärt Venkataraman. „In einem solchen Szenario wird die Anpassung der aktuellen Prozesse zur Moderation von Inhalten, der KI-Technologie und der Vertrauens- und Sicherheitspraktiken kritisch und wichtig.“
Da generative KI viel kontextbezogenes Verständnis und Anpassungsfähigkeit in die Generierung von Inhalten einbringt, müssen die Moderations-Tools mit fortschrittlichen KI-Funktionen ausgestattet werden, um Abweichungen zu erkennen. Dazu gehört das Training der KI-Modelle mit einer größeren Anzahl von Datensätzen, der Einsatz von Menschen zur Validierung einer größeren Anzahl von Inhalten, kollaboratives Filtern mit von der Community generiertem Feedback zu veröffentlichten Inhalten sowie kontinuierliches Lernen und Feedback.
KI-generierte Inhalte nehmen zu, und Unternehmen müssen sich laut James an das schnelle Tempo anpassen. „Da Inhalte schneller erstellt werden können, steigt auch die Notwendigkeit, Inhalte schneller zu überprüfen und zu moderieren“, erläutert er. „Wenn man sich nur auf menschliche Moderatoren verlässt, kann es zu einem Stau bei der Überprüfung von Inhalten kommen, was die Erstellung von Inhalten verzögert. Die dadurch entstehenden Verzögerungen beeinträchtigen die Zusammenarbeit und führen letztlich zu einem schlechten Nutzererlebnis.“
5 Arten der KI-Moderation von Inhalten
Es gibt fünf Methoden, die Unternehmen anwenden können, um die KI- Inhaltsmoderation effektiv zu nutzen. Dies sind:
- Vormoderation. Unternehmen können NLP einsetzen, um nach Wörtern und Ausdrücken zu suchen, die sicherstellen, dass der Inhalt ihren Richtlinien entspricht, einschließlich Wörtern und Begriffen, die beleidigend oder bedrohlich sein können. Wenn sie diese Kriterien erfüllen, kann der Inhalt automatisch abgelehnt und der Benutzer gewarnt oder für zukünftige Beiträge gesperrt werden. Durch diesen automatisierten Ansatz müssen nicht mehr alle Beiträge von menschlichen Moderatoren überprüft werden.
- Nachmoderation. Diese Methode ermöglicht es Benutzern, Inhalte in Echtzeit zu posten, ohne sie vor der Moderation überprüfen zu müssen. Wenn ein Benutzer etwas postet, wird der Inhalt von einem Moderator überprüft. Mit dieser Methode können Benutzer Inhalte sehen, die gegen die Community-Richtlinien verstoßen, bevor ein Moderator dies bemerkt und sie sperrt.
- Reaktive Moderation. Bei dieser Methode können Benutzer als Moderatoren fungieren, die Beiträge daraufhin überprüfen, ob sie ihren eigenen Community-Standards entsprechen oder dagegen verstoßen. Bei dieser Methode wird die Moderation von der Community übernommen, statt dass menschliche Moderatoren eingesetzt und beschäftigt werden.
- Verteilte Moderation. Dieser Ansatz ähnelt der reaktiven Moderation, bei der die Benutzer darüber abstimmen, ob ein Beitrag ihren eigenen Community-Standards entspricht oder dagegen verstößt. Je mehr positive Stimmen Sie erhalten, desto mehr Benutzer sehen den Beitrag. Je mehr Benutzer den Beitrag als Verstoß melden, desto wahrscheinlicher wird er für andere gesperrt.
- Reine Benutzermoderation. Dies ermöglicht es Benutzern, das herauszufiltern, was sie für unangemessen halten. Die Moderation erfolgt nur durch registrierte und zugelassene Benutzer. Wenn zum Beispiel mehrere registrierte Benutzer den Beitrag melden, sperrt das System ihn automatisch für andere.
Wie KI die Moderation von Inhalten beeinflusst
„Generative KI wird die KI-Entwicklung weiter anführen“, sagt James. Dies wird den Druck auf die Unternehmen erhöhen, auf einer gewissen Ebene in KI zu investieren, um wettbewerbsfähig zu bleiben. Das wiederum wird die KI-Moderation von Inhalten zu einer unverzichtbaren Fähigkeit machen.
„KI wird nicht nur bei der Erstellung von Inhalten, sondern auch bei der Reaktion auf Postings in sozialen Medien verstärkt zum Einsatz kommen“, ist sich der CIO sicher. „Dies erfordert, dass Unternehmen die KI-gestützte Moderation von Inhalten einsetzen, um ihren bestehenden Prozess nicht nur zu automatisieren, sondern auch zu modernisieren.“
KI kann eine schnellere und genauere Moderation mit weniger subjektiver Überprüfung durch menschliche Moderatoren ermöglichen. Und in dem Maße, wie sich generative KI-Modelle weiterentwickeln und fortschrittlicher werden, wird die Moderation von Inhalten mit der Zeit immer effektiver werden.
„Schon jetzt kann [KI] automatisch hochpräzise, automatisierte Moderationsentscheidungen treffen. ... Indem sie kontinuierlich aus jeder Entscheidung lernt, kann sie ihre Genauigkeit und Nützlichkeit nur noch weiter ausbauen“, sagt Venkataraman.
