Erkennen Sie Fake News mit der Verarbeitung natürlicher Sprache

Können wir in den 59 Spiegel- Artikeln von Claas Relotius erkennen, was Fake News oder Plagiate sind?

Wir nutzten die Verarbeitung natürlicher Sprache, um Hinweise aufzudecken, die darauf hindeuteten, dass ein betrügerischer Journalist in der Vergangenheit Falschmeldungen verbreitet hatte.

Der Spiegel ist Deutschlands angesehenstes Nachrichtenmagazin. 2018 war die deutsche Medienbranche schockiert über die Nachricht, dass der aufstrebende Stern des Spiegels , Claas Relotius , „seine Artikel im großen Stil gefälscht“ habe. Kritiker des Magazins nutzten die Gelegenheit, um dem Magazin die Verbreitung von „Fake News“ vorzuwerfen, und die rechtsextreme deutsche Partei Alternative für Deutschland (AfD) schrieb, der Skandal habe ihre Sichtweise der Medien als „ Lügenpresse “ bestätigt. Die Folgen sind bis heute spürbar. Juan Moreno , der Whistleblower, der die gefälschten Artikel entdeckte, schrieb, dass Teilnehmer einer Journalistenveranstaltung Relotius als „Lord Voldemort“ bezeichnet hätten.

Trailer zu Tausend Zeilen , einem Film von Warner Bros über die Affäre Relotius mit Elyas M’Barek in der Hauptrolle.

Natürliche Sprachverarbeitung zur Erkennung von Fake News und Plagiaten

Ist es möglich, zu erkennen, wenn jemand nicht die Wahrheit sagt? Sie kennen vielleicht die subtile Körpersprache, Ticks und Signale, die einen Lügner verraten, aber wie sieht es mit dem geschriebenen Wort aus? Und mit Fake News?

Als ich über die Relotius-Affäre las, fragte ich mich unwillkürlich, ob die Verarbeitung natürlicher Sprache dabei hätte helfen können, Relotius früher zu entlarven. Mithilfe natürlicher Sprache lässt sich der Stil eines Textes analysieren und mögliche Autoren identifizieren . Wie lässt sich also echte von erfundenen Texten wie etwa Fake News unterscheiden?

Lassen Sie uns versuchen, die Magie der Datenwissenschaft auf Relotius‘ Artikel anzuwenden, um zu sehen, was wir lernen können.

Wie Juan Moreno Relotius zum ersten Mal entdeckte, beginnend mit der Migrantenkarawane in der Sonora-Wüste

Im Jahr 2018 machte sich eine Karawane von mehreren Tausend zentralamerikanischen Migranten auf den Weg von Honduras durch die Sonora-Wüste in Mexiko und weiter mit ihrem Endziel, den Vereinigten Staaten.

Juan Moreno, ein 45-jähriger freiberuflicher Reporter, begleitete die Migrantenkarawane und sammelte Material für einen Beitrag für den Spiegel .

Moreno war damit beauftragt worden, die Karawane auf ihrer Reise durch Mexiko zu begleiten. Er hatte mehrere anstrengende Wochen in der Wüste verbracht und bereits zwei junge Frauen gefunden, die bereit waren, sich von ihm ein paar Tage lang begleiten zu lassen.

Über die E-Mail der Spiegel- Redaktion, in der es hieß, sein junger, erfolgreicher Kollege Claas Relotius werde nun gemeinsam mit ihm an dem Artikel arbeiten und die redaktionelle Kontrolle über die Endfassung übernehmen, war er wenig erfreut.

Relotius hatte mehr als 40 Journalistenpreise gewonnen und galt weithin als aufsteigender Stern auf seinem Gebiet.

Relotius sollte nach Arizona reisen und eine Miliz aufspüren, eine Gruppe von Freiwilligen, die ihre Zeit und ihr Geld darauf verwenden, die südliche Grenze der USA vor der vermeintlichen Bedrohung durch illegale Migration zu verteidigen, während Moreno in Mexiko bleiben und weiterhin über die Migranten berichten sollte.

Der verdächtige Artikel – waren es Fake News?

Nach Abschluss des Einsatzes flog Moreno zurück nach Deutschland.

Als Moreno Relotius' Entwürfe und seinen letzten Artikel mit dem Titel Jaegers Grenze erhielt , fühlte sich etwas nicht richtig an. Relotius behauptete, er habe einige Tage mit einer Miliz namens Arizona Border Recon verbracht. In Relotius' Artikeln waren die Mitglieder von Arizona Border Recon bewaffnet und trugen farbenfrohe Spitznamen wie Jaeger, Spartan und Ghost. Relotius behauptete, er habe gesehen, wie Jaeger in der Wüste auf eine unbekannte Gestalt geschossen habe. Die Miliz wurde als stereotype Bande von Hinterwäldlern dargestellt, und einige Details schienen schwer zu glauben.

Moreno begann , Jaegers Border und Relotius‘ Artikel zu untersuchen. Er gab sein Erspartes für seine eigene private Ermittlung aus. Er reiste in Relotius‘ Fußstapfen durch die USA und besuchte Arizona und andere Orte. Schnell wurde klar, dass Relotius Geschichten erfunden hatte, anstatt die Personen zu interviewen, die er angeblich interviewt hatte.

Viele von Relotius‘ Artikeln stützten sich auf Stereotypen und die Geschichten schienen weit hergeholt und zu schön, um wahr zu sein. Die absurdeste Geschichte dreht sich für mich um einen Bruder und eine Schwester aus Syrien, die in einem türkischen Sweatshop arbeiteten. Relotius erfand ein syrisches Kinderlied über zwei Waisenkinder, die einmal König und Königin von Syrien werden. Laut dem Artikel kennt jedes syrische Kind „von Raqqa bis Damaskus“ dieses traditionelle Lied. Moreno sprach mit einem syrischen Mechaniker, Universitätsdozenten für Arabistik und Nahoststudien und so vielen syrischen Experten, wie er finden konnte. Niemand kannte das Lied!

Relotius entlarvt

Nach langem Beharren Morenos untersuchte die SPIEGEL- Leitung widerwillig Relotius‘ Artikel und kam zu dem Schluss, dass er die Mehrzahl seiner Artikel während seiner achtjährigen Amtszeit tatsächlich erfunden hatte.

Relotius hatte Interviews erfunden, die nie stattgefunden hatten, und Personen, die nie existierten. Er verfasste sogar einen Artikel über den Anstieg des Meeresspiegels auf der Pazifikinsel Kiribati, ohne seinen Anschlussflug dorthin anzutreten.

Der Spiegel widerrief reihenweise die betreffenden Fake-News-Artikel, und die „Affäre Relotius“ entwickelte sich zu einem bundesweiten Skandal, der weltweit Schlagzeilen machte und den US-Botschafter in Deutschland zu einer Intervention veranlasste, weil er die „antiamerikanische Stimmung“ einiger Artikel beanstandete .

Der Artikel „Jaegers Grenze“ und weitere Texte von Relotius können als PDF auf der Website des Spiegel heruntergeladen werden. Insgesamt stehen 59 Artikel zum Download bereit, zusammen mit Anmerkungen des Spiegels, die darauf hinweisen, welche Inhalte echt und welche reine Erfindung oder Fake News sind.

Im Internet sind zahlreiche englischsprachige Inhalte zum Relotius-Skandal verfügbar, darunter auch englische Übersetzungen vieler Artikel.

Relotius‘ Schreibstil: Der deutsche Konjunktiv und wie Stilometrie Fake News identifizieren könnte

Seinen vierten Reporterpreis gewann er … weil er vor dem Konjunktiv, anders als viele andere Schreiber, eben nicht zurückwich, sondern den Zweifel immer mitschwingen ließ.

Er gewann bereits seinen vierten Reporterpreis … weil er, anders als andere Autoren, den Konjunktiv nicht scheute, aber immer auch Raum für Zweifel ließ.

Juan Moreno, Tausend Zeilen Lüge

Im formellen geschriebenen Deutsch wird für Ereignisse, die der Autor aus zweiter Hand gehört hat oder zitiert, eine andere Verbform verwendet. Ein Artikel könnte beispielsweise lauten: „Er hätte mit der Niederlage nicht gerechnet “, wenn dies Teil der indirekten Rede oder Vermutung ist, während „Er hat mit der Niederlage nicht gerechnet“ sicherer ist. Die „hätte“ -Form ist der Konjunktiv, und Moreno bemerkt in dem obigen Zitat, dass Relotius sie großzügiger verwendet hat als andere Autoren.

Relotius‘ Texte mit NLP auf Fake News analysieren

Ich habe alle 59 verfügbaren Relotius-Artikel und Anmerkungen des Spiegels heruntergeladen und einige datenwissenschaftliche Experimente damit durchgeführt.

Zunächst habe ich den Wahrheits-/Falschheitsstatus der Artikel überprüft. Wie man sieht, sind mehr als die Hälfte frei erfunden, obwohl es einige Artikel gibt, bei denen der Spiegel nicht feststellen konnte, ob der Artikel echt war oder nicht. Letztere habe ich von meiner Analyse ausgeschlossen.

Von Relotius‘ 59 Artikeln sind 32 eindeutig Fake News, der Rest ist wahr oder unklar. Wir werden die echten und die Fake News mit Natural Language Processing analysieren.

Die überwiegende Mehrheit von Relotius' Artikeln schrieb er allein. Moreno erklärte später, es sei beim Spiegel eher ungewöhnlich gewesen, dass ein Reporter so viele Einzelaufträge übernahm, doch Relotius war der Starreporter des Blattes und schien in dieser Hinsicht gewisse Privilegien zu genießen.

Die Fake-News-Artikel stammen zumeist von Relotius allein, 44 Artikel liegen in alleiniger Autorenschaft vor.

Heute wissen wir natürlich, dass es für ihn einfacher war, Inhalte zu erfinden, wenn er allein arbeitete.

An der obigen Grafik ist noch etwas Interessantes zu erkennen: Nur einen einzigen Artikel verfasste Relotius in einem Zweierteam. An den anderen Gemeinschaftsartikeln waren allesamt größere Teams mit bis zu 14 Autoren beteiligt.

Der einzige Artikel mit zwei Autoren ist Jaegers „Grenze“ , der Artikel, der Relotius ertappte!

Dies zeigt, dass Relotius seine Artikel entweder allein oder in einem großen Team verfasste. Mit dieser Strategie kam er jahrelang durch, bis zu dem Auftrag „Jaegers Grenze“ . Vielleicht ist es auch einfacher, einer kritischen Prüfung zu entgehen, wenn man in einer großen Gruppe zusammenarbeitet.

Wortwolken für echte vs. falsche Nachrichten

Ich habe versucht, eine Wortwolke aus echten und gefälschten Nachrichtenartikeln zu erstellen, um zu sehen, ob es erkennbare Unterschiede gibt. Eine Wortwolke zeigt Wörter in unterschiedlichen Schriftgrößen, je nachdem, wie oft sie in einer Reihe von Dokumenten vorkommen.

Leider gibt es zwischen den beiden Sets keinen großen Unterschied.

Ich kann jedoch einige Muster erkennen.

• In den echten Nachrichtenartikeln wird „sei, würde“ häufiger verwendet. Dabei handelt es sich um spezielle Verbformen (Konjunktiv, siehe Morenos Zitat oben ), die häufig in der indirekten Rede verwendet werden. Es scheint, dass die Fake News mehr Beschreibungen direkter Aktionen und weniger zaghafte Berichterstattung oder indirekte Rede beinhalteten. Dies steht im Einklang mit Morenos Bemerkung, dass Relotius den Konjunktiv relativ häufig verwendete.

• Das Wort „ deutsche “ taucht in den echten Nachrichtenartikeln häufiger auf. In seinem Buch erklärt Moreno, dass Relotius nur seine Artikel über Reisen außerhalb Deutschlands gefälscht habe, da es für ein deutsches Publikum vermutlich schwieriger sei, falsche deutsche Nachrichten zu erfinden und sie glaubwürdig klingen zu lassen.

Die häufigsten Wörter finden, die Fake News von echten Nachrichten unterscheiden

Dann habe ich es mit einem wissenschaftlicheren Ansatz versucht. Ich habe ein Tool namens Naive Bayes Classifier verwendet, um die Wörter zu finden, die am deutlichsten darauf hinweisen, ob ein Artikel echt oder erfunden ist.

Der Naive-Bayes-Ansatz weist Wörtern, die stark auf Fake News hinweisen, eine große negative Zahl zu, und Wörtern, die auf echte Nachrichten hinweisen, eine kleinere negative Zahl.

Hier sind die 15 wichtigsten Wörter, die auf die Echtheit eines Artikels hinweisen, mit englischen Übersetzungen und den Bewertungen des Naive-Bayes-Klassifikators:

und hier einige der 15 wichtigsten Wörter, die darauf hinweisen, dass ein Artikel frei erfunden ist:

Dies ist nur eine Momentaufnahme, aber wir können jetzt weitere Muster erkennen. Die Fake News scheinen ziemlich stark in starker, emotionaler oder sehr anschaulicher Sprache zu sein, wie beispielsweise „korrupt “ oder „ verstümmelt “. Als ich die Top 100 Wörter betrachtete, war dieser Effekt immer noch erkennbar.

Anschließend habe ich getestet, ob es möglich ist, mit dem Naive-Bayes-Klassifikator vorherzusagen, ob ein bisher nicht veröffentlichter Relotius-Text echt oder gefälscht ist. Dies war jedoch leider nicht mit hinreichender Genauigkeit möglich.

Fazit: NLP kann Merkmale von Fake News aufzeigen, ist aber schwer, sie genau zu erkennen

Einen Fake-News-Detektor zu konstruieren, ist angesichts der Tatsache, dass uns lediglich 59 Artikel zur Verfügung stehen, nicht möglich. Wenn man aber im Nachhinein weiß, dass Relotius einige Texte verfälscht hat, lassen sich durchaus Muster und signifikante Unterschiede zwischen seinen echten und seinen gefälschten Artikeln erkennen:

• Die Fake News entstanden, als Relotius als Einzelkämpfer recherchierte. Das wurde ihm gleich auf die Schliche kommen, als er das erste Mal in einem Zweierteam an dem Artikel über Jägers Grenze arbeiten sollte.
• Die Fake-News-Artikel enthalten mehr Emotionen, drastische Darstellungen oder Kraftausdrücke als die echten Nachrichtenartikel.
• In den echten Nachrichtenartikeln wird mehr in der indirekten Rede vorgegangen und häufiger der Konjunktiv verwendet, was auf Unsicherheit seitens des Reporters schließen lässt.
• Vorbehalt: Es ist möglich, dass einige der oben genannten sprachlichen Unterschiede darauf zurückzuführen sind, dass die Originalartikel in der Regel von mehreren Autoren verfasst wurden. Eine forensische Stilometrieanalyse würde auch Aufschluss über stilistische Unterschiede innerhalb von Artikeln geben.
• Die gefälschten Artikel finden außerhalb Deutschlands statt.

Vielleicht kann man verdächtige Texte künftig kennzeichnen, wenn man diese Auswirkungen kennt. Wenn ein Reporter übermäßig gerne allein arbeitet, ins Ausland reist und nur wenige Interviews führt, aber eine blumige Sprache verwendet, die eher in einen Roman passt, dann stimmt vielleicht etwas nicht?

Sind das wirklich Fake News? Relotius verklagt Moreno

Natürlich wurden Relotius die Preise nach und nach wieder aberkannt und zurückgegeben, und er trat von seinem Posten beim Spiegel zurück.

Juan Moreno , der Whistleblower, der Relotius‘ Betrug aufdeckte, schrieb ein Enthüllungsbuch über die Relotius-Affäre mit dem Titel Tausend Zeilen Lügen . Das Buch ist eine faszinierende Enthüllung der Welt des Printjournalismus im digitalen Zeitalter und ein Bericht aus erster Hand über den Zusammenbruch von Relotius‘ System.

2019 leitete Relotius ein Gerichtsverfahren gegen Moreno wegen angeblicher Unwahrheiten im Buch ein.

Was bedeutet das für generative Sprachmodelle (LLMs) und Fake News? Können wir erkennen, ob ein Nachrichtenartikel von einer KI geschrieben wurde?

Seit der Relotius-Affäre ist das Thema Fake News und Fake Content immer wichtiger geworden. In den letzten Jahren wurden große Sprachmodelle (LLMs) wie ChatGPT und GPT-3 veröffentlicht und ihre Verbreitung bei der Inhaltsgenerierung. Der Guardian berichtete 2023, dass fast 50 Nachrichten-Websites KI-generiert sind , mit bizarren Schlagzeilen, die die Leser verwirren, wie etwa „Biden tot. Harris amtierende Präsidentin, Ansprache 9 Uhr ET“.

In einem anderen Blogbeitrag untersuche ich die Möglichkeiten, generative Modelle und LLMs wie ChatGPT numerisch auszuwerten . Im Rahmen eines Forschungsprojekts mit der Royal Holloway University experimentieren wir mit generativen Modellen für juristisches NLP und kombinieren generative Modelle, um Fragen zur Unternehmensinsolvenz zu beantworten. LLMs sind unglaublich vielseitig und können an eine Reihe von Aufgaben angepasst werden – wie steht es also mit der Erkennung von Fake News mit LLMs?

Wenn ein Dokument „Ich kann diese Eingabeaufforderung nicht abschließen“ oder „als KI-Sprachmodell“ enthält, ist die Wahrscheinlichkeit groß, dass es von ChatGPT oder einem anderen LLM geschrieben wurde! Dieses Warnsignal ist jedoch nicht immer sichtbar.

Wenn Sie vermuten, dass ein Text von einem generativen Sprachmodell wie ChatGPT geschrieben wurde, können Sie die Token-Sequenz durch ein LLM leiten, um zu berechnen, wie „überrascht“ das LLM ist, genau diese Sequenz zu sehen. Ein computergenerierter Text würde einem LLM nicht sehr überraschend erscheinen. Die berechnete Zahl ist die Perplexität , ein Maß für den Grad der Zufälligkeit in einem Text. Von Menschen generierte Texte neigen dazu, höhere Perplexitäten zu haben. Universitäten verwenden jetzt auf Perplexität basierende Tools, um zu überprüfen, ob die von Studenten eingereichten Aufsätze von ChatGPT geschrieben worden sein könnten .

Ich würde auch gerne die Möglichkeit untersuchen, Ratlosigkeit und ein LLM zu nutzen, um Fake News anhand von Relotius‘ Texten zu identifizieren. Moreno bemerkte, dass die Fake-News-Artikel oft formelhaft seien: Ein Protagonist mit einer Hintergrundgeschichte überwindet eine emotionale Herausforderung. Das ist definitiv etwas, das es zu erforschen gilt. Bleiben Sie dran!

Anhang: Technische Details zum Naive Bayes Fake News NLP-Klassifikator

Ich habe einen multinomialen Naive-Bayes-Klassifikator mit tf*idf-Werten verwendet. Ich habe ihn unten anhand einer ROC-Kurve ausgewertet:

Dies ist eine ROC-Kurve , die die Leistung meines Naive-Bayes-Klassifikators unter Kreuzvalidierung bei der Vorhersage unbekannter Relotius-Texte zeigt. Ein guter Klassifikator hätte eine Linie nahe der oberen linken Ecke.

Dass die Linie diagonal verläuft, zeigt, dass meine Vorhersagen nicht besser waren als ein Würfelwurf. Das heißt: Würde Relotius heute noch für den Spiegel schreiben, hätte ich keine Möglichkeit zu wissen, ob sein neuester Artikel frei erfunden ist oder nicht.

Es scheint, dass Fake News, Plagiate und KI-generierte Inhalte auch in naher Zukunft ein Problem darstellen werden. Hoffen wir, dass sich die NLP- Fake-News-Erkennung in naher Zukunft verbessert.

Interview mit Juan Moreno nach der Relotius-Affäre.

Verweise

Juan Moreno, Tausend Zeilen Lüge: Das System Relotius und der deutsche Journalismus (2019). Erzählt die Geschichte des Relotius-Skandals und das wachsende Problem von Fake News im Journalismus.

Claas Relotius, Bürgerwehr gegen Flüchtlinge: Jägers Grenze , und alle weiteren Texte von Claas Relotius , Der Spiegel (2018).

Philip Oltermann, Die Insider-Story über Deutschlands größten Skandal seit den Hitler-Tagebüchern , The Guardian (2019).

Ralf Wiegand, Claas Relotius geht gegen Moreno-Buch vor , Süddeutsche Zeitung (2019).

(Multinomial Naive Bayes) CD Manning, P. Raghavan und H. Schuetze, Einführung in die Informationsbeschaffung, S. 234-265 (2008).