Erzählungen und Gespräche 034 | Fünfzigtausend falsche Daten lehren die AI, wie man Zitate macht

【Rubrik: Shiwen Dialogue】Moderator: „Shiwen“ Gäste: „Yongliang“

【Fokus und Anleitung】 👆 Klicken Sie auf den blauen Text „Yongliang Talks AI“, um mich zu folgen, markieren Sie ihn mit einem Stern. Wir sprechen über die Realitäten des Arbeitsplatzes und der Wirtschaft in der AI-Ära, wöchentlich aktualisiert.

【Coverbild: Titelschild】

Eröffnungsgespräch: Wenn gefälschte Daten als echte Quellen verwendet werden

„Shiwen“: In den letzten Tagen gab es einen sehr beliebten Beitrag auf Hacker News, bei dem ein Forscher namens Metehan Yesilyurt fünfzig US-Dollar ausgegeben hat, um mit GPT-4.1 innerhalb eines Tages fünftausend gefälschte Statistikseiten zu erstellen. Noch absurder ist, dass diese gefälschten Daten nicht durch Google passiert sind, aber von ChatGPT ständig abgerufen und zitiert wurden. In sieben Monaten wurden mehr als zehntausend Zitationen erzeugt, und sie tauchten sogar in wissenschaftlichen Artikeln, Investitionsstudien der Qatar Financial Group, indischen Wirtschaftspublikationen und Forschungsberichten der kanadischen Influencer-Community auf. Was halten Sie von dieser Sache?

„Yongliang“: Ich habe den Beitrag aus dem Faktenpaket gelesen. Was mich am meisten schmerzt, ist nicht, dass jemand gefälscht hat, sondern dass die Fälschung systematisch als echte Information angesehen wurde. Ich bin seit siebzehn Jahren in der Technologiebranche tätig und habe mehrmals eine Teamgröße von siebzig Personen geleitet. Früher diskutierten wir über die Qualität von Informationen und glaubten, dass solange die Suchmaschine gut genug sei, die Wahrheit immer an erster Stelle stehen würde. Dieses Beispiel zeigt uns, dass es zwei verschiedene Dinge sind: von ChatGPT abgerufene Daten zu sehen und in Google gelistet zu werden. ChatGPT kann eine Website, die fast von Google deindiziert wurde, sieben Monate lang als autoritative Quelle verwenden. Das ist das Thema, über das ich heute gerne genauer sprechen möchte.

„Shiwen“: Glauben Sie also, dass dieses Problem tiefer geht als „AI-Unsinn“?

„Yongliang“: Ja. AI-Unsinn ist ein bekanntes Problem, aber hier handelt es sich nicht darum, dass AI etwas erstellt hat, sondern dass AI Zahlen aus einer scheinbar seriösen Website entnommen hat, diese Zahlen dann Schicht für Schicht zitiert, verpackt und veröffentlicht hat, bis sie zu „autorisierten Fakten“ wurden. Das ist schwieriger zu verhindern als reine Illusionen, denn es trägt die „Zitierkette“. Heute möchte ich dieses Problem aus vier Perspektiven analysieren: Phänomen, persönliche Erfahrung, Teammechanismus und Grenzen des Gegners.

Q1: Was ist mit diesen fünftausend gefälschten Daten passiert?

„Shiwen“: Lassen Sie uns zunächst das Phänomen klar erklären. Wie wurde dieses Experiment durchgeführt?

„Yongliang“: Basierend auf den Informationen im Faktenpaket kaufte der Autor einen neuen Domainnamen, stateglobe.com, und nutzte GPT-4.1, um innerhalb eines Tages etwa fünftausend Statistikseiten zu erstellen, die SEO, Content-Marketing, Social Media, E-commerce und Netzwerktechnologie für zweihundert Länder abdeckten. Alle Zahlen waren erfunden; der Autor sagte: „Ich habe keinen einzigen davon überprüft.“

„Shiwen“: Wie hoch war die Kosten?

„Yongliang“: Die Gesamtkosten betrugen etwa fünfzig US-Dollar, davon dreißig US-Dollar für die Erstellung der Statistikseiten und zwanzig US-Dollar für die Erstellung der Listeartikel. Diese Kosten sind bei Content-Marketing fast nicht relevant, aber die Menge an Ergebnissen ist erstaunlich. Der Schlüssel liegt in der weiteren Entwicklung: Nach einer Anpassung des Google-Algorithmus brach die Sichtbarkeit dieser Website zusammen und wurde fast deindiziert. Das bedeutet, dass sie die traditionelle Suchmaschine nicht passieren konnte.

„Shiwen“: Aber ChatGPT hat es geschafft?

„Yongliang“: Es ist vorbei, und es lief gut. Die Daten im Faktenpaket zeigen, dass in den letzten dreißig Tagen Cloudflare-Logdaten über sechzigtausend Bot-Anfragen aufwiesen, davon etwa siebentausendtausend von ChatGPT-User. Nach sieben Monaten wird diese Website immer noch von ChatGPT zitiert, und GA4 zeigt mehr als zehntausend Sessions von ChatGPT an. In den von Peec erfassten Schlüsselwörtern belegt statistisch gesehen stateglobe.com den zweiten Platz, nach Statista. Das zeigt, dass ChatGPTs Suche und Zitierungsmechanismen „ob Google die Informationen aufgenommen hat“ nicht als zuverlässige Filterkriterien betrachten. Es zu sein in Google ist etwas anderes als ob ein AI dich finden und zitieren kann.

„Shiwen“: Wohin sind all diese falschen Daten gelangt?

„Yongliang“: Im Faktenpaket sind vier Beispiele aufgeführt: einen wissenschaftlichen Artikel, eine Investitionsstudie des größten Finanzkonzerns Qatars, eine indische Wirtschaftspublikation und eine Forschungsbericht einer Influencer-Community in Kanada. Das bedeutet, dass falsche Daten von der akademischen Welt über die Finanzbranche bis zu selbstveröffentlichten Forschungsberichten in allen Bereichen verbreitet wurden.

Q2: Wie erkennst und begegnest du dieser „Zitierkontamination“ persönlich?

„Shiwen“: Nimm dich persönlich vor. Mit siebzehn Jahren Erfahrung als Technikdirektor, wie beurteilst du normalerweise, ob die von AI gelieferten Daten oder Zitate glaubwürdig sind?

„Yongliang“: Ich gebe zuerst die Voraussetzung an: Das ist meine Erfahrung, keine Statistik. Der Glaube an Informationen kommt oft davon ab, „wie formell sie erscheint“, nicht von „wie viele Tests sie durchlaufen hat“. Ein Domainname, eine Tabelle, eine Zitierformatierung können leicht dazu führen, dass man seine Wachsamkeit verliert. Deshalb achte ich bei der Faktenprüfung auf drei Punkte.

„Shiwen“: Welche drei Punkte?

„Yongliang“: Erstens, ob es einen verifizierbaren Weg zur Quelle gibt. Wenn AI mir eine Zahl gibt, frage ich zuerst: Woher stammt diese Zahl? Von offiziellen Statistiken, wissenschaftlichen Zeitschriften, Unternehmensberichten oder einem Blog? Wenn die Quelle nicht zurückverfolgbar ist oder es sich um eine Website handelt, über die ich noch nie gehört habe, dann nehme ich sie nicht direkt an. Zweitens, ob die Daten interne Kohärenz aufweisen. Falsche Daten sind oft isoliert und passen nicht zu anderen Daten in derselben Branche. Wenn beispielsweise die E-Commerce-Quote eines Landes völlig unabhängig von der Bevölkerungszahl, dem BIP oder der Internetverbreitung des Landes ist, sollte man daran zweifeln. Drittens, ob die Zitierkette „gewaschen“ wurde. In diesem Fall hat der Autor den Begriff „citation laundering“ eingeführt, also wie falsche Daten nach dem wiederholten Zitieren immer realer erscheinen. Meine Erfahrung ist, dass je mehr etwas „viel zitiert“ wird, desto wichtiger ist es, bis zur ursprünglichen Quelle zu gelangen.

„Shiwen“: Ist AI dabei euer Helfer oder euer Feind?

„Yongliang“: Ein zweischneidiges Schwert. AI kann euch schnell dabei helfen, Informationen zu ordnen und Zusammenfassungen zu erstellen, aber es verwechselt auch „quellensicher“ mit „zuverlässiger Quelle“. Ich habe mehr als einmal erlebt, dass die von AI gelieferten Zitierformate sehr standardisiert sind, aber wenn man darauf klickt, entweder ist sie nicht öffentlich zugänglich oder der Inhalt passt nicht. Deshalb habe ich mir eine Regel gestellt: Jede Zitation, die AI mir gibt, muss ich entweder selbst überprüfen oder mit anderen Quellen verifizieren. Ich lasse AI nicht allein die Faktenprüfung durchführen.

„Shiwen“: Gibt es Situationen, in denen ihr AI auf keinen Fall direkt Daten liefern lassen würdet?

„Yongliang“: Ja. Drei Kategorien. Die erste Kategorie umfasst Zahlen, die Investitionen, Finanzen und Politik betreffen, wie beispielsweise der Marktumfang, das Wachstumsrate und die Anzahl der Nutzer. Wenn diese Zahlen falsch sind, kann dies zu hohen Entscheidungskosten führen. Die zweite Kategorie bezieht sich auf Berichte, Artikel und Whitepapers, die öffentlich veröffentlicht werden. Jedes Inhalt, der unterschrieben wird oder zitiert wird, muss von Menschen überprüft werden. Die dritte Kategorie umfasst Situationen, in denen ich wichtige Entscheidungen treffen muss, wie ob ich in einen Markt eintreten soll oder in welche Richtung ich investieren soll. AI kann mir helfen, Materialien schnell durchzusehen, aber die Echtheit der Zahlen und deren Interpretation liegt in meiner Verantwortung.

Q3: Wie hast du in einer Gruppe von siebzig Personen ein Mechanism zur Überprüfung der Informationen etabliert?

„Shiwen“: Von Einzelpersonen zu einer ganzen Gruppe. Wie hast du verhindert, dass AI-Generierte Inhalte zu Fehldarstellungen führen?

„Yongliang“: Zuerst ein allgemeiner Prinzip: AI kann Inhalte generieren, aber es darf die Richtigkeit dieser Inhalte nicht bestätigen. Wir haben eine harte Anforderung: Alle öffentlich veröffentlichten Berichte, PPTs und Artikel auf den öffentlichen Accounts müssen die ursprüngliche Quelle angeben, und diese Quelle muss bis zur ersten Quelle zurückverfolgt werden können. Wenn AI am Inhalterschaffen beteiligt ist, muss im Dokument angegeben werden, welche Teile mit AI erstellt wurden und welche Zahlen manuell überprüft wurden. Das ist keine Formalität, sondern um bei Fehlern die Verantwortung zu kennen.

„Shiwen“: Wie wird das konkret umgesetzt?

„Yongliang“: Wir haben drei Stufen festgelegt. Die erste Stufe sind interne Diskussionsmaterialien, bei denen AI-generierte Inhalte direkt verwendet werden können, aber dazu wird angegeben: „AI-Entwurf, noch nicht überprüft“. Die zweite Stufe sind Inhalte für interne Entscheidungen, bei denen die Daten manuell überprüft werden müssen und neben den wichtigen Zahlen der Name des Personals stehen muss. Die dritte Stufe sind Inhalte, die öffentlich veröffentlicht werden, bei denen jede Grafik und jede Zahl ihre Herkunft angeben muss und vom Projektverantwortlichen unterschrieben werden muss. Die Grenzen dieser drei Stufen sind in der Team-Wiki klar beschrieben, und Neulinge müssen dies zuerst lernen.

„Shiwen“: Aber die Gruppe muss täglich so viel Information verarbeiten – ist es nicht unrealistisch, alles manuell zu überprüfen?

„Yongliang“: Natürlich ist das unrealistisch, deshalb müssen Mechanismen eingesetzt werden, um die Daten zu strukturieren. Wir haben zwei Dinge gemacht. Das erste war die Einrichtung einer „Datensource-Whitelist“. Häufig verwendete Daten dürfen nur aus offiziellen Statistiken, autoritativen Medien, Unternehmensberichten börsennotierter Unternehmen und bekannten Forschungsinstituten entnommen werden. AI kann dabei helfen, aber ob die Daten überhaupt verwendet werden dürfen, muss gegen die Whitelist geprüft werden. Das zweite war die Einführung einer „Sensitive-Numbers-Revisierungsliste“. Jeder Inhalt, der Marktumfang, Wachstumsrate, Anzahl der Nutzer oder Umsatz betrifft, muss von mehr als zwei unabhängigen Quellen überprüft werden oder von Personen, die in diesem Bereich erfahren sind.

„Shiwen“: Glauben einige Kollegen, dass dies eine zusätzliche Belastung ist?

„Yongliang“: Sicherlich. Besonders Leute aus den Bereichen Operation und Marketing fühlen sich belastet, weil ich gerne schnell arbeite. Wenn ich jede Zahl überprüfen lassen soll, wie kann die Effizienz dann sein? Meine Antwort ist: AI leistet eine „schnelle Suche und schnelle Schreibweise“, nicht eine „Sicherheit vor Fehldarstellungen“. Eine ungenaue Zahl, die zitiert wird, kostet später viel mehr Zeit für Widerlegungen, Klärungen und das Wiederherstellen des Vertrauens, als wenn man eine halbe Stunde mehr dafür aufwenden würde, jede Zahl einzeln zu überprüfen. Ich habe dieses Prinzip seit vielen Jahren in meinem Team verwendet, deshalb wage ich es, es in den Prozess einzubauen.

Q4: Wie äußern sich die Gegner? Wo liegen die Grenzen?

„Shiwen“: Auf HN gibt es auch viele Diskussionen. Ich werde einige repräsentative Stellen nennen.

「永亮」：Ich zitiere die Kommentare aus dem Beitrag. Der erste kommt von jqpabc123 und lautet: „AI weiß nichts von und kümmert sich auch nicht darum, ob die Daten falsch sind.“ Dieser Satz ist direkt, aber er zeigt eine Tatsache auf: Das Zitationsmechanismus von AI basiert im Wesentlichen auf Wahrscheinlichkeitsmatching, nicht auf der Beurteilung von Wahrheit und Falschheit. Es wird keine Zitation verweigern, wenn eine Zahl erfunden ist, solange diese in einem scheinbar vernünftigen Kontext vorkommt.

「拾闻」：Welche Folgen hat diese Beurteilung?

「永亮」：Der zweite Kommentar kommt von zhisme und er sagt genauer: „Es gibt immer noch Menschen, die mit ChatGPT Berichte für Manager erstellen. Die Lawine aus falschen Daten wird immer größer.“ Das bedeutet, sobald AI falsche Daten zitiert, werden diese in mehr von AI generierten Berichten verwendet und von noch mehr Personen weiterzitiert, was zu einer selbstverstärkenden Verschmutzungskette führt. Deshalb nennt der Autor das „Citation Laundering“, weil die Zitation selbst zu einem Werkzeug zur Verfälschung wird.

「拾闻」：Gibt es jemanden, der aus einer Lösungsperspektive spricht?

「永亮」：Ja. Das Problem bei ShadowOfThePit ist: Wie kann man dieses Problem beheben? Nichts kann verhindern, dass man im Internet einfach Unsinn postet. Diese Frage weist auf die Grenzen hin: Die Natur des Internets ist offene Veröffentlichung. Egal wie fortschrittlich das Suchmechanismus von AI ist, es kann nicht für die Nutzer alle Urteile über Wahrheit und Falschheit fällen. Der Kommentar von tkdb ist ebenfalls repräsentativ. Er sagt, dass LLMs heute genau die gleichen Probleme haben wie Menschen vor dem Aufkommen von Google: Sind die Informationen auf dieser Website wahr und qualitativ hochwertig?

「拾闻」：Wo liegen also die Grenzen?

「永亮」：Die Grenze liegt in der „Verantwortung des Benutzers“. AI kann den Kosten für die Informationsbeschaffung senken, aber es kann nicht die Konsequenzen der Zitation übernehmen. Wenn du Forscher, Analyst oder Inhaltsteller bist, verringert jede Minute, die du mit der Zitation durch AI verbringst, deine Wahrscheinlichkeit, in Zukunft enttäuscht zu werden. Wenn du ein gewöhnlicher Leser bist, solltest du zumindest wissen: Was AI zitiert, ist nicht unbedingt überprüft. Schlüsselzahlen sollten an der Quelle zurückverfolgt werden.

Schlusswort: Falsche Daten werden nicht verschwinden, aber die Verantwortung darf nicht abgewälzt werden

「拾闻」：Zum Abschluss ein Satz für diese Ausgabe.

「永亮」：Fünftausend falsche Daten haben AI gelehrt, Zitate zu machen. Die wahre Lektion ist nicht, dass „AI betrügt“, sondern dass „AI die Zitation zu einer neuen Form der Verschmutzung macht“. Früher sagten wir „mit Bildern kommt die Wahrheit“, später wurde es zu „mit Links kommt die Wahrheit“. Jetzt mag es nicht einmal mehr ausreichen, nur Links und Zitate zu haben. Je mächtiger die Tools sind, desto wichtiger wird das Urteilsvermögen des Menschen.

「拾闻」：Konkreter: Was kann ein gewöhnlicher Mitarbeiter heute mitnehmen?

「永亮」：Drei Sätze. Erstens: Die Zitate, die AI dir gibt, sind keine Entschuldigung. Egal wie lang der Zitationspfad ist, die Verantwortung liegt letztendlich bei dir. Zweitens: Schlüsselzahlen sollten mindestens einmal überprüft werden, besonders jene, die du in Berichte, Artikel oder PPTs verwenden wirst. Drittens: Im Team muss ein klares Mechanismus für die Überprüfung von Daten existieren, wer was behauptet, wer unterschreibt und wer verantwortlich ist. Egal wie sich die Technologie verändert, das bleibt gleich. Beim nächsten Mal, wenn AI dir hilft, Daten zu finden, zögere nicht, nachzufragen: Wenn diese Daten morgen angezweifelt werden, kannst du erklären, woher sie kommen?

【Follower Guide】 👇 Hast du schon einmal mit falschen Daten durch AI-Zitation zu kämpfen gehabt? Wie hast du das entdeckt? Diskutiere in den Kommentaren. In der nächsten Ausgabe werden einige davon weiter besprochen. Folge mir, um die Wahrheit über den Arbeitsmarkt im AI-Zeitalter wöchentlich zu erfahren.

Quellen

• Blogartikel von Peec AI „Publish stats, get cited: The tactic that put my data all over the web“, veröffentlicht am 07.10.2026, Autor Metehan Yesilyurt (Zusammenfassung der Fakten)
• Experimentelle Details: stateglobe.com hat mit GPT-4.1 innerhalb eines Tages etwa 50.000 gefälschte Statistikseiten erstellt, die 200 Länder abdecken, mit einem Kosten von etwa 50 US-Dollar (Zusammenfassung der Fakten)
• ChatGPT-Datenaufnahme: 30-tägige Cloudflare-Logdaten mit >600.000 Bot-Anfragen, davon etwa 72.000 von ChatGPT-User; nach 7 Monaten zeigt GA4 über 10.000+ Sessions, die von ChatGPT stammen (Zusammenfassung der Fakten)
• Gebrauchte Beispiele: akademische Artikel, Investitionsstudien des größten Finanzunternehmens in Qatar, indische Wirtschaftspublikationen, Forschungsberichte der kanadischen Influencer-Community (Zusammenfassung der Fakten)
• HN-Kommentarspool: jqpabc123 „AI knows nothing and doesn’t care if the data is fake.“, zhisme „People still use ChatGPT to generate reports for their managers. A Snowball of fake data“, ShadowOfThePit „How can this be fixed? Nothing prevents you from publishing straight BS…“, tkdb „LLMs are facing the same problem pre-google humans faced“ (Zusammenfassung der Fakten)
• Erfahrungen der Gäste: Sechzehnjährige Erfahrung als technischer Leiter, Peak-Team von siebzig Personen; Whitelist für Datenquellen, Überprüfung sensibler Zahlen, Kennzeichnung von AI-Inhalten, Autorisierung usw. sind alle persönliche Praktiken.