KI-Crawler und böse Bots: Wie lange hält das offene Web?

Eröffnungsgespräch

Shiwen: In dieser Woche berichtete Tech Policy Press darüber, dass AI-Crawlers die Nachrichtenseiten und Blogs stark beeinträchtigen. Das Kongresshaus und der Bundesstaat New York planen sogar Gesetze, die alle automatischen Webcrawler dazu verpflichten, ihre Identität anzugeben. Was denken Sie darüber?

Yongliang: Als Person, die einen persönlichen Blog und kleine Seiten betreibt, ist meine erste Reaktion nicht „Endlich wird jemand etwas tun“, sondern „Das ist ein wenig unzureichend“. Was wirklich schadet, ist nicht die Technologie selbst, wie der Crawler, sondern diejenigen, die nur Material nehmen, keine Autorenangaben machen, keine Verweise geben und sogar ganze Seiten als Mirror herunterladen. Wenn Gesetze nur dazu dienen, dass Crawler ihre Identität angeben müssen, dann ist das wie ein Fenster, das durch Glas ersetzt wurde – jeder kann es öffnen. Was wirklich eingeschränkt werden sollte, sind das Crawlverhalten und seine Folgen, nicht dass Crawler ein Formular ausfüllen müssen.

Frage 1: Hat der AI-Crawler tatsächlich das offene Netzwerk zerstört?

Shiwen: Im Originaltext heißt es, dass Nachrichtenorganisationen massenhaft crawlt werden, um damit AI zu trainieren. AI-Suchmaschinen und Chatboten nehmen wiederum Werbung und Traffic weg. Als Person, die auch online schreibt, haben Sie dieses Gefühl?

Yongliang: Ja. Ich schreibe seit über zehn Jahren technische Inhalte. Früher basierte der Traffic meiner Seiten hauptsächlich auf Suchanfragen, jetzt werden einige Leser direkt durch die Zusammenfassungen von AI-Suchmaschinen abgeschossen. Die Situation bei Nachrichtenseiten wird nur noch stärker sein, denn ihr Geschäftsmodell basiert auf Werbung. Wenn der Traffic weggeht, sinkt auch der Werbeumsatz. Doch das Abfangen des Traffic ist nur die Oberfläche; die größere Sorge ist, dass Inhalte kostenlos genommen werden. Stellen Sie sich vor: Ein mühsam geschriebener Artikel wird zum Training von Modellen verwendet, die Ihre Ansichten an anderen Orten wiedergeben – ohne Autorenangaben oder Quellenverweise. Das ist ganz anders als bei traditionellen Suchmaschinen, die einen Link liefern. Traditionelle Suchmaschinen bringen Menschen zu Ihrem Haus, dieser Crawler nimmt Ihre Sachen weg und baut ein neues Haus daraus.

Shiwen: Was ist der Unterschied zwischen dieser Belastung für Nachrichtenorganisationen und Einzel-Blogger?

Yongliang: Nachrichtenorganisationen stehen vor einer massiven Verlustsituation. Ein Bericht könnte von Millionen Nutzern über AI-Fragen gesehen werden, aber der Werbeumsatz der ursprünglichen Seite bleibt null. Einzel-Blogger haben möglicherweise nicht so große absolute Verluste, aber der psychologische Schock ist stark: Ich habe hart gearbeitet, und meine Inhalte werden kostenlos genommen, ohne ein Wort der Dankbarkeit. Mit der Zeit werden weniger Menschen bereit sein, Inhalte frei zugänglich zu machen, und die Vielfalt des Netzes wird abnehmen. Wir lehnen also nicht AI-Crawlers ab, sondern solche, die Material nehmen und keine Angaben machen.

Shiwen: Viele Verleger verwenden jetzt robots.txt oder Ausstiegsmechanismen, um die Nutzung von Crawlern durch AI zu verhindern. Löst das das Problem?

Yongliang: Nur teilweise. robots.txt ist ein „Männlich-Abkommen“ – wer sich an die Regeln hält, wird beachtet, wer nicht, wird trotzdem gecrawlt. Zudem verlagert der Ausstieg die Beweislast auf die Inhalte, was bedeutet, dass alle Inhalte genutzt werden können, es sei denn, man erklärt abzulehnen. Ein vernünftigerer Ansatz wäre: AI-Firmen sollten vor der Nutzung von Daten Zustimmung erhalten, anstatt dass alle Inhalteverwerter einzeln erklären müssen, dass sie nicht gecrawlt werden sollen.

Frage 2: Ist die Forderung, dass Crawler ihre Identität offenlegen, der falsche Weg?

Shiwen: Das Repräsentantenhaus des Kongresses hat den „Stealth Bot Prohibition Act“ vorgeschlagen, und der Bundesstaat New York hat einen ähnlichen Gesetzentwurf. Der Kerngedanke ist: Wenn automatisch Webseiten gecrawlt werden, muss die Identität und der Zweck angegeben werden, andernfalls drohen bis zu 53.000 US-Dollar Strafe. Ist das eine gute Lösung?

Yongliang: Die Richtung ist nicht richtig. Zu wissen, wer der Scraper ist und was er mit den Daten macht, bedeutet noch lange nicht, dass er nicht schädlich ist. Viele große AI-Unternehmen wollen dir gerne sagen: „Das habe ich gesammelt“, aber der Traffic und die Urheberrechtsgelder kommen den ursprünglichen Autoren nicht zurück. Eher schädlich sind jene Scrapings, die häufig stattfinden, zerstörerisch sind und nicht die robots.txt-Regeln einhalten. Die Gesetze konzentrieren sich auf „Anonymität“, was bedeutet, dass auch Reporter, Sicherheitsforscher und Archivare betroffen sind. Die Arbeit dieser Menschen erfordert Anonymität – sobald die Identitäten offengelegt werden, können einige Untersuchungen nicht durchgeführt werden. Noch problematischer ist, dass viele böswillige Scrapings ihre Identitäten fälschen können, und am Ende sind es diejenigen, die sich an die Regeln halten, die betroffen sind.

Shiwen: Nach deiner Ansicht löst die Offenlegung der Identität nur das Problem „wer der Scraper ist“, aber nicht das Problem „er hat meine Inhalte genommen“?

Yongliang: Richtig. Transparenz der Identitäten ist eher wie ein Visitenkarten-Image, nicht eine Einschränkung des Verhaltens. Außerdem ist die Formulierung „reasonably likely to impair“ in diesen beiden Gesetzen sehr vage – was als Schaden gilt und wie Beweise dafür vorgelegt werden sollen, gibt es keine einheitlichen Standards. Wenn die Durchsetzung zu frei ist, wissen kleine Webseiten nicht, wie sie den Regeln entsprechen können. Kleine Seiten können keinen Anwalt bezahlen – wenn sie versehentlich beschädigt werden, ist die sicherste Maßnahme, das Scraping zu stoppen, was dazu führt, dass Inhalte schwer zu finden sind. Wenn die Gesetze sich auf „ob die robots.txt-Regeln eingehalten werden“, „ob Serverüberlastung entsteht“ und „ob angemessene Quellenangaben gemacht werden“ konzentrieren würden, wäre das wertvoller. Andernfalls bestraft es nur eine Technologieform, nicht das Missbrauch der Technologie.

Q3: Wie wichtig ist anonymes Scraping für das offene Netzwerk?

Shiwen: In einem Artikel wurde ein Beispiel gegeben: Die Wall Street Journal veröffentlichte eine Pulitzer-Preis-prämierte Untersuchung, die 31.000 Finanzberichte von 12.000 hochrangigen Beamten mittels Scraper erhielt. Hätte es keinen anonymen Scraper gegeben, wäre diese Berichterstattung nicht möglich gewesen?

Yongliang: Ja, anonymes Scraping ist ein grundlegendes Werkzeug für das offene Netzwerk. Akademische Öffentlichkeitsanalysen, Sicherheitsüberprüfungen und gemeinnützige Archive verlassen sich auf dieses System. Die CDT-E-Mail an den Gouverneur von New York sagt gut: De-anonymisierung bedroht das Kernstück des offenen Netzwerks, aber es löst nicht unbedingt die tatsächlichen Schäden durch AI-Scraping. Wenn die Werkzeuge verboten werden, bleiben die Bösen übrig, während die Guten zuerst verschwinden. Das offene Netzwerk hat seit Jahren funktioniert, nicht weil die Identitäten aller transparent sind, sondern wegen einer Absprache bezüglich robots.txt-Regeln, Caching-Praktiken und Ratebeschränkungen. Jetzt, wo das Scraping durch AI zu Problemen führt, will man die Anonymität abschaffen – wie wenn jemand mit einem Messer angreift und alle Messer in der Küche beschlagnahmt werden.

Shiwen: Aber man könnte fragen: Mit der heutigen Technologie können Reporter doch offen Scraping betreiben, oder?

Yongliang: In der Realität reagieren viele Untersuchungsobjekte. Sobald die Identität des Scrapers öffentlich wird, kann der Gegner sofort das IP sperren, die Seitengrößen ändern oder sogar rückwärts verfolgen. Anonymität ist kein Werkzeug zur Schädigung, sondern ein Mittel zum Schutz der Informationsquellen und zur Überwachung. Internet Archive, akademische Öffentlichkeitsprojekte und Lösepreisplattformen – welche von ihnen sind nicht auf automatisiertes Scraping angewiesen? Wenn diese Schutzmaßnahmen fehlen, wird niemand mehr an öffentlichen Interessen interessiert sein.

Shiwen: Gibt es also eine Möglichkeit, sowohl das öffentliche Interesse zu schützen als auch das unkontrollierte Scraping von AI-Unternehmen einzuschränken?

Yongliang: Ja, der Schlüssel ist die Unterscheidung der Verwendungszwecke. Für kommerzielle Scraping-Aufgaben zur Trainierung großer Modelle sollte eine Genehmigung und Gebührenzahlung erforderlich sein; für Scraping im öffentlichen Interesse, für akademische Forschung oder Sicherheitsaudits sollte es geschützt werden. Eine einfache anonyme Verbotsmaßnahme kann diese Unterscheidung nicht erreichen. Was wirklich relevant ist, ist das Verhalten: Ob man robots.txt respektiert, ob es zu Serverstörungen führt oder ob in den Ausgaben Quellen angegeben werden. Diese Dinge klar zu beschreiben, ist viel effektiver als die Offenlegung der Identität.

Q4: Sind die Robots auf Ihrer Website Freunde oder Feinde?

Shiwen: Sie praktizieren gerade GEO- und AI-Suchsichtbarkeit. Wie soll man bei einem kleinen Webseitenbetreiber wie Ihnen den Unterschied zwischen guten und schlechten Robotertraffic machen?

Yongliang: Ich mache den Unterschied ganz einfach: AI-Suchzitate mit Traffic sind Freunde, kostenloses Scraping ist Feind. Zum Beispiel werden manche AI-Suchmaschinen meine Links in die Antworten einfügen, und Leser gelangen über diese Links herein – das ist ein guter Roboter. Was GEO tun sollte, ist, meine Inhalte leichter für solche Zitate zugänglich zu machen. Aber schlechte Roboter sind etwas anderes: Sie arbeiten 24 Stunden am Tag, scannen die gesamte Website und geben keine Quellen an. Jetzt verwende ich robots.txt, um Regeln zu festlegen, ungewöhnliche IPs zu limitieren und bei Bedarf temporäre Gebührenwände aufzubauen, um solche Roboter abzuwehren. Wenn jedoch einheitliche Gesetze gelten, könnten kleine Websites wie meine die Kosten für Beschwerden und Compliance nicht tragen. Großunternehmen haben juristische Teams, aber Einzelblogs haben keine.

Shiwen: Wie beurteilen Sie dann, ob ein Roboter gut oder schlecht ist? Kann man das anhand der Logdateien erkennen?

Yongliang: Die meisten Fälle lassen sich erkennen. Gute Roboter halten robots.txt ein, haben eine klare User-Agent, eine angemessene Besuchsfrequenz und hinterlassen verfolgbare Quellen für Zitate. Roboter wie Googlebot, Bingbot sowie bekannte Crawler wie OpenAI und Perplexity behandele ich freundlich. Schlechte Roboter verkleiden sich oft als normale Browser, haben eine große User-Agent, eine ungewöhnlich kurze Besuchsfrequenz und scannen speziell die Hauptseiten der Artikel wiederholt. Noch weiter gehend: Ich schaue auf Backlinke und empfangenen Traffic. Wenn ein AI-Suchmaschinen eine echte Besucheraufnahme bringt, betrachte ich das als einen guten Roboter; wenn es nur unilaterales Scraping ohne Rückfluss ist, dann ist es kostenlos. In Bezug auf Tools verwende ich Nginx’s limit_req für grundlegende Limitierungen des Traffic, kombiniert mit den Robotermanagementregeln von CDN und eigenen Log-Alarmen, um die gängigsten Szenarien abzudecken.

Q5: Was können normale Inhaltscreativisten jetzt tun?

Shiwen: Für die meisten Autoren und Self-Media-Aktivisten gibt es welche sofort anwendbaren Methoden gegen AI-Crawlers?

Yongliang: Erstens sollte robots.txt korrekt geschrieben werden, indem die Ordner, die man nicht den Crawlern geben möchte, markiert werden – das ist die grundlegende Aussage. Zweitens sollte man die Besuchslogdateien überwachen und bei ungewöhnlich häufigen IPs die Zugriffe limitieren oder blockieren. Viele CDN- und Hostunternehmen bieten diese Funktion an. Drittens kann man wichtige Inhalte mit kurzen Gebührenwänden oder Zusammenfassungsmodi schützen, damit wertvolle Inhalte nicht leicht entfernt werden. Viertens sollte man seine RSS-Feeds, Originalzeitstempel und Sitemap aufbewahren, um bei Urheberrechtsverletzungen zumindest Beweise zu haben. Fünftens sollte man das Urheberrecht angemessen nutzen, damit Zitierer wissen, welche Inhalte zitiert werden dürfen und welche eine Genehmigung erfordern. Schließlich sollte man nicht alles kostenlos zur Verfügung stellen und lernen, ein Gleichgewicht zwischen Offenheit und Schutz zu finden. Man kann auch am unteren Ende der Seite eine einfache Genehmigungsanweisung hinzufügen, damit Roboter, die sich an die Regeln halten, wissen, was sie tun sollen und bei Urheberrechtsverletzungen leichter Beweise liefern können.

Shiwen: Es klingt, als könnte ein kleiner Webseitenbetreiber eigentlich viel tun, aber wird dadurch die normale Zugänglichkeit beeinträchtigt wegen dieser Schutzmaßnahmen?

Yongliang: Ja, deshalb liegt der Schlüssel bei der Menge. Den robots.txt-Datein sollten Sie nicht alle Crawler blockieren, sondern nur diejenigen, die nicht nach den Regeln handeln; auch die Limitierung der Zugriffszahl sollte auf angemessenen Werten gesetzt werden, um normale Leser nicht zu schädigen. Mein Prinzip ist: Freundlich gegenüber guten Menschen, und Waffen gegenüber bösen. Wenn man aus Angst vor AI-Crawling die gesamte Website sperrt, verstößt man damit gegen den ursprünglichen Gedanken des offenen Netzwerks. Der beste Zustand ist: Der Inhalt sollte zugänglich sein und verwendet werden können, aber nicht kostenfrei in großen Mengen entnommen werden dürfen.

Shiwen: Sie sind also nicht gegen die AI-Crawling selbst, sondern gegen das Crawling ohne Regeln?

Yongliang: Genau. Das Leben eines offenen Netzwerks liegt in seiner Zugänglichkeit, aber Zugänglichkeit bedeutet nicht, dass es ausgeraubt wird. Ich hoffe, dass zukünftige Gesetze gegen zerstörerische Handlungen vorgehen, wie häufiges Crawling, Nichteinhaltung des robots.txt-Dateis und unautorisierte Zugriffe, anstatt dass anonymes Crawling als Ganzes abgelehnt wird. Für kleine Webseitenbetreiber und Inhaltscreators begrüßen wir AI-Suche, die Verweise ermöglicht, sowie Crawler, die sich an die Regeln halten; aber was wir brauchen, sind Regeln, die schlechte Crawler von guten unterscheiden, nicht einfach eine Lösung.

---

Unterschrift: Yongliang