Shiwen Dialogue 036 | Crawlers IA : la fin du web ouvert ?

Shiwen Dialogue : Publication de sujets d’actualité × Jugement technique × Conseils pratiques.

Petit dialogue d’ouverture

Shiwen : Cette semaine, le journal Tech Policy Press a publié un article affirmant que les robots d’IA endommagent sérieusement les sites de nouvelles et les blogs. Le Congrès et l’État de New York envisagent également de légiférer pour obliger tous les robots qui visitent automatiquement des pages web à « se présenter ». Qu’en penses-tu ?

Yongliang : En tant que personne qui gère un blog personnel et de petits sites, ma première réaction n’est pas « Enfin, quelqu’un s’en occupe », mais plutôt « Cette réglementation est un peu trop restrictive ». Ce qui fait vraiment du mal, ce n’est pas la technologie elle-même, comme le scraping, mais les robots qui ne donnent rien, ne mentionnent pas l’auteur, ne fournissent aucune référence, voire qui imitent entièrement un site entier. Si la législation se contente de demander aux robots de se présenter, c’est comme remplacer une porte à clé par une porte en verre, que tout le monde peut ouvrir. Ce qui devrait être réglementé, ce sont les actions et les conséquences du scraping, et non la nécessité pour les robots de remplir un formulaire.

Q1 : Les robots d’IA ont-ils vraiment écrasé le réseau ouvert ?

Shiwen : L’article indique que les médias sont soumis à un grand volume de scraping pour entraîner des AI, et que les moteurs de recherche et les robots de conversation prennent ensuite des publicités et du trafic. En tant que personne qui écrit sur Internet, as-tu des expériences personnelles ?

Yongliang : Oui. J’exerce la technologie depuis plus de dix ans. Avant, le trafic des sites dépendait principalement des recherches, mais maintenant, une partie des lecteurs sont capturés par les résumés des moteurs de recherche d’IA. Les médias de nouvelles ressentiront cela encore plus fort, car leur modèle commercial repose sur les publicités ; si le trafic est capturé, les revenus publicitaires diminuent. Cependant, la capture du trafic n’est qu’une manifestation superficielle ; l’anxiété profonde est que le contenu est prêté gratuitement. Imaginez : un article bien rédigé est utilisé pour entraîner un modèle qui répète vos idées ailleurs, sans mention de l’auteur ni référence, ce qui est complètement différent d’un moteur de recherche traditionnel qui fournit un lien. Les moteurs de recherche traditionnels vous amènent à leur porte, tandis que ce type de scraping emporte votre contenu pour construire une autre maison.

Shiwen : Quelle est la différence entre cette pression pour les médias et les blogueurs individuels ?

Yongliang : Les médias sont confrontés à une perte à grande échelle : un article peut être vu par des milliards de personnes via des questions-réponses d’IA, mais les revenus publicitaires du site original sont nuls. Les blogueurs individuels ne subissent peut-être pas une perte absolue aussi importante, mais l’impact psychologique est fort : le contenu que j’ai travaillé dur est pris sans compensation, sans même un merci. Avec le temps, ceux qui sont prêts à ouvrir leur contenu diminueront, et la richesse du réseau entier diminuera. Nous ne nous opposons donc pas aux robots d’IA, mais à ceux qui « prennent quelque chose sans en rendre compte ».

Shiwen : De nombreux éditeurs utilisent maintenant robots.txt ou des mécanismes de désinscription pour refuser le scraping lié à l’entraînement par les IA. Cela résout-il le problème fondamental ?

Yongliang : Ce n’est qu’une solution partielle. Robots.txt est un accord de bonne conduite : ceux qui respectent les règles le suivront, mais ceux qui ne le font pas seront toujours capturés. De plus, choisir de se retirer transfère la responsabilité de la preuve aux créateurs de contenu, ce qui signifie que tout contenu peut être utilisé, à moins que vous ne déclariez explicitement que vous ne le souhaitez pas. Une approche plus raisonnable serait que les entreprises d’IA obtiennent une autorisation avant d’utiliser les données, plutôt que de laisser tous les créateurs du réseau déclarer individuellement qu’ils ne veulent pas que le scraping se fasse.

Q2 : Exiger des robots d’IA de révéler leur identité, est-ce une mauvaise direction à suivre ?

Shiwen : La Chambre des représentants a proposé la « Stealth Bot Prohibition Act », et l’État de New York a également un projet de loi similaire. L’idée principale est que tout accès automatique à des pages web doit indiquer l’identité et l’utilisation, sinon une amende maximale de 53 000 dollars peut être infligée. Est-ce une bonne solution ?

Yongliang: La direction n’est pas correcte. Savoir qui est le crawler et à quoi servent les données ne signifie pas qu’il n’est pas nuisible. De nombreuses grandes entreprises d’IA seraient prêtes à vous dire “C’est moi qui ai collecté ces données”, mais le trafic et les revenus liés aux droits d’auteur ne reviennent pas aux auteurs originaux. Ce qui est vraiment nuisible, c’est ces captures fréquentes, destructrices et qui ne respectent pas les règles de robots.txt. Les lois se concentrent sur l’anonymat, ce qui signifie que les crawlers utilisés par des journalistes d’enquête, des chercheurs en sécurité et des archivistes sont également touchés. Le travail de ces personnes nécessite l’anonymat ; une fois la divulgation forcée, certaines enquêtes ne peuvent plus être menées. De plus, de nombreux crawlers malveillants peuvent facilement se faire passer pour des vrais, et ce sont ceux qui respectent les règles qui sont finalement touchés.

Shiwen: Selon vous, la divulgation de l’identité ne résout que le problème de savoir “qui est le crawler”, mais pas celui de savoir “qu’il a pris mes données”.

Yongliang: Exact. La transparence de l’identité ressemble plus à une carte de visite qu’à une contrainte pour les actions. De plus, dans ces deux lois, l’expression “reasonably likely to impair” est très floue ; il n’y a pas de norme unifiée pour déterminer ce qui constitue un préjudice ou comment prouver cela. Si l’espace de décision des autorités est trop large, les hébergeurs ne savent pas comment respecter les règles. Les petits sites ne peuvent pas payer d’avocats ; si ils sont malveillants, la meilleure solution est de fermer le crawler, ce qui rend les contenus plus difficiles à découvrir. Si les lois se concentraient sur “le respect des règles de robots.txt”, “la surcharge du serveur” et “la citation raisonnable”, cela serait plus utile. Sinon, cela punit simplement une forme technologique, mais pas l’abus de cette technologie.

Q3: À quel point le crawling anonyme est-il important pour le réseau ouvert?

Shiwen: Un article a donné un exemple : lors de l’enquête Pulitzer du Wall Street Journal, les crawlers ont collecté 31 000 documents de divulgation financière auprès de 12 000 hauts fonctionnaires. Sans crawlers anonymes, cette enquête n’aurait pas pu être menée.

Yongliang: Oui, le crawling anonyme est un outil fondamental pour le réseau ouvert. L’analyse de l’opinion publique par les universitaires, la détection de vulnérabilités par les spécialistes en sécurité, et l’archivage des pages web par les organisations caritatives dépendent de ce mécanisme. La lettre de CDT au gouverneur du New York a bien dit : la déanonimation menace le cœur du réseau ouvert, mais ne résout pas nécessairement les dommages causés par les crawlers d’IA. Si l’on interdit ces outils, les mauvais gens restent là, tandis que les bons disparaissent. Le réseau ouvert a pu fonctionner pendant tant d’années non pas parce que toutes les identités étaient transparentes, mais grâce à une harmonie de règles de robots.txt, de cache et de limites de vitesse. Maintenant, avec le problème causé par les crawlers d’IA, on veut retirer le niveau d’anonymat, comme si on empêchait tout le monde de se blesser avec un couteau, en emportant tous les couteaux de la cuisine.

Shiwen: Mais on pourrait demander : avec la technologie actuelle, pourquoi les journalistes d’enquête ne peuvent-ils pas collecter des données en toute légitimité?

Yongliang: Dans la réalité, de nombreux sujets d’enquête réagissent. Une fois l’identité du crawler révélée, l’autre partie peut immédiatement bloquer l’IP, modifier la structure des pages, ou même retracer le trafic en arrière-plan. L’anonymat n’est pas un outil pour commettre des actes malveillants, mais un moyen de protéger les sources d’information et de surveiller les droits. Les archives Internet, les projets d’opinion publique universitaires, les plateformes de récompense pour vulnérabilités… toutes dépendent du crawling automatique. Si cette protection disparaît, beaucoup de choses liées à l’intérêt public ne seront plus explorées.

Shiwen: Y a-t-il un moyen de protéger l’intérêt public tout en limitant le crawling incontrôlé des entreprises d’IA?

Yongliang: Oui, l’important est de distinguer les usages. Les captures utilisées pour entraîner de grands modèles commerciales devraient être soumises à autorisation et au paiement ; celles destinées à des fins publiques, académiques ou pour les audits de sécurité devraient être protégées. Une interdiction anonyme globale ne permet pas cette distinction. Ce qui doit être contrôlé, c’est le comportement : avez-vous respecté le robots.txt, avez-vous provoqué une paralysie du serveur, avez-vous mentionné la source dans les résultats ? Indiquer tout cela est beaucoup plus efficace que de révéler l’identité.

Q4: Les robots de votre site sont-ils amis ou ennemis ?

Shiwen: Vous pratiquez récemment la visibilité des recherches GEO et AI. Pour un petit site comme le vôtre, comment distinguer les bons robots des mauvais ?

Yongliang: Je le fais de manière simple : les robots qui utilisent mes contenus pour des recherches sont amis, tandis que les captures gratuites sont ennemies. Par exemple, certaines recherches mettent mon lien dans les réponses ; lorsque les lecteurs se rendent par ce lien, c’est un bon robot. Ce que GEO doit faire, c’est rendre mes contenus plus faciles à capturer par ces recherches. Mais les mauvais robots sont différents : ils fonctionnent 24 heures sur 24, imagent tout le site et ne mentionnent même pas la source. Je utilise maintenant le robots.txt pour déclarer mes règles, limiter les visites des IP anormaux et mettre en place des barrières de paiement temporaires pour les empêcher. Mais si la législation est globale, un petit site comme le mien ne pourrait pas même couvrir les coûts de plainte et de conformité. Les grandes entreprises ont des équipes juridiques, mais les blogueurs individuels n’en ont pas.

Shiwen: Alors comment déterminez-vous si un robot est bon ou mauvais ? Pouvez-vous le distinguer en lisant les logs ?

Yongliang: La plupart du temps, oui. Les bons robots respectent le robots.txt, ont une User-Agent claire, une fréquence de visite raisonnable et laissent des sources de référence traçables. Je suis plutôt bienveillant envers Googlebot, Bingbot, ainsi que des robots comme OpenAI et Perplexity, qui ont une identité claire. Les mauvais robots se déguisent souvent en navigateurs ordinaires, avec une User-Agent floue, des intervalles de visite anormaux et capturent répétitivement les pages textuelles des articles. De plus, je regarde les liens retournés et le trafic d’encouragement : si une recherche AI me procure des visites réelles, je considère cela comme un bon robot ; s’il s’agit juste de captures unilatérales sans retour, c’est une capture gratuite. En termes d’outils, j’utilise limit_req de Nginx pour limiter les visites, en combinaison avec les règles de gestion des robots de CDN et mes propres alertes de logs, ce qui couvre presque tous les scénarios courants.

Q5: Que peuvent faire les créateurs de contenu ordinaires aujourd’hui ?

Shiwen: Pour la plupart des auteurs et des médiatiques indépendants, quelles sont les mesures immédiates que vous pouvez prendre face aux robots AI ?

Yongliang: Premièrement, écrire un robots.txt clairement, en indiquant les dossiers que vous ne souhaitez pas donner aux robots. C’est la déclaration de base ; deuxièmement, surveiller les logs de visites et limiter ou bloquer les IPs anormaux ; de nombreux CDN et hébergeurs offrent cette fonctionnalité ; troisièmement, pour les contenus importants, vous pouvez mettre en place des barrières de paiement temporaires ou un mode de résumé, afin que les contenus précieux ne soient pas facilement déplacés ; quatrièmement, conserver votre RSS, les timestamps originaux et le sitemap, afin de pouvoir prouver l’infraction si nécessaire ; cinquièmement, utiliser raisonnablement les accords de droits d’auteur, en indiquant aux référenciateurs ce qu’ils peuvent faire et ce dont ils doivent autoriser. Enfin, ne laissez pas tout le contenu gratuitement accessible ; apprenez à trouver un équilibre entre l’ouverture et la protection. Vous pouvez également ajouter une simple explication de l’autorisation en bas de page, afin que les robots respectueux sachent comment agir et puissent prouver plus facilement en cas d’infraction.

Shiwen: Il semble que les administrateurs de sites puissent faire beaucoup de choses, mais ces mesures de protection peuvent-elles en réalité affecter l’accès normal aux pages ?

Yongliang: Oui, c’est la clé. Le fichier robots.txt ne doit pas bloquer tous les robots, mais plutôt ceux qui ne respectent pas les règles ; les limites de trafic doivent également être établies à des valeurs raisonnables pour ne pas blesser les lecteurs ordinaires. Mon principe est de rester amical avec les bons et de se protéger contre les mauvais. Si l’on bloque tout le site par peur des captures par l’IA, cela viole également l’esprit originel du réseau ouvert. Le meilleur état est où le contenu peut être trouvé et cité, mais pas simplement copié sans coût.

Shiwen: Donc vous ne vous opposez pas aux robots IA en eux-mêmes, mais à la capture sans règles ?

Yongliang: C’est exactement ça. La vitalité d’un réseau ouvert réside dans sa disponibilité, mais cette disponibilité ne signifie pas qu’il doit être pillé. J’espère que les lois futurs s’attaqueront aux comportements destructeurs, comme la capture fréquente, le non-respect du robots.txt et la non-citation, plutôt que de condamner à la fois toutes les formes de capture anonyme. Pour les administrateurs de sites et les créateurs de contenu, nous accueillons avec joie les recherches IA qui permettent de citer, ainsi que les robots qui respectent les règles ; mais nous avons besoin de règles qui distinguent les robots bons des mauvais, et non d’une solution simple.

---

Signé : Yongliang