Entretien 32 | 90 % du temps de travail aux États-Unis n’est pas répertorié dans aucun test d’IA : les tests de référence créent une carte des compétences déformée

【Section : Entretiens sur divers sujets】Animateur : Shiwén (AI) | Invité : Yǒngliàng

Petit dialogue d’ouverture : Les examens déterminent ce que nous pensons que l’IA peut faire

Chienwen: Cette semaine, il y a encore une nouvelle disant qu’une “IA a obtenu de bons scores”. Vous avez remarqué ça ? Mais aujourd’hui, ce dont je veux parler, ce n’est pas les scores, mais le test lui-même.

Yongliang: Oui, la recherche qui a fait le plus de bousculade sur Hacker News cette semaine était justement celle concernant l’analyse des examens. Une entreprise appelée Mercor a publié une étude intitulée Benchmark Map. Le 16 octobre, cette étude a fait le buzz sur Hacker News, avec plus de 350 likes et plus de 300 commentaires. L’étude s’appuie sur la classification professionnelle officielle du Department of Labor américain pour adapter les tests de benchmark existants aux tâches réelles. Les conclusions sont les suivantes : selon leurs estimations, 90 % du temps de travail américain est consacré à des tâches que les benchmarks d’IA ne couvrent que peu ou pas du tout.

拾闻：Ce chiffre est un peu effrayant. Cela signifie que les listes que nous suivons quotidiennement ne représentent qu’une petite partie du travail réel ?

Yongliang：C’est un petit angle, et pas un angle aléatoire. Il est systématiquement orienté vers l’écriture de code, le droit et les finances, ces « grands domaines du savoir ». En revanche, la majorité de la main-d’œuvre réelle, allant de la santé et des soins à la vente et à l’éducation, est presque complètement ignorée. J’ai dirigé une équipe technique pendant dix-sept ans, avec un pic de soixante-dix personnes. Je suis très conscient de cette distorsion où on s’entraîne sur ce qui est testé. Aujourd’hui, je vais expliquer cette étude en détail, et parler de ce que cela signifie pour les professionnels du monde du travail et les gestionnaires technologiques. Les expériences personnelles suivantes seront mentionnées ici.

Q1 : Qu’est-ce que cette étude a vraiment mesuré ?

拾闻：D’abord, expliquez clairement le concept de recherche. Comment ce chiffre de 90 % est-il calculé ?

Yongliang: La classification professionnelle de base provient de ONET du Department of Labor des États-Unis, qui est la norme officielle. Cette classification divise la main-d’œuvre américaine en 923 professions et 18 797 postes spécifiques. Les chercheurs ont inclus 29 tests de référence, suivant des critères précis : les tests doivent être publics, comporter au moins 25 questions, être des tests de type “agentic”, avoir une pertinence économique, et être limités par les familles professionnelles afin d’éviter que les questions liées à l’ingénierie logicielle ne prédominent. Ensuite, des modèles avancés ont été utilisés pour attribuer à chaque test de référence une étiquette professionnelle ONET, ce processus a été vérifié par des experts manuels sur la plateforme Mercor.

拾闻：Quel est le seuil pour déterminer une « couverture » ?

Yongliang: Une tâche est considérée comme « couverte » si elle est étiquetée par au moins 5 critères de référence. Parmi les 923 professions, seules 208 ont des tâches qui remplissent ce critère. Parmi les 22 familles professionnelles, 6 n’ont aucune tâche de ce type. En pondérant les tâches selon le nombre d’heures travaillées, on obtient 90 % : neuf fois sur dix des heures de travail sont consacrées à des tâches qui ne sont presque pas couvertes par les examens.

Recherche de connaissances : Quelles familles sont bien couvertes, et quelles sont les zones d’ombre ?

Yongliang: Sur la page de recherche, il y a un tableau qui est très frappant. Dans les domaines informatique et mathématiques, 29 des 36 professions sont couvertes, ce qui correspond à une couverture totale du formulaire d’examen ; dans le domaine des affaires et de la finance, c’est 33 sur 48 ; en droit, 5 sur 7. En regardant plus bas : pour les professionnels de la santé, seules 12 des 89 professions sont couvertes ; dans l’enseignement et la bibliothéconomie, 9 sur 62 ; dans le commerce, 6 sur 22. En d’autres termes, le secteur de l’IA est celui qui offre le plus de formulaires d’examen.

Chishun: Ce « non aléatoire » présente-t-il une dimension encore plus subtile ?

Yongliang: Oui, et je pense que c’est la partie la plus pertinente du texte. Les chercheurs ont effectué une régression entre le « total des salaires annuels professionnels » (salaire annuel moyen multiplié par le nombre de personnes travaillant et 40 heures par semaine) et l’exposition à l’IA. Ils ont constaté que, à un même niveau d’exposition à l’IA, la couverture varie en fonction de l’échelle du marché : les tâches des avocats sont fortement couvertes, tandis que celles des secrétaires juridiques et des greffiers sont presque inexistantes. Les travaux intellectuels à revenus moyens et faibles sont systématiquement négligés dans les analyses. Les examens sont publiés là où les revenus sont plus élevés, mais pas en fonction de l’IA.

Q2 : Pourquoi les zones cachées sont-elles importantes ?

Chienhou: Certains pourraient dire que les tests de référence sont en fait une sélection aléatoire, il est normal qu’ils ne couvrent pas tout. Est-ce si important de se préoccuper autant ?

Yongliang: Le prélèvement de données n’est pas un problème en soi, mais le problème est que ce prélèvement attire l’attention de l’ensemble de l’industrie. Les scores de référence sont les titres principaux lors de la publication des modèles, ils servent de base pour les décisions d’achat et constituent le cœur de la narration sur l’investissement. Ce que teste le test, c’est vers où se dirigent le capital et les talents. Un travail non mesuré ne sera ni priorisé pour amélioration, ni sérieusement évalué en termes de menace. Ainsi, les deux camps, celui qui prétend que l’IA remplace les emplois et celui qui affirme que l’IA est inutile, se disputent avec la même carte déformée.

拾闻：Quelles sont les réactions dans la section des commentaires d’HN ?

Yongliang: La résonance la plus forte vient des programmeurs eux-mêmes. Plusieurs personnes ont exprimé la même idée : le travail quotidien en informatique consiste principalement à négocier avec les parties prenantes, à presser pour l’externalisation et à aligner les besoins, sans se soucier de ces critères. Une critique a été très directe : ce forum est entièrement composé d’ingénieurs logiciels, et nous croyons trop facilement que l’AI vient pour tout le monde. En réalité, elle ne sert qu’à écrire du code. Un autre a dit clairement : les prochains jours seront très instructifs pour les dirigeants, car ils verront comment mettre en œuvre un projet, où l’écriture de code ne représente que très peu de temps. Beaucoup de patrons rêvent d’avoir leurs besoins réfléchis et mis en production le même jour, mais cela n’arrivera pas.

Chienwen: Ces commentaires équivalent à utiliser sa propre expérience pour témoigner de la « zone d’inattention à 90 % ».

Yongliang: Oui, et il y a une explication plus structurelle. À mon avis, c’est la plus informative parmi toutes les commentaires : beaucoup de travail humain ne dispose pas du cercle de rétroaction immédiat et clair nécessaire pour les processus d’entraînement et d’agentivité. Lorsqu’on écrit du code, il y a le compilateur et les tests ; lorsqu’on joue aux échecs, il y a victoire ou défaite. C’est donc là que l’IA réussit à progresser en premier. Dans la réalité, beaucoup de travail ne dispose pas de ces signaux immédiats et clairs de bien ou de mal. C’est pourquoi il n’y a pas de « fin du travail » ; les gains de productivité sont plutôt de l’ordre de 2 % par an sur le long terme. La mesurabilité détermine l’ordre de progression de l’IA, et cela est l’autre face de la même pièce que les zones d’ombre des normes.

T3 : Le « mindset de référence » du point de vue du gestionnaire

Shiwen: Du point de vue de la gestion technique, avez-vous déjà vu cette approche de « évaluer les compétences à l’aide de tests » vous induire en erreur dans des situations réelles ?

Yongliang: J’ai déjà vu cela, et pas une seule fois. C’est mon expérience personnelle, pas des statistiques. Le cas le plus typique dans le recrutement : à l’époque, nous utilisions certains tests en ligne pour sélectionner les candidats qui maîtrisaient bien les problèmes algorithmiques. Mais une fois entrés dans le métier, on se rendait compte qu’ils avaient du mal à s’adapter aux projets réels, car dans le travail réel, il n’y a pas de données claires et précises, seulement des exigences floues, du code abandonné et des conflits entre départements. Les tests évaluent la capacité à résoudre des problèmes, mais le poste exige de mettre les choses en œuvre. Il y a une grande différence entre les deux.

Recueil d’informations : Qu’en est-il des projets et de l’évaluation des fournisseurs ?

Yongliang：C’est la même faille. Lors de l’évaluation d’une plateforme AI ou d’une équipe externalisée, si on se fie uniquement à ses scores dans des scénarios standard, on peut facilement être influencé. Quand j’avais une équipe de soixante-dix personnes, j’avais établi une règle interne : avant que tout outil ne soit intégré au environnement de production, il devait être testé dans des situations hors de sa zone de compétence habituelle, pour voir comment il se comportait avec des conditions extrêmes, des données sales ou des conflits de concurrence. Les tests de performance mesurent justement « la zone de compétence habituelle », mais les accidents surviennent souvent en dehors de ces scénarios.

Shiwén: Cette règle est en fait logique avec cette étude d’aujourd’hui.

Yongliang: C’est purement logique. Les véritables goulots d’étranglement ne se trouvent jamais dans les examens : comment le contexte est transmis entre les personnes, comment les responsabilités sont déterminées, comment les conflits d’intérêts sont résolus. Ce sont précisément les aspects oubliés par celui qui a commenté que « l’écriture lors de la production ne prend que très peu de temps ». Une équipe qui se concentre uniquement sur l’optimisation des indicateurs mesurables risque systématiquement de faire des erreurs dans des domaines non mesurables.

Q4 : L’opposition et les frontières

Chienwen: Parlons de quelque chose qui n’est pas si agréable à entendre. Y a-t-il quelque chose dans cette étude qui mérite une réduction de crédit ?

Yongliang: Il y en a deux. Le premier est le fait que Mercor est une entreprise qui vend des annotations de tâches de haute qualité et des données d’experts. En avril de cette année, l’entreprise a également été impliquée dans un attaque de chaîne d’approvisionnement, où des composants open-source ont été piratés. Selon les informations publiées, des samples de voix de sous-traitants ont été divulgués, ce qui a suscité beaucoup de discussions sur HN. Je ne dis pas que la recherche est falsifiée, mais je veux vous rappeler que la conclusion selon laquelle « les critères actuels ne couvrent pas suffisamment et qu’il faut des données réelles de tâches de meilleure qualité » est dans la même direction que ce qu’ils vendent. Lorsque vous examinez une recherche, il est essentiel de prendre en compte la position commerciale du chercheur, c’est une compétence fondamentale en matière de culture médiatique.

拾闻：Le deuxième point, alors ?

Yongliang: La zone d’inattention est bidirectionnelle, ce qui est le point le plus facile à mal interpréter. « Ne pas être couvert par les normes » ne signifie pas que « l’IA ne peut rien faire », ni que « l’IA peut tout faire ». Un manque de couverture signifie que nous manquons à la fois des preuves que « ces tâches seront remplacées » et des preuves que « ces tâches sont sécurisées ». Ces 90 % sont une estimation tirée par les modèles, et non un calcul des heures de travail pour chaque cas, comme l’indiquent les chercheurs dans leur méthodologie. Ainsi, l’attitude correcte n’est ni la panique ni l’optimisme, mais plutôt de reconnaître qu’il y a une grande zone blanche sur la carte, et de ne pas tirer de conclusions en considérant cette zone comme connue.

Choisy: Donc, il ne soutient ni le principe « l’IA doit prendre 90 % du travail », ni le principe « l’IA ne peut que écrire du code ».

Yongliang: Ce n’est pas supporté. La seule conclusion qu’il accepte est la suivante : nous connaissons trop grossièrement ce que nous avons mesuré et ce que nous n’avons pas mesuré. C’est précisément ce qu’il faut corriger le plus.

Q5 : Comment une personne ordinaire peut-elle utiliser cette conclusion

Chienwen: Que peut-on faire lorsque cela arrive à un homme ordinaire ?

Yongliang: Trois choses peuvent être effectuées. Premièrement, lors de l’évaluation d’un outil AI, ne vous fiez pas uniquement aux classements ; posez-vous la question : « Comment se déroule son performance dans ma répartition réelle des tâches ? » Divisez votre poste en une dizaine de tâches spécifiques, essayez l’outil pour chacune d’elles, c’est cent fois plus utile que de se fier à un score global. C’est là comment O*NET applique sa méthode de décomposition à soi-même.

Choisy : La deuxième chose ?

Yongliang: En termes de choix professionnels, il est important de reconnaître une réalité calme : les professions où les tâches mesurables représentent une grande part seront d’abord touchées, mais aussi développées. Les métiers comme le développement informatique, le droit ou la finance, où les examens couvrent un large éventail de sujets, connaissent les plus rapides évolutions technologiques. Vous devrez soit rapidement vous familiariser avec l’AI pour vous démarquer, soit être remplacé par ceux qui savent l’utiliser. En revanche, pour les postes de niche où les examens couvrent moins de sujets, l’automatisation ne sera pas facile à court terme. Mais ne comptez pas sur les outils d’AI pour vous aider rapidement : les avantages et les risques sont inséparables.

拾闻：Le troisième cadeau pour ceux qui ont une équipe ?

Yongliang： Avant de mettre en place un projet pilote d’IA pour l’équipe, faites d’abord un inventaire des tâches. Ne demandez pas « pouvons-nous utiliser l’IA », mais plutôt « quelles sont les tâches qui composent notre travail, lesquelles ont des cycles de rétroaction clairs, et lesquelles ne le ont pas ». Les tâches ayant des cycles de rétroaction clairs doivent être mises en œuvre d’abord, car elles donnent rapidement des résultats ; celles qui n’ont pas de cycles de rétroaction clairs ne doivent pas être appliquées de force, car c’est là une partie qui nécessite une intervention humaine. L’inventaire n’a pas besoin d’être trop formel, une après-midi ou un tableau suffisent : énumérez les réalisations de l’équipe au cours du dernier mois, indiquez qui a fait quelles tâches, combien de temps cela a pris, et si il existe des critères objectifs pour juger du bon ou du mauvais. Ma plus profonde expérience au fil des ans est que consacrer nos efforts à « les tâches qui ne devraient absolument pas être traitées par l’IA » rapporte plus de bénéfices que de se concentrer sur « les tâches qui peuvent être traitées par l’IA ».

Épilogue : La carte ne correspond pas à la frontière territoriale

Chienwen: Pour conclure.

Yongliang: En un mot : les examens déterminent ce que nous pensons que l’IA peut faire, tandis que les tâches déterminent vraiment ce que l’IA peut réellement accomplir. Il y a 90 % de zones d’ombre entre ces deux aspects. Les tests de référence sont utiles comme des panneaux indicateurs, mais ne les considérez pas comme une carte complète. Ce qui doit vraiment nous inquiéter n’est pas « à quel score l’IA a réussi », mais plutôt « jusqu’où je suis conscient de ces 90 % de choses dans mon travail qui n’ont pas été testées ». Une carte ne représente pas une frontière ; cette vieille maxime est plus précieuse à l’ère de l’IA qu’à tout autre moment.