Tech Teardown 034 | DAYJOB: Impôts : À quelle distance se trouvent

I. Contexte/Résumé

Le travail fiscal a longtemps été un domaine fortement dépendant de la décision professionnelle humaine. De la déclaration fiscale individuelle aux fusions-acquisitions d’entreprises, des transactions transfrontalières aux fiducies patrimoniales, chaque cas implique de nombreux documents non structurés, une application complexe des réglementations et des informations clés que le client ne précise pas mais qui influencent le résultat. En octobre 2026, Surge AI a publié un test de performance appelé DAYJOB: Tax, destiné à évaluer les capacités des agents artificiels dans des tâches fiscales réelles. Ce n’est pas un ensemble de questions standardisées ; plutôt, l’agent est placé directement dans des tâches intégrales conçues par des experts fiscaux pour voir jusqu’où il peut aller de la lecture des documents à la formation de conclusions.

Ce test a suscité des discussions sur Hacker News. L’accent n’est pas sur lequel le modèle est le meilleur, mais sur si les agents artificiels possèdent la compréhension, le jugement et la responsabilité nécessaires pour traiter les tâches fiscales professionnelles. Surge AI a définie DAYJOB: Tax comme « un benchmark pour les tâches fiscales professionnelles des agents artificiels ». Seuls deux exemples sont disponibles publiquement, et une version complète doit être demandée au fournisseur. Son importance réside moins dans la publication d’un ensemble de données téléchargeables que dans l’établissement d’un critère pour mesurer les capacités réelles des agents dans le domaine des services professionnels.

Certains ont souligné que le responsable final de la responsabilité fiscale reste toujours le contribuable. Même si un comptable fait une erreur, le contribuable ne peut pas être exempté de ses obligations fiscales et doit justifier ses actions par la suite. Cela signifie que tout outil artificiel entrant dans le domaine fiscal ne doit pas confondre « les conseils assistants » avec « la responsabilité finale ». L’une des valeurs de DAYJOB: Tax est de présenter cette frontière de responsabilité de manière quantitative.

II. Pourquoi maintenant

Il y a deux contextes qui ont poussé l’introduction de ce benchmark. Premièrement, les capacités des agents artificiels se développent de la conversation générale vers des tâches professionnelles spécialisées. Au cours de l’année écoulée, les capacités des agents dans des domaines tels que le code, la recherche scientifique et le droit ont rapidement augmenté. Le secteur fiscal, avec ses documents abondants, ses règlements complexes et son faible taux de tolérance aux erreurs, est naturellement devenu le prochain test. Deuxièmement, le travail fiscal lui-même se digitalise, et les processus de traitement des PDF, Excel, e-mails et documents scannés s’emboîtent parfaitement avec la capacité des agents artificiels à lire des documents multimodaux. L’apparition de DAYJOB: Tax se situe précisément à ce point de croisement où les capacités des modèles se sont mûries en même temps que les besoins du secteur, offrant une méthode quantitative pour évaluer si les agents peuvent remplir le rôle d’« assistants professionnels ».

Cependant, cela soulève une question cruciale : quand les agents artificiels entrent dans un domaine à haut risque comme la fiscalité, quels critères devrions-nous utiliser pour les évaluer ? La réponse de DAYJOB: Tax est « pass@1, 95 % de points acceptables ». Cela signifie que l’agent doit non seulement avoir raison des chiffres, mais aussi trouver toutes les preuves, identifier les problèmes clés et fournir des résultats satisfaisants. Ce critère est beaucoup plus strict que les tâches de question-réponse ordinaires, car il simule la scène où le client confie un problème réel à l’agent, qui doit donner une réponse valable dès la première fois.

III. Mécanisme central

Le design central de DAYJOB: Tax est de simuler le flux de travail d’un agent fiscal réel. Chaque tâche comprend un ensemble de documents provenant de scénarios réels, y compris PDF, Excel, Word, e-mails, images, CSV, JSON, etc. L’agent doit extraire des informations, effectuer des calculs, identifier les risques et fournir une conclusion finale. Les tâches couvrent huit domaines de pratique fiscale : fiscalité personnelle et familiale, petite entreprise, partenariats en société, patrimoine et investissements, donations et fiducies patrimoniales, fiscalité internationale, transactions d’entreprises, examen fiscal et litiges.

La notation se fait selon un critère, en évaluant les aspects tels que le calcul, les preuves, les questions clés et les produits finaux, avec une exigence de 95% pour réussir. Cela signifie que l’agent ne doit pas simplement fournir des réponses apparemment raisonnables, mais doit également être fiable dans les détails. Les tâches sont conçues par des experts fiscaux réels et passent un triple contrôle de correction, de complétude et de résolvabilité, afin de garantir que les tâches soient réalistes et que des critères clairs soient établis pour l’évaluation.

Deux exemples dans les exemples officiels illustrent bien ce point. Dans le cas d’Anna qui vendait sa maison, l’agent a correctement déterminé que les deux dates de transfert étaient conformes aux conditions de exemption fiscale pour résidence principale, mais a omis la date limite après août 2027 où elle pourrait perdre cette exemption. Dans le cas d’un couple séparé avec un compte de retraite, l’agent n’a pas vérifié l’état matrimonial, et différents États ont des interpretations différentes du mariage civil, ce qui peut entraîner des erreurs fiscales. Ces deux exemples montrent que DAYJOB: Tax ne se concentre pas seulement sur la correction des calculs, mais aussi sur la capacité à interroger les informations non déclarées par le client.

Comparé aux benchmarks fiscaux traditionnels, TaxBench se concentre sur les questions fiscales complexes, TaxCalcBench met l’accent sur l’exactitude de la déclaration fiscale, tandis que TaxLab simule une conversation entre un agent et un contribuable pour remplir le formulaire fédéral de l’impôt sur le revenu. La différence avec DAYJOB: Tax est qu’il met davantage l’accent sur le jugement professionnel intégral : identifier les questions clés non mentionnées par le client mais qui peuvent affecter les résultats, gérer les preuves contradictoires et trouver des arguments dans de nombreux documents pour soutenir la conclusion.

IV. Chiffres et limites

Selon les données publiées officiellement, DAYJOB: Tax comprend 50 environnements de tâches fiscales, pour un total de 1,789 documents, avec une moyenne de 30 documents par tâche, et la tâche la plus complète contient 123 documents. Les PDF représentent la majorité des documents, avec 1,487 d’entre eux, ainsi que 117 Excel, 38 Word, ainsi que des e-mails, des images, CSV, JSON, fichiers de texte, etc.

Les classements officiels montrent que même le modèle le plus fort n’a qu’environ 10% de taux de réussite. Claude Sonnet 5.5 se place en première position avec 10.8%, Claude Fable 5.1 avec 9.6%, Claude Opus 5.5 avec 9.2%, Muse Wonder 1.0 avec 6%, Grok 4.7 avec 5%, GPT-6 Astra avec 4.8%, GPT-6.1 Sol avec 4%, Gemini 4 Argon avec 3.2%, et Kimi K3 avec 0%.

Ces chiffres montrent que les agents AI actuels sont encore loin d’être capables de réaliser efficacement des tâches fiscales professionnelles. Cependant, il convient de noter que seuls 2 exemples sont publiés, et 48 tâches complètes doivent être soumises à benchmarks@surgehq.ai, donc on ne peut pas les qualifier de « datasets ouverts » ou de « données publiques complètes ». De plus, les données des classements proviennent officiellement de Surge AI, et aucun test indépendant n’a été réalisé à ce jour, il convient donc de faire preuve de prudence lors de la citation de ces chiffres.

D’après les discussions sur Hacker News, une question fondamentale est : cet benchmark mesure-t-il les capacités intrinsèques du modèle ou l’ingénierie des suggestions et la conception des outils ? Si l’agent manque de structures adaptées au type de tâche, peut-il se structurer dans le contexte et suivre toutes les exigences ? Cette question n’a pas encore de réponse claire, mais elle nous rappelle que lors de la citation des taux de réussite, on ne doit pas simplement comparer les chiffres aux capacités du modèle.

V. Comment l’utiliser

Pour les professionnels de la fiscalité, DAYJOB: Tax propose un cadre de référence pour comprendre les limites des capacités des agents AI. Lors du choix ou de l’évaluation d’outils AI fiscales, on peut se référer à ses critères de notation : la capacité à calculer avec précision, la possibilité de trouver des preuves suffisantes, la capacité à identifier les questions clés non mentionnées par le client, et la conformité des résultats finales. Si un outil ne se montre pas stable dans ces domaines, il doit être considéré comme un outil d’aide plutôt qu’un remplaçant de l’évaluation humaine.

Pour les équipes de produits AI, DAYJOB: Tax révèle la complexité liée aux multiples documents, formats et chaînes longues que les agents doivent gérer dans le contexte fiscal. Lors de la conception d’un produit, il ne faut pas se concentrer uniquement sur l’exactitude de la réponse finale, mais aussi considérer les chaînes de preuves, les avertissements de risque et les suggestions de questions clés comme des résultats essentiels, et établir un mécanisme de révision humaine. Les produits peuvent se concentrer sur « la création de brouillons », « le pré-évaluation des risques » et « l’indexation des documents », plutôt que de prétendre accomplir toute la gamme des tâches fiscales.

Pour les utilisateurs professionnels, les résultats de DAYJOB: Tax nous rappellent de ne pas surestimer la capacité des agents AI à exécuter indépendamment des tâches fiscales professionnelles. Même les modèles les plus performants ont une précision d’environ 10 %, ce qui montre que, dans un avenir prévisible, les AI devraient être considérées comme des « créateurs de brouillons » et des « pré-évaluateurs de risques », tandis que la décision finale reste à confier aux professionnels humains. Lors de l’introduction d’AI fiscales, les entreprises devraient privilégier les domaines où le niveau de standardisation est élevé et où il y a une grande marge de tolérance, tout en maintenant un processus de vérification complet.

Sixième section : Évaluation des valeurs

Le plus grand avantage de DAYJOB: Tax réside dans le fait qu’il transforme la question « Les AI peuvent-elles effectuer des tâches fiscales professionnelles » en une évaluation quantifiable. Avec des documents réels, des tâches réelles et des notations strictes, il permet aux modèles de montrer leurs capacités dans des contextes professionnels. La précision maximale de 10,8 % montre également que les agents AI présentent encore des déficiences significatives en matière de jugement professionnel, de compréhension des documents complexes et d’identification des risques.

En même temps, ce critère soulève une question plus profonde : lorsque les agents AI entrent dans des domaines professionnels à haut risque tels que la fiscalité, le droit ou la médecine, la « précision » est-elle suffisante ? Les résultats fiscaux sont souvent accompagnés de responsabilités légales et de conséquences économiques. Une limite de 95 % est certes stricte, mais dans la réalité, 5 % d’erreurs peuvent entraîner de graves conséquences. Par conséquent, DAYJOB: Tax devrait être considéré comme un outil d’évaluation des capacités, et non comme un outil de certification de sécurité. Il nous indique ce que les modèles peuvent faire, mais pas ce qu’ils peuvent faire en toute sécurité.

Du point de vue industriel, DAYJOB: Tax établit également une ligne de base pour les applications AI dans le secteur des services professionnels. Par la suite, tout produit prétendant remplacer les experts fiscaux doit d’abord expliquer clairement son performance dans un tel critère et les aspects où l’intervention humaine est encore nécessaire. Cela est beaucoup plus important que de simplement proclamer « Les AI peuvent effectuer la déclaration fiscale ».

Conclusion

DAYJOB: Tax est une évaluation des capacités des agents AI dans le domaine du droit fiscal professionnel. Il utilise 50 tâches réelles, près de 1 800 documents et des critères d’évaluation stricts pour révéler le niveau réel des modèles les plus avancés dans le travail juridique fiscal : un taux de réussite d’environ 10 % indique que les AI peuvent déjà gérer certaines tâches simples, mais il reste encore beaucoup à faire pour qu’elles puissent assumer seules des responsabilités juridiques professionnelles. Pour l’industrie, cela signifie que l’utilisation des AI dans le domaine fiscal devrait continuer à se baser sur une « collaboration humain-machine », en utilisant les AI comme outils pour améliorer l’efficacité, plutôt que comme alternatives au jugement professionnel. À l’avenir, avec l’amélioration des capacités des modèles et l’apparition de nouveaux tests externes, DAYJOB: Tax pourrait devenir une référence importante pour mesurer le niveau de maturité des AI en fiscalité.

Sources de référence

• Blog officiel de Surge AI : DAYJOB: Tax — Benchmarking AI Agents on Professional Tax Work
• Exemples publics de Hugging Face : surgeai/DAYJOB-tax (licence MIT)
• Discussion sur Hacker News : objectID 50275626