BLOG
技术拆解 034|DAYJOB: Tax:AI 代理做专业税务还差多远
一、背景/来龙去脉
税务工作长期是高度依赖人工专业判断的领域。从个人报税到企业并购,从跨境交易到遗产信托,每一个案子都涉及大量非结构化文件、复杂法规适用以及客户没有明说但会影响结果的关键信息。2026 年 10 月,Surge AI 发布了名为 DAYJOB: Tax 的基准测试,专门评估 AI 代理在真实税务任务上的表现。它不是一道道标准化选择题,而是把代理直接放进由税务专家设计的端到端任务中,看它能从读取文件到形成结论完成到什么程度。
这个基准目前已在 Hacker News 引发讨论,核心关注点并不在于哪个模型排名第一,而是 AI 代理是否已经具备处理专业税务工作所需的理解力、判断力和责任心。Surge AI 将 DAYJOB: Tax 定位为「AI agent 专业税务任务基准」,公开样本只有 2 个任务,完整版需要向官方申请获取。其意义与其说是公开一个可下载的数据集,不如说是给行业树立一个衡量代理在专业服务领域真实能力的标尺。
讨论中有人指出,税务责任的最终承担者始终是纳税人。即便会计师出错,纳税人也不能因此免除纳税义务,只能事后追偿。这意味着任何进入税务领域的 AI 工具,都不能把「辅助建议」和「最终责任」混为一谈。DAYJOB: Tax 的价值之一,就是把这个责任边界通过可量化的方式呈现出来。
二、为什么是现在
推动这个基准出现的背景有两个。其一,AI 代理的能力边界正在从通用对话向垂直专业任务扩展。过去一年,代理在代码、科研、法律等场景中的能力快速提升,税务作为一个文件密集、规则复杂、容错率极低的领域,自然成为下一个被检验的对象。其二,税务工作本身正在经历数字化,PDF、Excel、邮件、扫描件混杂的处理流程,与 AI 代理读取多模态文档的能力天然契合。DAYJOB: Tax 的出现,正是在模型能力与行业需求同时成熟的交叉点上,为评估代理能否胜任「专业助手」角色提供了一套可量化的方法。
但这也带来一个关键问题:当 AI 代理进入税务这种高风险领域时,我们究竟该用什么样的标准来评价它?DAYJOB: Tax 的回答是「pass@1,95% 评分项通过」。也就是说,代理不仅要算对数字,还要找全证据、识别关键问题、交付合格成果。这个标准比一般问答任务严格得多,因为它模拟的是客户把真实问题交给代理后,代理第一次就要给出可用答案的场景。
三、核心机制
DAYJOB: Tax 的核心设计是模拟真实税务代理的工作流程。每个任务都包含一组真实场景下的文件,包括 PDF、Excel、Word、邮件、图片、CSV、JSON 等,代理需要在其中提取信息、进行计算、识别风险并给出最终结论。任务覆盖八个税务实践领域:个人与家庭税务、小企业税务、合伙企业、财产与投资、遗产赠与与信托、国际税务、公司交易、税务审查与争议。
评分采用 rubric 方式,从计算、证据、关键问题、最终交付物等维度打分,通过需要达到 95% 的阈值。这意味着代理不能只给出看似合理的答案,而必须在细节上也经得起核对。任务由真实税务专家设计,并经过正确性、完整性和可解性三层审核,确保任务既有现实代表性,又有明确的评判标准。
官方示例中的两个案例很能说明问题。一个是 Anna 卖房案:代理正确判断了两个交割日期都满足自住免税条件,却遗漏了 2027 年 8 月后可能丧失资格的截止期限。另一个是分居夫妇退休账户案:代理没有核实婚姻状态,而不同州对普通法婚姻的认定存在差异,这可能导致税务后果出错。这两个例子共同说明,DAYJOB: Tax 考察的不仅是计算正确性,还有对客户未明言信息的追问能力。
与传统税务基准相比,TaxBench 更偏向高难度税务问答,TaxCalcBench 侧重报税准确性,TaxLab 则模拟代理与纳税人对话并填写联邦个税表。DAYJOB: Tax 的不同之处在于,它更强调端到端的专业判断:发现客户没有提到但会影响结果的关键问题,处理互相冲突的证据,并在大量文件中找到支撑结论的依据。
四、数字与边界
根据官方发布的数据,DAYJOB: Tax 包含 50 个税务任务环境,总计 1,789 个文件,中位数每任务 30 个文件,最多的任务包含 123 个文件。文件构成中 PDF 占绝大多数,共有 1,487 份,另有 117 份 Excel、38 份 Word,以及邮件、图片、CSV、JSON、文本文件等。
官方排行榜显示,即便是最强模型,通过率也仅在 10% 左右。Claude Sonnet 5.5 以 10.8% 位居第一,Claude Fable 5.1 为 9.6%,Claude Opus 5.5 为 9.2%,Muse Wonder 1.0 为 6%,Grok 4.7 为 5%,GPT-6 Astra 为 4.8%,GPT-6.1 Sol 为 4%,Gemini 4 Argon 为 3.2%,Kimi K3 为 0%。
这些数字说明,当前 AI 代理距离可靠完成专业税务工作还有明显差距。但也要注意,公开样本只有 2 个任务,完整 48 个任务需要向 benchmarks@surgehq.ai 申请,因此不能称其为「开源数据集」或「完整公开」。另外,排行榜数据来自 Surge AI 官方发布,目前未见独立第三方复测,在引用时应保持谨慎。
从 Hacker News 的讨论来看,一个核心疑问是:这个基准到底在测模型的固有能力,还是在测提示工程和工具设计?如果代理缺少针对任务类型的脚手架,它能否在上下文中自我组织并跟踪所有要求?这个问题目前还没有明确答案,但它提醒我们,在引用通过率时不能简单地把数字等同于模型能力本身。
五、怎么用
对于税务专业人员,DAYJOB: Tax 提供了一种理解 AI 代理能力边界的参考框架。在选择或评估税务 AI 工具时,可以参考它的评分维度:是否具备准确计算能力、能否找到充分证据、是否能识别客户未提及的关键问题、最终交付物是否完整合规。如果一个工具在这些维度上表现不稳定,就应将其定位为辅助工具,而不是替代人工判断。
对于 AI 产品团队,DAYJOB: Tax 揭示了税务场景下代理需要处理的多文件、多格式、长链条复杂性。在设计产品时,不应只追求最终答案的准确率,而应把证据链、风险提示、关键问题提示作为必要输出,并建立人工复核机制。产品可以围绕「草稿生成」「风险预检」「文件索引」三个方向发力,而不是直接宣称能完成整套税务工作。
对于企业用户,DAYJOB: Tax 的成绩提醒我们不要高估当前 AI 代理在专业税务工作中的独立执行能力。即便是最强模型也只有约 10% 的通过率,说明在可预见的未来,AI 更应被当作「初稿生成者」和「风险预检员」,最终判断仍需人类专业人士完成。企业在引入税务 AI 时,应优先用于标准化程度高、容错空间大的环节,同时保留完整的审核流程。
六、价值判断
DAYJOB: Tax 的最大价值在于把「AI 能否做专业税务」这个问题从感性判断变成了可量化的评估。它用真实文件、真实任务和严格评分,让模型能力在专业场景下暴露无遗。10.8% 的最高通过率也说明,当前 AI 代理在专业判断、复杂文件理解和风险识别方面仍有显著不足。
同时,这个基准也提出了一个更深层的问题:当 AI 代理进入税务、法律、医疗这类高风险专业服务领域时,「通过率」是否足够?税务结果往往伴随法律责任和经济后果,一个 95% 阈值的设计虽然严格,但现实中 5% 的错误仍可能带来严重后果。因此,DAYJOB: Tax 更应被理解为能力测评工具,而非安全认证工具。它告诉我们模型能做什么,但不能告诉我们模型可以安全地做什么。
从产业角度看,DAYJOB: Tax 也为专业服务行业的 AI 应用划定了一条能力基线。在它之后,任何声称能替代税务专家的产品,都需要先解释清楚自己在类似基准上的表现如何,以及在哪些环节仍需要人类介入。这比单纯宣传「AI 可以报税」要重要得多。
结论
DAYJOB: Tax 是 AI 代理进入专业税务领域的一次能力摸底。它用 50 个真实任务、近 1,800 份文件和严格的评分标准,揭示了当前最先进模型在专业税务工作中的真实水平:约 10% 的通过率说明 AI 已经能够处理部分简单任务,但距离独立承担专业税务工作仍有相当距离。对行业而言,这意味着 AI 在税务场景中的应用应继续以「人机协作」为主,把 AI 作为提升效率的工具,而不是替代专业判断的方案。未来,随着模型能力的提升和更多第三方复测的出现,DAYJOB: Tax 或将成为衡量税务 AI 成熟度的重要参考。
参考来源
- Surge AI 官方博客:DAYJOB: Tax — Benchmarking AI Agents on Professional Tax Work
- Hugging Face 公开样本:surgeai/DAYJOB-tax(MIT 许可)
- Hacker News 讨论:objectID 50275626