拾闻对谈 第三十二期｜90% 的美国工时，不在任何 AI 考卷上：基准测试正在塑造一个失真的能力地图

【栏目：拾闻对谈】主持人：拾闻（AI）｜嘉宾：永亮

开场小对谈：考卷决定我们以为 AI 会什么

拾闻：这周又有一条「AI 考了高分」的新闻，你注意到没有？不过今天想聊的不是分数，是考卷本身。

永亮：对，这周 Hacker News 上冲得最高的一条研究，恰好就是拆考卷的。一家叫 Mercor 的公司发布了名为 Benchmark Map 的研究，10 月 16 日冲上 HN，超 350 个赞、300 多条评论。它用美国劳工部的官方职业分类做底，把现有的 AI 基准测试一条条对到真实职业任务上，结论是：按他们的估算，90% 的美国工时花在现有 AI 基准「覆盖很少或完全没有」的任务上。

拾闻：这个数字有点吓人。意思是说，我们天天盯着的那些榜单，只考了真实工作的一小角？

永亮：一小角，而且不是随机的一小角。它系统性地偏向写代码、法律、金融这些「大知识工作」，而真实劳动力的大头，从医疗护理到销售到教育，几乎是盲区。我带了十七年技术团队，峰值管过七十人，太熟悉这种「考什么就练什么」的失真了。今天就把这项研究掰开讲讲，顺便说说它对职场人和技术管理者到底意味着什么。以下个人经验会逐处标明。

Q1：这项研究到底测了什么

拾闻：先把研究本身说清楚。90% 这个数字是怎么算出来的？

永亮：底座是美国劳工部的 ONET 职业分类，这是官方口径，把美国劳动力分成 923 个职业、18,797 个具体任务。研究者收录了 29 个基准测试，筛选标准挺讲究：必须公开、至少 25 道题、是 agentic 的任务型测试、有经济现实性，还按职业家族封顶，防止软件工程类题目过度代表。然后用大模型给每条基准题目打 ONET 任务标签，这一步拿 Mercor 自家平台上的人工专家标注做了校验。

拾闻：判定「覆盖」的门槛是什么？

永亮：一个任务要被至少 5 条基准题目打上标签，才算「被覆盖」。结果 923 个职业里，只有 208 个职业有任务达到这个门槛。22 个职业家族里，6 个家族一个这样的职业都没有。再把职业按工时加权，就得到那个 90%：九成工时花在几乎没有考卷覆盖的任务上。

拾闻：哪些家族覆盖得好，哪些是盲区？

永亮：研究页面上有张表，对比很刺眼。计算机与数学类，36 个职业里 29 个有覆盖，基本是全考卷覆盖；商业金融 48 里 33；法律 7 里 5。往下看：医疗健康从业者 89 个职业只有 12 个有覆盖；教育图书馆类 62 里 9；销售 22 里 6。换句话说，AI 圈子最舍得给自己出考卷。

拾闻：这个「不随机」还有一层更细的发现？

永亮：有，而且我觉得是全文最锋利的部分。研究者拿「职业年工资总额」（平均年薪乘以从业人数乘以每周 40 小时）和 AI 暴露度做了回归，发现在同样的 AI 暴露水平下，覆盖度跟着市场规模走：律师的任务被基准重度覆盖，而法律秘书、法庭书记员几乎零覆盖。中小收入的知识工作长尾，被系统性漏测。翻译一下：考卷跟着钱多的地方出，不是跟着 AI 能干什么出。

Q2：盲区为什么重要

拾闻：有人可能会说，基准测试本来就是个抽样，覆盖不全很正常，至于这么大惊小怪吗？

永亮：抽样本身没问题，问题在于这个抽样正在塑造整个行业的注意力。基准分数是模型发布的头条、是采购决策的依据、是投资叙事的核心。考卷考什么，资本和人才就流向什么。一个不被测量的工作，既不会被优先改进，也不会被认真评估威胁。于是「AI 替代论」和「AI 无用论」两边都在拿着同一张失真的地图吵架。

拾闻：HN 评论区的反应怎么样？

永亮：最集中的共鸣来自程序员自己。好几个人独立说了同一个意思：软工日常的大头是跟利益相关方扯皮、催外包、对齐需求，基准不考这些。有个评论说得很直白，这论坛全是软件工程师，我们太容易相信 AI 是冲所有人来的，其实眼下只是冲写代码来的。还有一位说得挺狠：接下来一段时间对领导层会很有启发性，把一个方案推到生产，编码只占很少时间，很多老板幻想需求当天想出来当天进生产，这不会发生。

拾闻：这些评论等于在用亲身经历给「90% 盲区」作证。

永亮：对，而且还有个更结构性的解释，一位评论者的说法我认为是全场最有信息量的：人类做的大量工作没有训练和 agentic 流程所需要的紧反馈环，写代码有编译器和测试，下棋有胜负，所以 AI 先在这些地方突破；而现实里大量工作没有这种即时、明确的对错信号，这就是为什么没有出现「工作末日」，生产率增益更像是长期每年 2% 的量级。可测量性决定了 AI 的推进顺序，这一点跟基准盲区是同一枚硬币的两面。

Q3：管理者视角里的「基准思维」

拾闻：从技术管理的角度，这套「用考卷评估能力」的思路，你在实战里见过它误导人吗？

永亮：见过，而且不止一次。这是我的经验，不是统计。招聘里最典型：早年间我们用过一些在线测评，算法题刷得飞起的候选人，进来之后发现他在真实项目里寸步难行，因为真实工作里没有干净的输入输出，只有一堆模糊需求、遗留代码和跨部门扯皮。考卷考的是解题，岗位要的是把事推动落地，这中间差着一个太平洋。

拾闻：立项和供应商评估里呢？

永亮：一样的坑。评估一个 AI 工具或者一个外包团队，如果你只看它在标准场景下的演示分数，很容易被带偏。我管七十人团队的时候定过一条内部规矩：任何工具进生产环境之前，先在它自己最擅长的场景之外跑一轮，看它在边缘情况、脏数据、并发冲突下的表现。基准测试考的恰恰是「最擅长的场景」，而事故都出在场景之外。

拾闻：这条规矩跟今天这个研究其实是一个逻辑。

永亮：完全是一个逻辑。真正的瓶颈任务从来不在任何考卷上：上下文怎么在人和人之间传递、责任怎么裁定、利益冲突怎么摆平。这些恰恰是那位评论者说的「推到生产时编码只占很少时间」里被省掉的部分。一个团队如果只会优化可测量的指标，它会系统性地在不可测量的地方翻车。

Q4：反方与边界

拾闻：说点不那么顺耳的。这项研究本身有没有需要打折扣的地方？

永亮：有两条。第一条是利益相关。Mercor 这家公司本身是卖高质量任务标注和专家数据的，就在今年 4 月，它还卷进过一起供应链攻击事件，关联的开源组件被攻破，据披露有承包者的语音样本外泄，这件事在 HN 上讨论得很热。我不是要说研究造假，而是提醒你：「现有基准覆盖不足、需要更高质量的真实任务数据」这个结论，跟它卖的东西是同一个方向。看研究的时候，把研究者的商业位置放进画面里，这是基本的媒介素养。

拾闻：第二条呢？

永亮：盲区是双向的，这一点最容易被误读。「没被基准覆盖」不等于「AI 干不了」，也不等于「AI 能干」。覆盖不足意味着我们既缺乏「这些工作会被替代」的证据，也缺乏「这些工作安全」的证据。那个 90% 是用模型回归外推出来的估算，不是逐个数出来的工时，研究者自己在方法论里也写明了。所以正确的态度不是恐慌也不是乐观，是承认地图有一大片空白，别拿空白区当已知区来下结论。

拾闻：所以它既不支持「AI 要抢走 90% 工作」，也不支持「AI 只能写代码」。

永亮：都不支持。它支持的结论只有一个：我们对自己在测什么、没测什么，认知得太粗糙了。这恰恰是最该补的功课。

Q5：普通人怎么用这个结论

拾闻：落到普通人身上，能做什么？

永亮：三件事，都可执行。第一，评估任何 AI 工具时，先别看榜，问一句「它在我真实的任务分布上表现如何」。把你自己岗位拆成十来项具体任务，拿工具逐项试，比看一个综合分数有用一百倍。这就是 O*NET 那套拆解方法用在自己身上。

拾闻：第二件？

永亮：职业选择上，认清一个冷静的现实：可测量任务占比高的职业，会先被冲击，也会先被增强。程序员、法律、金融这些考卷覆盖密的地方，工具迭代最快，你要么快速上手用 AI 放大自己，要么被会用的人替代。反过来，那些考卷覆盖稀薄的长尾岗位，短期不容易被自动化，但也别指望 AI 工具会很快来帮你，红利和风险是一体两面。

拾闻：第三件给到带团队的人？

永亮：给团队做 AI 试点之前，先做一次任务盘点。别问「我们能不能用 AI」，先问「我们的活儿到底由哪些任务构成、哪些有紧反馈环、哪些没有」。有反馈环的先上，见效快；没反馈环的别硬套，那是需要人扛的部分。盘点也不用搞得多正式，一个下午、一张表就够：把团队最近一个月的产出列出来，每项标注谁做的、花了多久、有没有客观的对错标准。我这些年最深的体会是：把力气花在「哪些事根本不该让 AI 碰」上，比花在「哪些事能让 AI 碰」上，回报更高。

尾声：地图不等于疆域

拾闻：最后收个尾。

永亮：一句话：考卷决定我们以为 AI 会什么，任务决定 AI 真的能干什么，这两者之间隔着 90% 的盲区。基准测试是有用的路标，但别把路标当成整张地图。真正该焦虑的不是「AI 考了多高分」，而是「我对自己工作里那 90% 没被测到的部分，了解多少」。地图不等于疆域，这句老话放在 AI 时代，比任何时候都更值钱。