概述与动因

一旦团队每天使用 AI 工具,核心问题就从“我们该不该用?”变成“我们得到了什么?”。上一个主题阐述了基础:基线、比较和完整成本(见主题 10.1,服务管理中的 AI 度量)。本主题深入工作本身。你如何判断 AI 辅助的代码、工单、文档和决定,是否与它们所取代的工作一样好、更好或更差,以及做这项工作的人发生了什么?

AI 辅助触及许多类型的工作。在软件交付中,工具建议或生成代码、测试、提交消息和评审评论。在服务运营中,它们总结事件、提出原因、起草回复并撰写知识文章。在分析中,它们产生报告和查询。共同的特点是,产出一份看似合理的初稿变得廉价。成本转移到别处:阅读和判断输出、修复错误之处、维护所生成之物,以及学到足以知道其中的差别。

有几种效应使度量变得棘手。

  • 产出计数会误导。 代码行数(lines of code)向来是糟糕的生产力测量值,而生成的代码使它更糟。更多的代码意味着更多要阅读、测试和维护的东西。所生成的行数、被接受的建议数或草稿数,几乎说明不了价值。
  • 评审变成瓶颈。 代码评审(code review)和对其他生成工作的评审需要时间,而更大、更频繁的变更流,可能使评审者过载。大型的拉取请求(pull request)更难被很好地评审,而过载的评审者更可能批准他们没有理解的东西。前面的评审和流动测量值仍然至关重要(见主题 2.7,拉取请求与代码评审度量)。
  • 质量问题来得晚。 生成的代码今天可能通过测试,却带有重复代码(duplicate code)、不清晰的结构或隐藏的缺陷,它们表现为维护成本,是技术债(technical debt)的一种形式。在创建的那一刻所取的测量值会错过它。要查看工作之后发生了什么。
  • 技能可能改变。 把以前自己做的任务依赖于工具,是一种认知卸载(cognitive offloading),它可以为更难的问题释放注意力,也可能在底层的理解淡去时导致去技能化(deskilling)。两者都有可能,结果取决于工具如何被使用。这对相关的人很重要,对团队处理工具无法处理的情形的能力也很重要。

关于 AI 辅助对生产力影响的证据仍在发展中,它随任务、用户的经验、工具和环境而异。一些针对编码任务的受控研究发现,在定义明确的任务上完成得更快,而其他研究和报告发现,对于在其熟悉的复杂系统上工作的有经验的人,收益较小或没有,或者有额外的成本。本书不提供一个数字。团队负责任的立场,是带基线和比较地度量自己的工作,并把任何已发布的数字视为特定背景下的一项研究。

古德哈特定律的护栏在这里尤其重要,因为展示收益的压力很强,而容易得到的数字正是具有误导性的那些。下面的测量值追随留存下来的东西,而不是被产出的东西(见主题 1.2,古德哈特定律与度量的心理学)。

关键原则

  • 度量留存下来的东西。 留存、返工和逃逸的缺陷,比产出说明更多。
  • 观察评审。 AI 辅助工作的流动,受人们阅读它的能力的限制。
  • 同类相比。 被辅助的和不被辅助的工作,在种类和难度上必须相似。
  • 既看现在,也看以后。 质量问题和维护成本在创建数周或数月之后出现。
  • 让理解留在回路中。 交付工作的人必须能够解释它。
  • 保护技能和学习。 留意人们没有工具时仍然能做什么。
  • 汇总;不要监控个人。 关于谁使用 AI 以及如何使用的数据,是为改进流程,而不是给人排名。

度量定义

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏
留存率 在规定的期间之后,实质上保持不变的 AI 辅助变更占比 30 天后被修改或撤销的占比低于设定值的 AI 辅助变更 / 30 天前合并的 AI 辅助变更 百分比 与辅助标签相连的版本控制历史,在团队层面 发布与部署管理;变更赋能 站得住脚的工作;低返工 每月
合并后返工 在短期内需要后续修复的变更占比,针对被辅助和对照的变更 14 天内有相联后续修复的变更 / 已合并的变更,按组 百分比 版本控制、问题跟踪器、变更记录 变更赋能;问题管理 逃逸的缺陷;返工 每月
评审负荷 每项变更的评审工作量,针对被辅助和对照的变更 每项变更的评审时间和评审轮次的中位数和第 85 百分位数,按组 小时;轮次 评审工具时间戳,按团队汇总 发布与部署管理 作为反馈和学习的评审 每月
逃逸缺陷率 每项变更在生产中发现的缺陷,针对被辅助和对照的变更 发布之后发现、归因于某项变更的缺陷 / 已发布的变更,按组 每项变更的缺陷数 与变更相连的缺陷跟踪器 事件管理;问题管理 所发布之物的质量 每季度
解释检查通过率 其作者能在评审中解释做法及其权衡的、抽样的 AI 辅助变更占比 作者的解释使评审者满意的抽样变更 / 抽样的变更 百分比 抽样的评审笔记 知识管理;变更赋能 对代码的共同理解 每季度
辅助支持质量 AI 辅助的支持回复与无辅助回复相比较的重开率和用户满意度 重开的被辅助工单 / 被辅助的工单,以及偏正面的评分 / 评分,按组 百分比 ITSM 工具、调查 服务台;事件管理 服务成果的质量 每月
无辅助信心评分 团队对不用工具完成关键任务的信心评分 在约定量表上的平均评分和离散程度,按团队 量表点 匿名的团队脉冲 劳动力与人才管理;知识管理 团队能力和学习 每季度

在团队层面可靠地标记 AI 辅助,通过工具日志或轻量的约定,并说明对照变更如何选择:在规模、领域和风险上相似。留存度量实质性的变更,阈值设在登记册中。合并后返工按所述规则把后续修复与原变更相联。评审负荷是评审者而不是作者的工作量,并在可度量时只包括主动评审的时间。绝不报告个人层面的数据。解释检查的样本是随机选择的,并且该检查是支持学习的交谈,而不是对一个人的测试。

建议

在工作被创建之后继续追踪它

1. 随时间推移跟踪被辅助的工作发生了什么。 对代码,在合并之后跟踪变更数周:它们是留下、被修复,还是被撤销?对支持,在回复之后跟踪工单:它们是被重开,还是随后有重复联系?对文档,检查它们是被使用、被更正,还是被忽略。留存和返工是简单的、难以伪造的质量信号。

2. 与类似的无辅助工作相比较。 从同一期间选择规模、风险和领域相似的对照工作。难度很重要:人们可能把 AI 用于容易的任务,那会美化工具,或用于困难的任务,那会惩罚它。说明任务如何变成被辅助的,并相应地调整或加上告诫。小而诚实的比较,胜过大而被混杂的(见主题 6.5,价值实现与业务成果)。

3. 把下游的测量值纳入标准集合。 把任何速度测量值与变更失败率、逃逸的缺陷,以及已在使用的稳定性测量值配对(见主题 2.8,DORA 度量)。伴随稳定性下降的速度提升,是把成本转嫁给运维和用户。把这一对一起报告。

使评审保持有意义

4. 观察评审负荷和规模。 度量被辅助和无辅助工作的评审时间、评审轮次和变更规模。如果被辅助的变更更大或更多,评审者可能过载。设定变更规模的规范,并限制一次评审中可以包含的生成材料的数量。评审容量是系统容量的一部分(见主题 2.3,在制品与排队)。

5. 请作者解释。 养成习惯,使一项变更的作者能解释它做了什么、为什么用这种方法,以及权衡是什么。评审中一次简短而有支持的交谈就够了。每季度抽样解释检查,看理解是否跟得上产出。凡作者无法解释之处,把它视为放慢并学习的信号,而不是对这个人的指责。

6. 防范自动化偏差。 鼓励评审者像对待任何其他工作一样批判地阅读被辅助的工作。轮换评审者,偶尔在测试变更中植入已知的问题以检验检测,并保持由独立评审者对输出的抽样。非常高的接受率连同上升的返工,是一个警告(见主题 10.1,服务管理中的 AI 度量)。

照看质量和维护

7. 监控代码和系统的结构。 在辅助很多的领域,跟踪重复、复杂度、测试覆盖和变化率。使用你已有的关于软件测试(software testing)和代码健康的测量值,并查看趋势。上升的重复或下降的测试有效性,可能表明生成的代码被接受而没有整合进设计。回归测试(regression testing)覆盖是一张安全网,当变更量上升时,其强度更为重要。

8. 谨慎对待生成的测试。 AI 可以迅速写出许多测试,而测试可以在没有检查任何有意义内容的情况下通过。对生成的测试抽样检查其价值,并通过“当行为被有意破坏时测试是否失败”之类的方法度量测试有效性。不要把写出的测试数作为质量测量值。

9. 观察被辅助支持的质量。 对服务台和运维,度量被辅助与无辅助回复的重开率、重复联系、满意度和抽样回复的准确度。把用户送回来的更快的回复,总体上更慢。阅读用户对被辅助回复的评论,并看在重要之处用户是否知道他们正在与 AI 打交道(见主题 6.1,客户满意度度量)。

保护人和技能

10. 留意人们仍然能做什么。 问团队他们对不用工具完成关键任务有多大信心,并跟踪趋势。使用偶尔的无辅助练习、结对,以及对底层设计的评审来保持技能鲜活。特别保护较新的团队成员的学习,他们可能在建立有经验的同事用来判断工具的心智模型之前就使用它(见主题 9.4,技能与学习度量)。

11. 让关于人的数据远离评价。 汇总到团队层面。不要报告哪些个人使用 AI 最多,也不要在绩效评审中使用使用量、接受率或生成量。让规则为人所知。诚实地报告什么有效、什么无效,需要信任。

12. 定期重新审视。 工具、模型和实践在数月内就会变化。当工具或工作方式变化时,重新运行比较。分享发现,包括某个工具在这里没有帮助,并淘汰不再值得保留的用途。

钻空子途径与护栏

度量 如何被钻空子 配对的护栏度量或实践
留存率 为保持数字而避免必要的变更;只把成功的变更标记为被辅助 依据工具日志而不是作者的选择来标记;与逃逸的缺陷和返工配对
合并后返工 在不同的工单或未相联的新变更中修复;把修复推迟到窗口之后 登记册中的链接规则;查看更长的窗口;生产缺陷
评审负荷 降低所度量时间的仓促评审;没有评论的批准 评审深度抽样;逃逸的缺陷;评审者调查
逃逸缺陷率 不把缺陷归因于变更;把缺陷重新归类为增强 归因规则;对缺陷分类的独立抽样
解释检查通过率 作者为检查而排练;宽松的评审者 随机、不预先通知的抽样;轮换评审者;聚焦于设计的理由
辅助支持质量 只辅助容易的工单;辅导用户给高分 按类型和难度匹配工单;回复率和构成;阅读评论
无辅助信心评分 为避免审视而夸大评分;为争取更多工具而压低评分 匿名;与演练中观察到的做法相比较;阅读评论

健康的读数是:与无辅助工作一样常常保持原位的被辅助工作、与对照持平或更好的返工和逃逸的缺陷、保持深入的评审、能解释自己所交付内容的作者、不会回来的被辅助支持,以及对自己技能保持信心的团队。

权衡:利与弊

方法 优势 劣势
度量产出量 容易 奖励数量;对价值说明不了什么
度量留存和返工 反映随时间的质量 延迟;需要把记录相联
受控的比较 可信 需要工作量;可能不切实际
观察性的比较 廉价 被任务选择所混杂
强制的解释检查 维持理解 可能感觉像测试;增加工作量
轻量的抽样检查 负担低 可能错过模式
对 AI 使用的严格限制 控制风险 失去收益;影子使用
公开使用并附度量 学习和收益 需要信任和纪律

答案是在明确的规则内允许使用,度量留存下来的东西,抽样检查理解,保护评审容量和技能,并让关于人的数据远离评价。

与团队讨论的问题

1. 上个季度 AI 帮助我们产出的东西,有多少仍然原封不动?我们怎么知道? 查看被辅助变更相对于可比集合的留存和返工。引导者应当记录回答它有多难。商定如何标记并链接记录,使下个季度的答案很容易。

2. 评审跟得上吗?当它跟不上时会发生什么? 查看评审的时间、轮次和规模。问评审者对被辅助变更的感受。讨论规模的限制和分摊负荷的办法。商定要尝试的一项规范。

3. 我们每个人能否解释上一次在 AI 帮助下交付的变更及其权衡? 两人一组尝试。注意解释在哪里容易、在哪里困难。讨论这说明了我们对工具的使用,以及如何保持理解。

4. 没有工具时,我们仍能做好什么?我们正在失去哪些诀窍? 列出关键任务,诚实地评价信心,并规划一些无辅助的练习或结对。这场交谈也会浮现人们在其工作中所重视并想保留的东西。

5. AI 在哪里对我们帮助最大、最小?这些地方有什么共同点? 比较例子。寻找定义明确的任务、良好的测试或熟悉的领域之类的特征。用这些发现指导在哪里使用该工具。

6. 如果我们不相信自己的第一印象,我们会度量什么? 请小组说出会在任一方向上改变他们对该工具看法的证据。用答案来定义下一次比较。

四种视角

产品与交付团队

交付团队掌握日常体验和质量成果。他们应当标记被辅助的工作,观察留存和返工,使评审保持有意义,并保持自己的理解。当生成的变更量超出他们评审的能力时,他们应当发声。

服务与运维团队

运维团队把 AI 用于摘要、诊断和回复,并继承逃逸出来的质量问题。他们应当抽样输出,比较重开和重复联系率,并为生产环境中的行动保持清晰的人的责任。他们应当帮助界定 AI 在哪里必须在没有人的情况下不得行动。

领导层与治理

领导者面临展示收益的压力,可能被使用和产出的测量值所诱惑。他们应当坚持在速度旁边要有留存、返工和稳定性的测量值,为评审容量出资,保护技能发展,并抵制给人排名。治理应当期望 AI 收益报告中有比较和告诫。

客户与用户

用户收到结果:运行其服务的代码、对其请求的回复、他们所依赖的文档。当质量保持时他们受益,当质量下降时他们受害。他们应当能够联系到真人,而他们对被辅助互动的反馈,是质量的关键证据。

实践:一个服务管理示例

一家欧洲航空公司的数字团队有六个产品团队,构建并运行预订和运营软件。团队一年前开始使用 AI 编码助手,该团队的仪表盘报告,已合并的行中有 38% 由 AI 生成。下面的数字均为示意。

工程卓越主管对这个仪表盘感到不安。她请三个团队通过工具的日志,仅在团队层面,标记被辅助的变更,并选择规模和领域相似的对照变更。在一个季度内,被辅助变更从首次提交到合并的时间中位数更短,为 1.4 天,对照为 2.0 天。被辅助变更在 30 天后的留存率为 81%,而对照变更为 90%,12% 的被辅助变更在 14 天内需要后续修复,而对照为 7%。评审负荷讲述同样的故事:被辅助变更每项的评审时间中位数高出 35%,变更规模的第 85 百分位数增大。每 100 项变更的逃逸缺陷,被辅助变更略高,不过样本很小,差异在正常变化之内。对 40 项被辅助变更的抽样显示,其中 31 项作者能很好地解释做法及其权衡,6 项部分能解释,3 项完全不能,大多在作者不熟悉的代码领域。在服务台,被辅助的回复重开率为 7%,而无辅助的为 6%,满意度相似。在一次团队脉冲中,较新的工程师对不用工具实现核心功能的信心评为 5 分制中的 2.6,而在团队中任职超过三年的工程师为 4.1。

工程卓越主管把结果带给各团队,而不给它们排名。各团队商定四项变更。变更规模的限制和评审轮值表保护评审者。作者在评审中简要地解释被辅助的变更。较新的工程师在核心功能上与有经验的工程师结对,每月一次无辅助练习使技能保持实践。仪表盘放弃生成行数占比,转而展示被辅助工作与对照工作相比较的留存、返工、评审负荷和逃逸的缺陷。三个月后,留存差距缩小到 4 个点,后续修复降至 8%,解释检查有所改善。一位副总裁要求把生成行数占比作为每个团队的目标。工程卓越主管解释了这些发现,并提议继续跟踪成果,补充说收益在某些任务上是真实的,在另一些任务上则不然,并且团队将决定在哪里使用该工具。该决定被记录下来。

敏捷、AI、自动化与分析

敏捷

可持续的节奏和有积极性的人,包括保护理解,所以要与团队一起按定期的节奏评审 AI 辅助的工作,并查看什么留存下来。需要注意的是,度量个人的 AI 使用,会把团队的做法变成监视。

AI

依据评审和生产之后留存下来的东西,以及人们是否仍然理解他们所交付的东西,来评判 AI 辅助的工作。把留存和返工与解释检查和无辅助信心评分配对,并让数据保持在团队层面。需要注意的是,快速的草稿把工作量转移到评审者身上,所以也要度量评审负荷。

自动化

在工具允许时自动标记 AI 辅助的变更,并就覆盖来度量标记本身,因为未被标记的工作会破坏比较。需要注意的是,自动标记可能被移除或遗漏,所以要抽样。

分析

在相同的测量值上比较 AI 辅助的工作和其他工作,附计数和不确定性。这为之提供依据的决定是 AI 的帮助在哪里是真实的、在哪里增加了返工。需要注意的是,两组工作在种类上可能不同,所以避免依据粗略的比较作出因果声称。

行业视角

初创公司。 小团队可能从辅助中获益很多,也迅速积累隐藏的债务。及早跟踪留存和返工,使测试保持有意义,并确保将要维护系统的人理解它。当心交付没人能解释的代码。

小型企业。 辅助可以使很小的团队得到延展。在小样本上度量:被辅助的工作之后多常需要修复。对任何面向客户的东西保留备份、测试和人工评审,并保护所有者对其所依赖系统的理解。

大型企业。 规模放大收益和问题。提供关于标记、评审限制和测量值的共享指导,在团队之间谨慎地比较而不排名,并投资于评审和测试容量。在流水线中纳入对生成代码的安全和许可证评审(见主题 7.2,软件资产与许可度量)。

政府与公共部门。 公共系统寿命长、问责严格,出错的后果严重。要求可追溯的人的责任、细致的测试,以及对 AI 如何被使用的文档。在变更记录中记录被辅助的工作,并评估对公平和安全的风险(见主题 8.5,受监管与政府报告)。

业务论证:动因、投资回报与总拥有成本

成本是工具和使用费、标记和链接记录的工作量、评审和修复的时间、额外的测试,以及培训。比较研究需要时间,但与一个扩展或禁止的错误决定相比,它是廉价的。

回报在辅助减少工作量而不降低质量之处是真实的,在它把工作量转移到评审、返工和维护之处则丧失。依据你自己的测量值构建论证:到达已合并并留存的变更的时间、相对于对照的返工和逃逸的缺陷、评审负荷,以及用户和员工的满意度。避免把已发布的生产力数字用作你的估计。记住隐藏的成本:理解的降低、技能的丧失和技术债。对不确定性保持诚实(见主题 7.7,投资回报与业务论证)。

反模式与陷阱

  • 统计生成的行数或被接受的建议。 它们奖励数量。度量留存下来的东西。
  • 把简单任务上被辅助的工作与困难任务上无辅助的工作相比较。 结果美化或惩罚工具。匹配任务。
  • 让评审容量落在后面。 质量悄悄下降。限制变更规模并保护评审者。
  • 跳过下游的测量值。 成本在以后出现。跟踪返工、缺陷和稳定性。
  • 把生成的测试视为质量。 它们可以在没有检查任何东西的情况下通过。测试这些测试。
  • 忽略技能。 理解在不知不觉中淡去。跟踪无辅助信心并加以练习。
  • 监控个人。 它滋生恐惧并隐藏问题。让数据保持在团队层面。
  • 依据短暂的小型研究宣布胜利。 随着工具和实践的变化重新运行。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
度量留存下来的东西 产出计数 对质量的非正式印象 标记被辅助的工作;对照可比工作跟踪留存和返工 一起管理下游缺陷、稳定性和评审负荷 跨团队的证据指导在哪里使用辅助;广泛分享结果
评审与理解 照旧评审 担心过载 变更规模的规范;抽样解释检查 规划评审容量;抵制自动化偏差 评审和理解被构建到所有团队使用 AI 的方式中
人与技能 不考虑 轶事 脉冲无辅助信心;一些练习 规划技能发展;管理趋势 在整个组织中保护学习和手艺;与员工共同设计 AI 的使用

检查清单

  • 在团队层面通过工具日志或轻量的约定标记 AI 辅助的工作。
  • 定义规模、领域和风险相似的对照工作。
  • 对被辅助和对照的工作跟踪留存和合并后返工。
  • 在任何速度测量值旁边报告逃逸的缺陷和变更失败率。
  • 监控评审时间、轮次和变更规模,并有规模的规范。
  • 作者能解释被辅助的变更,并每季度抽样检查。
  • 对生成的测试抽样检查其价值。
  • 比较被辅助支持的重开率、重复联系和满意度。
  • 脉冲无辅助信心,并规划无辅助练习。
  • 个人的使用和接受数据不用于评价。

AI 提示词

规划被辅助与无辅助变更的比较。

我们想比较 [团队和系统] 的 AI 辅助变更与无辅助变更。我们的数据包括:[列出字段]。请提出如何在不依赖作者记忆的情况下标记被辅助的变更、如何选择规模和风险相似的对照变更、要比较哪些测量值(留存、返工、评审负荷、缺陷)、期间,以及如何给发现加上告诫。不要陈述预期的结果。请列出你的假设和对有效性的威胁。

设计解释检查。

请为 [语言和领域] 中抽样的 AI 辅助变更,设计一次简短而有支持的解释检查。包括如何抽样、评审者提出的问题、好的解释涵盖什么、如何在团队层面记录结果,以及如何在不给人打分的情况下把发现用于学习。请列出你的假设和该检查的风险。

评审下游的测量值。

这是我们 [期间] 的测量值:速度 [值]、留存 [值]、返工 [值]、评审负荷 [值]、逃逸的缺陷 [值],针对被辅助和对照的工作。请描述这种模式说明了什么、没有说明什么,哪些差异在正常变化之内,以及接下来检查什么。不要声称因果。请列出你的假设,以及我应当添加的数据。

规划无辅助的练习。

请为每天使用 AI 工具的团队提出一个保持核心技能鲜活的轻量计划:每月的无辅助练习、新老成员之间的结对,以及设计讨论。建议如何把它纳入工作周而不增加压力,以及如何用无辅助信心脉冲跟踪其效果。请列出你的假设和权衡。

AI 技能

要点

  • 度量留存下来的东西:相对于可比的无辅助工作的留存、返工、逃逸的缺陷和稳定性。
  • 保护评审容量并使评审保持深入,因为它限制了被辅助工作能多快安全地流动。
  • 检查作者能否解释他们所交付的东西,并留意技能是在增长还是在淡去。
  • 对生成的测试和输出抽样检查其真正的价值。
  • 把已发布的生产力说法视为单个研究,并度量你自己的工作。
  • 让个人的使用数据远离评价。

参考文献与延伸阅读

  1. Peng, S., Kalliamvakou, E., Cihon, P., and Demirer, M., "The Impact of AI on Developer Productivity: Evidence from GitHub Copilot," arXiv preprint, 2023.
  2. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  3. DORA, Google Cloud, Accelerate State of DevOps Report (latest edition addressing AI), https://dora.dev/.
  4. Parasuraman, R., and Manzey, D. H., "Complacency and bias in human use of automation: An attentional integration," Human Factors, 52(3), 2010.
  5. Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 19(1), 2021.
  6. Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
  7. Wikipedia, Lines of code.
  8. Wikipedia, Code review.
  9. Wikipedia, Pull request.
  10. Wikipedia, Duplicate code.
  11. Wikipedia, Technical debt.
  12. Wikipedia, Cognitive offloading.
  13. Wikipedia, Deskilling.
  14. Wikipedia, Goodhart's law.
  15. Wikipedia, Software testing.
  16. Wikipedia, Regression testing.