概述与动因

《敏捷宣言》的原则要求我们围绕有积极性的个人来构建项目,给予他们所需要的环境和支持,并信任他们能把工作做好。它们还要求发起人、开发人员和用户能够无限期地保持恒定的节奏,并要求团队定期反思如何变得更有成效。团队健康和开发者体验的测量值,就是使这些原则变得可检查的办法。它们问在这里做这项工作是什么感觉,以及什么挡了路。

开发者体验(developer experience)是开发人员与其共事的工具、流程和人之间的互动的总和。这一理念比软件工程更宽泛。运维人员、服务台人员、分析师,以及任何构建或运行服务的人,对其环境都有体验。本主题对工程师使用“开发者体验”,对更广泛的群体使用“团队健康”,同样的测量值适用于两者。

有两个研究框架被广泛引用。由 Nicole Forsgren 及其同事于 2021 年发表的 SPACE 框架,主张开发者的生产力(productivity)不能被还原为一个数字,并提出五个维度:满意度与福祉、绩效、活动、沟通与协作,以及效率与心流。Abi Noda、Margaret-Anne Storey、Nicole Forsgren 和 Michaela Greiler 于 2023 年发表的后续论文《DevEx: What Actually Drives Productivity》,聚焦于开发人员能够感受到、而组织能够改变的三个维度:反馈闭环、认知负荷和心流状态。两篇论文都建议把关于感知的调查数据与来自系统的关于工作流的数据结合起来,并都警告不要用任何单一测量值,尤其是活动计数,来代理生产力。

DevEx 的三个维度是实用的起点。

  • 反馈闭环。 一个人多快得知其所作所为的结果?缓慢的构建、缓慢的测试、缓慢的评审和缓慢的批准,每一项都增加等待,而等待打断专注。快速反馈也是持续交付的核心支撑。
  • 认知负荷(cognitive load)。 一个人为了把某件事做成,必须在心里记住多少东西?复杂的系统、糟糕的文档、不明确的归属和众多的工具,提高了负荷。降低它,为重要的工作释放容量。
  • 心流状态(flow state)。 一个人能否找到不被打断的时段来集中注意力?会议、通知、计划外的请求和上下文切换,都在侵蚀它。

这一领域的测量值异常容易被误用。提交数、拉取请求数、关闭的工单数或在线工时,都是活动测量值。它们易于收集,却几乎说明不了人们能否做好工作,而且招致钻空子。关于感知的测量值是主观的、有价值的,如果人们害怕诚实回答的后果,它们就可能被扭曲。任何关于人的测量值都可能滑向监视。古德哈特定律的护栏带着伦理的锋芒适用:当关于人的测量值变成目标时,人们就不再如实讲述他们的工作(见主题 1.2,古德哈特定律与度量的心理学)。

本主题建立在前面所述的内部用户的体验之上(见主题 6.4,用户与员工体验),并在接下来关于福祉、协作、技能和改进的主题中继续。

关键原则

  • 度量条件,而不是人。 询问环境及其障碍,并在团队层面报告。
  • 把感知与工作流数据结合起来。 人们的感受和系统的记录,各自错过图景的一部分。
  • 让团队拥有自己的健康检查。 最接近工作的人选择问题,并首先阅读结果。
  • 绝不用这些测量值给个人排名或评价个人。 那会终结诚实的回答。
  • 避免把活动计数当作生产力。 提交数、工单数或工时不是成果。
  • 对所听到的采取可见的行动。 修复障碍,或说明为什么不修复。
  • 保护可持续的节奏。 无限期高速运转的团队,是在透支其未来。

度量定义

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏
反馈闭环时间 一个人得到常见动作结果的时间,按闭环类型 每个团队的构建、测试运行、代码评审等待和部署的分钟数或小时数的中位数和第 85 百分位数 分钟或小时 流水线和评审工具的时间戳,按团队汇总 发布与部署管理;持续改进 持续交付中的快速反馈 每周
专注时间占比 由团队报告的、处于约定最短长度的不被打断的时段中的工作时间占比 团队报告的专注时段小时数 / 工作小时数,在简短的脉冲中收集 百分比 团队脉冲;仅在团队选择加入并汇总时才使用日历数据 持续改进;知识管理 为深度工作保护的时间 每月
认知负荷评分 团队对理解和更改某个具名系统或流程有多难的评分 每个系统在简短的约定量表上的平均评分和离散程度 量表点 与某个系统或流程相联的简短脉冲 服务设计;知识管理 对工作的共同理解 每季度
障碍解决时间 从团队提出一个障碍到其被消除、或有记录的决定不消除它的时间 从提出到解决或作出决定的天数的中位数和第 85 百分位数 天 障碍清单或跟踪器 持续改进;问题管理 已消除的障碍 每月
团队健康检查趋势 团队自己对其所选维度的评分,随时间跟踪 两次检查之间团队所选维度评分的变化 量表点 由团队拥有的团队健康检查 持续改进 团队对如何变得更有成效的反思 每月或每季度
工具与流程满意度 团队对其日常使用的工具和流程的满意度评分 每个具名工具或流程的平均评分或偏正面占比 量表点或百分比 简短的脉冲 服务级别管理;持续改进 环境与工作的契合 每季度
维度覆盖 团队实际使用的测量值所涵盖的 SPACE 维度数量 至少有一项在用测量值的五个维度的计数 计数(0 至 5) 度量登记册 度量与报告;治理 均衡的测量值 每年

在团队层面汇总一切,并设定最小群体规模,例如少于五人的群体不显示结果。专注时间是团队自己的描述,任何源自日历的数字都是可选的、汇总的,并由团队商定。反馈闭环时间来自系统,描述的是流水线,而不是人。维度覆盖是对度量计划的检查,旨在防止依赖单一类型的测量值。

建议

从人们工作所处的条件出发

1. 问团队是什么拖慢了他们。 从交谈而不是调查开始:什么浪费你的时间、什么难以理解、什么最常打断你?用团队的话写下答案。交谈找到任何仪表盘都找不到的问题,并建立之后的调查所需要的信任。商定要度量其中的两三项。

2. 把 DevEx 的三个维度用作透镜。 对反馈闭环、认知负荷和心流状态中的每一个,选择一个感知问题,并在可能时选择一项系统测量值。对反馈闭环,把“你对构建花多长时间有多满意?”与构建时长配对。对认知负荷,问理解和更改某个具名系统有多难。对心流,问人们多常能不被打断地工作。把人们所说的与系统所记录的配对,并查看分歧。

3. 涵盖 SPACE 的若干维度。 从五个维度中的至少三个选择测量值,使没有单一类型的数据占主导。对运行服务的团队,满意度与福祉、协作,以及效率与心流往往最重要。对活动测量值要非常小心,只把它们用作背景。维度覆盖这项测量值使这一点保持诚实。

谨慎地度量

4. 让团队拥有并首先阅读其健康检查。 团队健康检查是针对团队所选维度的简短自我评估,比如乐趣、支持、速度、学习和发布的容易程度。团队在任何其他人看到摘要之前,先阅读并讨论自己的结果。其他人看到的是趋势,以及团队请求帮助的障碍,而不是用来比较的分数。这使工具保持为学习的辅助,它依赖于心理安全(psychological safety),即人们不会因发声而受到惩罚这一共同信念。

5. 为重要的反馈闭环计时。 度量人们所抱怨的闭环的时长:本地构建、测试套件、代码评审等待、部署到测试环境。报告中位数和第 85 百分位数,因为缓慢的尾部比平均值所显示的伤害更大。与拥有流水线的团队分享这些数字,并把改进作为常规工作(见主题 2.7,拉取请求与代码评审度量)。

6. 保护专注,并温和地度量它。 在脉冲中询问专注,并查看是什么造成打断:会议负荷、通知、计划外的请求。如果团队希望查看日历模式,应征得其同意并汇总结果。绝不跟踪个人的活动或在线状态。目的是找出要消除的结构性打断,比如本可以是一份文档的会议。

7. 跟踪障碍直至解决。 保存一份团队所提出的障碍的可见清单,并度量它们需要多久才被解决或被有意识地搁置。永不缩短的长清单教会人们提出问题是徒劳的。决定不消除某个障碍并附理由,算作一种解决。

用结果来改进

8. 一次只处理一两件事。 选择价值最高的障碍,修复它,并告诉团队。可见的行动对信任的作用,胜过长篇报告。克制同时发起许多倡议的诱惑。

9. 把关于人的测量值与成果测量值配对。 查看反馈闭环和认知负荷与交付和稳定性成果的关系(见主题 2.8,DORA 度量)。不要在你自己的数据中从相关性声称因果。用这种配对来找出可探索的问题,比如评审较慢的团队是否周期时间也较长。

10. 让活动计数远离交流。 不要按个人报告提交数、代码行数或关闭的工单数。团队产出的计数对流动可能有用,但对健康几乎说明不了什么。如果有人索要个人的活动测量值,就解释研究,并提供关于条件的测量值作为替代。

保护人

11. 在收集之前设定隐私规则。 写下收集什么、为什么、谁能看到、保存多久,以及绝不会用它做什么。汇总到团队层面,抑制小群体,并让相关人员的代表评审规则。不要在绩效评审、晋升或纪律处分中使用其中任何数据。

12. 使可持续的节奏成为默认。 观察团队高速运转的迹象:一连串非工作时间的事件、永久的紧迫状态、不断增长的障碍清单、下降的满意度。把这些视为要通过范围、人员配置或优先级来修复的系统问题。人们能够保持的恒定节奏是一项设计目标,它支持质量、学习和留存(见主题 9.2,满意度与福祉度量)。

钻空子途径与护栏

度量 如何被钻空子 配对的护栏度量或实践
反馈闭环时间 排除缓慢的情形;度量大多数工作不走的快速路径 报告第 85 百分位数;在登记册中定义每个闭环的起止点
专注时间占比 占用日历时间而不专注;为取悦经理而虚报专注 由团队拥有的脉冲;与打断的原因相比较;不做个人报告
认知负荷评分 为避免审视而把系统评得很低;挑选容易的系统来评 为固定的系统清单评分;与入职时间和事件模式相比较
障碍解决时间 在没有修复的情况下关闭障碍;拒绝记录障碍 由团队确认解决;被重新打开的障碍的比率
团队健康检查趋势 经理催促要好的得分;团队调整分数以避免关注 团队拥有结果;仅在团队同意时分享趋势
工具与流程满意度 调查满意的用户;训练员工回答得好 回复率和构成;阅读评论;与系统测量值相联
维度覆盖 以象征性的测量值计入某个维度 检查每项被计入的测量值是否被用于某个决定

健康的读数是:更短而更稳定的反馈闭环、关键系统上下降的认知负荷、报告有真正专注的团队、被提出并被解决的障碍、团队信任的健康检查,以及没有对个人使用这些数据。

权衡:利与弊

方法 优势 劣势
感知调查 捕捉系统所无法捕捉的东西;成本低 主观;易受恐惧和疲劳影响
工作流测量值 客观;持续 错过感受和原因;有监视的风险
由团队拥有的健康检查 诚实,对团队有用 难以比较;难以扩展
全公司标准调查 跨团队可比较 相关性较差;被用来排名
活动计数 易于收集 糟糕的代理;易被钻空子
聚焦于条件的测量值 指向可修复的原因 需要后续的工作量
频繁的脉冲 及时 调查疲劳
年度调查 负担低 缓慢;陈旧

答案是把由团队拥有的健康检查和简短的脉冲,与关于人们所抱怨的闭环的工作流测量值结合起来,避免活动计数,并守护隐私。谨慎地使用全公司范围的比较,并且绝不用来给团队排名。

与团队讨论的问题

1. 我们工作日中最慢的反馈闭环是什么?它实际花多长时间? 挑选人们抱怨最多的闭环。依据系统为其计时,并与人们所说的相比较。引导者应当记下任一方向上的意外。商定一项能缩短它的变更,以及由谁拥有。

2. 我们不愿更改哪个系统?是什么使它很难? 说出这个系统。困难在于代码、文档、工具,还是只存在于少数人脑中的知识?问哪一项改进最能降低负荷。规划如何知道它是否有效。

3. 我们每个人上一次有长时间不被打断的时段是什么时候?是什么打断了那些失败的? 诚实而不带责备地分享。列出打断,并把它们分成结构性的(会议、通知、计划外的请求)和偶然的。选择一项要减少的结构性打断。

4. 我们提出过不止一次却没有结果的是哪个障碍? 查看障碍清单。对每一个长期存在的项,问谁能解决它,以及是什么阻碍了他们。如果团队已经不再提出障碍,讨论原因。商定带证据升级其中一个。

5. 什么会使我们在诚实回答健康检查时犹豫? 讨论对结果可能如何被使用的担忧。引导者应当记录顾虑并商定规则:谁能看到数据、绝不会用它做什么。如果规则不被信任,就说出来,并决定什么会赢得信任。

6. 我们的哪些测量值可能在工作变糟的同时上升? 列出这些测量值,想想每一项如何在不帮助任何人的情况下得到改善。为每一项指定一道护栏。移除任何在决策中没有用处的测量值。

四种视角

产品与交付团队

交付团队最了解什么拖慢了他们,并且是自己健康检查的负责人。他们应当指出障碍,为自己所掌控的闭环计时,并与团队一起决定先修复什么。他们应当抵制报告个人活动的压力,并坚持团队层面的测量值。

服务与运维团队

运维团队承担值班、打断和计划外工作,它们侵蚀专注和节奏。他们应当把结构性的负荷作为系统问题提出,度量自己工具的闭环,并保持可持续的轮换。他们受益于与交付团队共享的障碍清单,因为许多障碍跨越边界。

领导层与治理

领导者设定条件,并决定数据如何被使用。他们应当为条件测量值所揭示的修复出资,保护隐私规则,并索要趋势和障碍,而不是用来比较的分数。治理应当把对个人活动测量值的要求,视为重新审视规则的理由,并期望改进工作是可见的。

客户与用户

用户受益于能够平静工作、快速学习的团队,因为他们的问题被很好地解决。他们也会注意到团队不堪重负:更慢的回答、重复的错误、高流失率。他们的反馈是关于团队健康的外部证据,而且他们应得到关于修复如何被排定优先级的诚实说明。

实践:一个服务管理示例

一家全国性保险公司的技术团队有 14 个团队,构建并运行保单和理赔服务。领导层要求一个开发者生产力仪表盘。第一个请求是按个人的提交数和关闭的工单数。工程效能主管提议了一种不同的方法。下面的数字均为示意。

她从五个团队的交谈开始。三个障碍反复出现:测试套件需要 70 分钟,依赖两位资深评审者的团队的代码评审等待很久,以及没有人觉得自己能更改遗留的理赔计算服务。她从系统中度量她能度量的。构建与测试闭环的中位数为 58 分钟,第 85 百分位数为 92 分钟。首次评审等待的中位数为 9 个工作小时,第 85 百分位数为 31 小时。她添加了一份简短的季度脉冲,附三个 DevEx 问题,最小报告群体为五人。理赔计算服务的认知负荷评分,在 5 分表示非常困难的五分量表上为 4.4,而保单门户为 2.6。团队所报告的专注时间约为每天 3 小时,会议和计划外的请求是主要原因。每个团队就其所选的维度运行自己的健康检查,并且只阅读汇总的趋势。

该团队与各团队商定四项行动。测试套件被拆分并并行化,第 85 百分位数在两个月内从 92 分钟降至 41 分钟。一个评审轮值表把负荷分摊到两位资深评审者之外,第 85 百分位数的等待降至 14 小时。三个团队同意每周设一个没有会议的时段,一个团队重新设计了计划外请求到达它的方式。理赔计算服务成为一个共享的学习项目,附结对和文档,其认知负荷评分在两个季度内降至 3.5。所报告的专注时间升至约 4 小时。

当一位高级经理再次索要个人提交数时,工程效能主管解释了 SPACE 和 DevEx 的研究,并提供了条件仪表盘。该决定被记录下来,附隐私规则,规定个人活动将永远不会用于评审。一个团队要求本季度不要为领导层总结其健康检查的结果,这一请求获得批准。相关团队的人员流失在接下来的一年里下降,她指出自己无法证明其中的联系,也不会宣称有。

敏捷、AI、自动化与分析

敏捷

与团队一起度量反馈闭环和专注时间之类的条件,并消除它们所揭示的障碍。需要注意的是,用这些数字给人排名会摧毁数据。

AI

AI 编码和写作助手改变反馈闭环和认知负荷,或好或坏。询问团队关于收益和负担,并把使用与返工和福祉配对。需要注意的是,按个人报告的使用统计会变成监视。

自动化

自动收集构建、测试和评审的时间,并就缓慢和失败度量工具链。需要注意的是,快速的工具仍可能隐藏缓慢的组织,所以要把数据与团队交谈结合起来。

分析

按团队展示趋势,附回复数,并设定最小群体规模。这为之提供依据的决定是接下来消除哪个障碍。需要注意的是,小团队无法匿名。

行业视角

初创公司。 每个人都认识每个人,所以交谈胜过调查。为主要的反馈闭环计时,保持构建快速,并留意不可持续节奏的迹象,因为少数几个人承担了很多。不要引进大型的调查计划。

小型企业。 小团队可能是既构建又支持的一两个人。他们的主要风险是打断和对个人的依赖。保存一份简单的障碍清单,确保缺席时有人顶替,并定期互相询问什么在碍事。个人层面的数据本质上是可识别的,所以要依靠交谈。

大型企业。 规模带来多样性和比较的诱惑。提供通用的工具集(脉冲问题、闭环计时),同时让团队拥有自己的健康检查。谨慎地汇总,在团队之间分享模式以传播修复,并杜绝排名。凡有职工委员会或员工代表之处,让他们参与。

政府与公共部门。 采购、安全规则和批准链延长反馈闭环,员工在监控方面可能有很强的保护。度量闭环,让代表参与制定数据规则,并用发现来简化流程。受服务价值激励的公务员,受益于可见的障碍消除(见主题 8.5,受监管与政府报告)。

业务论证:动因、投资回报与总拥有成本

成本是团队为健康检查和脉冲花的时间、对流水线和评审工具做的少量埋点、帮助解读结果和主持的分析师或教练,以及消除障碍的工程时间。与乘以众多人数的缓慢闭环的成本相比,这些成本大多很小。

回报来自挽回的时间、更少的返工、更好的留存和更快的学习。依据你自己的数据估算:整个团队每周因等待构建和评审而损失的小时数、为替换离职者而招聘和入职的成本,以及与过载团队相联的事件或缺陷模式。把分钟换算成金钱时要谨慎,并说明假设。避免引用已发布研究中关于生产力提升的说法,除非你能追溯其方法和契合度。记住出错的代价:被视为监视的计划,会损害信任以及之后每次调查的质量(见主题 7.7,投资回报与业务论证)。

反模式与陷阱

  • 个人生产力仪表盘。 它们度量活动,招致钻空子,并损害信任。在团队层面度量条件。
  • 用健康检查得分比较团队。 团队随后会管理分数。让团队拥有其结果。
  • 没有行动的调查。 人们会停止回答。每个周期修复一件可见的事。
  • 度量在线时间或在场状态。 它奖励可见度,惩罚专注。度量闭环和障碍。
  • 一项测量值包打天下。 它错过图景的大部分。涵盖若干维度。
  • 忽略尾部。 中位数隐藏了造成伤害的缓慢闭环。报告百分位数。
  • 因系统问题而责备人。 障碍通常是结构性的。修复结构。
  • 把高速运转当作常态。 永久的紧迫使人倦怠。把持续的过载视为规划的失败。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
理解条件 轶事 偶尔的调查 对反馈闭环、负荷和心流定期交谈和脉冲 结合感知和工作流数据,附团队层面的趋势 跨团队和供应商的条件共享视图;团队共同设计测量值
归属与伦理 管理层阅读一切 非正式的关注 由团队拥有的健康检查;书面的隐私规则 与代表一起评审规则;强制执行不对个人使用 规则和做法由独立方审计;团队控制数据共享
行动 投诉得不到处理 临时修复 带负责人的障碍清单;每个周期一两项修复 跟踪修复并与成果相联;监控可持续的节奏 障碍消除被构建到规划中;广泛分享学习

检查清单

  • 团队已用自己的话说出是什么拖慢了他们。
  • 至少有一个感知问题和一项系统测量值,涵盖反馈闭环、认知负荷和心流中的每一个。
  • 测量值来自至少三个 SPACE 维度。
  • 每个团队都拥有自己的健康检查,并首先阅读结果。
  • 反馈闭环时间以中位数和第 85 百分位数报告。
  • 可见的障碍清单有负责人,并跟踪解决时间。
  • 结果在团队层面报告,附最小群体规模。
  • 书面隐私规则说明个人数据不会用于评审。
  • 活动计数不被报告为生产力。
  • 团队每个周期至少看到一项修复。

AI 提示词

为 DevEx 的三个维度起草脉冲问题。

请为 [团队类型] 起草一份不超过六个问题的简短脉冲,涵盖反馈闭环、认知负荷和心流状态。使用中立的措辞、一致的量表和一条开放评论。对每个问题,建议一项我们可以与之比较的匹配的系统测量值。不要声称研究结果。请列出你的假设,以及这些问题可能被误读的方式。

分析障碍清单的模式。

这是团队在上个 [期间] 的障碍清单,附提出日期、解决日期和简短描述:[粘贴,已脱敏]。请按原因给障碍分组,指出长期存在的项和模式,并建议先处理哪一两项及原因。不要推断动机或点名个人。请列出你的假设,以及团队应当确认的事项。

为团队健康计划撰写隐私规则。

请为 [组织类型] 中的团队健康和开发者体验计划起草一页纸的规则。涵盖收集什么、目的、谁看到什么、最小群体规模、保留期限、个人数据不会用于绩效评审的承诺,以及员工如何提出顾虑。标出我应当与法务、隐私和员工代表一起评审的事项。不要给出法律结论。请列出你的假设。

把条件与成果相比较。

对于 [数量] 个团队,我们有条件测量值(反馈闭环时间、认知负荷评分、专注时间)和成果测量值(周期时间、变更失败率、事件):[粘贴表格]。请描述模式,说明数据在哪里太稀疏而无法得出任何结论,并建议与团队一起检验的假设。不要声称因果。请列出你的假设和告诫。

AI 技能

要点

  • 度量人们工作所处的条件:反馈闭环、认知负荷和心流。
  • 把人们所说的与系统所记录的结合起来,并查看分歧。
  • 让团队拥有自己的健康检查,在团队层面报告,并绝不对个人使用数据。
  • 避免把活动计数当作生产力的替身。
  • 一次对一两个障碍采取可见的行动,并跟踪障碍需要多久才被解决。
  • 保护团队能够无限期地保持的节奏。

参考文献与延伸阅读

  1. Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 19(1), 2021.
  2. Noda, A., Storey, M.-A., Forsgren, N., and Greiler, M., "DevEx: What Actually Drives Productivity," ACM Queue, 21(2), 2023.
  3. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  4. Edmondson, A. C., "Psychological safety and learning behavior in work teams," Administrative Science Quarterly, 44(2), 1999.
  5. Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
  6. Wikipedia, Productivity.
  7. Wikipedia, Psychological safety.
  8. Wikipedia, Developer experience.
  9. Wikipedia, Cognitive load.
  10. Wikipedia, Flow (psychology).
  11. Wikipedia, Goodhart's law.