拉取请求与代码评审度量
评审是已完成的工作最常等待的地方,所以要度量一项变更在有人查看之前停留多久、有多大、多常被退回,并把每个速度数字与一个质量信号配对,使更快永远不意味着草率。
概述与动因
拉取请求(pull request)是把一组变更从版本控制(version control)仓库的一个分支合并到另一个分支的提议,连同关于是否应当合并的讨论。在许多团队中,它是介于“作者认为它能用”和“团队同意它可以发布”之间的正式关口。这场讨论是代码评审(code review)的一种形式:作者之外的人阅读变更,提出问题,并批准它或要求修订。有些平台把同样的东西称为合并请求;本主题对两者都使用“拉取请求”。
评审值得度量,理由很朴素。在交付的流动视角中,一个工作项的大部分生命都在等待,而评审是完全处于团队控制之内的等待之一。共享平台的瓶颈或外部依赖,需要其他人来改变。一个等待两天才得到首次查看的拉取请求,只需要团队自己的习惯改变。本书中的流动测量值(见主题 2.1,流动度量,以及主题 2.2,前置时间、周期时间与流动效率)给出了一般性的词汇。本主题放大到周期中的一个阶段,并为它提供自己的仪器。
敏捷和 ITIL 的视角在这里有益地相遇。从敏捷的角度看,评审是一个反馈回路和教学机制。它传播对代码库的了解,及早发现缺陷,并落实团队的工作协议和完成的定义。从 ITIL 的角度看,同一项活动支持多项实践。在 ITIL 4 中,软件开发与管理实践涵盖软件如何构建和检查,变更赋能涵盖变更如何评估和授权,部署管理涵盖变更如何到达线上环境。对许多组织而言,经过同行评审的拉取请求是一项标准变更在发布之前经过评估的证据。把评审视为可度量、可改进的活动,同时服务于两种视角:敏捷团队想要更快的反馈,ITIL 实践想要变更已被检查的可靠保证。
需要始终牢记的风险是,评审速度和评审质量很容易分离。团队可以通过见了就批准,把首次评审的时间减半,而仪表盘会显示一场胜利,代码库却变得更糟。古德哈特定律(Goodhart's law)以异乎寻常的力度适用于这个度量族(见主题 1.2,古德哈特定律与度量的心理学),因为这些数字收集成本低、人人可见,而且可以轻而易举地移动,却不改变它们本应代表的东西。下面的每条建议都是怀着这一点来写的。
作者(author)开立拉取请求,评审者(reviewer)对其进行评估。评审轮次(review round)是“作者推送、评审者回应”的一个循环。返工(rework)是在评审意见之后或合并之后所做的变更,用以修复第一版出错的地方。持续集成(continuous integration,CI)是经常把工作合并到共享主线并自动检查每次合并的实践;见持续集成(continuous integration)。
本主题中的所有度量描述的是团队和仓库。它们绝不给评审者或作者排名。个人层面的评审计数容易提取,也诱人使用,而这样做会把一项协作实践变成一场竞赛(见主题 9.1,团队健康与开发者体验)。
关键原则
- 等待主导评审。 在大多数团队中,评审时间的最大部分是拉取请求无人阅读地搁着,而不是评审者开始之后的讨论。先度量等待,再度量对话。
- 小的变更评审得更快也更好。 规模是为数不多的、能同时改善速度和彻底性的杠杆之一,因为评审者可以把一项小变更完整地装在脑子里。
- 没有审视的速度不是改进。 本主题中的每个速度度量都需要一个质量对应物,并将两者放在一起阅读。
- 评审是团队的容量,不是个人的容量。 负荷应当在团队中分散开。显示集中的度量,指向团队的设计问题,绝不指向应受表扬或责备的某个人。
- 分布胜过平均值。 评审时间有一条由卡住的拉取请求构成的长尾,所以报告中位数和一个高百分位数(见主题 1.6,服务度量的统计素养)。
- 定义时钟,然后别去动它。 说明时钟何时开始和停止、哪些事件使其暂停、排除哪些自动化活动,并把这些写在数据所在之处(见主题 1.5,数据来源与埋点)。
- 评审度量服务于拥有这项工作的团队。 它们是团队自己回顾会议的输入,不是别人的记分卡。
度量定义
下面的时钟假定版本控制平台记录了开立、评审请求、评论、批准、推送和合并的事件时间。草稿、由机器人开立的拉取请求以及未合并而关闭的拉取请求被排除,除非某一行另有说明。“工作时间”指团队声明的工作时间,因此周五晚间开立的拉取请求不会累积一个周末的等待。
| 度量 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应物 | 节奏 |
|---|---|---|---|---|---|---|---|
| 首次评审时间 | 拉取请求就绪待评审到首次实质性的人工回应之间的等待 | 时钟从拉取请求离开草稿状态或以就绪状态开立时开始,到作者之外的人给出首条评审评论、变更请求或批准时停止;机器人和作者的评论以及纯粹的标签变更被排除。以工作小时报告中位数和第 85 百分位数 | 工作小时 | 版本控制平台事件历史 | 软件开发与管理;变更赋能 | 关于评审响应性的工作协议;在制品的流动 | 每周 |
| 评审周期时间 | 从就绪待评审到合并的总时间 | 时钟从拉取请求就绪待评审时开始,到合并时停止;未合并而关闭的拉取请求被排除并单独统计。以工作小时报告中位数和第 85 百分位数 | 工作小时 | 版本控制平台事件历史 | 部署管理;变更赋能 | 团队看板上评审阶段的周期时间 | 每周 |
| 拉取请求规模 | 一个拉取请求中的变更量 | 新增行数加删除行数,排除仓库忽略规则中列出的生成文件、锁文件、引入的第三方代码和纯重命名。报告每个已合并拉取请求的中位数和第 85 百分位数 | 变更行数 | 版本控制平台差异统计 | 软件开发与管理 | 小批量;故事的切分 | 每周 |
| 评审轮次 | 合并前作者推送与评审者回应的循环次数 | 每个已合并拉取请求中不同的“请求变更”或评论后推送的循环计数;首次提交为第零轮,自动检查的失败被排除。报告中位数和第 85 百分位数 | 计数 | 版本控制平台评审和推送事件 | 持续改进;软件开发与管理 | 评审阶段的返工信号;完成的定义 | 每周 |
| 评审负荷集中度 | 评审工作在团队中分布得有多不均匀 | 最忙的两位评审者在滚动 4 周内处理的团队已完成评审的占比;对自己拉取请求的评审和机器人评审被排除。针对团队报告,绝不按姓名 | 百分比 | 版本控制平台评审事件,汇总到团队 | 持续改进;知识管理 | 共享的代码所有权;集体所有权 | 每月 |
| 陈旧拉取请求计数 | 开启时间超过团队约定上限的拉取请求 | 仍开启且不是草稿、自就绪待评审以来的年龄超过团队上限的拉取请求,在快照时刻计数;草稿被排除 | 计数 | 版本控制平台开启的拉取请求列表 | 变更赋能;持续改进 | 工作项年龄;WIP 限制 | 每周 |
| 合并后修复率 | 合并后不久即有纠正性变更的已合并拉取请求占比 | 合并后 14 天内有与同一变更相关的修复、回退或热修复的已合并拉取请求 / 期内已合并的拉取请求;标注为计划内的后续工作被排除 | 百分比 | 版本控制历史、关联的问题,以及事件或变更记录 | 变更赋能;事件管理 | 内建质量;完成的定义 | 每月 |
首次评审时间是最大的杠杆,也是大多数团队应当首先从其着手的度量。评审周期时间是它的成果度量,并且是主题 2.2 所讨论的更长前置时间的一个组成部分。14 天的窗口和陈旧上限是示例;每个团队选择适合其发布节奏的值并写下来。凡这些数字汇入更广泛的交付图景之处,DORA 度量族(见主题 2.8,DORA 度量)和变更失败测量值(见主题 4.4,变更失败与返工)接替。
建议
先度量等待,再度量工作
1. 从首次评审时间开始。 这通常是评审时间的最大贡献者,也是改进成本最低的。根据平台的事件历史埋点,使没人需要录入任何东西。报告中位数和一个高百分位数,因为 3 小时的中位数配上 4 天的第 95 百分位数,意味着有些变更被遗忘了。
2. 把机器人和草稿排除在时钟之外,并说明这一点。 自动检查、依赖更新机器人和格式化工具在数秒之内就会产生评论,把它们计入会使等待看起来极佳。让时钟在作者把变更标为就绪时开始,而不是在分支首次推送时。把这些规则发布在图表旁边。
3. 使用工作时间,并写下团队的日历。 周五深夜开立的拉取请求不应背负一个周末的等待。分布在多个时区的团队,需要一条关于按谁的时间计算的规则,而诚实的答案往往是跨时区交接的成本才是值得看到的东西。说明这一选择并保持稳定。
让工作易于评审
4. 保持拉取请求小,并把规模视为团队习惯。 跟踪规模的中位数和第 85 百分位数,并把大的当作一个集合来看,而不是作为个别的失败。团队通常发现,大变更来自几个原因:工作切得不够细、把重构与新行为混在一起,或者合并等得太久。切分工作,使每个拉取请求只做一件事,这也符合主干开发(trunk-based development)和频繁部署背后的小批量原则。
5. 不要把硬性规模上限设为目标。 像“不超过 400 行”这样的上限会诱使人们把变更拆成人为的片段,这些片段单个读不懂,或单独合并时会破坏构建。把规模用作回顾会议中的交流话题,并给团队切分的技术,比如特性开关、在自己的拉取请求中进行的准备性重构,以及在开关背后合并。
6. 让评审请求明确。 不指名评审者的拉取请求要等志愿者,而志愿者稀缺。在工作协议中商定请谁评审、如何通知团队,以及对响应的期望是什么。共享的评审轮值表或每日评审时段,通常比任何工具设置都更能缩短等待。
分散负荷和知识
7. 把负荷集中视为团队层面的风险。 如果两个人处理了大部分评审,他们的可用性限制了团队的流动,而他们的缺席则使之停滞。每月评审集中度的度量,并通过团队的设计来行动:轮换默认评审者,让新成员与有经验的成员结对,并写下只有一个人能评审的那部分代码。不要公布按人的排行榜。
8. 用评审来分享知识,并保护这一目的。 评审的长期价值包括学习、共享所有权和一致的风格,以及缺陷检测。结对编程(Pair programming)和群体编程把其中一部分交流提前到过程更早的时候;凡一对人已经共同处理过某项变更,较轻的评审是合理的。把这一选择作为团队决定,写入工作协议,使“已结对,所以轻度评审”成为可见的规则,而不是借口。
控制评审本身
9. 让自动化处理自动化擅长的事。 格式化、静态检查和基本检查属于流水线,使人的注意力用于设计、正确性和风险。静态程序分析(Static program analysis)和自动化测试减少琐碎的评审轮次。剩下的轮次于是更多地反映设计层面的交流,而更少反映风格上的分歧。
10. 把评审轮次读作关于清晰度的信号,而不是缺陷计数。 许多轮次可能意味着需求不清、作者缺乏背景、评审者要求按个人口味更改,或变更很大。每个拉取请求都零轮次,可能意味着出色的工作,也可能意味着没人看过。抽取少数几个轮次异常多或异常少的拉取请求,并作为团队一起阅读。
把速度与质量配对,并保持时间可见
11. 始终在评审速度旁边展示质量对应物。 合并后修复率、与近期变更相关的事件,以及发布后发现的缺陷占比,是天然的伙伴(见主题 4.4,变更失败与返工)。如果评审时间改善而修复率恶化,说明团队用保证换取了速度,修复办法是一场交流,而不是一个目标。把两者展示在同一张图上。
12. 把评审与流动的图景以及计划外工作联系起来。 只有下一个阶段不是单纯地把工作排队时,更快的评审才有帮助(见主题 2.3,在制品与排队)。打断计划工作的紧急评审请求,有其自身的代价(见主题 2.9,运维工作与计划外工作)。
钻空子途径与护栏
| 度量 | 如何被钻空子 | 配对的护栏度量或实践 |
|---|---|---|
| 首次评审时间 | 以一句快速的“看起来不错”或一个表情符号作为首次回应;指派机器人或友好的评审者;仅在有人事先同意查看之后才把拉取请求标为就绪 | 合并后修复率;抽查没有评论的批准;在工作协议中要求首次回应必须是实质性的 |
| 评审周期时间 | 不等评审就合并;把一项变更拆成微小的片段以更快通过;关闭并重新打开拉取请求以重设时钟 | 统计被关闭后又重新打开的拉取请求;评审轮次;合并后修复率;要求批准的受保护分支规则 |
| 拉取请求规模 | 把文件排除在计数之外;把单个变更拆成无法单独理解的片段;用生成的代码填充规模 | 每季度评审忽略规则;检查拆分后的片段能否单独构建并通过测试;阅读最小和最大的样本 |
| 评审轮次 | 首次通过时就批准以保持计数低;把讨论移到聊天中使其不留痕迹;作者在一次提交中推送许多修补以隐藏轮次 | 合并后修复率;抽查零轮次的拉取请求;让讨论保留在拉取请求中 |
| 评审负荷集中度 | 把评审拆成许多小的批准以分散计数;把评审分派给有空闲时间但缺乏知识的人 | 评审评审者对高风险区域的了解;按区域观察合并后修复率;让度量保持在团队层面 |
| 陈旧拉取请求计数 | 不合并就关闭陈旧的拉取请求;把它们转为草稿以隐藏;提高陈旧上限 | 未合并而关闭的拉取请求计数;长期存在的草稿计数;每季度与团队一起评审上限 |
| 合并后修复率 | 把修复记录在没有关联的新工作项下;把纠正性工作标注为计划内的后续工作;通过把修复推迟到窗口之后来规避度量 | 与事件和变更失败数据比较;抽查后续项;审计所用的标签 |
健康的读数是平静的。首次评审时间短,尾部也短,所以没有拉取请求要等好几天。规模处在团队觉得易读的范围内,有少数团队能解释的大变更。评审轮次低但不为零,负荷集中度适中,陈旧计数很小,合并后修复率稳定。当某个数字急剧改善时,应有人检查与之配对的护栏有没有朝错误的方向移动。
权衡:利与弊
| 方法 | 优势 | 劣势 |
|---|---|---|
| 带严格响应预期的快速评审 | 反馈回路短;作者的上下文损失更少;在制品更低 | 有快速批准的压力;打断专注的工作 |
| 缓慢而彻底的评审 | 仔细阅读设计和风险;更强的知识传递 | 周期时间更长;更大的批量积累;作者继续前进而失去上下文 |
| 小的拉取请求 | 更易于阅读和回退;流动更顺畅 | 每项变更的开销更多;可能把一个功能碎片化为令人困惑的步骤 |
| 大的拉取请求 | 交接更少;整个功能一次可见 | 评审变得肤浅;更难回退;等待漫长 |
| 要求指名负责人批准 | 对高风险区域有明确的问责;支持变更授权 | 造成瓶颈和单点故障 |
| 人工评审之前的自动检查 | 解放人去关注设计和风险;一致 | 可能造成虚假的信心;需要维护 |
没有哪一项政策能赢。目的是在保持审视的同时缩短等待,通常的路径是更小的变更、清晰的评审预期、对常规检查的强力自动化,以及团队就好评审是什么样子达成的协议。评审度量最适合作为回顾会议的问题,最不适合作为目标。
与团队讨论的问题
1. 一个拉取请求的大部分生命是花在等待上,还是花在被评审上? 请团队在看数据之前先猜,然后展示首次评审时间与其后到合并的剩余时间之间的划分。大多数小组对等待占了多少感到惊讶。引导者应当记下哪些猜测错了,并问每个错误的猜测说明了团队如何体验评审。以一项攻克最大等待的改变结束。
2. 在这个团队里,好的评审是什么样子?局外人如何分辨? 列出团队重视的行为,比如询问设计、检查测试,以及解释提出某项请求的理由。然后问其中哪些在拉取请求中留下了可见的痕迹。讨论如何在不监管个人的情况下分辨实质性的首次回应与敷衍的首次回应。商定一段简短的书面描述,放入工作协议。
3. 对我们来说多大算太大?当工作确实很大时我们怎么办? 查看规模分布,挑选几个最大的拉取请求。问每个为什么大,是否本可以切分。讨论特性开关、准备性重构和在开关背后合并等技术。引导者应当抵制设定数字上限,而是商定团队将尝试一个月的习惯。
4. 谁评审我们风险最高的代码?当他们不在时会发生什么? 把代码的各个区域映射到能很好地评审它们的人。查看负荷集中度,以及只有一位合格评审者的区域。讨论如何通过结对或轮换分派,在每个区域培养第二位评审者。让交流围绕团队的韧性,而不是任何人的工作量排名。
5. 如果我们的评审速度明天翻倍,我们希望质量方面的什么是成立的? 请小组指出他们会关注的质量信号,比如合并后修复、与近期变更相关的事件,或回退的数量。检查这些信号当前是否在速度图表旁边可见。讨论什么是速度以牺牲审视为代价换来的早期迹象。商定在仪表盘上展示哪个对应物。
6. 哪些评审数字我们会想以无益的方式去改善? 逐项走一遍每个度量,问处于压力下的人如何能在不使任何东西变好的情况下让它看起来更好。将答案与上面的钻空子表比较,并加入团队自己的想法。目的是在发生之前就点明风险。商定每项度量旁边将评审哪个护栏。
四种视角
产品与交付团队
交付团队拥有评审过程,并应拥有它的度量。他们通过简单的约定缩短等待而获益最多:每日评审时段、清晰的请求流程和小的变更。他们应当在回顾会议中使用这些数字,保持在制品的低位,并抵制优化单一图表的诱惑。评审也是新成员学习代码库的地方,所以要保护这一目的。
服务与运维团队
运维团队在基础设施代码、配置和运行手册自动化通过拉取请求变更之处遇到评审。对他们而言,评审往往是标准变更如何被批准并留下证据的一部分(见主题 4.3,变更赋能度量)。他们应当商定哪些变更需要第二个人评审,紧急修复评审得多快,以及紧急变更事后如何评审,使仓促的修复仍然受到审视。对高风险变更的草率评审,日后会以事件的形式显现。
领导层与治理
领导者应当把评审度量视为关于团队健康和流动的信号,而不是生产力得分。他们应当在报告速度数字时索要配对的质量测量值,支持仔细评审所需的时间,并避免按原始评审时间比较团队,因为仓库和风险各不相同。治理机构可以把评审证据用作变更保证的一部分,前提是他们承认有文档的、经抽样的评审过程,比批准的计数更有力。
客户与用户
客户看不到拉取请求,却感受到其结果:修复多快到达,以及一次发布多常带来新的缺陷。短的评审等待帮助紧急修复更早到达他们手中,而深思熟虑的评审则帮助把故障挡在他们之外。凡服务有公布的发布或缺陷历史之处,客户会受益于团队随时间推移展示出更少的回退和更少的重复修复。
实践:一个服务管理示例
一家地区医院的 IT 部门运营着一项患者预约网络服务,由一个七人的产品团队构建,并与一个小型站点可靠性小组共同运营。本示例中的所有数字均为示意。
在一次季度评审中,团队发现其评审周期时间的中位数为 26 个工作小时,第 85 百分位数为 71 个工作小时(示意)。拆分这个周期显示,首次评审时间的中位数为 19 个工作小时,所以大部分延迟是等待。拉取请求规模的中位数为 180 行,第 85 百分位数为 900 行(示意),最忙的两位评审者处理了 68% 的评审(示意)。合并后修复率为 9%(示意)。
团队作出三项约定。他们设定每日 30 分钟的评审时段,把一个工作日内给出首次回应的预期写入工作协议,并每周轮换“优先评审”的值班。他们还对大型工作采纳切分习惯,使用特性开关,使部分功能能够安全合并。他们不设规模上限,也不设首次评审时间的目标。
两个月后,首次评审时间的中位数降到 6 个工作小时,评审周期时间的第 85 百分位数降到 34 个工作小时(示意)。负荷集中度降到 52%(示意),合并后修复率保持在 9%。
随后团队发现了一个钻空子的风险。对批准的抽样显示,约三分之一的首次回应在数分钟内到达,对涉及预约提醒逻辑的变更只写着“LGTM”。速度的提升一部分是真的,一部分是橡皮图章。合并后修复率尚未变动,是因为受影响的代码按月周期运行。团队更改工作协议,要求首次回应必须包含一个问题、对变更某一具体部分的评论,或对检查了什么的明确说明,并把无评论批准的抽样占比加入其评审图表。他们还商定,对面向患者的提醒逻辑的变更需要两位评审者,其中一位来自运维小组。该决定连同理由进入团队的决定日志。
敏捷、AI、自动化与分析
敏捷
快速而小型的评审支持持续交付和可持续的节奏。一个切实的习惯是商定团队关于首次评审时间的规范,并在定期的团队评审中谈论陈旧的拉取请求。需要注意的是,被当作目标的评审速度会导致橡皮图章,所以要将其与合并后修复配对。
AI
由 AI 生成的变更会提高拉取请求的数量和规模,AI 评审工具可以加快首次查看。把首次评审时间与 AI 辅助变更的合并后修复率配对,并按评审者角色而不是按个人报告评审负荷。需要注意的是,机器人的评审评论可能被算作评审,所以要把人工评审单独计数。
自动化
自动地从代码托管方拉取评审事件,并在人工评审之前运行自动检查,使人把时间花在判断上。就误报以及逃过它们的缺陷来度量检查本身。需要注意的是,大量自动化可能使人工评审流于表面,因为人们假定工具抓住了一切。
分析
按团队,绝不按个人,展示规模、首次评审时间和评审轮次的分布。这为之提供依据的决定是评审容量或变更规模在哪里需要关注。需要注意的是,这些数字描述的是评审系统,任何给人排名的用法,都会把它们推向更小、更安全、更无用的变更。
行业视角
初创公司。 小团队可以在数分钟内完成评审,因为人人都了解代码,主要风险是在时间紧张时跳过评审。保持度量很少:首次评审时间和规模就够了。尽早建立小变更的习惯,因为一旦代码库和团队增长,引入它要难得多。
小型企业。 通常由一两位开发人员或一家外部供应商维护软件。评审可能由一位同事或供应商自己的员工进行。问供应商他们如何评审,以及拉取请求数据是否可以共享,并保持一份简单的记录,说明哪些变更由谁评审,因为评审是小团队中对抗错误的主要检查。
大型企业。 众多团队、仓库和批准规则造成广泛的差异。把时钟和排除项的定义标准化,使平台数据可比,但不要按原始评审时间给团队排名,因为风险和代码库各不相同。留意为审计而强加、增加等待却不增加审视的评审要求,并寻找用自动检查和抽样评审取代人工批准的机会。
政府与公共部门。 职责分离、审计线索和采购规则往往要求变更须有独立批准。把这些规则当作设计输入:记录谁在何时批准了什么,并度量它们造成的等待。凡供应商编写代码之处,在合同中规定评审证据和数据访问(见主题 8.5,受监管与政府报告)。
业务论证:动因、投资回报与总拥有成本
动因是缩短交付中既缓慢又可控的那部分,同时保留同行评审的益处:更少的缺陷、共享的知识和审计线索。等待中的拉取请求使已完成的工作无法到达用户,增加作者上下文切换的成本,并随着分支变老而使合并冲突更有可能发生。因此,减少等待会通过更快的交付、更少的返工和更少的挫败感而得到回报。
当版本控制平台提供事件历史和 API 时,收集这些度量的成本很低。主要成本是定义时钟和排除项、构建或配置报告以及定期评审这些数字的时间。更大的成本是行为上的:人们给予及时评审的时间,这与其他工作竞争。那段时间才是真正的投资,应当列入预算,而不是当作免费的。
回报表现为更短的评审周期时间、更少的陈旧拉取请求,以及稳定或下降的合并后修复率。避免预先声称某个具体的百分比改进,因为结果取决于起点和团队。可信的论证,是比较团队自己前后的分布,连同它的质量对应物,而不是引用其他组织的数字。2018 年的《Accelerate》一书报告了把技术和文化实践与交付绩效联系起来的研究,是支持一般性论点的合理来源,但你团队的数字来自你自己的数据。
反模式与陷阱
- 给评审者或作者排名。 完成评审数或变更行数的个人排行榜会败坏协作。在团队层面报告,并用这些数字调整团队的习惯。
- 以首次评审时间为目标而没有质量对应物。 结果就是橡皮图章。在每张速度图表旁边展示合并后修复率和无评论批准的样本。
- 设定硬性规模上限。 团队为了遵守而人为地拆分工作。把规模用作交流话题,并教授切分技术。
- 把零评论视为成功。 未经审视的批准可能反映信任,也可能反映疏忽。抽查这类拉取请求,并一起阅读。
- 把机器人活动算作评审。 自动评论使等待看起来很短。把机器人排除在时钟和负荷度量之外。
- 忽略时区和日历。 原始时钟时间使周末和跨区域的等待看起来像评审缓慢。使用工作时间并指明日历。
- 放任陈旧清单增长。 老旧的拉取请求累积合并冲突并丢失上下文。每周评审该清单,并对每个项或合并,或返工,或附理由关闭。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 定义与时钟 | 评审时间靠猜测或凭感觉报告 | 一些团队按自己的规则从平台导出时间 | 每个时钟一份书面定义,含对机器人、草稿和日历的排除 | 按节奏评审定义;变更连同理由记录 | 定义在团队和供应商之间对齐,并在不再为决定提供依据时修订 |
| 评审实践 | 有人注意到时才评审 | 一些团队有非正式规范 | 关于请求、响应预期以及评审涵盖什么的书面工作协议 | 依据数据调整规范;跟踪知识分享和风险区域 | 评审实践在团队和供应商之间协调,由自动化处理常规检查 |
| 质量对应物 | 评审与缺陷之间没有联系 | 偶尔查看合并后修复 | 合并后修复率与评审速度并排展示 | 定期评审护栏;阅读抽样的批准 | 评审证据与跨服务的变更保证和事件学习相联 |
| 在改进中的使用 | 数字未被使用 | 在一些回顾会议上展示 | 由所属团队按固定节奏评审 | 缺口导向有计划、有资源的改进工作 | 改进的想法从团队流向共享实践,再流回来 |
检查清单
- 首次评审时间和评审周期时间的时钟已写下来,含起点、终点和排除项。
- 机器人、草稿和未合并而关闭的拉取请求被排除或单独统计,且规则可见。
- 时间以工作小时的中位数和一个高百分位数报告。
- 拉取请求规模的度量采用商定的、针对生成和引入文件的忽略清单。
- 团队有关于如何请求评审,以及多快给出首次回应的书面协议。
- 评审负荷集中度只在团队层面报告。
- 合并后修复率或另一个质量对应物与评审速度显示在同一张图上。
- 每月阅读一批无评论和极快批准的样本。
- 每周评审陈旧的拉取请求清单。
- 评审数据用于回顾会议,而不用于个人考核。
- 只有一位合格评审者的代码区域已列出,并有计划。
AI 提示词
为评审度量起草时钟定义。
我想为 [团队或仓库] 定义评审度量。我们的平台是 [版本控制平台],我们的工作流是 [描述:草稿拉取请求、所需批准、合并规则、在用的机器人]。请为首次评审时间和评审周期时间起草精确的定义,说明启动和停止每个时钟的事件、排除什么(机器人、草稿、未合并而关闭)、如何针对 [时区和工作日历] 处理工作时间,以及报告哪些百分位数。不要虚构基准值或工具功能。请列出你的假设,以及我应当回答哪些问题以完成这些定义。
分析评审数据的导出。
这是 [团队] 在 [期间] 内已合并拉取请求的匿名导出,列为 [列清单,例如就绪时间、首次评审时间、合并时间、变更行数、评审轮次、关联修复标志]:[粘贴数据或摘要]。请计算每项时间测量值和规模的中位数及第 85 百分位数,把评审周期拆分为等待和评审,并指出值得交流的模式。不要给个人排名,也不要与外部基准比较。请列出你的假设以及你注意到的任何数据质量问题。
找出我们评审度量中的钻空子风险。
我们的团队报告这些评审度量:[度量清单及各自的计算方式]。我们面临的压力是 [例如发布截止日期、领导层目标、供应商合同]。对每项度量,描述在不改善评审的情况下改善它的合理方式、各自的早期迹象,以及能发现它的配对护栏度量或实践。不要虚构统计数据。请列出你的假设,并告诉我要给风险排序,你还需要知道什么。
准备关于评审流动的回顾会议。
请为 [团队] 准备一次 45 分钟、关于评审流动的回顾会议议程。输入:首次评审时间 [值]、评审周期时间 [值]、规模中位数 [值]、负荷集中度 [值],以及合并后修复率 [值],全都附有各自的定义。请建议能揭示原因的问题、团队可在 [时长] 内开展的一项小实验,以及实验期间要关注的质量信号。不要虚构原因或目标。请列出你的假设,以及我应当带来的数据。
AI 技能
- Service Management Metrics skill:用于查找定义相关流动或质量度量的主题,以及应当放在评审度量旁边的护栏。
- Service Management Metrics maintainer skill:用于检查对本主题的编辑是否使模板、钻空子表和交叉引用保持一致。
要点
- 大部分评审延迟是等待,所以把首次评审时间和评审周期时间作为以工作小时计的分布来度量。
- 更小的拉取请求评审得更快也更仔细;教授切分,而不是强加规模上限。
- 给每个速度测量值配一个质量对应物,比如合并后修复率,并把两者放在一起阅读。
- 把评审负荷视为团队的容量,在团队层面报告集中度,绝不作为对人的排名。
- 评审度量是回顾会议的问题,它们服务于拥有这项工作的团队。
参考文献与延伸阅读
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 2021.
- Google, Code Review Developer Guide, Google Engineering Practices documentation, https://google.github.io/eng-practices/review/
- Bacchelli, A., and Bird, C., "Expectations, Outcomes, and Challenges of Modern Code Review," Proceedings of the 35th International Conference on Software Engineering (ICSE), 2013.
- Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
- Schwaber, K., and Sutherland, J., The Scrum Guide, Scrum.org and Scrum Inc., 2020.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, Pull request.
- Wikipedia, Version control.
- Wikipedia, Code review.
- Wikipedia, Goodhart's law.
- Wikipedia, Continuous integration.
- Wikipedia, Trunk-based development.
- Wikipedia, Pair programming.
- Wikipedia, Static program analysis.