技能与学习度量
不断学习的团队使其服务保持健康,所以要在可持续的节奏之内保护学习的时间,度量技能是否被传播和使用,并把证书和课程数视为线索,绝不视为胜任的证明。
概述与动因
服务比构建它们的人存续得更久,而其下的技术不断变化。团队跟上变化的能力,取决于它知道什么以及学得多快。《敏捷宣言》的原则包括对技术卓越的持续关注,以及对如何变得更有成效的定期反思。ITIL 的持续改进和知识管理实践,从组织的一侧描述同样的需要。技能与学习的测量值问:运行和更改服务的能力是否存在、它是否传播得足够广以经受住缺席,以及组织是否给人们成长的时间和支持。
学习很容易统计,却很难度量好。培训小时数、课程完成数和证书是可见的,而它们都不显示是否有人能在工作中做某件新的事。专业认证(professional certification)显示一个人在某个时间点达到了评估标准。它是有用的证据,尤其对受监管的角色和 ITIL 或敏捷基础之类的入门点,但它不是对这个人当前技能或判断力的度量。因此,本主题倚重使用中的能力的测量值:谁能运行和更改什么、新人多快变得有用,以及学习是否体现在工作中。
有几个理念塑造这种做法。
- 许多有价值的知识是隐性的(tacit)。 Michael Polanyi 观察到,我们所知道的多于我们所能说出的。运行一项复杂的服务涉及难以写下来的判断,它主要通过与他人并肩工作来传播。文档有帮助,却无法取代结对编程(pair programming)、跟岗和评审之类的共同实践。
- 广度和深度都重要。 T 型技能(T-shaped skills)描述在一个领域有深度、在其他领域有可用广度的人。由 T 型人构成的团队,可以顶替缺席并跨越边界协作。交叉培训(cross-training)有意地构建这种广度。
- 学习是社会性的。 实践社区(community of practice)是共享一门手艺并相互学习的一群人。导师制(mentorship)把经验较少的人与经验较多的人配对。两者都跨越团队边界传播知识。
- 组织可以学习。 由 Peter Senge 推广的术语学习型组织(learning organization),通过其成员的学习持续地改造自己。事件的免责评审之类的做法,是组织从经验中学习的方式(见主题 4.2,事后复盘与学习度量)。
学习测量值有它自己的扭曲。培训预算被花在没人应用的课程上。学习的时间被承诺之后,又被事件占用。个人被技能清单排名,这使他们隐藏自己不知道的东西。古德哈特定律的护栏适用:当学习小时数是目标时,人们出席课程,当证书是目标时,人们收集证书(见主题 1.2,古德哈特定律与度量的心理学)。
可持续的节奏在这里同样重要。被挤进夜晚和周末的学习,是对人的成本,而不是健康组织的迹象。下面的测量值查看工作周之内受保护的时间。
关键原则
- 度量使用中的能力,而不是课程出席。 看人们能做什么,以及他们做什么。
- 在可持续的节奏之内保护学习时间。 不要把学习变成无偿的额外工作。
- 有意地传播知识。 单点的知识,对服务是风险,对个人是负担。
- 把证书视为证据,而不是证明。 它们对某些角色很重要,对当前技能却说明很少。
- 从工作中学习。 事件、评审和结对教会的,多于大多数课程。
- 让技能数据保持在团队层面。 个人不应被清单排名。
- 让人们塑造自己的学习。 有积极性的人,在获得时间和支持时,会作出很好的选择。
度量定义
| 度量 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应物 | 节奏 |
|---|---|---|---|---|---|---|---|
| 受保护的学习时间占比 | 被预留并实际用于学习的团队容量占比 | 在工作时间内用于学习的小时数或容量占比 / 总工作容量,在团队层面 | 百分比 | 团队容量计划和工作跟踪器的工作类型 | 劳动力与人才管理;持续改进 | 用于反思和技术卓越的时间 | 每月 |
| 交叉培训深度 | 在上一期间内,至少由两个人执行过的关键任务占比 | 期内由两人或更多人执行过的关键任务 / 关键任务 | 百分比 | 团队任务和归属地图,以近期工作验证 | 知识管理;服务连续性管理 | 对工作的集体所有权 | 每季度 |
| 到达首次贡献的时间 | 新团队成员完成首个真实变更或已解决案例的时间 | 从开始日期到生产环境中首个已完成的真实工作项的天数的中位数和第 85 百分位数 | 天 | 入职跟踪器和工作跟踪器 | 劳动力与人才管理;知识管理 | 新团队成员做出首次变更所需的时间 | 每次招聘,每季度评审 |
| 社区参与 | 期内参加某个实践社区的团队成员占比,由他们自己选择 | 期内出席、贡献或演讲的成员 / 团队成员,在团队层面 | 百分比 | 社区记录,自愿 | 知识管理;持续改进 | 实践社区 | 每季度 |
| 培训应用率 | 学习者或其团队报告在 90 天内把所学用于工作的培训经历占比 | 被报告为已应用的学习经历 / 已完成的学习经历 | 百分比 | 对学习者的简短后续问题,匿名到团队层面 | 劳动力与人才管理;持续改进 | 应用于工作的学习 | 每季度 |
| 相关认证覆盖 | 因法律、合同或入门原因而要求认证的角色中,满足该要求的占比 | 持有所需认证的角色 / 要求认证的角色 | 百分比 | 角色要求登记册、证书记录 | 劳动力与人才管理;治理 | 满足合同或监管的入门要求 | 每年 |
| 跨团队分享的经验教训 | 来自事件或改进的、在原团队之外被分享并被另一个团队使用的经验教训数量 | 期内有另一个团队使用记录的被分享的经验教训 | 计数 | 经验教训登记册和评审笔记 | 知识管理;持续改进 | 跨团队分享的学习 | 每季度 |
在登记册中定义关键任务、角色和学习类型。受保护的学习时间只统计用于学习的时间,而不是提供却被紧急工作占去的时间,并排除下班后的学习。交叉培训深度统计在该期间内实际执行过任务的人,而不是理论上可以执行的人。培训应用率使用自行报告,并按团队汇总,附最小群体规模。认证覆盖只针对有真正要求的角色,并且绝不用来评价个人的能力。
建议
保护时间并使之真实
1. 把学习时间规划进容量。 为每个团队的容量预留一部分用于学习,比如每周一个固定的时段,并把它写进容量计划。假定每个人都在交付上满负荷工作的计划,没有学习的余地。跟踪实际使用的占比,并查看它为何不足:事件、截止日期,还是文化。这与规划和工作负荷的主题相联(见主题 2.5,交付预测与规划度量)。
2. 让人们在指导下选择。 有积极性的人知道自己需要学什么。提供预算和时间、一份选项菜单,以及关于团队需要的交谈。请人们与团队分享所学,这使价值倍增。避免与工作无关的强制性学习。
3. 使学习成为工作的一部分。 结对、轮换、跟岗、代码评审、内部分享,以及免责的事件评审,在真实问题的背景下教学。在容量计划中把它们算作学习。边交付边学习的团队,需要更少脱离交付的时间。
传播知识
4. 绘制关键任务以及谁做过它们。 列出必须可靠完成的任务:恢复数据库、轮换密钥、处理重大事件、部署有风险的变更。对每一项,记录近期谁执行过。这张地图显示单点的知识。用近期工作的证据加以验证,因为基于自我评估的技能清单会偏离现实(见主题 9.3,协作与交接度量)。
5. 有意地交叉培训。 规划结对和轮换,使每项关键任务都至少有两个近来做过的人。在可能时用演练和演练日来实践。目的是弹性和可持续的值班,并使专家不必成为唯一能帮忙的人。
6. 支持实践社区和导师制。 鼓励围绕可靠性、测试、安全或服务管理等手艺形成自愿的团体,并为它们留出时间。提供跨团队的导师制。以轻量的方式、在团队层面度量参与,并问这些社区产出了什么:共同的做法、工具、经验教训。
做好入职
7. 度量到达首次贡献的时间。 跟踪新成员完成生产环境中一件真实工作需要多久,以及是什么拖慢了他们:访问权限、文档、环境设置,还是不明确的归属。修复原因,并询问新近加入者的看法。快速而有支持的开始奠定基调并降低风险(见主题 6.4,用户与员工体验)。
8. 及早给新人真实的工作并提供支持。 从小的、真实的任务和指名的伙伴开始。定期评审进展并调整。在有安全网的情况下边做边学,比长时间的阅读更快。
诚实地评估学习
9. 问培训是否被应用。 在一门课程或一次活动之后几周,询问学习者及其团队是否以及如何使用了它。汇总答案。没人应用的课程应当被改变或放弃。培训评估的柯克帕特里克四层模型(Kirkpatrick model),从反应到学习到行为到结果,为此提供词汇,不过简单的后续问题就是一个好的开始。
10. 把认证用在它所擅长之处。 凡法律、合同或角色的入门标准要求认证之处,就跟踪覆盖。在其他地方,把认证视为努力和知识的一个信号。不要把证书数设为目标,也不要仅凭它们来付酬或晋升。
11. 跨团队分享经验教训。 保存一份来自事件、评审和改进的经验教训的轻量登记册,并跟踪哪些已被原团队之外的团队使用。留在学到它的团队中的经验教训,组织只学会了一半。在实践社区中评审该登记册。
12. 让个人数据远离排名。 不要按人公布技能清单,并且绝不按培训小时数、证书或自我评估的技能给人排名。汇总到团队层面,并让人们看到自己的数据。如果缺口对个人不利,个人就会隐藏缺口。
钻空子途径与护栏
| 度量 | 如何被钻空子 | 配对的护栏度量或实践 |
|---|---|---|
| 受保护的学习时间占比 | 把普通工作记录为学习;安排随后被取消的时间 | 只统计已使用的时间;与工作类型记录和团队评论相比较 |
| 交叉培训深度 | 列出从未做过该任务的人;把一次观察算作做过 | 近期工作的证据;演练结果 |
| 到达首次贡献的时间 | 统计琐碎的变更;把时钟启动得更晚 | 在登记册中定义“真实”的工作;询问新成员及其伙伴 |
| 社区参与 | 强制出席;统计报名 | 只限自愿;问社区产出了什么 |
| 培训应用率 | 迫使学习者说他们应用了;只询问热心者 | 匿名汇总;在团队层面跟进;查看可观察的变化 |
| 相关认证覆盖 | 为不需要的角色收集证书;把认证当作胜任 | 范围限于真正的要求;依据其他证据检查实际能力 |
| 跨团队分享的经验教训 | 分享琐碎的经验教训;统计帖子 | 要求有另一个团队使用的记录;评审质量 |
健康的读数是:受保护并被使用的学习时间、为多人所了解的关键任务、迅速做出真实贡献的新成员、产生共同做法的社区、人们应用的培训,以及在团队之间传播的经验教训。
权衡:利与弊
| 方法 | 优势 | 劣势 |
|---|---|---|
| 正式课程和认证 | 有结构、被认可、对入门和受监管的角色有用 | 成本;可能无法迁移到工作中 |
| 在工作中学习 | 相关而即时 | 参差不齐;取决于导师和时间 |
| 受保护的时间 | 使学习真实 | 与紧急工作竞争;需要纪律 |
| 利用自己的时间学习 | 对交付没有成本 | 不可持续;不公平;隐藏的加班 |
| 技能清单 | 显示缺口和风险 | 主观;可能变成排名 |
| 近期工作的证据 | 可靠 | 维护更费力 |
| 集中的培训计划 | 一致性 | 缓慢;可能不适合各团队 |
| 由团队选择的学习 | 相关;有积极性 | 质量参差;需要指导 |
答案是在工作周之内保护学习时间,主要通过工作来学习,在有帮助之处辅以一些正式课程,让技能地图基于近期的证据,并避免以任何方式使用这些数据给人排名。
与团队讨论的问题
1. 上个季度我们每个人在工作中学到了什么?我们是如何学到的? 简短分享。注意大部分学习来自课程、工作,还是同事。引导者应当问是什么使之成为可能,又是什么碍了事。商定一项能增加有用学习的变更。
2. 哪些关键任务只有我们中的一两个人能做?如果他们不在会发生什么? 列出它们。选择风险最大的,并规划如何传播知识:结对、演练、运行手册、轮换。确认该计划没有给专家增加隐藏的加班。
3. 我们最近的新同事花了多久才做成某件真实的事?是什么拖慢了他们? 问他们。追溯从第一天起的步骤。讨论访问权限、环境、文档和支持。商定两项能帮助下一个人的修复。
4. 一门课程或一张证书上一次改变我们的工作方式是什么时候? 回想例子。问是什么造成了差别。如果想不起几个,讨论原因。决定哪些学习值得继续,哪些该放弃。
5. 来自近期事件的哪项经验教训,被另一个团队真正使用了? 查看经验教训登记册。如果什么也没传播,问如何更有效地分享:一个社区、一次简短的分享,或对某项标准的变更。选择本月要分享的一项经验教训。
6. 我们的学习时间是真实的吗?是什么保护它? 把计划与实际发生的相比较。讨论是什么占用了它:事件、截止日期、期望。商定一条保护它的规则,比如把一项紧急请求视为升级给决策者。
四种视角
产品与交付团队
交付团队主要通过构建来学习。他们应当规划学习时间,在关键工作上结对和轮换,分享所学,并参加实践社区。他们应当索要所需要的时间和工具,并把学习视为做好交付的一部分。
服务与运维团队
运维团队需要广度,因为他们要在任何时刻顶替缺席和处理事件。他们应当就关键任务进行交叉培训,使用演练和演练日,并把所学记录在运行手册和评审中。他们的值班节奏必须留出休息和学习的空间。
领导层与治理
领导者决定学习是优先事项还是事后的想法。他们应当在计划中保护学习时间,为入职所揭示的修复出资,避免为培训小时数或证书设定目标,并支持社区。治理应当只在有要求之处跟踪认证,并查看使用中的能力的证据。
客户与用户
用户受益于深入了解其服务并跟上变化的团队:更快的修复、更少的重复错误,以及更好的建议。当帮助他们的人似乎对系统很陌生,或同样的问题再次出现时,他们会注意到。他们也可以教团队了解他们自己的工作,而他们的参与就是一种学习。
实践:一个服务管理示例
一家区域银行的技术运营团队有六个团队,运行核心银行、支付和数字渠道。下面的数字均为示意。
该团队的培训仪表盘显示,去年人均 24 小时培训,获得 70 张证书,培训主管很高兴。运营主管问了一个不同的问题:当关键人员不在时,各团队能应付吗?她请每个团队绘制其关键任务,以及过去六个月中谁执行过每一项。在 46 项关键任务中,只有 19 项被两人或更多人执行过,交叉培训深度为 41%。十四项任务只由一个人做过。最近八位新员工的到达首次贡献的时间,中位数为 41 天,第 85 百分位数为 67 天,主要花在等待访问权限和寻找文档上。对 38 位完成课程的人的简短后续调查发现,31% 的人说他们在 90 天内应用了所学。各团队报告说,在忙碌的一周中,学习时间通常是最先被取消的,实际使用的受保护时间约占容量的 3%。
该团队与各团队商定四项变更。每个团队规划一个约占容量 8% 的固定学习时段,并规定取消必须经团队负责人同意并记录。结对和轮换计划针对 14 项单人任务,从最关键的五项开始,每季度演练一次。入职检查清单和指名的伙伴削减了访问的延迟,第一周的计划包括一个小的真实变更。课程由团队从简短清单中选择,并在 60 天后发出后续问题。一个跨团队的可靠性社区每月聚会,事件评审的经验教训在那里分享,并注明谁使用了它们。
一年后,交叉培训深度为 78%,到达首次贡献的时间的中位数为 19 天,培训应用率为 64%,实际使用的受保护学习时间约占容量的 7%。评审中的六项经验教训被其他团队采纳。培训主管要求设定人均 40 培训小时的目标。运营主管提供交叉培训深度、应用和到达首次贡献的时间的测量值作为替代,并解释说,小时数可以通过没人使用的课程来满足。该决定被记录下来,仪表盘放弃了平均培训小时数。认证覆盖只针对监管者要求的角色来跟踪。
敏捷、AI、自动化与分析
敏捷
在可持续的节奏之内保护学习时间,并通过定期评审分享经验教训。需要注意的是,针对培训小时数的目标产生出席,而不是学习。
AI
AI 改变团队所需要的技能,比如检查 AI 的输出、撰写好的提示词,以及理解其局限。度量学习在工作中的应用以及 AI 辅助工作的质量,而不是课程完成数。需要注意的是,AI 工具方面的证书可能滞后于实践,并不证明胜任。
自动化
自动化学习提醒和技能地图的输入,并度量学习内容的使用。需要注意的是,从活动数据自动推断技能可能不准确且具有侵入性。
分析
连同计数按团队展示交叉培训深度。这为之提供依据的决定是知识在哪里有风险。需要注意的是,技能矩阵会过时,所以要评审它们。
行业视角
初创公司。 人们身兼多职,在压力下学得很快。保护一些时间用于学习,把结对作为默认,并留意知识的单点。聘用多面手有帮助。不要过早建立培训部门。
小型企业。 预算紧张,一个人可能涵盖很多。使用低成本的学习:供应商文档、社区活动、来自可信外部顾问的指导,以及尽可能的交叉培训。确保至少还有一个人能处理关键任务,即使只是大致的。
大型企业。 规模允许正式的计划、社区和职业路径。它也招致不适合任何人的统一要求。提供共同的学习预算和平台,让团队选择,支持内部社区,并按团队度量能力。使认证与真正的需要保持一致。
政府与公共部门。 技能短缺、采购规则和公务员框架塑造发展。认证对某些角色可能是正式的要求。投资于学徒制和内部流动,在合同结束时留住知识,并利用跨机构的社区来分享实践(见主题 8.5,受监管与政府报告)。
业务论证:动因、投资回报与总拥有成本
成本是时间本身,这是主要的成本,外加课程和活动的预算、维护技能地图的工作量、指导的时间,以及用于社区的一些工具。结对和轮换在短期内耗费吞吐量。
回报是对缺席和人员流动的弹性、更快的入职、更少的重复错误、更快的问题解决,以及在成长的人当中更好的留存。依据你自己的数据构建论证:单个人所了解的关键任务数量、新员工变得有产出所需的天数及这段时间的成本、因专家缺席而延长的事件,以及说自己没有成长空间的员工的人员流失。避免引用已发布的培训回报估计,除非你能追溯其方法和契合度。不学习的代价出现得晚,表现为过时的技能和脆弱的服务(见主题 7.7,投资回报与业务论证)。
反模式与陷阱
- 把培训小时数当作目标。 它买到的是出席。度量应用和能力。
- 把证书当作技能的证明。 它们显示某个时间点的一次评估。使用其他证据。
- 在自己的时间里学习。 它隐藏加班,并且不公平。在工作周之内保护时间。
- 用自我评估的技能清单来排名。 人们会夸大或隐瞒。让地图基于近期的工作,并保持在团队层面。
- 英雄专家。 一个人什么都知道,既是风险也是负担。传播知识。
- 为所有人集中选择课程。 它们适合的人很少。让团队在指导下选择。
- 最先取消学习。 它教会人们学习是可选的。保护它,并把例外视为决定。
- 只留在本地的经验教训。 组织重复犯错。分享它们并跟踪使用。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 时间与支持 | 在自己的时间里学习 | 偶尔的培训预算 | 容量计划中受保护的时间;由团队选择的学习 | 跟踪已使用的时间;取消是决定;预算跟随团队需要 | 学习时间和成长路径在团队和合作伙伴之间协调 |
| 传播知识 | 专家承担工作 | 存在文档 | 依据近期证据绘制关键任务;结对和演练 | 管理交叉培训深度;度量并改进入职 | 知识在团队、供应商和社区之间自由流动 |
| 评估学习 | 统计出席 | 课程的满意度评分 | 应用的后续跟进;有要求之处的认证 | 经验教训在团队之间被分享和使用;依据结果改变培训 | 学习成果与服务成果相联,并与合作伙伴分享 |
检查清单
- 学习时间被规划进团队容量,并按已使用来跟踪。
- 列出关键任务,以及近期谁执行过每一项。
- 每项关键任务都有计划,达到至少两个有实践的人。
- 为新成员度量到达首次贡献的时间并据此采取行动。
- 支持实践社区和导师制,且是自愿的。
- 以关于应用的问题跟进培训。
- 只对有真正要求的角色跟踪认证。
- 经验教训登记册记录跨团队的分享和使用。
- 技能数据保持在团队层面,绝不用来给个人排名。
- 学习从不依赖无偿工时。
AI 提示词
构建关键任务地图。
我们的团队运行 [服务]。请列出必须可靠完成的关键任务(例如从备份恢复、轮换凭据、重大事件协调、有风险的部署),并建议我们可以用来记录过去六个月中谁做过每一项的证据。提出一张简单的表,以及一种与团队一起评审它而不给人排名的办法。不要虚构我所描述之外的任务。请列出你的假设。
设计入职计划。
请为加入运行 [服务] 的团队的新 [角色],设计一份头 30 天的入职计划。包括访问设置、指名的伙伴、第一周结束前的一个小的真实变更、定期的检查,以及要度量什么(到达首次贡献的时间以及是什么拖慢了它)。保持支持性和现实性。请列出你的假设,以及要依据我们的背景调整的内容。
跟进培训。
请起草一组简短的后续问题,在人们完成 [课程或活动] 之后 60 天发给他们。询问他们是否以及如何应用了它、是什么碍了事、什么会有帮助,其方式要能够汇总到团队层面而不识别个人。建议如何阅读答案以及要改变什么。请列出你的假设。
规划知识传播的工作。
任务 [描述] 在我们团队中只有 [一两个人] 会做。请提出一份使用结对、演练和文档来传播它的计划,附保护这些人工作负荷的现实时间安排。建议我们如何依据近期工作的证据知道该计划起了作用。请列出你的假设和风险。
AI 技能
- Service Management Metrics skill:用于查找技能或学习度量所配对的护栏。
- Service Management Metrics maintainer skill:用于检查学习度量条目度量的是使用中的能力,并带有其钻空子途径和护栏。
要点
- 度量使用中的能力:谁近来做过关键任务,以及新人多快做出贡献。
- 在工作周之内、在可以持续的节奏之内保护学习时间。
- 通过结对、轮换、演练和社区有意地传播知识。
- 跟进培训是否被应用,并把证书视为证据,而不是证明。
- 跨团队分享经验教训并跟踪其使用。
- 让技能数据保持在团队层面,绝不给个人排名。
参考文献与延伸阅读
- Senge, P. M., The Fifth Discipline: The Art and Practice of the Learning Organization, Doubleday, 1990.
- Wenger, E., Communities of Practice: Learning, Meaning, and Identity, Cambridge University Press, 1998.
- Polanyi, M., The Tacit Dimension, Doubleday, 1966.
- Ericsson, K. A., Krampe, R. T., and Tesch-Römer, C., "The role of deliberate practice in the acquisition of expert performance," Psychological Review, 100(3), 1993.
- Kirkpatrick, D. L., and Kirkpatrick, J. D., Evaluating Training Programs: The Four Levels, 3rd ed., Berrett-Koehler, 2006.
- Skelton, M., and Pais, M., Team Topologies, IT Revolution, 2019.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Professional certification.
- Wikipedia, Tacit knowledge.
- Wikipedia, Pair programming.
- Wikipedia, T-shaped skills.
- Wikipedia, Cross-training (business).
- Wikipedia, Community of practice.
- Wikipedia, Mentorship.
- Wikipedia, Learning organization.
- Wikipedia, Goodhart's law.