Tổng quan và động lực

Các cách làm việc linh hoạt đặt phần mềm chạy được lên hàng đầu và giữ các bên liên quan cộng tác suốt quá trình, để điều được phát là điều mọi người cần. Quản lý dịch vụ CNTT (ITSM), như được ITIL hệ thống hóa, đặt cùng mối quan tâm này dưới dạng giá trị: một dịch vụ có giá trị khi nó giúp khách hàng đạt các kết quả họ muốn, với chi phí và rủi ro họ chấp nhận. Cả hai truyền thống gặp nhau ở một câu hỏi khó chịu. Một năm nữa, những con người và tổ chức này có tốt hơn nhờ điều đội này đã xây và vận hành không?

Trả lời nó khó hơn đếm những gì đã giao. Tính năng được phát và không ai dùng. Sự cố giảm vì những lý do không liên quan đến công việc của đội. Một khoản tiết kiệm chi phí xuất hiện trên một slide, và ngân sách nó đến từ đó được tiêu ở nơi khác. Chủ đề này nói về khép khoảng trống đó, và nó liên kết trực tiếp với sự tập trung vào kết quả được giới thiệu sớm trong cuốn sách (xem chủ đề 1.3, Kết quả hơn đầu ra: chọn đo cái gì).

Bốn ý tưởng tổ chức chủ đề.

  • Lợi ích. Một lợi ích là một cải thiện đo được mà một bên liên quan coi trọng, như ít thời gian hơn cho một tác vụ, ít lỗi hơn, phục vụ nhiều khách hàng hơn, hoặc rủi ro thấp hơn. Một tính năng không phải là lợi ích. Nó là phương tiện. Quản lý hiện thực hóa lợi ích là kỷ luật xác định lợi ích, giao người sở hữu, và kiểm tra chúng có đến không.
  • Giả thuyết giá trị. Trước khi xây, đội viết ra điều họ kỳ vọng sẽ đổi, cho ai, bao nhiêu, và họ sẽ biết bằng cách nào. Đây là một khẳng định kiểm thử được, và nó có thể sai. Một lý thuyết thay đổi hoặc một mô hình logic trình bày chuỗi từ hoạt động đến đầu ra đến kết quả, giúp làm giả thuyết tường minh.
  • Chỉ báo dẫn trước và chỉ báo theo sau. Một chỉ báo dẫn trước dịch chuyển sớm và dự đoán một kết quả, như việc áp dụng một quy trình mới. Một chỉ báo theo sau xác nhận kết quả sau sự việc, như chi phí mỗi giao dịch giảm. Hãy dùng cả hai: chỉ báo dẫn trước cho phép bạn chỉnh hướng, và chỉ báo theo sau cho bạn biết nó có hiệu quả không.
  • Quy gán. Nhiều thứ thay đổi cùng lúc. Để nói công việc của bạn gây ra một cải thiện, bạn cần một phép so sánh: một đường cơ sở, một nhóm so sánh, hoặc một thiết kế trước-và-sau tính đến các thay đổi khác. Không có nó, các tuyên bố giá trị là chuyện kể. Lập trường trung thực thường là "có liên quan đến" và không phải "gây ra bởi".

Các khung mục tiêu như mục tiêu và kết quả then chốt (OKR) có thể nối công việc của đội với kết quả kinh doanh, và chủ đề trước về khung đo lường bao quát chúng chi tiết (xem chủ đề 1.7, Khung đo lường). Rủi ro với mọi khung là rủi ro mà định luật Goodhart nêu tên: một khi con số lợi ích trở thành mục tiêu, mọi người tìm cách tạo ra con số mà không có lợi ích (xem chủ đề 1.2, Định luật Goodhart và tâm lý học của chỉ số).

Chủ đề này cũng bắc cầu sang tiền bạc. Chủ đề của phần kế tiếp về lợi tức đầu tư và hồ sơ kinh doanh xử lý góc nhìn tài chính chi tiết (xem chủ đề 7.7, Lợi tức đầu tư và hồ sơ kinh doanh). Ở đây trọng tâm là bằng chứng về kết quả, nuôi hồ sơ đó.

Nguyên tắc chính

  • Viết lợi ích kỳ vọng ra trước khi xây. Một khẳng định không thể kiểm tra sau này thì không học được gì từ nó.
  • Nêu tên một người sở hữu cho mỗi lợi ích. Người sở hữu là một bên liên quan sẽ thấy sự thay đổi, không phải đội phân phối.
  • Đo ở người dùng, sau khi phát hành. Giao hàng là khởi đầu của việc kiểm tra, không phải kết thúc.
  • Dùng chỉ báo dẫn trước để lái và chỉ báo theo sau để xác nhận.
  • Trung thực về quy gán. Nói rõ còn gì khác đã đổi, và tránh những tuyên bố mà bằng chứng không ủng hộ.
  • Đếm cả những lợi ích đã không đến. Học từ một giả thuyết thất bại là một lợi ích của cách làm việc này.
  • Tiếp tục cộng tác. Các bên liên quan và đội cùng rà soát bằng chứng, đều đặn.

Định nghĩa chỉ số

Chỉ số Định nghĩa Công thức Đơn vị Nguồn dữ liệu Thực hành ITIL Đối ứng linh hoạt Nhịp
Tỷ lệ hiện thực hóa lợi ích Tỷ lệ lợi ích kỳ vọng đã được quan sát ở ngày rà soát đã thống nhất số lợi ích có kết quả đo bằng hoặc trên ngưỡng đã thống nhất / số lợi ích kỳ vọng có ngày rà soát trong kỳ phần trăm Sổ đăng ký lợi ích có người sở hữu, đường cơ sở và ngày rà soát Cải tiến liên tục; quản trị hệ thống giá trị dịch vụ Rà soát kết quả cùng các bên liên quan Hằng quý
Thời gian đến giá trị đầu tiên Thời gian từ lúc bắt đầu công việc đến lợi ích đo được đầu tiên cho người dùng số ngày từ lúc công việc đầu tiên bắt đầu đến ngày đầu tiên chỉ báo lợi ích dịch chuyển như kỳ vọng ngày Trình theo dõi công việc và chỉ báo lợi ích Thiết kế dịch vụ; quản lý phát hành và triển khai Phân phối giá trị liên tục Mỗi sáng kiến
Tỷ lệ kiểm tra giả thuyết Tỷ lệ thay đổi đã phát hành mà giả thuyết giá trị nêu rõ của chúng được kiểm tra sau khi phát hành số thay đổi có kiểm tra sau phát hành được ghi lại / số thay đổi đã phát hành mang một giả thuyết phần trăm Nhật ký giả thuyết liên kết với bản ghi phát hành Cải tiến liên tục; hỗ trợ thay đổi Học từ công việc đã phát hành Hằng tháng
Tỷ lệ chất lượng bằng chứng Tỷ lệ lợi ích được tuyên bố có đường cơ sở và phương pháp so sánh nêu rõ số tuyên bố lợi ích có đường cơ sở và phương pháp / số tuyên bố lợi ích được báo cáo phần trăm Rà soát sổ đăng ký lợi ích Đo lường và báo cáo Báo cáo kết quả trung thực Hằng quý
Dịch chuyển của chỉ báo kết quả Thay đổi của một chỉ báo kết quả đã chọn so với đường cơ sở của nó và với một phép so sánh nơi có (chỉ báo sau trừ chỉ báo trước) kèm thay đổi của nhóm so sánh được báo cáo bên cạnh đơn vị chỉ báo Phân tích sản phẩm, dữ liệu dịch vụ, tài chính Quản lý mức dịch vụ; cải tiến liên tục Tiến độ kết quả then chốt Hằng tháng
Số giờ tác động kinh doanh Số giờ một quy trình kinh doanh bị suy giảm hoặc dừng vì các vấn đề dịch vụ số giờ quy trình suy giảm hoặc dừng được chủ quy trình quy cho nguyên nhân dịch vụ CNTT giờ Bản ghi sự cố ghép với xác nhận của chủ quy trình Quản lý sự cố; quản lý tính sẵn sàng Rà soát tác động kinh doanh Hằng tháng
Tỷ lệ năng lực gắn với kết quả Tỷ lệ năng lực đội dành cho công việc gắn với một kết quả nêu rõ năng lực cho các hạng mục gắn với một kết quả được ghi lại / tổng năng lực phần trăm Trình theo dõi công việc có trường kết quả Hệ thống giá trị dịch vụ; quản trị danh mục Công việc căn chỉnh với mục tiêu sản phẩm Hằng quý

Hãy định nghĩa ngày rà soát và ngưỡng cho mọi lợi ích khi nó được ghi lại, không phải sau đó. Thời gian đến giá trị đầu tiên bắt đầu khi công việc bắt đầu và dừng khi chỉ báo lần đầu dịch chuyển theo hướng kỳ vọng một lượng nêu rõ, có thể muộn hơn nhiều so với lúc phát hành. Quy gán số giờ tác động kinh doanh được thống nhất với chủ quy trình, và tranh chấp được ghi nhật ký.

Khuyến nghị

Trước khi xây: làm cho khẳng định kiểm tra được

1. Viết một giả thuyết giá trị cho mỗi thay đổi đáng kể. Dùng một dạng đơn giản: "Chúng tôi tin rằng [thay đổi] sẽ giúp [ai] [làm gì] để [cải thiện đo được]. Chúng tôi sẽ biết khi [chỉ báo] dịch chuyển từ [đường cơ sở] đến [kỳ vọng], được rà soát vào [ngày]." Giữ nó đủ ngắn để vừa một thẻ trên bảng. Các đội không điền được các chỗ trống thường chưa hiểu vấn đề.

2. Ghi lại một đường cơ sở. Không có "trước" thì không có "sau". Hãy nắm bắt giá trị hiện tại của chỉ báo, cách nó được đo, và nó biến thiên bao nhiêu. Nếu chỉ báo nhiễu, một con số đơn gây hiểu lầm, nên hãy ghi một khoảng qua vài tuần (xem chủ đề 1.6, Hiểu biết thống kê cho chỉ số dịch vụ).

3. Chọn chỉ báo dẫn trước và chỉ báo theo sau. Với một yêu cầu tự phục vụ mới, chỉ báo dẫn trước là bao nhiêu người dùng đủ điều kiện hoàn tất nó, và chỉ báo theo sau là sự giảm số giờ xử lý thủ công (xem chủ đề 6.3, Chỉ số áp dụng dịch vụ và danh mục). Thống nhất chỉ báo nào được kiểm tra khi nào. Chỉ báo dẫn trước cho phép chỉnh giữa chừng mà không phải chờ hết quý.

4. Nêu tên một người sở hữu lợi ích ngoài đội phân phối. Người sở hữu là bên liên quan sẽ thấy sự cải thiện trong lĩnh vực của họ và có thể đánh giá nó. Đội phân phối hỗ trợ việc đo nhưng không tự chấm bài của mình. Đây là cộng tác liên tục trong thực tế: người muốn có kết quả vẫn tham gia cho đến khi nó được xác nhận.

Sau khi phát hành: kiểm tra, trung thực

5. Rà soát giả thuyết vào ngày đã thống nhất. Hãy tổ chức một buổi rà soát ngắn với người sở hữu và đội. Nhìn vào chỉ báo, đường cơ sở và phép so sánh. Ghi kết quả vào sổ đăng ký: đạt, đạt một phần, không đạt, hoặc không rõ. "Không rõ" là một kết quả chính đáng và là gợi ý để cải thiện phép đo.

6. Dùng một phép so sánh nơi bạn có thể. Phép so sánh mạnh nhất là một thí nghiệm có kiểm soát. Kiểm thử A/B so sánh hai phiên bản với người dùng được gán ngẫu nhiên, và hiệu quả với các dịch vụ số có đủ lưu lượng. Nơi không thể ngẫu nhiên hóa, một đợt phát hành theo giai đoạn cho phép bạn so sánh các nhóm đã và chưa nhận thay đổi. Một cách tiếp cận sai biệt trong sai biệt (difference-in-differences) so sánh thay đổi ở một nhóm được xử lý với thay đổi ở một nhóm không được xử lý trong cùng giai đoạn, gỡ bỏ các xu hướng chung. Hãy dùng thiết kế đơn giản nhất phù hợp.

7. Tìm các yếu tố gây nhiễu. Một yếu tố gây nhiễu (confounding) là thứ khác đã đổi và có thể giải thích kết quả: một mẫu hình mùa vụ, một chính sách mới, một cơ cấu yêu cầu khác. Hãy liệt kê những cái hợp lý trước khi bạn tuyên bố một hiệu ứng. Nếu bạn không loại trừ được chúng, hãy nói bằng chứng ủng hộ điều gì và không hơn.

8. Báo cáo kết quả âm và kết quả rỗng. Khi một thay đổi không giúp ích, hãy nói và ghi lại điều đã học. Thiên kiến người sống sót, thói quen chỉ nhìn vào các thành công, khiến các chương trình trông tốt hơn thực tế. Một sổ đăng ký chỉ chứa các chiến thắng chưa được giữ một cách trung thực.

Giữ chương trình trung thực

9. Tách chất lượng bằng chứng khỏi lợi ích. Hãy theo dõi tỷ lệ tuyên bố có đường cơ sở và phương pháp nêu rõ. Một tuyên bố lớn với bằng chứng yếu nên được đọc là như vậy. Một sổ đăng ký lành mạnh cho thấy các tuyên bố khiêm tốn với bằng chứng mạnh, và vài mục "không rõ" trung thực.

10. Liên kết năng lực với kết quả, một cách lỏng lẻo. Hãy hỏi tỷ lệ công việc của đội gắn với một kết quả nêu rõ, và xem phần còn lại. Một số công việc, như sửa lỗi bảo mật hay giữ cho hệ thống chạy, không có lợi ích mới, và điều đó ổn nếu nó được nêu tên. Mục đích là nhận ra sự trôi, không phải ép mọi tác vụ vào một câu chuyện lợi ích.

11. Kết nối với khung mục tiêu bạn dùng. Nếu bạn dùng OKR, hãy biến các kết quả then chốt thành chỉ báo kết quả và rà soát chúng cùng các bên liên quan. Giữ các kết quả then chốt về kết quả, không phải tác vụ, và chừa chỗ cho các mục tiêu đầy tham vọng có thể không đạt đầy đủ. Đừng biến kết quả then chốt thành mục tiêu cá nhân (xem chủ đề 1.7, Khung đo lường).

12. Rà soát danh mục cũng như dự án. Mỗi quý một lần, nhìn xuyên các sáng kiến để xem lợi ích nào đã đến, cái nào không, và mẫu hình nói gì về cách đội ước lượng và chọn công việc. Hãy dùng nó để cải thiện cách các giả thuyết được viết, không phải để xếp hạng các đội.

Vectơ lợi dụng và rào chắn

Chỉ số Cách bị lợi dụng Chỉ số hoặc thực hành rào chắn đi kèm
Tỷ lệ hiện thực hóa lợi ích Đặt ngưỡng thấp; dời ngày rà soát; định nghĩa lại lợi ích sau sự việc Ngưỡng và ngày cố định lúc phê duyệt; tỷ lệ chất lượng bằng chứng; người sở hữu ngoài đội phân phối
Thời gian đến giá trị đầu tiên Chọn một chỉ báo sớm dịch chuyển vì lý do sai; bắt đầu đồng hồ muộn Chỉ báo và đồng hồ được định nghĩa trong sổ đăng ký; xác nhận với người sở hữu lợi ích
Tỷ lệ kiểm tra giả thuyết Viết giả thuyết mơ hồ luôn đạt; chỉ kiểm tra các thay đổi thành công Lấy mẫu giả thuyết xem có kiểm thử được không; đưa kết quả rỗng và thất bại vào buổi rà soát
Tỷ lệ chất lượng bằng chứng Điền đường cơ sở bổ sung; mô tả bất kỳ phép so sánh nào là một phương pháp Đường cơ sở ghi ngày trước thay đổi; rà soát bởi người ngoài đội
Dịch chuyển của chỉ báo kết quả Chọn một giai đoạn hay nhóm thuận lợi; phớt lờ yếu tố gây nhiễu Giai đoạn và nhóm đăng ký trước; danh sách yếu tố gây nhiễu đã cân nhắc
Số giờ tác động kinh doanh Chủ quy trình thổi phồng hoặc hạ thấp quy gán; sự cố được phân loại lại để tránh quy gán Quy tắc quy gán được viết ra và ghi nhật ký; so sánh với bản ghi sự cố và tính sẵn sàng
Tỷ lệ năng lực gắn với kết quả Gắn thẻ mọi công việc với một kết quả chung chung; bịa kết quả cho công việc thường lệ Danh sách kết quả được rà soát cùng các bên liên quan; lấy mẫu hạng mục xem chất lượng liên kết

Một kết quả đọc lành mạnh là một sổ đăng ký trong đó một số lợi ích đạt, một số không, vài cái không rõ, và mọi mục có đường cơ sở, người sở hữu và phương pháp nêu rõ. Một sổ đăng ký toàn thành công nên được đối xử với sự nghi ngờ.

Đánh đổi: ưu điểm và nhược điểm

Cách tiếp cận Điểm mạnh Điểm yếu
Sổ đăng ký lợi ích chính thức Trách nhiệm giải trình, học hỏi qua các sáng kiến Quan liêu nếu áp dụng cho mọi thay đổi nhỏ
Giả thuyết nhẹ trên mỗi thẻ Rẻ, xây thói quen Dễ viết mơ hồ
Thí nghiệm có kiểm soát Bằng chứng mạnh về nhân quả Cần lưu lượng, thời gian và một thiết kế phù hợp với dịch vụ
Chỉ trước-và-sau Đơn giản, nhanh Bị gây nhiễu bởi các thay đổi khác
Phán đoán của bên liên quan Nắm bắt giá trị mà số liệu bỏ sót Chịu sự lạc quan và chính trị
Chỉ báo dẫn trước Chỉnh hướng sớm Có thể không dự đoán kết quả thật
Chỉ báo theo sau Xác nhận kết quả thật Đến muộn; nhiều nguyên nhân

Câu trả lời dạng văn xuôi là khớp trọng lượng của bằng chứng với quy mô và rủi ro của thay đổi. Dùng một giả thuyết nhẹ và một phép trước-và-sau đơn giản cho các thay đổi nhỏ, và một thí nghiệm hoặc phát hành theo giai đoạn cho các thay đổi lớn. Luôn ghi lại điều bạn kỳ vọng, điều đã xảy ra, và bạn chắc chắn đến đâu.

Câu hỏi để thảo luận với đội nhóm

1. Chúng ta đã phát gì trong quý vừa rồi, và điều gì đã đổi với những người nó được định để giúp? Liệt kê các thay đổi chính và, với mỗi cái, nêu tên người sẽ nhận thấy sự khác biệt. Hỏi họ sẽ nói gì. Người điều phối nên ghi lại các thay đổi mà không ai trả lời được, vì chúng là ứng viên cho kiểm tra sau phát hành. Thống nhất một thay đổi để rà soát cùng người sở hữu của nó trong vòng một tháng.

2. Với thay đổi đáng kể kế tiếp, giả thuyết giá trị là gì và làm sao chúng ta biết? Cùng điền biểu mẫu giả thuyết. Thách thức các từ mơ hồ và đường cơ sở còn thiếu. Hỏi kết quả nào sẽ khiến đội đổi kế hoạch. Nếu nhóm không thống nhất được một thước đo, đó là một nhiệm vụ khám phá trước khi xây.

3. Ai sở hữu lợi ích, và họ có trong phòng không? Kiểm tra mỗi lợi ích có một người sở hữu ngoài đội phân phối. Hỏi người sở hữu thấy bằng chứng thường xuyên đến đâu. Nơi người sở hữu chính là đội, hãy thảo luận ai khác nên chia sẻ phán đoán. Cuộc trò chuyện hỗ trợ sự cộng tác liên tục giữa các bên liên quan.

4. Còn gì khác đã đổi khi các con số cải thiện? Lấy một cải thiện được tuyên bố gần đây và liệt kê các thay đổi khác trong cùng giai đoạn: chính sách, mùa vụ, nhân sự, bản phát hành của đội khác. Hỏi cái nào có thể giải thích kết quả. Quyết định mô tả cải thiện là do thay đổi gây ra, có liên quan đến nó, hay không rõ.

5. Những giả thuyết nào của chúng ta trong quá khứ hóa ra sai, và chúng ta đã làm gì? Hỏi một câu chuyện về một kỳ vọng thất bại. Nếu không có câu nào đến nhanh, đội có thể không kiểm tra, hoặc không nói về nó. Thảo luận cách làm cho việc báo cáo một kết quả rỗng an toàn và hữu ích.

6. Bao nhiêu phần năng lực của chúng ta gắn với một kết quả, và điều đó có đúng không? Hãy rà soát một tháng công việc đã xong và gắn thẻ mỗi hạng mục với một kết quả hoặc "giữ dịch vụ chạy". Hỏi sự phân chia có khớp với điều lãnh đạo nghĩ không. Thảo luận công việc không có kết quả và liệu nó có nên tiếp tục.

Bốn góc nhìn

Đội sản phẩm và phân phối

Các đội phân phối sở hữu giả thuyết và kế hoạch đo, và họ nên giao các thay đổi theo từng bước nhỏ để bằng chứng đến sớm. Họ nên xây chỉ báo vào thay đổi, ví dụ bằng cách ghi nhật ký các sự kiện họ cần, và nhờ người sở hữu lợi ích xác nhận điều họ thấy. Các đội nên hoan nghênh giả thuyết thất bại như thông tin, vì học sớm tiết kiệm cái giá của việc xây thêm điều sai.

Đội dịch vụ và vận hành

Các đội vận hành thấy tác động thật của thay đổi lên sự cố, yêu cầu và năng lực. Họ giữ nhiều dữ liệu cho chỉ báo theo sau, như giờ xử lý thủ công và liên hệ lặp lại, và họ nên giúp kiểm tra giả thuyết cũng như hấp thụ thay đổi. Họ nên lên tiếng khi lợi ích tuyên bố trên giấy không khớp với điều bàn dịch vụ thấy.

Lãnh đạo và quản trị

Lãnh đạo chọn lợi ích là một công cụ học hỏi hay một bài chào bán. Họ nên yêu cầu đường cơ sở và phương pháp, hoan nghênh kết quả "không đạt" trung thực, và tránh bắt các đội chịu con số lợi ích đặt ra trước khi biết sự thật. Quản trị nên rà soát sổ đăng ký như một danh mục, tài trợ việc đo, và sẵn lòng dừng công việc có giả thuyết đã thất bại.

Khách hàng và người dùng

Người dùng biết một thay đổi có giúp ích không, và họ là người đánh giá tốt nhất hầu hết lợi ích. Họ nên được hỏi, được cho xem kết quả, và được nói khi một thay đổi không giao điều đã hy vọng. Bình luận của họ là bằng chứng tự thân. Một lợi ích mà các con số cho thấy và người dùng không cảm thấy xứng đáng một cái nhìn kỹ hơn.

Trong thực tế: một ví dụ về quản lý dịch vụ

Nhóm CNTT của một công ty bảo hiểm y tế khu vực xây và vận hành một cổng yêu cầu bồi thường cho các nhà cung cấp dịch vụ. Các con số dưới đây chỉ mang tính minh họa.

Nhóm lên kế hoạch thêm kiểm tra tư cách đủ điều kiện tự động vào việc nộp yêu cầu bồi thường. Giả thuyết, viết cùng quản lý vận hành yêu cầu bồi thường, là: "Chúng tôi tin rằng kiểm tra tư cách đủ điều kiện tự động sẽ giúp nhân viên thanh toán của nhà cung cấp nộp đúng yêu cầu ngay lần đầu, để các yêu cầu bị trả lại để sửa giảm từ 18 phần trăm xuống 12 phần trăm trong ba tháng. Chúng tôi sẽ biết từ tỷ lệ yêu cầu bị trả lại, rà soát vào ngày 1 tháng 3." Đường cơ sở là trung bình của 12 tuần gần nhất, 18 phần trăm với khoảng hằng tuần từ 15 đến 21 phần trăm. Chỉ báo dẫn trước là việc dùng kiểm tra trong tháng đầu. Quản lý vận hành yêu cầu bồi thường là người sở hữu lợi ích.

Đội phát hành từng bước nhỏ, với kiểm tra lúc đầu chỉ sẵn có ở một vùng. Sau ba tuần, việc dùng kiểm tra là 64 phần trăm ở vùng đó. Vào ngày rà soát, yêu cầu bị trả lại giảm xuống 13 phần trăm ở vùng có kiểm tra và 17 phần trăm ở các vùng không có. Quản lý yêu cầu bồi thường chỉ ra rằng một thay đổi chính sách về một mã thanh toán cũng có hiệu lực trong giai đoạn. Đội liệt kê nó là yếu tố gây nhiễu và gỡ các yêu cầu có mã đó khỏi cả hai nhóm, còn lại 14 phần trăm so với 17,5 phần trăm. Hiện thực hóa lợi ích được ghi là "đạt một phần": tốt hơn đường cơ sở một khoảng rõ ràng, chưa tới mục tiêu 12 phần trăm. Đội viết trung thực trong sổ đăng ký rằng bằng chứng đến từ một đợt phát hành theo giai đoạn trong một quý, và hiệu ứng có thể khác với các nhà cung cấp khác.

Sau đó họ triển khai kiểm tra cho mọi vùng, với kế hoạch kiểm tra lại sau ba tháng, và thêm một nhiệm vụ cải thiện thông báo lỗi, vì bình luận từ các nhà cung cấp nói thông báo không rõ. Giám đốc tài chính yêu cầu một con số duy nhất cho hội đồng. Trưởng CNTT đưa ra khoảng và phương pháp, và từ chối nêu một con số chính xác hơn bằng chứng cho phép. Quyết định được ghi lại, cùng ngày rà soát kế tiếp.

Linh hoạt, AI, tự động hóa và phân tích

Linh hoạt

Hãy nêu lợi ích kỳ vọng trước khi công việc bắt đầu và kiểm tra nó sau khi phát hành cùng những người được định hưởng lợi. Điều cần lưu ý là lợi ích tuyên bố không có đường cơ sở chỉ là chuyện kể.

AI

Các dự án AI thường hứa lợi ích lớn, nên hãy ghi riêng đường cơ sở, thay đổi kỳ vọng và bằng chứng cho công việc có AI hỗ trợ, và ghép các tuyên bố năng suất với chất lượng và chi phí. Điều cần lưu ý là các ước lượng lợi ích do một công cụ AI tạo ra nên được kiểm tra, vì chúng có thể nghe chính xác mà không có cơ sở.

Tự động hóa

Hãy tự động hóa việc nắm bắt các chỉ báo kết quả đã có trong hệ thống của bạn, và đo quy trình rà soát lợi ích theo mức hoàn tất. Điều cần lưu ý là bảng điều khiển chỉ báo tự động có thể thay thế cuộc trò chuyện về việc lợi ích có xảy ra không.

Phân tích

Hãy báo cáo sự dịch chuyển của chỉ báo kết quả kèm chất lượng bằng chứng và giới hạn quy gán. Quyết định được cung cấp thông tin là tiếp tục, đổi hay dừng điều gì. Điều cần lưu ý là quy gán khó, nên hãy mô tả độ bất định.

Góc nhìn theo ngành

Công ty khởi nghiệp. Lợi ích gần với doanh thu và giữ chân, và tốc độ học quan trọng. Hãy viết giả thuyết một dòng trên thẻ, kiểm tra chúng nhanh, và tránh sổ đăng ký nặng. Dùng các phép so sánh đơn giản, và chấp nhận rằng mẫu nhỏ giới hạn điều bạn tuyên bố được.

Doanh nghiệp nhỏ. Chủ doanh nghiệp là người sở hữu lợi ích, và các hiệu ứng hiển thị. Hãy giữ một danh sách ngắn các thay đổi kèm hiệu ứng kỳ vọng và rà soát nó mỗi quý. Tránh thổi phồng các lợi ích nhỏ thành con số lớn, và so sánh với chi phí của thay đổi.

Doanh nghiệp lớn. Danh mục, chu kỳ tài trợ và nhiều bên liên quan khiến một sổ đăng ký lợi ích hữu ích. Hãy giữ nó nhẹ cho thay đổi nhỏ và chặt cho thay đổi lớn, đặt người sở hữu trong các đơn vị kinh doanh, và rà soát xuyên danh mục. Đề phòng các con số được tổng hợp với định nghĩa khác nhau.

Chính phủ và khu vực công. Kết quả thường là hàng hóa công, như tiếp cận, công bằng và an toàn, không quy được về doanh thu. Hãy định nghĩa kết quả cùng những người được phục vụ, dùng bằng chứng hỗn hợp, và báo cáo phương pháp công khai. Hồ sơ kinh doanh chính thức và rà soát lợi ích có thể được yêu cầu, và kết quả rỗng trung thực quan trọng cho trách nhiệm giải trình công (xem chủ đề 8.5, Báo cáo theo quy định và cho cơ quan nhà nước).

Hồ sơ kinh doanh: động lực, ROI và TCO

Chi phí chủ yếu là sự chú ý. Viết một giả thuyết mất vài phút, một đường cơ sở mất một giờ hoặc vài giờ, và một buổi rà soát là một cuộc họp ngắn. Thí nghiệm và phát hành theo giai đoạn cần công sức thiết kế và một ít công cụ. Một sổ đăng ký lợi ích có thể là một bảng tính hoặc một trường trong trình theo dõi công việc.

Lợi tức là quyết định đầu tư tốt hơn. Một đội kiểm tra giả thuyết của mình ngừng xây những thứ không giúp ích, mở rộng những thứ giúp ích, và học dự đoán tốt đến đâu. Điều đó tiết kiệm chi phí của các tính năng không dùng và chương trình thất bại. Hãy xây hồ sơ từ dữ liệu của chính bạn: tỷ lệ thay đổi mang một giả thuyết, tỷ lệ đã được kiểm tra, và chi phí của công việc sau đó bị bỏ hay đảo ngược. Tránh các số liệu đã công bố về tỷ lệ thất bại của dự án CNTT trừ khi bạn truy được nguồn và phương pháp, vì chúng biến thiên rộng và thường được trích dẫn thiếu bối cảnh. Cách xử lý tài chính nằm ở phần kế tiếp (xem chủ đề 7.7, Lợi tức đầu tư và hồ sơ kinh doanh).

Phản mẫu và cạm bẫy

  • Đếm giao hàng là giá trị. Một tính năng đã phát là một phương tiện. Hãy kiểm tra tác động lên con người.
  • Giả thuyết không thể thất bại. Hãy làm chúng cụ thể, kèm một con số và một ngày.
  • Tự chấm bài của mình. Hãy để người sở hữu lợi ích ngoài đội đánh giá kết quả.
  • Tuyên bố nhân quả từ một phép trước-và-sau. Hãy liệt kê yếu tố gây nhiễu và dùng một phép so sánh nơi có thể.
  • Chỉ báo cáo chiến thắng. Hãy ghi lại kết quả rỗng và âm. Một sổ đăng ký chỉ có thành công là không trung thực.
  • Đặt mục tiêu lợi ích cho cá nhân. Mục tiêu gắn với người mời gọi các tuyên bố thổi phồng. Hãy giữ lợi ích ở cấp đội và sáng kiến.
  • Quá chính xác. Hãy báo cáo khoảng và phương pháp, không phải một con số thập phân đơn lẻ.
  • Phớt lờ công việc không có lợi ích mới. Hãy nêu tên nó, và đừng bịa một câu chuyện lợi ích cho nó.

Mô hình trưởng thành

Chiều 1 Khởi đầu 2 Phát triển 3 Chuẩn hóa 4 Quản lý 5 Phối hợp
Nêu giá trị Lợi ích chỉ được tuyên bố trong hồ sơ kinh doanh Giả thuyết được viết cho một số thay đổi Một giả thuyết ngắn, đường cơ sở và người sở hữu cho mọi thay đổi đáng kể Giả thuyết và ngưỡng cố định lúc phê duyệt; chỉ báo dẫn trước và theo sau được định nghĩa Giả thuyết chia sẻ giữa các đội và nhà cung cấp; kết quả được định nghĩa cùng người dùng
Kiểm tra giá trị Không có kiểm tra sau phát hành Thỉnh thoảng đội phân phối kiểm tra Rà soát theo lịch với một người sở hữu độc lập Phép so sánh và yếu tố gây nhiễu được ghi lại; chất lượng bằng chứng được theo dõi Bằng chứng cấp danh mục dẫn dắt tài trợ; thí nghiệm chung giữa các đội
Học hỏi Chiến thắng được ăn mừng, thất bại bị quên Một số bài học được ghi lại Kết quả rỗng được ghi lại và rà soát Mẫu hình trong các giả thuyết trượt cải thiện việc chọn và định cỡ Việc học nuôi lập kế hoạch qua tổ chức và với đối tác

Danh sách kiểm tra

  • Mỗi thay đổi đáng kể có một giả thuyết giá trị bằng văn bản kèm đường cơ sở, chỉ báo và ngày rà soát.
  • Mỗi lợi ích có một người sở hữu ngoài đội phân phối.
  • Chỉ báo dẫn trước và chỉ báo theo sau được định nghĩa và theo dõi.
  • Các buổi rà soát diễn ra vào ngày đã thống nhất cùng người sở hữu.
  • Phép so sánh hoặc phát hành theo giai đoạn được dùng nơi khả thi.
  • Yếu tố gây nhiễu được liệt kê cho mỗi kết quả được tuyên bố.
  • Kết quả rỗng và âm được ghi lại và chia sẻ.
  • Chất lượng bằng chứng được theo dõi cạnh các tuyên bố lợi ích.
  • Không cá nhân nào có mục tiêu lợi ích riêng.
  • Một buổi rà soát danh mục hằng quý xem xét các mẫu hình trong giả thuyết đạt và trượt.

Lời nhắc AI

Viết một giả thuyết giá trị.

We plan to [describe change] for [users or stakeholders] in [type of
organization]. The problem today: [describe]. Draft a value hypothesis in the
form "We believe that [change] will help [who] to [do what] so that [measurable
improvement]. We will know by [indicator]..." Suggest one leading and one
lagging indicator, what baseline we need, and a review date logic. Do not invent
target values; leave them as placeholders for us. List your assumptions and what
we need to find out.

Liệt kê yếu tố gây nhiễu cho một kết quả được tuyên bố.

We claim that [change] improved [indicator] from [before] to [after] between
[dates]. Other things that happened in the period: [list]. List plausible
confounding factors, how each could explain the result, and what data or
comparison would help rule it out. Suggest wording that states what the
evidence supports. Do not assume a cause the data cannot support. List your
assumptions.

Thiết kế một phép so sánh phát hành theo giai đoạn.

We can release [change] to [number] groups at different times: [describe
groups and constraints]. Propose a staged rollout that lets us compare groups
with and without the change, say what indicator and period to use, what could
bias the comparison, and what we would conclude from different outcomes. Do not
invent effect sizes. List your assumptions and risks.

Rà soát một mục trong sổ đăng ký lợi ích.

Review this benefits register entry for [initiative]: [paste entry including
claim, baseline, method, owner, and review date]. Point out missing
information, vague wording, claims the evidence does not support, and ways the
result could be gamed. Suggest a stronger wording that fits what we actually
measured. List your assumptions and questions for the owner.

Kỹ năng AI

Điểm chính cần nhớ

  • Hãy viết một giả thuyết giá trị kiểm tra được trước khi xây, kèm đường cơ sở, người sở hữu ngoài đội và ngày rà soát.
  • Dùng chỉ báo dẫn trước để lái và chỉ báo theo sau để xác nhận.
  • So sánh nơi bạn có thể, liệt kê yếu tố gây nhiễu, và chỉ tuyên bố điều bằng chứng ủng hộ.
  • Ghi lại kết quả rỗng và âm; một sổ đăng ký toàn thành công là không trung thực.
  • Theo dõi chất lượng bằng chứng cạnh quy mô của tuyên bố.
  • Giữ các bên liên quan và người dùng cộng tác cho đến khi kết quả được xác nhận.

Tài liệu tham khảo và đọc thêm

  1. Ward, J., and Daniel, E., Benefits Management: How to Increase the Business Value of Your IT Projects, 2nd ed., Wiley, 2012.
  2. Doerr, J., Measure What Matters, Portfolio/Penguin, 2018.
  3. Kohavi, R., Tang, D., and Xu, Y., Trustworthy Online Controlled Experiments, Cambridge University Press, 2020.
  4. Hubbard, D. W., How to Measure Anything: Finding the Value of Intangibles in Business, 3rd ed., Wiley, 2014.
  5. Beck, K., et al., Manifesto for Agile Software Development and Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org.
  6. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  7. Wikipedia, Benefits realisation management.
  8. Wikipedia, Theory of change.
  9. Wikipedia, Logic model.
  10. Wikipedia, Leading indicator.
  11. Wikipedia, Lagging indicator.
  12. Wikipedia, Objectives and key results.
  13. Wikipedia, Goodhart's law.
  14. Wikipedia, A/B testing.
  15. Wikipedia, Difference in differences.
  16. Wikipedia, Confounding.
  17. Wikipedia, Survivorship bias.