개요와 동기

애자일 업무 방식은 동작하는 소프트웨어를 우선하고 이해관계자가 내내 협업하게 해서, 출시되는 것이 사람들이 필요로 하는 것이 되게 합니다. ITIL이 체계화한 IT 서비스 관리(ITSM)는 같은 관심을 가치로 표현합니다. 서비스는 고객이 받아들이는 비용과 위험으로 원하는 성과를 달성하도록 도울 때 가치가 있습니다. 두 전통은 하나의 불편한 질문에서 만납니다. 1년 뒤, 이 팀이 만들고 운영한 것 때문에 사람들과 조직은 더 나아졌습니까?

답하는 것은 전달한 것을 세는 것보다 어렵습니다. 기능이 출시되었는데 아무도 쓰지 않습니다. 인시던트가 팀의 작업과 무관한 이유로 줄어듭니다. 슬라이드에 비용 절감이 나타나지만 그 출처인 예산은 다른 곳에 쓰입니다. 이 주제는 그 간극을 메우는 것에 관한 것이며, 책 앞부분에서 소개한 성과 중심(주제 1.3, 산출물보다 성과: 무엇을 측정할지 고르기 참조)에 직접 이어집니다.

네 가지 발상이 이 주제를 조직합니다.

  • 이익(benefit). 이익은 이해관계자가 가치 있게 여기는 측정 가능한 개선으로, 한 작업에 쓰는 시간의 감소, 더 적은 오류, 더 많은 고객 응대, 더 낮은 위험 같은 것입니다. 기능은 이익이 아닙니다. 수단입니다. 이익 실현 관리는 이익을 식별하고, 소유자를 지정하고, 그것이 도착하는지 확인하는 학문 분야입니다.
  • 가치 가설. 만들기 전에 팀은 무엇이, 누구에게, 얼마나 바뀔지, 그리고 어떻게 알지를 적어 둡니다. 이는 시험할 수 있는 주장이며 틀릴 수 있습니다. 변화 이론이나 로직 모델은 활동에서 산출물, 성과로 이어지는 사슬을 펼쳐서 가설을 명시적으로 만드는 데 도움을 줍니다.
  • 선행 및 후행 지표. 선행 지표는 일찍 움직이고 결과를 예측합니다. 새 프로세스의 도입 같은 것입니다. 후행 지표는 거래당 비용 감소처럼 사후에 결과를 확인합니다. 둘 다 쓰십시오. 선행 지표는 방향을 수정하게 해 주고, 후행 지표는 효과가 있었는지 알려 줍니다.
  • 귀속(attribution). 많은 것이 동시에 바뀝니다. 당신의 작업이 개선을 일으켰다고 말하려면 비교가 필요합니다. 기준선, 비교 그룹, 또는 다른 변화를 고려하는 전후 설계입니다. 그것이 없으면 가치 주장은 이야기입니다. 정직한 입장은 흔히 "~로 인한"이 아니라 "~와 연관된"입니다.

목표와 핵심 결과(OKR) 같은 목표 프레임워크는 팀 작업을 비즈니스 성과에 연결할 수 있으며, 앞의 측정 프레임워크 주제가 이를 자세히 다룹니다(주제 1.7, 측정 프레임워크 참조). 모든 프레임워크의 위험은 굿하트의 법칙이 명명한 것입니다. 이익 숫자가 목표가 되면 사람들은 이익 없이 숫자를 만들어 내는 방법을 찾습니다(주제 1.2, 굿하트의 법칙과 지표의 심리학 참조).

이 주제는 돈으로도 이어집니다. 다음 부의 투자 수익과 비즈니스 케이스 주제가 재무 관점을 깊이 다룹니다(주제 7.7, 투자 수익과 비즈니스 케이스 참조). 여기서의 초점은 그 사례에 공급되는 성과의 증거입니다.

핵심 원칙

  • 만들기 전에 기대하는 이익을 적어 두십시오. 나중에 확인할 수 없는 주장에서는 배울 수 없습니다.
  • 각 이익에 소유자를 지정하십시오. 소유자는 전달 팀이 아니라 변화를 보게 될 이해관계자입니다.
  • 출시 뒤 사용자에게서 측정하십시오. 전달은 확인의 끝이 아니라 시작입니다.
  • 선행 지표로 조종하고 후행 지표로 확인하십시오.
  • 귀속에 대해 정직하십시오. 무엇이 또 바뀌었는지 말하고, 증거가 뒷받침하지 못하는 주장은 피하십시오.
  • 도착하지 않은 이익을 세십시오. 실패한 가설에서 배우는 것은 이렇게 일하는 것의 이익입니다.
  • 계속 협업하십시오. 이해관계자와 팀이 증거를 함께 정기적으로 검토합니다.

지표 정의

지표 정의 공식 단위 데이터 원천 ITIL 프랙티스 애자일 대응 주기
이익 실현율 합의된 검토 날짜에 관찰된 기대 이익의 비율 측정 결과가 합의된 임계값 이상인 이익 / 기간 중 검토 날짜가 있는 기대 이익 퍼센트 소유자, 기준선, 검토 날짜가 있는 이익 레지스트리 지속적 개선, 서비스 가치 체계 거버넌스 이해관계자와의 성과 검토 분기
첫 가치까지의 시간 작업 시작부터 사용자에게 첫 측정 가능한 이익이 생기기까지의 시간 첫 작업 시작부터 이익 지표가 기대한 대로 처음 움직인 날까지의 일수 일 작업 트래커와 이익 지표 서비스 설계, 릴리스 및 배포 관리 가치의 지속적 전달 이니셔티브별
가설 확인율 명시된 가치 가설을 출시 뒤에 확인한 출시 변경의 비율 출시 뒤 확인이 기록된 변경 / 가설을 가진 채 출시한 변경 퍼센트 릴리스 레코드에 연결된 가설 로그 지속적 개선, 변경 활성화 출시된 작업에서의 학습 월
증거 품질 비중 기준선과 명시된 비교 방법이 있는 주장된 이익의 비율 기준선과 방법이 있는 이익 주장 / 보고한 이익 주장 퍼센트 이익 레지스트리 검토 측정 및 보고 성과의 정직한 보고 분기
성과 지표 변화 선택한 성과 지표의 기준선과, 가능한 곳에서는 비교와 견준 변화 (이후의 지표 빼기 이전의 지표)와 함께 나란히 보고하는 비교 그룹의 변화 지표 단위 제품 분석, 서비스 데이터, 재무 서비스 수준 관리, 지속적 개선 핵심 결과 진척 월
비즈니스 영향 시간 서비스 문제 때문에 비즈니스 프로세스가 저하되거나 멈춘 시간 프로세스 소유자가 IT 서비스 원인으로 귀속시킨 저하되거나 멈춘 프로세스의 시간 시간 프로세스 소유자 확인과 결합한 인시던트 레코드 인시던트 관리, 가용성 관리 비즈니스 영향 검토 월
성과 연계 용량 비중 명시된 성과에 연결된 작업에 쓴 팀 용량의 비율 기록된 성과에 연결된 항목의 용량 / 총 용량 퍼센트 성과 필드가 있는 작업 트래커 서비스 가치 체계, 포트폴리오 거버넌스 제품 목표에 맞춘 작업 분기

모든 이익의 검토 날짜와 임계값은 나중이 아니라 기록할 때 정의하십시오. 첫 가치까지의 시간은 작업이 시작될 때 시작해서 지표가 기대한 방향으로 명시된 양만큼 처음 움직일 때 멈추며, 출시보다 한참 뒤일 수 있습니다. 비즈니스 영향 시간의 귀속은 프로세스 소유자와 합의하며, 분쟁은 기록합니다.

권장 사항

만들기 전에: 주장을 확인 가능하게 만드십시오

1. 각 중요한 변경에 가치 가설을 쓰십시오. 평이한 형식을 쓰십시오. "우리는 [변경]이 [누가] [무엇을 하게] 도와 [측정 가능한 개선]이 이루어질 것이라고 믿습니다. [날짜]에 검토할 [지표]가 [기준선]에서 [기대값]으로 움직이는 것으로 알 것입니다." 보드의 카드에 들어갈 만큼 짧게 유지하십시오. 빈칸을 채울 수 없는 팀은 아직 문제를 이해하지 못한 경우가 많습니다.

2. 기준선을 기록하십시오. 이전이 없으면 이후도 없습니다. 지표의 현재 값, 어떻게 측정했는지, 얼마나 변동하는지를 포착하십시오. 지표에 잡음이 있다면 하나의 숫자는 오해를 부르므로 몇 주에 걸친 범위를 기록하십시오(주제 1.6, 서비스 지표를 위한 통계 소양 참조).

3. 선행 및 후행 지표를 고르십시오. 새 셀프서비스 요청에서 선행 지표는 대상 사용자 중 몇 명이 완료하는지이고, 후행 지표는 수작업 처리 시간의 감소입니다(주제 6.3, 서비스 도입과 카탈로그 지표 참조). 어떤 지표를 언제 확인할지 합의하십시오. 선행 지표는 분기가 끝나기를 기다리지 않고 중간에 수정하게 해 줍니다.

4. 전달 팀 밖에 이익 소유자를 지정하십시오. 소유자는 자신의 영역에서 개선을 보게 되고 판단할 수 있는 이해관계자입니다. 전달 팀은 측정을 지원하지만 자기 숙제를 스스로 채점하지 않습니다. 이것이 실천에서의 지속적 협업입니다. 성과를 원했던 사람이 확인될 때까지 계속 참여합니다.

출시 뒤: 정직하게 확인하십시오

5. 합의된 날짜에 가설을 검토하십시오. 소유자와 팀이 짧은 검토를 여십시오. 지표, 기준선, 비교를 보십시오. 결과를 레지스트리에 기록하십시오. 충족, 부분 충족, 미충족, 알 수 없음입니다. "알 수 없음"은 정당한 결과이며 측정을 개선하라는 신호입니다.

6. 가능한 곳에서는 비교를 쓰십시오. 가장 강한 비교는 통제된 실험입니다. A/B 테스트는 사용자를 무작위로 배정해 두 버전을 비교하며, 트래픽이 충분한 디지털 서비스에 잘 맞습니다. 무작위 배정이 불가능한 곳에서는 단계적 롤아웃으로 변경을 받은 그룹과 받지 않은 그룹을 비교할 수 있습니다. 이중차분법은 처리 그룹의 변화를 같은 기간 미처리 그룹의 변화와 비교해 공유된 추세를 제거합니다. 맞는 가장 단순한 설계를 쓰십시오.

7. 교란 요인을 찾으십시오. 교란 요인은 결과를 설명할 수 있는 다른 변화입니다. 계절 패턴, 새 정책, 달라진 요청 구성 같은 것입니다. 효과를 주장하기 전에 그럴듯한 것들을 나열하십시오. 배제할 수 없다면 증거가 뒷받침하는 것을, 그 이상은 아니게 말하십시오.

8. 부정적이고 무효인 결과를 보고하십시오. 변경이 도움이 되지 않았다면 그렇게 말하고 배운 것을 기록하십시오. 성공만 보는 습관인 생존자 편향은 프로그램을 실제보다 좋아 보이게 합니다. 승리만 담긴 레지스트리는 정직하게 관리되지 않은 것입니다.

프로그램을 정직하게 유지하십시오

9. 증거 품질을 이익과 분리하십시오. 기준선과 명시된 방법이 있는 주장의 비율을 추적하십시오. 증거가 약한 큰 주장은 그렇게 읽혀야 합니다. 건강한 레지스트리는 강한 증거가 있는 소박한 주장과 몇 개의 정직한 "알 수 없음" 항목을 보여 줍니다.

10. 용량을 성과에 느슨하게 연결하십시오. 팀 작업 중 명시된 성과에 묶인 비율을 묻고 나머지를 보십시오. 보안 수정이나 서비스 유지 같은 일부 작업에는 새 이익이 없으며, 이름을 붙인다면 괜찮습니다. 목표는 모든 작업을 이익 이야기에 끼워 맞추는 것이 아니라 표류를 알아차리는 것입니다.

11. 사용하는 목표 프레임워크에 연결하십시오. OKR을 쓴다면 핵심 결과를 성과 지표로 삼고 이해관계자와 검토하십시오. 핵심 결과를 과업이 아니라 성과에 관한 것으로 유지하고, 완전히 충족되지 않을 수 있는 야심 찬 목표의 여지를 두십시오. 핵심 결과를 개인 목표로 만들지 마십시오(주제 1.7, 측정 프레임워크 참조).

12. 프로젝트뿐 아니라 포트폴리오를 검토하십시오. 분기마다 이니셔티브에 걸쳐 어떤 이익이 도착했고 어떤 이익이 도착하지 않았는지, 그 패턴이 팀이 작업을 추정하고 선택하는 방식에 대해 무엇을 말하는지 보십시오. 팀의 순위를 매기는 데가 아니라 가설을 쓰는 방식을 개선하는 데 쓰십시오.

악용 방식과 방호책

지표 악용되는 방식 짝을 이루는 방호책 지표 또는 실천
이익 실현율 낮은 임계값을 정함, 검토 날짜를 옮김, 사후에 이익을 재정의함 승인 시 고정한 임계값과 날짜, 증거 품질 비중, 전달 팀 밖의 소유자
첫 가치까지의 시간 엉뚱한 이유로 움직이는 이른 지표를 고름, 시계를 늦게 시작함 레지스트리에 정의한 지표와 시계, 이익 소유자와 확인
가설 확인율 항상 통과하는 모호한 가설을 씀, 성공한 변경만 확인함 시험 가능성에 대한 가설 표본 조사, 검토에 무효 및 실패 결과 포함
증거 품질 비중 기준선을 소급해서 채움, 아무 비교나 방법이라고 설명함 변경 이전 날짜의 기준선, 팀 밖의 누군가가 하는 검토
성과 지표 변화 유리한 기간이나 그룹을 고름, 교란 요인을 무시함 사전 등록한 기간과 그룹, 고려한 교란 요인 목록
비즈니스 영향 시간 프로세스 소유자가 귀속을 부풀리거나 줄임, 귀속을 피하려고 인시던트를 재분류함 서면으로 기록한 귀속 규칙, 인시던트 및 가용성 기록과 비교
성과 연계 용량 비중 모든 작업에 일반적 성과를 태그함, 일상 작업에 성과를 지어냄 이해관계자와 검토하는 성과 목록, 연결 품질을 위한 항목 표본 조사

건강한 수치는 일부 이익은 충족되고, 일부는 아니고, 몇몇은 불분명하며, 모든 항목에 기준선, 소유자, 명시된 방법이 있는 레지스트리입니다. 일률적으로 성공한 레지스트리는 의심해야 합니다.

상충 관계: 장점과 단점

접근 방식 강점 약점
공식 이익 레지스트리 책임성, 이니셔티브에 걸친 학습 모든 작은 변경에 적용하면 관료주의
각 카드의 가벼운 가설 싸고, 습관을 쌓음 모호하게 쓰기 쉬움
통제된 실험 원인의 강한 증거 트래픽, 시간, 서비스에 맞는 설계가 필요함
전후 비교만 단순하고 빠름 다른 변화로 교란됨
이해관계자의 판단 지표가 놓치는 가치를 포착함 낙관과 정치에 좌우됨
선행 지표 이른 방향 수정 실제 성과를 예측하지 못할 수 있음
후행 지표 실제 결과를 확인함 늦게 도착함, 원인이 많음

실용적인 답은 증거의 무게를 변경의 크기와 위험에 맞추는 것입니다. 작은 변경에는 가벼운 가설과 단순한 전후 비교를, 큰 변경에는 실험이나 단계적 롤아웃을 쓰십시오. 무엇을 기대했고, 무슨 일이 일어났고, 얼마나 확신하는지 항상 기록하십시오.

팀과 논의할 질문

1. 지난 분기에 무엇을 출시했으며, 도움을 받기로 한 사람들에게 무엇이 바뀌었나요? 주요 변경을 나열하고 각각에 대해 차이를 알아차릴 사람의 이름을 대십시오. 그들이 무엇이라고 말할지 물으십시오. 진행자는 아무도 답할 수 없는 변경을 기록해야 합니다. 출시 뒤 확인의 후보이기 때문입니다. 소유자와 한 달 안에 검토할 변경 하나에 합의하십시오.

2. 다음 중요한 변경의 가치 가설은 무엇이며, 어떻게 알까요? 가설 양식을 함께 채우십시오. 모호한 단어와 빠진 기준선에 이의를 제기하십시오. 어떤 결과가 팀이 계획을 바꾸게 할지 물으십시오. 그룹이 측정치에 합의하지 못한다면 만들기 전의 탐색 과업입니다.

3. 이익은 누가 소유하며, 그들이 방에 있나요? 각 이익에 전달 팀 밖의 소유자가 있는지 확인하십시오. 소유자가 증거를 얼마나 자주 보는지 물으십시오. 소유자가 팀 자신이라면 누가 판단을 나눠야 할지 논의하십시오. 대화는 이해관계자 간의 지속적 협업을 뒷받침합니다.

4. 숫자가 개선되었을 때 또 무엇이 바뀌었나요? 최근 주장된 개선 하나를 골라 같은 기간의 다른 변화를 나열하십시오. 정책, 계절성, 인력 배치, 다른 팀의 릴리스입니다. 어느 것이 결과를 설명할 수 있는지 물으십시오. 개선을 변경이 일으킨 것으로, 그것과 연관된 것으로, 불분명한 것으로 설명할지 결정하십시오.

5. 과거 가설 중 틀린 것으로 드러난 것은 무엇이며, 우리는 그것에 어떻게 대응했나요? 기대가 어긋난 이야기를 물으십시오. 빨리 나오지 않는다면 팀이 확인하지 않거나 그것에 대해 이야기하지 않는 것일 수 있습니다. 무효 결과의 보고를 안전하고 유용하게 만드는 방법을 논의하십시오.

6. 우리 용량 중 얼마가 성과에 묶여 있으며, 그것이 옳게 느껴지나요? 한 달치 끝난 작업을 검토하고 각 항목에 성과나 "서비스 유지"를 태그하십시오. 분할이 리더가 생각하는 것과 맞는지 물으십시오. 성과가 없는 작업과 그것을 계속해야 하는지 논의하십시오.

네 가지 관점

제품 및 전달 팀

전달 팀은 가설과 측정 계획을 소유하며, 증거가 일찍 도착하도록 변경을 작은 단계로 전달해야 합니다. 필요한 이벤트를 기록하는 식으로 지표를 변경에 내장하고, 이익 소유자에게 본 것을 확인해 달라고 요청해야 합니다. 일찍 배우면 잘못된 것을 더 만드는 비용을 아끼므로, 팀은 실패한 가설을 정보로 환영해야 합니다.

서비스 및 운영 팀

운영 팀은 변경이 인시던트, 요청, 용량에 미치는 실제 효과를 봅니다. 수작업 처리 시간과 반복 접촉 같은 후행 지표의 데이터 상당수를 쥐고 있으며, 변경을 흡수하는 것뿐 아니라 가설을 확인하는 것도 도와야 합니다. 서류상으로 주장된 이익이 서비스 데스크가 보는 것과 맞지 않을 때 목소리를 내야 합니다.

리더십과 거버넌스

리더는 이익이 학습 도구일지 영업 멘트일지를 고릅니다. 기준선과 방법을 요청하고, 정직한 "미충족" 결과를 환영하고, 사실이 알려지기 전에 정한 이익 숫자로 팀을 붙잡아 두는 것을 피해야 합니다. 거버넌스는 레지스트리를 포트폴리오로 검토하고, 측정에 자금을 대고, 가설이 실패한 작업은 기꺼이 멈춰야 합니다.

고객과 사용자

사용자는 변경이 도움이 되었는지 알며, 대부분의 이익에 대해 가장 좋은 판단자입니다. 질문을 받고, 결과를 보고, 변경이 기대한 것을 전달하지 못했을 때 그 사실을 들어야 합니다. 그들의 의견은 그 자체로 증거입니다. 숫자가 보여 주는데 사용자가 느끼지 못하는 이익은 더 자세히 볼 만합니다.

실제 적용: 서비스 관리 사례

한 지역 건강 보험사의 IT 그룹이 의료 제공자를 위한 청구 포털을 만들고 운영합니다. 아래 숫자는 예시입니다.

그룹은 청구 제출에 자동 자격 확인을 추가할 계획입니다. 청구 운영 관리자와 함께 쓴 가설은 이렇습니다. "자동 자격 확인이 제공자의 청구 담당 직원이 처음부터 올바른 청구를 제출하도록 도와, 정정을 위해 반송되는 청구가 3개월 안에 18퍼센트에서 12퍼센트로 줄 것이라고 믿습니다. 3월 1일에 검토할 반송 청구율로 알 것입니다." 기준선은 지난 12주의 평균인 18퍼센트이며 주간 범위는 15에서 21퍼센트입니다. 선행 지표는 첫 달의 확인 사용입니다. 청구 운영 관리자가 이익 소유자입니다.

팀은 작은 단계로 릴리스하며, 확인을 처음에 한 지역에서만 쓸 수 있게 합니다. 3주 뒤 그 지역의 확인 사용은 64퍼센트입니다. 검토 날짜에 반송 청구는 확인이 있는 지역에서 13퍼센트로, 없는 지역에서 17퍼센트로 줄었습니다. 청구 관리자는 그 기간에 한 청구 코드의 정책 변경도 시행되었다고 지적합니다. 팀은 그것을 교란 요인으로 나열하고 그 코드의 청구를 두 그룹에서 모두 제거하는데, 그러면 17.5퍼센트 대비 14퍼센트가 남습니다. 이익 실현은 "부분 충족"으로 기록됩니다. 기준선보다 분명한 차이로 나아졌지만 12퍼센트 목표에는 못 미칩니다. 팀은 증거가 한 분기에 걸친 단계적 롤아웃에서 나왔고 다른 제공자에게는 효과가 다를 수 있다고 레지스트리에 정직하게 씁니다.

이어서 팀은 3개월 뒤 다시 확인할 계획으로 모든 지역에 확인을 배포하고, 제공자의 의견이 메시지가 불분명하다고 말하므로 오류 메시지를 개선하는 과업을 추가합니다. 재무 이사는 이사회를 위한 단일 숫자를 요청합니다. IT 책임자는 범위와 방법을 제공하고, 증거가 허용하는 것보다 더 정밀한 수치를 말하는 것은 거절합니다. 결정은 다음 검토 날짜와 함께 기록됩니다.

애자일, AI, 자동화, 분석

애자일

작업이 시작되기 전에 기대하는 이익을 진술하고 출시 뒤에 이익을 얻기로 한 사람들과 확인하십시오. 주의할 점은 기준선 없이 주장한 이익은 이야기라는 것입니다.

AI

AI 프로젝트는 큰 이익을 약속하는 경우가 많으므로, AI 지원 작업의 기준선, 기대 변화, 증거를 따로 기록하고, 생산성 주장은 품질 및 비용과 짝지우십시오. 주의할 점은 AI 도구가 만든 이익 추정치는 정밀하게 들리면서도 근거가 없을 수 있으므로 점검해야 한다는 것입니다.

자동화

시스템에 이미 있는 성과 지표의 포착을 자동화하고, 이익 검토 프로세스를 완료로 측정하십시오. 주의할 점은 지표의 자동화된 대시보드가 이익이 실제로 일어났는지에 대한 대화를 대체할 수 있다는 것입니다.

분석

성과 지표의 변화를 증거 품질과 귀속의 한계와 함께 보고하십시오. 이는 무엇을 계속하고, 바꾸고, 멈출지에 정보를 줍니다. 주의할 점은 귀속이 어려우므로 불확실성을 설명해야 한다는 것입니다.

부문별 관점

스타트업. 이익은 매출과 유지에 가깝고 학습 속도가 중요합니다. 카드에 한 줄 가설을 쓰고, 빨리 확인하고, 무거운 레지스트리를 피하십시오. 단순한 비교를 쓰고 작은 표본이 주장할 수 있는 것을 제한함을 받아들이십시오.

소규모 사업. 소유자가 이익 소유자이고 효과가 눈에 보입니다. 기대 효과가 있는 변경의 짧은 목록을 유지하고 분기마다 검토하십시오. 작은 이득을 큰 수치로 부풀리는 것을 피하고 변경의 비용과 비교하십시오.

대기업. 포트폴리오, 자금 주기, 많은 이해관계자가 이익 레지스트리를 유용하게 만듭니다. 작은 변경에는 가볍게, 큰 변경에는 엄격하게 유지하고, 소유자를 사업 부문에 두고, 포트폴리오에 걸쳐 검토하십시오. 정의가 다른 숫자가 합산되는 것을 경계하십시오.

정부 및 공공 부문. 성과는 접근, 공정성, 안전처럼 매출로 환원되지 않는 공공재인 경우가 많습니다. 서비스를 받는 사람들과 성과를 정의하고, 혼합된 증거를 쓰고, 방법을 공개적으로 보고하십시오. 공식 비즈니스 케이스와 이익 검토가 요구될 수 있으며, 정직한 무효 결과는 공적 책임에서 중요합니다(주제 8.5, 규제 및 정부 보고 참조).

비즈니스 케이스: 동기, ROI, TCO

비용은 주로 주의입니다. 가설을 쓰는 데는 몇 분, 기준선에는 한두 시간, 검토에는 짧은 회의가 듭니다. 실험과 단계적 롤아웃에는 설계 노력과 약간의 도구가 필요합니다. 이익 레지스트리는 스프레드시트나 작업 트래커의 필드일 수 있습니다.

수익은 더 나은 투자 결정입니다. 가설을 확인하는 팀은 도움이 되지 않는 것을 만드는 것을 멈추고, 도움이 되는 것을 확장하고, 자신이 얼마나 잘 예측하는지 배웁니다. 이는 쓰이지 않는 기능과 실패한 프로그램의 비용을 아낍니다. 자체 데이터로 사례를 만드십시오. 가설을 가졌던 변경의 비율, 확인된 비율, 이후 포기되거나 되돌려진 작업의 비용입니다. 출처와 방법을 추적할 수 없다면 IT 프로젝트의 실패율에 대한 공개 수치는 피하십시오. 크게 다르고 맥락 없이 인용되는 경우가 많습니다. 재무적 취급은 다음 부에 있습니다(주제 7.7, 투자 수익과 비즈니스 케이스 참조).

안티패턴과 함정

  • 전달을 가치로 세기. 출시된 기능은 수단입니다. 사람들에 대한 효과를 확인하십시오.
  • 실패할 수 없는 가설. 숫자와 날짜를 넣어 구체적으로 만드십시오.
  • 자기 숙제를 스스로 채점하기. 팀 밖의 이익 소유자가 결과를 판단하게 하십시오.
  • 전후 비교로 원인 주장하기. 교란 요인을 나열하고 가능한 곳에서는 비교를 쓰십시오.
  • 승리만 보고하기. 무효 및 부정적 결과를 기록하십시오. 성공만 있는 레지스트리는 정직하지 않습니다.
  • 개인에게 이익 목표 정하기. 사람에게 묶인 목표는 부풀린 주장을 부릅니다. 이익을 팀과 이니셔티브 수준에 두십시오.
  • 과도한 정밀성. 소수점이 있는 단일 숫자가 아니라 범위와 방법을 보고하십시오.
  • 새 이익이 없는 작업 무시하기. 이름을 붙이고, 그것에 대한 이익 이야기를 지어내지 마십시오.

성숙도 모델

차원 1 시작 2 발전 3 표준화 4 관리 5 조율
가치 진술 비즈니스 케이스에서만 이익을 주장함 일부 변경에 가설을 씀 모든 중요한 변경에 짧은 가설, 기준선, 소유자 승인 시 가설과 임계값을 고정하고, 선행 및 후행 지표를 정의함 팀과 공급업체에 걸쳐 가설을 공유하고, 사용자와 성과를 정의함
가치 확인 출시 뒤 확인 없음 전달 팀이 가끔 확인함 독립 소유자와의 일정된 검토 비교와 교란 요인을 문서화하고, 증거 품질을 추적함 포트폴리오 수준의 증거가 자금을 이끌고, 팀에 걸쳐 실험을 공유함
학습 승리는 축하하고 실패는 잊음 일부 교훈을 기록함 무효 결과를 기록하고 검토함 놓친 가설의 패턴이 선택과 규모 산정을 개선함 학습이 조직 전체와 파트너와의 계획에 공급됨

체크리스트

  • 각 중요한 변경에 기준선, 지표, 검토 날짜가 있는 서면 가치 가설이 있다.
  • 각 이익에 전달 팀 밖의 소유자가 있다.
  • 선행 및 후행 지표가 정의되고 추적된다.
  • 검토가 소유자와 합의된 날짜에 이루어진다.
  • 가능한 곳에서는 비교나 단계적 롤아웃을 쓴다.
  • 주장된 각 결과에 교란 요인을 나열한다.
  • 무효 및 부정적 결과를 기록하고 공유한다.
  • 이익 주장 옆에서 증거 품질을 추적한다.
  • 어떤 개인에게도 개인 이익 목표가 없다.
  • 분기 포트폴리오 검토가 충족한 가설과 놓친 가설의 패턴을 본다.

AI 프롬프트

가치 가설을 씁니다.

[조직 유형]에서 [사용자 또는 이해관계자]를 위해 [변경 설명]을 계획하고 있습니다.
오늘의 문제: [설명]. "우리는 [변경]이 [누가] [무엇을 하게] 도와 [측정 가능한
개선]이 이루어질 것이라고 믿습니다. [지표]로 알 것입니다..."라는 형식으로
가치 가설의 초안을 작성해 주세요. 선행 지표 하나와 후행 지표 하나, 필요한
기준선, 검토 날짜의 논리를 제안해 주세요. 목표 값을 지어내지 말고 우리가 채울
자리표시자로 남겨 주세요. 가정한 내용과 우리가 알아내야 할 것을 나열해 주세요.

주장된 결과의 교란 요인을 나열합니다.

우리는 [변경]이 [날짜] 사이에 [지표]를 [이전]에서 [이후]로 개선했다고
주장합니다. 그 기간에 일어난 다른 일: [목록]. 그럴듯한 교란 요인, 각각이
결과를 설명할 수 있는 방식, 그것을 배제하는 데 도움이 될 데이터나 비교를
나열해 주세요. 증거가 뒷받침하는 것을 진술하는 문구를 제안해 주세요. 데이터가
뒷받침하지 못하는 원인을 가정하지 마세요. 가정한 내용을 나열해 주세요.

단계적 롤아웃 비교를 설계합니다.

[변경]을 서로 다른 시기에 [수]개 그룹에 릴리스할 수 있습니다: [그룹과 제약
설명]. 변경이 있는 그룹과 없는 그룹을 비교할 수 있는 단계적 롤아웃을 제안하고,
쓸 지표와 기간, 비교를 편향시킬 수 있는 것, 서로 다른 결과에서 어떤 결론을
내릴지 말해 주세요. 효과 크기를 지어내지 마세요. 가정한 내용과 위험을 나열해
주세요.

이익 레지스트리 항목을 검토합니다.

[이니셔티브]의 이 이익 레지스트리 항목을 검토해 주세요: [주장, 기준선, 방법,
소유자, 검토 날짜를 포함한 항목 붙여 넣기]. 빠진 정보, 모호한 문구, 증거가
뒷받침하지 않는 주장, 결과가 악용될 수 있는 방법을 짚어 주세요. 우리가 실제로
측정한 것에 맞는 더 강한 문구를 제안해 주세요. 가정한 내용과 소유자에게 할
질문을 나열해 주세요.

AI 스킬

핵심 정리

  • 만들기 전에 기준선, 팀 밖의 소유자, 검토 날짜가 있는 확인 가능한 가치 가설을 쓰십시오.
  • 선행 지표로 조종하고 후행 지표로 확인하십시오.
  • 가능한 곳에서는 비교하고, 교란 요인을 나열하고, 증거가 뒷받침하는 것만 주장하십시오.
  • 무효 및 부정적 결과를 기록하십시오. 일률적으로 성공한 레지스트리는 정직하지 않습니다.
  • 주장의 크기 옆에서 증거의 품질을 추적하십시오.
  • 성과가 확인될 때까지 이해관계자와 사용자가 협업하게 하십시오.

참고 문헌과 더 읽을거리

  1. Ward, J., and Daniel, E., Benefits Management: How to Increase the Business Value of Your IT Projects, 2nd ed., Wiley, 2012.
  2. Doerr, J., Measure What Matters, Portfolio/Penguin, 2018.
  3. Kohavi, R., Tang, D., and Xu, Y., Trustworthy Online Controlled Experiments, Cambridge University Press, 2020.
  4. Hubbard, D. W., How to Measure Anything: Finding the Value of Intangibles in Business, 3rd ed., Wiley, 2014.
  5. Beck, K., et al., Manifesto for Agile Software Development and Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org.
  6. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  7. Wikipedia, Benefits realisation management.
  8. Wikipedia, Theory of change.
  9. Wikipedia, Logic model.
  10. Wikipedia, Leading indicator.
  11. Wikipedia, Lagging indicator.
  12. Wikipedia, Objectives and key results.
  13. Wikipedia, Goodhart's law.
  14. Wikipedia, A/B testing.
  15. Wikipedia, Difference in differences.
  16. Wikipedia, Confounding.
  17. Wikipedia, Survivorship bias.