개요와 동기

이해관계자는 모든 전달 팀에게 두 가지를 묻습니다. "언제 끝납니까?" 그리고 "얼마나 맡을 수 있습니까?" 애자일의 답은 애자일 선언문 원칙의 목표에서 출발합니다. 가치 있는 소프트웨어를 지속적으로 전달하고, 이해관계자와 매일 협력하고, 정기적으로 돌아보고 개선하고, 일을 해낼 수 있다고 신뢰받는 동기 부여된 사람들을 중심으로 일을 구성하는 것입니다. 이 목표에 봉사하는 예측은 가능한 결과와 위험에 대한 이해관계자들 간의 대화입니다. 압박 속에서 끌어낸 약속이 아닙니다.

운영 중인 서비스를 맡은 팀에는 추가적인 어려움이 있습니다. 용량이 계획된 변경, 계획 외 인시던트 작업, 서비스 요청, 개선 사이에서 공유됩니다. 운영 부하를 무시한 계획은 아무도 계획하지 않은 이유로 실패합니다(주제 2.9, 운영 작업과 계획 외 작업 참조). ITIL이 체계화한 IT 서비스 관리(ITSM)는 이를 용량과 수요의 문제로 다룹니다. 용량 계획(capacity planning)은 변화하는 수요를 충족하기 위해 조직이 필요로 하는 용량을 결정하는 프로세스입니다. 팀이 실제로 끝낼 수 있는 것에 맞춰 계획하는 애자일 실천은 팀 수준에서의 같은 발상입니다.

전달을 예측하는 넓은 방법은 두 가지입니다.

  • 추정치에서. 팀이 항목을 어떤 단위로 크기를 매기고, 크기를 더하고, 속도로 나눕니다. 많은 팀이 스토리 포인트(story point) 같은 상대적 크기 매기기를 쓰며, 그 속도를 벨로시티(velocity)라고 부릅니다. 시작이 빠르고 팀의 추정 습관에 달려 있으며, 한 팀 안에서만 의미가 있습니다.
  • 흐름 데이터에서. 팀이 자체의 완료 기록을 씁니다. 주당 완료하는 항목 수(처리량)와 항목이 시작부터 끝까지 걸리는 시간(사이클 타임)입니다. 이들은 의견이 아니라 건수와 경과 시간이므로 흐름이 어긋나지 않고 시뮬레이션과 결합해 결과의 범위를 줄 수 있습니다. 이 접근법은 Kanban 가이드를 포함한 흐름 전통에서 왔고, 고정된 계획 기간 없이 지속적으로 전달하는 팀을 포함해 일을 조직하는 모든 방식에서 작동합니다.

이 주제는 두 번째 접근법에 기웁니다. 지속적 소프트웨어 전달은 흐름 데이터가 직접 설명하는 꾸준한 완료 항목의 흐름을 만들어 내기 때문입니다(주제 2.1, 흐름 측정치와 주제 2.2, 리드 타임, 사이클 타임, 흐름 효율 참조). 그래도 첫 번째 접근법도 다룹니다. 많은 팀이 추정치를 쓰고, 벨로시티의 오용이 전달 지표가 잘못되는 가장 흔한 방식 중 하나이기 때문입니다.

예측은 불확실한 미래에 대한 예측(forecasting)이며 불확실성이 요점입니다. 불확실성의 원뿔(cone of uncertainty) 개념은 초기 추정이 가장 불확실하다고 말합니다. 계획 오류(planning fallacy)는 사람들이 비슷한 계획이 늦어졌음을 알면서도 자기 계획이 걸릴 시간을 과소평가한다고 말합니다. 좋은 예측 측정은 이를 명명하고 예측이 얼마나 자주 맞는지 측정합니다.

굿하트의 법칙(Goodhart's law)의 방호책이 여기서 중요합니다. 예측과 계획은 쉽게 약속이 되고 이어 목표가 되기 때문입니다. 팀이 날짜를 맞추는 것으로 평가받는 순간, 위험을 숨기거나, 품질을 깎거나, 추정치를 낮춰 잡습니다(주제 1.2, 굿하트의 법칙과 지표의 심리학 참조).

핵심 원칙

  • 끝난 작업에서 예측하십시오. 팀이 전달한 것이 누군가 전달할 것이라고 믿는 것보다 나은 증거입니다.
  • 확률이 있는 범위를 제시하십시오. "다음 달 말까지 가능성이 높고, 그다음 달 말까지는 매우 높음"이 단일 날짜보다 낫습니다.
  • 실제 용량에 맞춰 계획하십시오. 운영 작업을 포함하고, 개선을 위한 시간을 남기고, 완전 가동률로 계획하지 마십시오.
  • 추정치는 로컬에 두십시오. 어떤 크기 단위든 한 팀의 사적인 계획 도구이며 비교의 근거가 아닙니다.
  • 전달뿐 아니라 예측의 품질을 측정하십시오. 잘못된 이유로 맞은 예측은 운입니다.
  • 예측을 공유된 것으로 다루십시오. 이해관계자와 팀이 함께 만들고 사실이 바뀌면 수정합니다.
  • 팀을 신뢰하십시오. 신뢰받고 지원받는 사람들이 정직한 예측을 합니다.

지표 정의

지표 정의 공식 단위 데이터 원천 ITIL 프랙티스 애자일 대응 주기
예측 적중률 실제 결과가 명시한 범위 안에 든 예측의 비율 실제 결과가 명시한 범위 안이었던 예측 수 / 한 예측 수 퍼센트 예측 로그와 전달 기록 용량 및 성능 관리, 지속적 개선 계획 대화에서의 예측 정확도 월
예측 범위 폭 중앙값 예측에 대한 명시된 범위의 폭 (상한 빼기 하한) / 중앙값 예측 비율 예측 로그 용량 및 성능 관리 불확실성의 원뿔 좁아짐 월
전달 목표 성공률 해당 기간에 달성된 명시된 전달 목표의 비율을 성과로 판단 달성한 목표 수 / 설정한 목표 수 퍼센트 이해관계자와 합의한 목표 기록 서비스 수준 관리, 지속적 개선 이해관계자와의 성과 검토 월 또는 목표 릴리스마다
범위 변경률 예측이 이루어진 뒤 추가, 제거, 재크기 조정된 확약 작업의 비율 예측 후 추가되거나 제거된 항목 수 / 원래 예측의 항목 수 퍼센트 작업 트래커 변경 이력 변경 활성화, 서비스 수준 관리 피드백에 따른 백로그 적응 월
용량 배분 변경, 운영 작업, 개선에 쓴 팀 용량의 비율 각 범주의 완료 항목 또는 시간 / 전체 완료 항목 또는 시간 퍼센트 작업 유형이 있는 작업 트래커 용량 및 성능 관리, 인시던트 관리 작업 유형 분포 월
처리량 안정성 주간 처리량의 변동 주간 처리량의 표준편차 / 주간 처리량의 평균 비율 작업 트래커 용량 및 성능 관리 흐름의 예측 가능성 월
로컬 벨로시티 계획 기간당 한 팀이 자체 크기 단위로 끝낸 작업 해당 기간에 완료의 정의를 충족한 항목의 추정치 합 팀이 정의한 포인트 작업 트래커 용량 및 성능 관리 팀 용량 계획 보조 도구 계획 기간마다

시계를 정의하십시오. 예측은 기록되고 이해관계자와 공유될 때 "이루어진" 것이고, 코드가 병합될 때가 아니라 결과가 릴리스되어 사용될 때 "충족된" 것입니다. 처리량은 완료의 정의를 충족하는 항목을 세며, 크기가 크게 다른 유형의 항목은 별도의 계열로 셉니다. 로컬 벨로시티는 이를 소유한 팀에게만 보여 줍니다.

권장 사항

흐름에서 예측하십시오

1. 처리량과 사이클 타임으로 예측을 만드십시오. 지난 12주에서 26주 동안 매주 끝낸 항목을 세십시오. 그 이력으로 주어진 날짜까지 몇 개 항목이 끝날지, 또는 항목 집합이 언제 끝날 가능성이 높은지 예측하십시오. 팀 자신의 이력에서 수천 번 표본을 뽑는 몬테카를로 방법(Monte Carlo method) 시뮬레이션이 이력을 확률 범위로 바꿔 줍니다. 단순한 스프레드시트나 작은 스크립트로 잘 됩니다. 이력 구간과 예측 날짜를 밝히십시오.

2. 결과의 백분위수를 보고하십시오. "3월 14일까지 50퍼센트 가능성, 4월 4일까지 85퍼센트, 4월 18일까지 95퍼센트"라고 말하십시오. 각 백분위수는 위험에 대한 정직한 진술이며, 이해관계자가 필요한 여유를 선택할 수 있습니다. 단일 날짜는 그 선택을 가립니다(주제 1.6, 서비스 지표를 위한 통계 소양 참조).

3. 개별 항목에는 사이클 타임 백분위수를 쓰십시오. 항목 하나에 대해, 과거 사이클 타임의 85번째 백분위수가 어떤 추정치보다 "이게 얼마나 걸릴까?"에 잘 답합니다. 진행 중인 항목의 경과 시간과 비교할 수 있는 선으로 보드에 보여 주십시오(주제 2.1, 흐름 측정치 참조).

4. 항목 크기를 대체로 고르게 유지하십시오. 처리량 기반 예측은 항목이 작고 셀 수 있을 만큼 비슷할 때 가장 잘 작동합니다. 팀은 가치를 전달하는 가장 작은 조각으로 일을 잘라서 거기에 이르며, 이는 지속적 소프트웨어 전달 자체의 습관입니다. 항목이 크게 다르다면 작업 유형별로 별도의 계열을 추적하십시오.

5. 사실이 바뀔 때마다 예측을 새로 고치십시오. 예측은 살아 있는 관점입니다. 범위가 바뀌거나, 팀 규모가 바뀌거나, 큰 인시던트가 한 주를 삼키면 다시 실행하고 이해관계자에게 알리십시오. 나중에 판단할 수 있도록 예측에 버전을 매기십시오.

실제 용량에 맞춰 계획하십시오

6. 작업 유형별로 용량을 배분하십시오. 팀이 끝낸 작업 중 계획된 변경, 계획 외 운영 작업, 서비스 요청, 개선이 차지하는 비율을 기록하십시오. 이상이 아니라 경험이 보여 주는 비율로 계획하십시오. 운영 중인 서비스를 맡은 팀은 용량의 3분의 1 이상이 운영 작업에 간다는 것을 흔히 발견하며, 이 수치는 빌려 오는 것이 아니라 팀이 측정할 몫입니다(주제 2.9, 운영 작업과 계획 외 작업 참조).

7. 개선을 위한 용량을 확보하십시오. 지속적 개선은 일의 상시적 부분이므로, 배분에 그 시간을 계획하고 보호하십시오. 바쁜 시기마다 개선을 쥐어짜는 팀은 운영 부하가 오르고 그것이 개선을 더 쥐어짜는 일을 겪습니다. 개선의 비중과 개선이 운영 비중에 미치는 효과를 추적하십시오.

8. 완전 가동률로 계획하지 마십시오. 100퍼센트로 계획한 팀에는 변동의 여지가 없으며, 가동률이 한계에 가까워질수록 대기열이 늘어납니다(주제 2.3, 진행 중인 작업과 대기열 참조). 예상 밖의 일을 위한 여유를 남기고, 그것을 낭비가 아니라 설계 선택으로 다루십시오.

추정치를 쓴다면 신중히 쓰십시오

9. 벨로시티를 로컬 계획 보조 도구로 다루십시오. 팀이 스토리 포인트로 일의 크기를 매긴다면, 벨로시티는 다음 계획 대화에서 얼마를 맡을지 결정하는 데 도움이 될 수 있으며, 같은 팀의 최근 과거와만 비교해야 합니다. 팀을 비교하거나, 벨로시티 목표를 정하거나, 생산성의 측정치로 위에 보고하지 마십시오. 포인트는 팀 간에 공통 단위가 없고, 숫자를 올려야 한다는 압력은 더 많이 전달하지 않은 채 추정치만 부풀립니다.

10. 가끔 추정치를 실제 사이클 타임과 비교하십시오. 추정치를 항목이 실제로 걸린 시간과 대조해 그려 보십시오. 큰 추정치가 작은 추정치보다 더 오래 걸리지 않는다면 추정 노력이 별로 얻는 것이 없는 것이고, 항목을 세는 것만으로도 팀에 충분할 수 있습니다. 상관관계가 있다면 추정치에는 가치 있는 정보가 있는 것입니다. 데이터로 팀이 결정하게 하십시오.

효과가 있는지 측정하십시오

11. 모든 예측을 기록하고 점수를 매기십시오. 예측, 범위, 실제 결과를 기록하고 적중률을 계산하십시오. 잘 보정된 85번째 백분위수 예측은 약 85퍼센트의 확률로 맞아야 합니다. 적중이 이보다 훨씬 높거나 낮으면 방법을 조정하십시오. 예측에 대한 신뢰는 실적에서 쌓이므로 로그를 이해관계자와 공유하십시오.

12. 전달 목표는 성과로 판단하십시오. "고객이 청구서로 결제할 수 있다" 같은 목표는 작업이 닫힐 때가 아니라 고객이 그렇게 할 수 있을 때 달성된 것입니다. 이해관계자와 목표를 쉬운 말로 합의하고, 함께 검토하고, 결과를 기록하십시오. 이는 계획을 지속적 협업에 묶어 두고 아무도 쓰지 않는 작업을 출시하는 일을 막아 줍니다(주제 1.3, 산출물보다 성과: 무엇을 측정할지 고르기 참조).

악용 방식과 방호책

지표 악용되는 방식 짝을 이루는 방호책 지표 또는 실천
예측 적중률 모든 예측이 적중하도록 아주 넓은 범위를 제시함, 사후에 다시 예측함 예측 범위 폭, 원래 예측을 로그에 보관, 동료 이력과 범위를 비교
예측 범위 폭 자신 있어 보이려고 범위를 좁힘 예측 적중률, 범위가 기록된 이력에서 만들어지도록 요구
전달 목표 성공률 쉬운 목표를 세움, 사후에 목표를 재정의함, 산출물을 성과로 셈 이해관계자가 성과를 판단함, 목표 문구를 로그에 보관, 전달된 변경의 사용 데이터 확인
범위 변경률 타당한 변경을 거부해 범위를 동결함, 항목 크기를 다시 매겨 범위 변경을 숨김 응답성에 대한 이해관계자의 만족도, 변경 이유 기록
용량 배분 운영 작업을 개선으로 잘못 표시함, 보드 밖에서 일해 운영 부하를 숨김 인시던트 및 요청 기록과 대조, 항목의 유형을 표본 검토
처리량 안정성 건수를 올리려고 항목을 사소한 조각으로 쪼갬, 끝내지 않은 채 항목을 닫음 항목 크기 분포, 재개방률, 전달된 가치를 표본 검토
로컬 벨로시티 추정치를 부풀림, 포인트를 주장하려고 스토리를 쪼갬, 팀을 비교함 팀 사적으로 유지, 처리량 및 사이클 타임과 비교, 절대 목표를 정하지 않음

건강한 상태란 예측이 명시한 비율대로 맞고, 이해관계자가 달성되었다고 동의하는 목표가 있고, 용량 그림이 팀이 실제로 사는 것과 맞고, 벨로시티 숫자가 있다면 팀이 쓰고 다른 누구도 쓰지 않는 모습입니다.

상충 관계: 장점과 단점

접근 방식 강점 약점
흐름 기반 예측 실제 데이터를 쓰고, 부풀리기에 강하며, 범위를 줌 꾸준한 이력과 비슷한 크기의 항목이 필요함
추정치 기반 예측 시작이 빠르고 일에 대한 논의를 북돋움 주관적이고, 압박 속에서 부풀려지며, 팀 간 비교 불가
단일 날짜 약속 전달하기 단순함 위험을 숨기고 정직을 벌함
확률이 있는 범위 불확실성에 정직함 처음에는 일부 이해관계자가 읽기 어려움
완전 가동률 계획 효율적으로 보임 대기열이 늘어남, 인시던트나 학습을 위한 여유가 없음
계획된 여유 변동을 흡수하고 개선을 뒷받침함 설득되지 않은 사람에게는 놀고 있는 용량처럼 보임

결론은 흐름 데이터에서 시작해, 팀에 도움이 되는 곳에만 추정치를 더하고, 범위로 말하는 것입니다. 계약이 날짜를 요구하는 곳에서는 85번째 또는 95번째 백분위수가 뒷받침하는 날짜를 제시하고 무엇이 그것을 바꿀지 말하십시오.

팀과 논의할 질문

1. 이해관계자가 "언제 끝납니까?"라고 정직한 답을 원하며 묻는다면 우리는 뭐라고 할까요? 팀에게 실제 작업 하나에 대해, 먼저 단일 날짜로, 그다음 범위로 답하게 하십시오. 각 답이 얼마나 편하게 느껴지는지의 차이를 알아차리십시오. 진행자는 팀이 범위를 정직하게 제시하기 위해 알아야 할 것, 예를 들어 이력, 항목 크기, 알려진 위험을 기록해야 합니다.

2. 우리 용량의 얼마가 정말 계획된 변경에 쓰이며, 어떻게 아나요? 지난 석 달 동안 끝낸 작업을 유형별로 보십시오. 팀이 세운 계획과 비교하십시오. 대화에서는 운영 작업이 계획보다 크고 개선 작업이 작다는 사실이 드러나는 경우가 많습니다. 배분이 어때야 하는지, 어떤 결정이 그것을 바꿀지 합의하십시오.

3. 우리 추정치는 어디서 도움이 되고, 어디서 시간만 쓰게 하나요? 추정치의 표본을 실제 사이클 타임과 대조해 그려 보십시오. 더 큰 추정치가 정말 더 느렸는지 논의하십시오. 연관이 약하다면 팀이 항목만 센다면 무엇을 다르게 할지 물으십시오. 시험 기간 동안 추정을 계속할지, 단순화할지, 중단할지 결정하십시오.

4. 누가 우리 팀 수준의 계획 숫자를 보며, 거기서 그것들은 어떻게 되나요? 각 계획 숫자를 팀에서 그 청중까지 추적하십시오. 누군가 그것으로 팀을 비교하거나 목표를 정하는지 물으십시오. 그렇다면 그것을 막는 방법과 대신 제공할 것을 논의하십시오. 진행자는 로컬 숫자는 이동하면 가치를 잃는다고 설명할 준비가 되어 있어야 합니다.

5. 우리 예측이 언제 실패했으며, 무엇을 배웠나요? 빗나간 것 하나를 골라 추적하십시오. 범위 변경, 큰 인시던트, 의존성, 틀린 가정 중 무엇이었습니까? 무엇이 더 일찍 경고했을까요? 의존성 기록이나 주간 예측 갱신처럼 예측 실천을 바꿀 점 하나에 합의하십시오.

6. 지난 분기에 우리가 달성한 목표는 무엇이고, 누가 그렇다고 했나요? 전달 목표와 각각을 판단한 사람을 나열하십시오. 팀이 자기 목표를 스스로 판단했다면 이해관계자를 참여시키는 방법을 논의하십시오. 이 대화는 지속적 협업을 뒷받침하고, 목표가 성과에 관한 것인지 작업에 관한 것인지 보여 줍니다.

네 가지 관점

제품 및 전달 팀

전달 팀은 예측과 그것을 뒷받침하는 흐름 데이터를 소유합니다. 범위를 게시하고, 항목을 작게 유지하고, 사실이 바뀌면 다시 예측해야 합니다. 포인트로 크기를 매기기로 한 팀은 숫자를 팀 안에 두어야 합니다. 목표는 완료되고 가치 있는 작업의 꾸준한 흐름과, 실적이 있어서 이해관계자가 신뢰하는 예측입니다.

서비스 및 운영 팀

운영 팀은 계획을 흩뜨리는 수요를 맡습니다. 용량 계획이 실제 숫자에서 시작하도록 인시던트와 요청 부하를 전달 팀과 공유해야 합니다. 변경도 전달하는 운영 팀은 자기 일에 같은 흐름 기반 예측을 쓸 수 있습니다. 변경 작업과 운영 작업의 공동 계획은 양쪽 그룹에 걸친 지속적 협업의 좋은 자리입니다.

리더십과 거버넌스

리더는 예측이 위험 진술인지 약속인지 결정합니다. 범위를 요청하고, 여유와 개선에 자금을 대고, 벨로시티나 처리량으로 팀을 비교하려는 유혹에 저항해야 합니다. 거버넌스 기구는 시간에 따른 예측 적중률과 목표 성과를 살피고, 반복되는 빗나감을 사람이 아니라 의존성과 운영 부하 같은 시스템에 대한 신호로 다루어야 합니다.

고객과 사용자

사용자는 변경을 언제 보게 되는지, 그것이 도움이 되는지를 신경 씁니다. 신뢰 수준이 명시된 범위는 밀리는 날짜보다 그들에게 더 도움이 됩니다. 결과를 느끼는 것은 그들이므로 목표 달성 여부를 판단하는 데 참여해야 합니다. 예측이 바뀔 때 그 이유와 함께 사용자에게 알리는 것은 그들을 협력자로 대하는 일의 일부입니다.

실제 적용: 서비스 관리 사례

한 지역 에너지 회사의 디지털 팀이 고객 청구 포털을 만들고 운영합니다. 아래 수치는 예시입니다.

이해관계자들이 팀에 22개 항목으로 이루어진 새 결제 계획 기능의 날짜를 요청했습니다. 지난 분기에 팀은 추정치에 기반한 확정 날짜를 줬다가 두 건의 대형 인시던트로 5주 늦었고 이해관계자의 신뢰를 잃었습니다. 이번에는 전달 책임자가 지난 20주의 처리량을 뽑는데, 주당 3~9건에 중앙값은 6건이고 끝낸 항목의 약 35퍼센트가 운영 작업이었다는 점을 기록합니다.

그녀는 이력으로 시뮬레이션을 실행합니다. 22개 항목이 4주 안에 끝날 가능성이 약 절반, 6주 안에 끝날 가능성이 약 85퍼센트, 8주 안에 끝날 가능성이 약 95퍼센트로 나옵니다. 이 세 날짜를 가정과 함께 이해관계자에게 제시합니다. 팀 규모 변동 없음, 운영 부하는 지난 20주와 비슷, 새 범위 없음입니다. 제품 소유자가 8주 뒤 특정 청구일에 맞춘 출시를 묻습니다. 팀과 이해관계자는 85퍼센트 날짜에 맞춰 계획하고, 마지막 2주를 여유로 남기고, 2주마다 점검 지점을 두어 다시 예측하기로 합의합니다.

첫 점검 때 결제 게이트웨이 장애가 사흘을 가져갔고 시뮬레이션은 85퍼센트 날짜를 한 주 옮깁니다. 팀은 같은 날 이유와 함께 이해관계자에게 알리고, 그들은 가치가 낮은 항목 하나를 빼기로 합의합니다. 기능은 여유 날짜에 출시됩니다. 전달 목표인 "고객이 전화하지 않고 결제 계획을 설정할 수 있다"는 3주 뒤 제품 소유자와 고객 패널이 판단합니다. 대부분의 고객에게 달성되었고, 의견 주제에서 한 화면에 대한 혼란이 보여 백로그에 올라갑니다. 팀은 그 분기의 예측 적중률이 다섯 중 넷이었다고 기록합니다. 이해관계자들은 전달 책임자에게 다음 계획 세션에 예측 범위를 가져오라고 요청하고, 팀은 항목을 세는 것이 같은 답을 주었기 때문에 스토리 포인트 사용을 중단합니다.

애자일, AI, 자동화, 분석

애자일

끝난 작업의 흐름에서 계획하고 이해관계자와 자주 수정하며 날짜 대신 범위를 제시하십시오. 좋은 실천은 팀 자체의 처리량 이력으로 예측하고 정기 검토 때마다 범위를 보여 주는 것입니다. 주의할 점은 벨로시티 같은 팀 로컬 계획 숫자는 팀 간에 비교되는 순간 목표가 된다는 것입니다.

AI

AI 지원은 처리량을 빠르고 고르지 않게 바꿀 수 있어서 한동안 오래된 이력이 좋은 지침이 되지 못합니다. AI 도구를 도입한 날짜를 처리량 차트에 표시하고, 변경 후에는 예측 범위를 넓히고, 예측 적중률을 재작업과 짝지우십시오. 주의할 점은 AI가 만든 추정치는 정밀해 보이므로 논의를 위한 입력으로 다루고 팀 자체의 기록과 대조해 확인해야 한다는 것입니다.

자동화

트래커 데이터에서 예측을 자동으로 계산해 회의 없이도 갱신되게 하십시오. 그 예측의 정확도를 예측 방법의 지표로 추적하십시오. 주의할 점은 구간 없이 보여 준 자동 예측은 거짓 확신을 부르므로 범위를 기본으로 보여 줘야 한다는 것입니다.

분석

과거 처리량에서 나온 시뮬레이션이나 백분위수 기반 범위를 사용하고, 예측 적중률을 그 뒤에 있는 예측 수와 함께 보고하십시오. 이는 무엇을 약속하고 언제 다시 계획할지에 정보를 줍니다. 주의할 점은 범위나 용량이 바뀌면 예측이 실패하므로 범위 변경률을 옆에서 추적해야 한다는 것입니다.

부문별 관점

스타트업. 우선순위가 빨리 바뀌므로 예측을 짧고 대략적으로 유지하십시오. 비용이 들지 않으니 처음부터 처리량을 추적하고 창업자에게 범위를 주십시오. 큰 팀을 위해 만든 계획 시스템을 들여오려는 유혹을 참으십시오.

소규모 사업. 한두 사람이 변경과 운영 작업을 함께 하고 여유 용량이 없을 수 있습니다. 분배를 명시하고, 인시던트가 날짜를 밀 때 소유주에게 알리십시오. 끝난 항목의 단순한 주간 건수면 충분합니다.

대기업. 많은 팀과 의존성 때문에 예측이 다른 팀의 흐름에 좌우됩니다. 각 팀을 자체 데이터로 예측하고, 의존성을 가시화하고, 범위를 신중히 결합하십시오. 최선의 경우를 더하면 오해를 부르는 총합이 나옵니다. 벨로시티로 팀을 비교하는 상위 집계는 피하십시오.

정부 및 공공 부문. 고정된 예산, 조달, 법정 날짜가 단일 날짜 약속에 대한 압력을 만듭니다. 선택한 백분위수가 뒷받침하는 날짜를 밝히고, 가정을 설명하고, 범위의 상충 관계를 공개적으로 기록하십시오. 의무 날짜가 있다면 범위를 거기에 맞게 계획하십시오(주제 8.5, 규제 및 정부 보고 참조).

비즈니스 케이스: 동기, ROI, TCO

비용은 낮습니다. 처리량과 사이클 타임 데이터는 대개 팀의 작업 트래커에 있습니다. 예측 스프레드시트나 작은 스크립트를 만드는 데 하루가 걸리고, 예측을 갱신하는 데는 몇 분이면 됩니다. 반복 비용은 예측과 결과를 기록하고 이해관계자와 짧은 점검 대화를 여는 시간입니다.

수익은 더 적은 놀라움과 더 나은 결정에서 나옵니다. 위험을 이해하는 이해관계자는 여유를 고르거나, 범위를 조정하거나, 일의 순서를 일찍 바꿀 수 있습니다. 항목을 세는 것이 같은 효과를 낸다면 팀은 추정 의식에 시간을 덜 씁니다. 날짜를 놓친 갈등과 그것이 부르는 품질 지름길이 줄어듭니다. 자체 기록에서 케이스를 만드십시오. 지켜진 예측의 비율, 추정에 쓴 시간, 늦게가 아니라 일찍 이루어진 범위 변경입니다. 다른 조직의 예측 가능성 수치를 빌려 오지 마십시오.

안티패턴과 함정

  • 예측을 약속으로 취급하기. 예측이 목표가 되고 정직이 비싸집니다. 범위를 제시하고 수정하십시오.
  • 벨로시티로 팀 비교하기. 포인트는 로컬이며 비교하면 부풀려집니다. 팀을 자기 과거와만 비교하십시오.
  • 완전 가동률로 계획하기. 변동이 지연이 됩니다. 여유를 남기십시오.
  • 운영 작업 무시하기. 아무도 계획하지 않은 부하 때문에 계획이 실패합니다. 배분을 측정하고 계획하십시오.
  • 모든 것에 단일 날짜 쓰기. 백분위수를 쓰고 어느 것을 골랐는지 말하십시오.
  • 데이터가 뒷받침하는 것보다 정밀하게 추정하기. 먼 미래 작업의 상세한 추정치가 가장 믿을 수 없습니다. 먼 미래 작업은 대략적으로 예측하십시오.
  • 벨로시티나 처리량 목표 설정하기. 숫자는 오르고 가치는 오르지 않습니다.
  • 예측에 점수를 매기지 않기. 실적이 없으면 신뢰는 자랄 수 없습니다.

성숙도 모델

차원 1 시작 2 발전 3 표준화 4 관리 5 조율
예측 방법 단일 날짜 추측 수작업으로 합산한 추정치 백분위수가 있는 흐름 기반 범위 예측을 기록하고 점수를 매김, 적중률로 방법을 조정함 예측을 팀과 의존성에 걸쳐 결합해 이해관계자와 실시간으로 공유함
용량 계획 계획이 운영 작업을 무시함 운영 부하를 대략 앎 데이터로 작업 유형별 용량을 배분함 성과에 비추어 배분을 검토하고 개선 시간을 보호함 공급업체 및 운영과 서비스에 걸쳐 용량을 공동 계획함
목표와 숫자 활용 목표가 작업 목록임 목표를 적어 둠 이해관계자와 함께 성과로 목표를 판단함 빗나감을 시스템 신호로 분석하고 로컬 숫자는 사적으로 유지함 사용자와 협력해 목표를 정하고 판단하며 팀 간에 학습을 공유함

체크리스트

  • 예측을 팀 자체의 처리량과 사이클 타임 이력으로 만든다.
  • 예측을 가정을 밝힌 백분위수가 있는 범위로 제시한다.
  • 모든 예측을 범위와 실제 결과와 함께 기록한다.
  • 예측 적중률과 범위 폭을 매월 검토한다.
  • 운영 작업과 개선을 포함해 작업 유형별로 용량을 배분한다.
  • 계획된 가동률이 변동과 인시던트를 위한 여유를 남긴다.
  • 크기 단위나 벨로시티는 팀 사적이며 목표가 없다.
  • 전달 목표를 성과로 쓰고 이해관계자와 함께 판단한다.
  • 범위 변경을 이유와 함께 기록한다.
  • 사실이 바뀌면 예측을 새로 고치고 이해관계자에게 알린다.

AI 프롬프트

처리량 기반 예측을 만듭니다.

우리 팀은 지난 [개수]주 동안 매주 다음 개수의 항목을 끝냈습니다:
[주간 건수 붙여 넣기]. [개수]개 항목이 언제 끝날 가능성이 높은지 알고 싶습니다.
우리 자체 이력으로 확률 범위를 만드는 방법을 설명하고, 단순한 시뮬레이션
방법의 예를 보여 주고, 그것이 어떤 가정을 하는지 설명해 주세요. 이력이나 기준
값을 지어내지 마세요. 가정한 내용과 예측이 적용되지 않는 조건을 나열해 주세요.

추정치를 쓰는 방식을 검토합니다.

우리는 [단위]로 항목의 크기를 매기고 계획에 [실천]을 사용합니다. 아래는 추정치와
실제 사이클 타임(일)이 있는 끝난 항목 [개수]건의 표본입니다: [데이터 붙여
넣기]. 이 표본에서 추정치가 사이클 타임을 예측하는지, 그것이 추정에 얼마나 많은
노력을 들일 가치가 있는지에 대해 무엇을 뜻하는지, 대신 무엇을 시도할 수 있는지
설명해 주세요. 데이터를 넘어서는 결과를 주장하지 마세요. 가정한 내용을 나열해
주세요.

변경 작업과 운영 작업에 걸쳐 용량을 계획합니다.

지난 [기간] 동안 우리 팀은 다음 유형의 항목을 [건수]만큼 끝냈습니다: [계획된
변경, 인시던트, 요청, 개선]. 여유를 남기는 다음 [기간]의 용량 배분을 제안하고,
이를 이해관계자에게 설명하는 방법을 설명해 주세요. 운영 작업이 잘못 분류되고
있는지 감지하는 방법을 제안해 주세요. 업계 비율을 지어내지 마세요. 가정한
내용을 나열해 주세요.

이해관계자와의 예측 검토 초안을 작성합니다.

[작업]에 대한 예측 점검의 안건과 한 쪽짜리 요약 초안을 작성해 주세요. 데이터:
원래 예측 [범위], 현재 상태 [설명], 지난 점검 이후 변경 [목록]. 갱신된 범위,
무엇이 바꿨는지, 범위나 일정의 선택지, 이해관계자가 답해야 할 질문을 포함해
주세요. 쉬운 말을 쓰세요. 가정한 내용을 나열해 주세요.

AI 스킬

핵심 정리

  • 끝난 작업의 흐름에서 예측하고, 단일 날짜 대신 확률이 있는 범위를 제시하십시오.
  • 운영 작업, 개선 시간, 여유를 포함해 실제 용량에 맞춰 계획하십시오.
  • 추정 단위나 벨로시티는 한 팀의 사적인 보조 도구로 다루고 목표나 비교로 쓰지 마십시오.
  • 예측에 점수를 매기십시오. 적중률이 신뢰를 쌓습니다.
  • 전달 목표를 성과로 판단하되, 이해관계자 및 사용자와 함께 하십시오.
  • 팀을 신뢰하고 지원하십시오. 정직한 예측은 불확실성으로 벌받지 않는 사람들에게서 나옵니다.

참고 문헌과 더 읽을거리

  1. Beck, K., et al., Manifesto for Agile Software Development and Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org.
  2. Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
  3. Humble, J., and Farley, D., Continuous Delivery, Addison-Wesley, 2010.
  4. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  5. Cohn, M., Agile Estimating and Planning, Prentice Hall, 2005.
  6. Kahneman, D., and Tversky, A., "Intuitive prediction: biases and corrective procedures," TIMS Studies in Management Science, 12, 1979.
  7. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  8. Wikipedia, Capacity planning.
  9. Wikipedia, Story point.
  10. Wikipedia, Velocity (software development).
  11. Wikipedia, Forecasting.
  12. Wikipedia, Cone of Uncertainty.
  13. Wikipedia, Planning fallacy.
  14. Wikipedia, Goodhart's law.
  15. Wikipedia, Monte Carlo method.