개요와 동기

지표 거버넌스는 측정치를 누가 소유하는지, 무엇을 뜻하는지, 누가 볼 수 있는지, 얼마나 자주 검토하는지, 언제 제거하는지에 관한 가벼운 결정의 집합입니다. 이는 조직에서 데이터의 가용성, 품질, 보안을 더 넓게 관리하는 데이터 거버넌스(data governance)의 가까운 사촌입니다. 지표 거버넌스는 같은 규율을 팀과 리더가 서비스 및 전달 업무를 이끄는 데 쓰는, 작지만 눈에 잘 띄는 숫자 집합에 적용합니다.

필요성은 작고 반복되는 마찰로 나타납니다. 두 팀이 "해결 시간"을 다르게 계산해서 수치를 맞추는 데 회의 한 번을 씁니다. 대시보드 타일을 만든 사람이 직무를 옮기는 바람에 몇 달째 갱신되지 않습니다. 한 팀이 흐름을 진단하려고 만든 측정치를 운영 위원회가 성과 목표로 채택하는데, 이는 앞 주제가 경고한 상황입니다(주제 1.2, 굿하트의 법칙과 지표의 심리학 참조). 이 중 어느 것도 통계 문제가 아닙니다. 모두 소유권 문제이며, 모두 예방 비용이 쌉니다.

애자일과 ITIL의 관점은 강조점이 다르며, 그 차이가 유용합니다. 애자일 관점에서 팀은 자신의 작업용 측정치를 소유하고 회고, 업무 합의, 검토에서 협상합니다. ITIL 4(AXELOS가 2019년에 발간하고 현재 PeopleCert가 발간하는 판)에 문서화된 ITIL 관점은 측정 및 보고를 일반 관리 프랙티스로, 지속적 개선을 자체 역할, 기록, 검토를 가진 프랙티스로 다룹니다. ITIL은 또 서비스 소유자와 프랙티스 소유자가 결과에 책임을 지기를 기대합니다. 두 관점은 맞물립니다. 팀은 작업용 화면을 소유하고, 지명된 서비스 또는 프랙티스 소유자는 보고용 화면을 소유하며, 작은 레지스트리가 둘을 잇습니다.

여기서 쓰는 용어 몇 가지입니다. 지표 소유자는 지표의 정의, 데이터 품질, 사용에 책임을 지는 한 사람입니다. 지표 레지스트리는 사용 중인 지표를 각각의 소유자, 정의, 데이터 원천, 방호책, 검토일과 함께 정리한 짧은 목록입니다. 지표 헌장은 한 지표 집합의 목적, 범위, 역할, 검토 주기를 한 쪽에 적은 진술입니다. 단일 진실 공급원(single source of truth)은 특정 수치를 계산해 내는 하나의 권위 있는 시스템 또는 데이터 집합입니다. 데이터 스튜어드(data steward)는 데이터 영역의 품질과 정의를 돌보며, 작은 조직에서는 지표 소유자가 이 역할을 맡는 경우가 많습니다. RACI 매트릭스(RACI matrix)는 각 활동에 누가 실행하고, 책임지고, 자문하고, 통보받는지를 기록합니다. 데이터 사전(data dictionary)은 데이터 요소와 그 의미의 목록으로, 규모가 커지면 레지스트리의 정의 열이 이것이 됩니다. 최소 권한 원칙(principle of least privilege)은 사람과 시스템이 작업에 필요한 접근 권한만 갖고 그 이상은 갖지 않는다는 원칙입니다. 지속적 개선(continual improvement)은 서비스, 프랙티스, 일하는 방식을 개선하려는 지속적인 노력이며 ITIL 프랙티스이자 애자일 습관입니다. SLA는 서비스 수준 협약이고, ITSM은 IT 서비스 관리입니다.

핵심 원칙

  • 보고하는 모든 지표에 이름이 있는 소유자 한 명이 있습니다. 역할이거나 사람이며 "팀"은 안 됩니다. 공동 소유는 정의를 관리되지 않은 채로 둡니다.
  • 하나의 정의, 하나의 진실 공급원. 시계가 어디서 시작하고 멈추는지를 포함한 정의를 한 번만 쓰고, 수치는 한 곳에서 계산합니다.
  • 결과의 크기에 비례해 거버넌스를 적용하십시오. 팀이 자기 보드를 디버깅하는 데 쓰는 지표에는 한 문장이면 됩니다. 계약, 공개 보고서, 이사회 자료에 들어가는 지표에는 헌장 항목, 검토, 감사 추적이 필요합니다.
  • 접근은 목적을 따릅니다. 누가 어떤 화면을 왜 보는지 정하십시오. 팀의 작업용 화면의 기본 청중은 팀입니다.
  • 주기에 따라 검토하고 증거에 따라 폐기하십시오. 지표에는 수명 주기가 있습니다. 의도적으로 채택하고, 검토하고, 수정하고, 폐기하십시오.
  • 적어 두되 작게 유지하십시오. 한 쪽에 들어가는 레지스트리는 읽힙니다. 정책 매뉴얼은 읽히지 않습니다.
  • 거버넌스는 측정되는 사람들을 위해 일합니다. 지표의 소유자에는 그 지표가 설명하는 일을 하는 사람들이 포함됩니다.

지표 정의

이것들은 서비스가 아니라 지표 운영의 건강을 재는 측정치입니다. 일부러 적게 두었고 레지스트리 자체에서 수집하기 쌉니다. 별도 언급이 없으면 각 기간은 달력상 분기입니다.

지표 정의 공식 단위 데이터 원천 ITIL 프랙티스 애자일 대응 주기
소유권 적용률 이름이 있고 현재 유효한 소유자가 있는 보고 지표의 비율 기간 말에 해당 역할을 여전히 맡고 있는 소유자가 있는 보고 지표 수 / 기간 말의 보고 지표 수. 한 팀의 비공개 보드에서만 쓰는 지표는 제외 퍼센트 지표 레지스트리 측정 및 보고 업무 합의 분기
정의 최신성 합의된 간격 안에 정의를 검토한 보고 지표의 비율 최근 6개월 안에 검토일이 있는 지표 수 / 보고 지표 수. 시계는 마지막으로 기록된 검토에서 시작해 기간 말에 멈춤 퍼센트 지표 레지스트리 변경 로그 측정 및 보고, 지속적 개선 회고 실행 항목 분기
원천 일치율 정확히 하나의 지명된 원천에서 계산하는 보고 지표의 비율 하나의 권위 있는 원천이 있고 알려진 병행 계산이 없는 지표 수 / 보고 지표 수. 병행 계산은 대시보드와 보고서를 표본 조사해 찾음 퍼센트 레지스트리와 대시보드 및 보고서의 표본 측정 및 보고, 서비스 수준 관리 지표에 대한 완료의 정의 분기
폐기율 기간 중 폐기하거나 병합한 지표의 수를 보고된 지표에 대해 나타낸 비율 기간 중 폐기 또는 병합한 지표 수 / 기간 초에 보고된 지표 수. 비공개 팀 화면으로 옮긴 지표는 보고 집합에서 폐기된 것으로 셈 퍼센트 지표 레지스트리 변경 로그 지속적 개선 회고 실행 항목 분기
접근 검토 최신성 제한된 지표 화면 중 간격 안에 청중 목록을 검토한 화면의 비율 최근 6개월 안에 청중을 검토한 제한 화면 수 / 제한 화면 수. 조직 전체에 열린 화면은 제외 퍼센트 접근 목록 또는 BI 도구 권한 내보내기 정보 보안 관리, 측정 및 보고 업무 합의 반기
결정 연결률 레지스트리에서 정보를 주는 결정에 연결된 보고 지표의 비율 기록된 결정 또는 질문이 있는 지표 수 / 보고 지표 수. 결정이 최근 12개월 안에 내려진 경우에만 연결로 셈 퍼센트 지표 레지스트리와 결정 로그 지속적 개선 이해관계자 검토와 개선 성과 분기

이 중 어느 것도 목표가 아닙니다. 레지스트리가 완전한 소유권 적용률을 보이면서도 쓸모없는 지표를 설명하고 있을 수 있으므로, 이 표를 아래의 악용 표와 함께 읽으십시오.

권장 사항

소유권과 레지스트리를 확립하십시오

1. 한 쪽짜리 지표 레지스트리를 유지하십시오. 보고하는 각 지표를 그 질문, 소유자, 정의, 공식과 시계, 단위, 데이터 원천, 청중, 방호책, 마지막 검토일, 예정 검토일과 함께 나열하십시오. 스프레드시트나 버전 관리되는 Markdown 파일이면 충분합니다. 레지스트리는 이 주제에서 가장 유용한 단일 산출물이며, 앞 주제는 이미 그것이 있다고 가정합니다(주제 1.2, 굿하트의 법칙과 지표의 심리학 참조).

2. 지표마다 소유자 한 명을 지명하고 역할을 기록하십시오. 소유자는 정의, 데이터 품질, 이상한 결과의 설명에 책임을 집니다. 데이터와 결정에 가까운 사람을 고르십시오. 흔히 서비스 소유자, 프랙티스 소유자, 팀 리더입니다. 사람뿐 아니라 역할도 기록해야 직무가 바뀌어도 항목이 살아남고 공석이 적용률 수치에 나타납니다.

3. 지표를 소유하는 것과 그것이 재는 일을 소유하는 것을 분리하십시오. 지표 소유자는 지표를 설명하고 유지하지만, 일을 하는 팀이 결과에 계속 책임을 집니다. 이렇게 하면 두 가지 함정을 피합니다. 영향을 줄 수 없는 숫자로 비난받는 소유자, 그리고 다른 사람이 유지한다는 이유로 숫자를 부인하는 팀입니다. 헌장의 짧은 RACI 표가 이를 분명히 해 줍니다.

4. 시계를 포함한 정의를 한 번만 쓰십시오. 레지스트리가 권위 있는 정의를 보관합니다. 무엇을 세는지, 시계가 어디서 시작하고 멈추는지, 어떤 상태가 시계를 멈추는지, 무엇을 제외하는지입니다. 그 지표를 보여 주는 모든 대시보드에서 이 정의로 링크하십시오. 정의를 바꿔야 할 때는 레지스트리에서 먼저 바꾸고 차트에 변경을 표시하십시오(추세의 단절을 보여 주는 방법은 주제 1.6, 서비스 지표를 위한 통계 소양 참조).

5. 각 지표를 한 곳에서 계산하십시오. ITSM 도구, 이슈 트래커, 모니터링 시스템처럼 권위 있는 원천을 고르고 레지스트리에 그렇게 적으십시오. 수치를 재현하는 병행 스프레드시트는 폐기하거나, 아무도 공식 숫자로 착각하지 않게 이름을 바꿔야 합니다. 데이터 계보와 도구는 다음 주제에 속합니다(주제 1.5, 데이터 원천과 계측 참조).

주기와 변경 통제를 정하십시오

6. 결과의 크기에 맞는 일정으로 정의를 검토하십시오. 계약, 규제 보고서, 경영진 자료에 들어가는 지표는 연 2회, 그리고 기반 워크플로가 바뀔 때마다 검토하십시오. 팀 수준의 작업용 측정치는 회고가 검토입니다. 각 검토는 세 가지를 묻습니다. 정의가 여전히 정확한가, 데이터가 여전히 건전한가, 누군가 그 숫자로 무언가를 결정했는가?

7. 정의 변경을 서비스 변경처럼 다루십시오. 누가 변경을 요청했는지, 왜인지, 누구와 협의했는지, 언제 발효되는지를 기록하십시오. 상태 워크플로의 작은 변경이 시간 측정치를 조용히 크게 움직일 수 있습니다. 정의에 대한 가벼운 변경 통제는 의식 없이 변경 활성화의 발상을 빌려 옵니다(서비스 변경에 해당하는 것은 주제 4.3, 변경 활성화 지표 참조).

8. 검토를 지속적 개선과 연결하십시오. 지표 검토는 개선 작업을 낳거나, 행동하지 않겠다는 명시적 결정을 낳아야 합니다. ITIL은 지속적 개선을 개선 기회 레지스트리를 가진 프랙티스로 다루며, 애자일 팀은 회고 실행 항목으로 같은 효과를 얻습니다. 검토가 아무 조치도 폐기도 없이 끝나면 그 지표가 어떤 일이라도 하고 있는지 물으십시오(주제 9.5, 지속적 개선 지표 참조).

9. 지표를 의도적으로 폐기하십시오. "두 검토 주기 동안 결정에 인용되지 않음" 같은 폐기 기준을 정의하고 적용하십시오. 정의와 마지막 값을 보관하고, 무언가 대체했다면 무엇인지 적고, 청중에게 알리십시오. 폐기 로그는 감사인에게는 증거가 되고, 수작업으로 데이터를 유지하던 사람들에게는 안도가 됩니다.

화면과 접근을 통제하십시오

10. 각 화면의 청중을 정하십시오. 대부분의 지표에는 팀의 작업용 화면, 서비스 소유자나 프로그램의 보고용 화면이 있고, 때로는 고객, 규제 기관, 공급업체를 위한 외부 화면이 있습니다. 어떤 청중이 어떤 화면을 받는지 이유와 함께 기록하십시오. 최소 권한 원칙을 지침으로 삼아, 개인 데이터, 보안 세부 사항, 상업적으로 민감한 공급업체 수치가 담긴 화면은 제한하고 나머지는 열어 두어 투명성을 기본값으로 만드십시오.

11. 보고에서 개인 수준 데이터를 제외하십시오. 이 책의 엄격한 규칙은 지표가 사람이 아니라 팀, 서비스, 시스템을 설명한다는 것입니다. 거버넌스는 팀과 서비스 같은 보고 단위를 정하고, 개인 수준 추출은 데이터 스튜어드에게만 허용함으로써 이를 뒷받침합니다. 개인 수준 분석 요청이 오면 기록하고, 그것이 어떤 결정에 쓰이는지 묻고, 팀 수준 또는 시스템 수준의 대안을 제시하십시오(주제 11.3, 두려움을 키우지 않고 지표 도입하기 참조).

악용 방식과 방호책

지표 악용되는 방식 짝을 이루는 방호책 지표 또는 실천
소유권 적용률 100퍼센트를 채우려고 관리자나 메일링 리스트를 소유자로 적고, 지표를 설명하거나 바꿀 수 있는 사람은 없음 각 소유자에게 최근 숫자의 움직임 하나를 설명하게 합니다. 일주일 넘게 답이 없던 질문을 추적합니다
정의 최신성 정의를 읽지 않고 검토일만 갱신함 분기마다 항목 세 개를 표본으로 뽑아 서면 정의를 도구의 실제 구성과 비교합니다
원천 일치율 스프레드시트가 여전히 돌고 서로 어긋나는데도 원천을 권위 있다고 선언함 표본 보고서에서 같은 지표에 대해 서로 다른 수치가 몇 개 나오는지 셉니다. 검토에서 차이를 조정합니다
폐기율 규율 있어 보이려고 하찮거나 쓰이지 않는 지표를 폐기하거나, 새 지표로 셈하려고 이름을 바꿈 폐기 로그에서 무엇이 제거되었는지 검토합니다. 보고 지표의 총수와 결정 연결률을 함께 추적합니다
접근 검토 최신성 기존 청중 목록을 읽지 않고 승인함 목록을 현재 팀 구성원과 역할에 비교합니다. 발견한 삭제 건수를 보고합니다
결정 연결률 필드를 채우려고 "서비스 개선" 같은 모호한 결정을 적음 날짜가 있는 결정 또는 질문을 요구하고, 결정 로그를 표본 검토해 지표가 실제로 참조되었는지 봅니다

건강한 상태란 변하는 레지스트리입니다. 항목에는 질문에 답하는 소유자가 있고, 검토일은 최근 6개월 안에 있으며, 이유가 적힌 폐기 로그가 있고, 사람들이 정보를 주는 결정을 말할 수 있어서 여전히 필요한 지표의 짧은 목록이 있습니다. 모든 필드가 차 있는데 아무것도 변하지 않는 레지스트리는 경고 신호입니다.

상충 관계: 장점과 단점

접근 방식 강점 약점
중앙 지표 조직 일관된 정의와 공유 도구, 감사가 쉬움 느리고 일에서 멀며, 팀마다 달라야 할 측정치를 표준화하고 싶어 함
공유 레지스트리가 있는 연합형 소유권 소유자가 데이터에 가깝고, 레지스트리가 공통 최소선을 유지함 팀 간 품질이 어긋나지 않도록 꾸준한 격려가 필요함
팀 소유 측정치만 빠르고 일에 맞음 정의가 갈라지고, 상위 집계가 신뢰할 수 없게 되며, 지식이 사람과 함께 떠남
기본 공개 접근 신뢰와 공유된 이해를 쌓음 민감하거나 개인 수준의 세부 사항이 노출될 위험
제한된 접근 민감한 데이터를 보호함 도울 수 있는 사람에게서 맥락을 숨기고 의심을 부름

균형은 합의가 필요한 얇은 층, 즉 레지스트리, 공유 정의, 접근 규칙은 중앙에 모으고, 나머지는 모두 연합형으로 두는 것입니다.

팀과 논의할 질문

1. 대시보드에서 가장 많이 인용되는 숫자가 내일 틀려 보인다면 누가 답할까요? 그룹에게 집단이 아니라 사람을 지명해 달라고 하십시오. 여러 이름이 나오거나 하나도 나오지 않으면 그 지표에는 실제로 소유자가 없는 것입니다. 진행자는 지표, 소유자 후보, 소유자가 일을 하는 데 필요한 것(데이터 읽기 권한이나 검토 시간 등)을 기록해야 합니다. 누가 소유자를 확인하고 역할을 레지스트리에 기록할지 합의하며 마무리하십시오.

2. 같은 수치의 두 버전이 지금 어디에 있나요? 같은 지표를 다른 값으로 보여 주는 보고서를 찾아보십시오. 주간 슬라이드와 실시간 대시보드, 또는 공급업체 보고서와 내부 보고서가 그렇습니다. 각각에 대해 범위, 시계, 제외 항목 중 어디에서 차이가 생기는지 물으십시오. 어느 원천이 권위 있는지와 다른 버전을 어떻게 할지 정하십시오. 모두가 공유한다고 가정했던 단어에 서로 다른 작업 정의가 있음이 대화에서 드러나기를 기대하십시오.

3. 하나를 폐기해야 한다면 이번 분기에 어떤 지표를 폐기할까요? 최근 결정에 아무도 인용하지 않은 지표에서 시작하십시오. 그것이 사라지면 무슨 일이 일어나고 누가 알아차릴지 물으십시오. 답이 "아무도"라면 시험 기간 동안 보고 집합에서 빼십시오. 진행자는 폐기를 정상적이고 건강한 일로 다루고 결과를 폐기 로그에 기록해야 합니다.

4. 누가 우리 지표 중 무엇을 보며, 그것은 의도된 것인가요? 지표와 청중(팀, 서비스 소유자, 리더십, 고객, 공급업체, 규제 기관)의 단순한 격자를 그리십시오. 접근이 결정이었던 곳과 그냥 그렇게 된 곳을 표시하십시오. 개인을 비교하는 데 쓰일 수 있는 화면이 있는지 살피십시오. 적어도 하나의 청중 목록을 바꾸는 데 합의하고 다음에 누가 검토할지 정하십시오.

5. 추세를 깨뜨리지 않고 정의를 바꾸려면 어떻게 해야 하나요? 상태 워크플로나 우선순위 척도의 최근 변경을 짚어 보십시오. 누구에게 알렸는지, 차트에 주석을 달았는지, 누군가 옛 값과 새 값을 비교했는지 물으십시오. 팀이 실제로 채울 가벼운 변경 항목 초안을 만드십시오. 계약이나 외부 보고서에 나오는 지표의 변경은 누가 승인할지 합의하십시오.

6. 거버넌스가 부담이 된다면 무엇을 그만둘까요? 거버넌스는 의례로 변질될 수 있습니다. 아무도 확인하지 않는다면 사람들이 현재 방식 중 어느 부분을 건너뛸지, 그 이유가 무엇인지 물으십시오. 답을 저항이 아니라 설계 피드백으로 다루십시오. 진행자는 서로 중복되는 단계, 아무도 읽지 않는 필드, 결정을 낳지 않는 검토를 찾아야 합니다.

네 가지 관점

제품 및 전달 팀

전달 팀은 작업 항목 경과 시간과 사이클 타임 같은 작업용 측정치를 소유하며, 업무 합의에서 정의에 합의해야 합니다. 지표가 포트폴리오 보고서로 올라가면 팀은 소유자, 정의, 청중을 알아야 합니다. 팀은 보고하는 측정치마다 짧은 레지스트리 항목을 두고, 일의 흐름에 더 이상 맞지 않는 정의에 이의를 제기할 권리를 가질 때 가장 큰 가치를 얻습니다(주제 2.1, 흐름 측정치 참조).

서비스 및 운영 팀

서비스 및 운영 팀은 SLA와 운영 검토에 나오는 지표를 맡으므로 정의, 시계, 제외 항목이 계약상의 무게를 갖습니다. 여기서의 소유자는 보통 서비스 소유자와 프랙티스 소유자입니다. 이들은 정의 변경의 증거 추적을 유지하고, 보고된 수치를 ITSM 도구와 정기적으로 대조하고, 운영 결정에 더 이상 정보를 주지 못하는 측정치를 가장 먼저 폐기해야 합니다(주제 5.1, SLA, OLA, XLA 지표 참조).

리더십과 거버넌스

리더는 조건을 정합니다. 누가 지표를 소유하는지, 어떤 화면이 경영진 자료에 도달하는지, 숫자를 어떻게 쓰는지입니다. 레지스트리와 폐기 로그를 요청하고, 대표 수치 뒤의 정의를 읽고, 개인 수준 순위표 요청에는 저항해야 합니다. 거버넌스 기구는 서비스 관리 시스템에 대한 ISO/IEC 20000-1 기대(2018년판 기준)에 맞춰 레지스트리를 검토하고 결정을 기록하는 작은 상시 안건이 필요하며, 이 검토를 규정 준수 연습으로 만들지 않아야 합니다(주제 8.3, 규정 준수와 감사 지표 참조).

고객과 사용자

고객과 사용자는 레지스트리를 거의 보지 못하지만, 서비스 검토의 수치가 자신의 경험과 다를 때 그 부재를 느낍니다. 지표가 고객 대상 보고서나 SLA에 나올 때는 제외 항목을 포함한 정의를 쉬운 말로 볼 수 있어야 합니다. 고객에게는 수치에 이의를 제기할 경로가 있어야 하며 소유자가 답해야 합니다(주제 5.1, SLA, OLA, XLA 지표 참조).

실제 적용: 서비스 관리 사례

한 중견 온라인 소매업체가 서비스 데스크, 제품 팀 셋, 운영 그룹을 운영합니다. 아래의 모든 숫자는 예시입니다.

월간 서비스 검토는 인시던트 해결 시간의 중앙값을 5.1시간으로 보여 줍니다. 같은 ITSM 도구로 만든 제품 팀의 자체 대시보드는 6.4시간을 보여 줍니다. 두 수치는 1년째 돌고 있습니다. 새로 온 서비스 소유자가 누가 이 지표를 소유하는지 묻자 세 가지 다른 답을 받습니다.

소유자는 팀 리더들과 데이터 스튜어드와 함께 두 번의 세션을 들여 보고 지표 14개의 첫 레지스트리를 만듭니다. 그중 5개는 소유자가 없었고 4개는 원천이 둘이었습니다. 해결 시간은 이중 원천 지표 중 하나입니다. 차이는 일시 정지 상태에서 비롯됩니다. 서비스 검토는 "고객 대기" 시간을 제외하고, 팀 대시보드는 제외하지 않습니다. 그룹은 하나의 정의에 합의하고, 서비스 소유자를 지표 소유자로 지명하고, 아무도 이력을 잃지 않도록 한 분기 동안 두 값을 같은 화면에 정의별 표시와 함께 게시합니다. 정의가 바뀌는 지점에는 차트에 주석을 답니다.

첫 분기 검토에서 그룹은 폐기 기준을 적용해 14개 중 3개를 제거하며, 최근 어떤 결정에도 인용되지 않은 월간 티켓 건수 차트도 포함됩니다. 또 해결 시간을 분석가별로 나눈 화면을 제한하고, 데이터 스튜어드를 유일한 보유자로 두고, 대신 팀 수준의 분해를 제공합니다.

두 번째 검토에서 악용 위험이 나타납니다. 소유권 적용률이 100퍼센트에 이르지만, 표본 조사에서 소유자 두 곳이 배포 목록과 데이터를 한 번도 열어 본 적 없는 부서장임이 드러납니다. 그룹은 이들을 이름이 있는 서비스 소유자로 바꾸고, 검토에 방호책 질문을 추가합니다. "소유자가 이 숫자의 마지막 움직임을 설명할 수 있는가?" 적용률은 한 분기 동안 86퍼센트로 떨어지며, 그룹은 이를 정직한 결과로 기록합니다. 로그에 남긴 결정은 방호책이 두 주기 동안 운영될 때까지 적용률 목표를 보류한다는 것입니다.

애자일, AI, 자동화, 분석

애자일

지표 레지스트리를 한 번 하는 설계 연습이 아니라 팀이 무언가를 배울 때 갱신하는 살아 있는 문서로 다루십시오. 실용적인 습관은 지표 소유자, 팀, 이해관계자가 어떤 지표를 유지하고, 바꾸고, 폐기할지 합의하는 짧은 정기 검토입니다. 주의할 점은 잦은 작은 변경이 추세를 깨뜨릴 수 있으므로 각 변경을 이유와 함께 기록해야 한다는 것입니다.

AI

AI 시스템에 대한 지표도 서비스 지표처럼 소유자가 필요하며, 소유자에게는 숫자가 시스템이 사용자에게 해를 끼치고 있다고 말할 때 시스템을 멈출 권한이 필요합니다. AI 지원 작업을 설명하는 지표가 무엇이며 누가 그 품질 짝을 검토하는지 레지스트리에 기록하십시오. 주의할 점은 공급업체가 제공하는 AI 대시보드에 자체 정의가 있으므로, 공급업체의 정의를 인용하고 확인해서 등록해야 한다는 것입니다.

자동화

레지스트리 위생을 자동화하십시오. 소유자, 검토일, 최근 결정 인용이 없는 지표에 표시를 달고 소유자에게 알리십시오. 주의할 점은 아무도 답하지 않는 자동 알림은 잡음이므로, 표시 중 몇 건이 조치로 이어지는지 측정하고 그렇지 않은 것은 폐기해야 한다는 것입니다.

분석

지표 데이터에 대한 접근도 거버넌스의 문제로 다루십시오. 누가 팀 수준 데이터를 볼 수 있는지, 누가 원시 티켓을 볼 수 있는지, 데이터를 얼마나 오래 보관하는지입니다. 레지스트리가 정보를 주는 결정은 무엇을 유지하고, 바꾸고, 폐기할지입니다. 주의할 점은 사람의 행동에 대한 분석이 감시로 넘어갈 수 있으므로, 지표를 팀과 서비스 수준에 두고 적용되는 개인정보 규칙을 확인해야 한다는 것입니다.

부문별 관점

스타트업. 창업자나 리드 엔지니어가 기본적으로 모든 지표를 소유하는 경우가 많습니다. 위험은 정의가 한 사람의 머릿속에만 있다는 것입니다. 공유 문서에 다섯에서 여덟 개 지표의 레지스트리를 두고, 각각에 소유자를 지명하고, 지표가 투자자나 고객 업데이트에 처음 나오는 날 정의를 적으십시오.

소규모 사업. IT를 운영하는 사람이 보통 소유자, 스튜어드, 보고서 독자를 겸합니다. 거버넌스를 한 쪽으로 유지하고, 연 2회 검토하고, 공급업체가 제공한 보고서가 지표를 자체 정의와 다르게 정의할 때는 각별히 주의하십시오. 고객 대상 수치마다 사업 쪽에서 누가 소유하는지 지명하십시오.

대기업. 규모가 공유 층을 필수로 만듭니다. 워크플로가 있는 레지스트리, 분기마다 모이는 가벼운 협의체, 주요 영역마다 데이터 스튜어드 역할을 두십시오. 작업용 측정치에 대한 팀의 자율성을 보존하고, 서비스 종류에 따라 달라야 할 지표를 표준화하는 것을 경계하십시오. 조직에 이미 있는 데이터 거버넌스와 정렬하면 노력을 아낄 수 있습니다.

정부 및 공공 부문. 법정 보고, 감사, 조달 때문에 서면 정의와 변경 기록은 의무입니다. 레지스트리를 감사 산출물로 다루고, 공표된 각 수치에서 소유자와 원천까지 명확한 선을 유지하십시오. 접근 결정에는 법률 및 개인정보 검토가 따르는 경우가 많으므로, 제한된 각 화면의 근거를 기록하십시오(주제 8.5, 규제 및 정부 보고 참조).

비즈니스 케이스: 동기, ROI, TCO

비용은 적고 대부분 시간입니다. 첫 레지스트리를 만드는 데 몇 시간, 분기마다 검토에 한두 시간, 상충하는 원천을 해소하는 데 데이터 스튜어드의 약간의 노력이 필요합니다. 스프레드시트나 버전 관리되는 파일이면 시작하기에 충분하므로 도구 비용은 낮습니다.

수익은 대부분 피한 낭비입니다. 수치를 맞추느라 쓰는 회의가 사라지고, 감사에서 명확한 추적을 찾고, 정의가 적혀 있으므로 새 서비스 소유자의 온보딩이 빨라집니다. 결정은 매달 같은 뜻을 가진 숫자 위에서 이루어지므로 더 좋아집니다. 이런 이점에 대해 자체 데이터 없이 백분율을 인용하지 마십시오. 비즈니스 케이스에 수치가 필요하다면 지난 분기에 상충하는 숫자를 맞추느라 쓴 시간과 기록된 소유자가 없는 지표의 수를 세고, 두 번의 검토 주기 뒤에 다시 세십시오.

안티패턴과 함정

  • 위원회 소유. 집단이 지표를 소유하고 아무도 질문에 답하지 않습니다. 책임 역할 하나와 대리인을 지명하십시오.
  • 무덤이 된 레지스트리. 한 번 만들고 다시는 손대지 않습니다. 검토일을 달력에 넣고 모든 대시보드에 날짜를 표시하십시오.
  • 모든 것의 표준화. 일이 다른 팀에 하나의 정의를 강요하면 어디서도 의미 없는 숫자가 나옵니다. 합의가 필요한 층만 공유하십시오.
  • 조용한 정의 변경. 추세가 깨지고 신뢰가 뒤따릅니다. 모든 변경을 이유와 함께 기록하고 차트에 주석을 다십시오.
  • 폐기 없는 거버넌스. 집합이 늘기만 하고 주의가 얇아집니다. 검토 때마다 폐기 기준을 적용하십시오.
  • 기본 비공개. 측정되는 사람들에게 작업용 화면을 숨기면 의심을 낳습니다. 실제 위험이 있는 것만 제한하고 이유를 설명하십시오.
  • 개인 수준 데이터에 대한 열린 접근. 추출 하나가 며칠 만에 순위표가 될 수 있습니다. 보고 단위를 팀과 서비스로 정하고, 개인 수준 데이터는 스튜어드가 보관하십시오.
  • 규정 준수 연극. 체크리스트를 만족시키려 필드를 채웁니다. 항목을 표본으로 뽑아 진실성을 확인하고 소유자에게 최근 움직임을 설명하게 하십시오.

성숙도 모델

차원 1 시작 2 발전 3 표준화 4 관리 5 조율
소유권과 레지스트리 소유자가 불분명하고 지표가 개인 스프레드시트에 있음 일부 팀이 소유자가 있는 목록을 유지함 보고하는 모든 지표에 이름 있는 소유자와 역할이 있는 하나의 레지스트리 적용률과 최신성을 추세로 보고, 공백이 자원이 투입된 수정으로 이어짐 수치가 경계를 넘는 곳에서 공급업체 및 고객과 레지스트리를 공유함
정의와 변경 통제 정의가 사람마다 다름 일부 계약 지표에 서면 정의가 있음 보고하는 모든 지표에 시계가 있는 서면 정의와 변경 로그가 있음 릴리스 전에 변경이 추세에 미치는 영향을 검토함 정의가 결정에 정보를 주지 못하면 팀과 공급업체가 공동으로 개정함
검토와 폐기 지표가 추가만 되고 제거되지 않음 가끔 정리함 검토 주기와 폐기 기준이 적혀 있음 검토 결과를 개선 작업으로 추적함 폐기와 갱신이 일상적이며 사용자와 팀의 증거에 따라 이루어짐
접근과 청중 우연에 의한 접근 민감한 데이터에 제한된 화면 지표마다 청중이 이유와 함께 나열됨 접근을 주기적으로 검토하고 개인 수준 데이터는 스튜어드가 보관함 측정되는 사람들 및 고객과 함께 청중을 설계함

체크리스트

  • 지표 레지스트리가 있고 보고하는 모든 지표가 나열되어 있다.
  • 보고하는 모든 지표에 이름 있는 소유자와 기록된 역할이 있다.
  • 보고하는 모든 지표에 시작, 종료, 제외 규칙이 있는 서면 정의가 있다.
  • 각 지표에 레지스트리에 명시된 권위 있는 원천이 하나 있다.
  • 각 지표에 검토일과 간격이 기록되어 있다.
  • 정의 변경은 이유와 함께 기록되고 차트에 표시된다.
  • 폐기 기준이 적혀 있고 검토 때마다 적용한다.
  • 각 화면의 청중이 기록되어 있고 제한에는 이유가 있다.
  • 개인의 순위를 매기는 보고 화면이 없으며, 개인 수준 데이터는 데이터 스튜어드가 보관한다.
  • 지난 분기에 레지스트리를 표본으로 뽑아 진실성을 확인했다.

AI 프롬프트

지표 집합에 대한 지표 헌장을 작성합니다.

[서비스 또는 전달 업무 유형]을 제공하는 [팀 또는 서비스 이름]을 위한 한 쪽짜리
지표 헌장 초안을 작성해 주세요. 지표 집합: [지표 목록]. 청중: [청중]. 목적,
명시적인 비목표, 소유자·데이터 스튜어드·검토자에 대한 RACI 표(역할: [역할]),
검토 주기, 폐기 기준을 포함해 주세요. 내가 쓴 내용에만 근거해 초안을 작성하세요.
지표, 목표, 기준 값을 지어내지 마세요. 가정한 내용과 헌장을 완성하기 위해
내가 답해야 할 질문을 나열해 주세요.

같은 지표의 두 버전 사이의 충돌을 찾습니다.

같은 지표여야 할 [지표 이름]의 설명 두 가지가 있습니다. 버전 A, 출처 [출처 A]:
[설명과 공식]. 버전 B, 출처 [출처 B]: [설명과 공식]. 무엇을 세는지, 시계가
어디서 시작하고 멈추는지, 어떤 상태가 시계를 멈추는지, 무엇을 제외하는지를
기준으로 비교해 주세요. [값 A]와 [값 B]의 차이를 설명할 수 있는 차이점은
무엇인지 설명하고, 소유자에게 할 질문을 제안해 주세요. 내가 주지 않은 값은
추측하지 마세요. 가정한 내용과 판단할 수 없었던 것을 나열해 주세요.

지표 레지스트리의 공백을 검토합니다.

아래는 필드 [필드 목록]이 있는 우리 지표 레지스트리의 일부입니다. 소유자가 없는
항목, 검토일이 없거나 [간격]보다 오래된 항목, 원천이 둘 이상인 지표, 연결된
결정이 없는 지표, 개인 수준 데이터를 노출할 수 있는 화면을 검토해 주세요.
개인이 아니라 지표별 패턴을 보고해 주세요. 우리 지표에 대한 사실을 지어내지
마세요. 어떤 발견이 텍스트에서 확실하고 어떤 것이 추측인지 알려 주고, 가정한
내용을 나열해 주세요.

[개인 정보를 제거한 레지스트리 일부를 붙여 넣기]

폐기 검토를 계획합니다.

우리는 [간격]마다 지표를 검토합니다. 폐기 기준은 [기준]입니다. 아래 각 지표에
대해, 내가 제공하는 메모를 사용해 폐기, 유지, 병합, 재설계 중 하나를 한 줄
이유와 소유자에게 할 질문과 함께 제안해 주세요: [마지막 인용일과 소유자 역할이
있는 지표들]. 또 각 폐기를 [청중]에게 알리는 방법도 제안해 주세요. 사용 데이터를
지어내지 마세요. 가정한 내용과 권고를 바꿀 수 있는 정보를 나열해 주세요.

AI 스킬

핵심 정리

  • 거버넌스는 숫자가 시간이 지나도 같은 뜻을 갖게 하며, 한 쪽짜리 레지스트리가 그 핵심입니다.
  • 보고하는 각 지표에 책임 소유자 한 명을 지명하고, 사람뿐 아니라 역할도 기록하십시오.
  • 시계를 포함한 하나의 정의를 쓰고, 한 곳에서 계산하고, 모든 변경을 기록하십시오.
  • 거버넌스의 무게를 지표의 결과 크기에 맞추십시오.
  • 누가 어떤 화면을 보는지 의도적으로 정하고, 개인 수준 데이터는 보고에서 제외하고, 증거에 따라 지표를 폐기하십시오.

참고 문헌과 더 읽을거리

  1. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  2. Strathern, M., "'Improving ratings': audit in the British University system," European Review, 5(3), 1997.
  3. Muller, J. Z., The Tyranny of Metrics, Princeton University Press, 2018.
  4. DAMA International, DAMA-DMBOK: Data Management Body of Knowledge, 2nd edition, Technics Publications, 2017.
  5. AXELOS, ITIL Foundation: ITIL 4 Edition, TSO, 2019. Summarized, not reproduced.
  6. ISO/IEC 20000-1:2018, Information technology, Service management, Part 1: Service management system requirements, International Organization for Standardization.
  7. Wikipedia, Data governance.
  8. Wikipedia, Single source of truth.
  9. Wikipedia, Data steward.
  10. Wikipedia, RACI matrix.
  11. Wikipedia, Data dictionary.
  12. Wikipedia, Principle of least privilege.
  13. Wikipedia, Continual improvement process.