도구 지형
답을 얻어야 할 질문과 신뢰할 수 있는 데이터에 맞춰 도구를 고르고, 데이터를 이식 가능하게 유지하며, 숫자를 읽을 가치가 있게 만드는 습관보다 플랫폼에 덜 쓰십시오.
개요와 동기
도구는 지표 프로그램이 가장 자주 잘못되는 곳이며, 서로 반대되는 두 방향으로 그렇습니다. 어떤 조직은 큰 분석 플랫폼을 먼저 사고 나서야 합의된 정의도, 깨끗한 데이터도, 독자도 없음을 뒤늦게 발견합니다. 다른 조직은 한 사람만 이해하는 스크립트와 스프레드시트 더미를 만들고, 그 사람이 떠나면 프로그램이 끝납니다. 둘 다 도구에서 시작해 도구가 답하려던 질문을 무시합니다.
지형은 붐비고 빠르게 바뀌므로 이 주제는 일부러 공급업체 중립적입니다. 도구의 종류, 그 사이의 데이터 흐름, 구축과 구매 사이의 상충 관계, 선정 기준을 설명합니다. 제품 이름은 빨리 낡고 책은 현재의 기능과 가격을 알려 주는 나쁜 안내자이므로 제품을 명명하지 않습니다. 측정의 원칙은 공급업체에 따라 바뀌지 않습니다. 무엇을 측정하는지, 데이터가 어디서 오는지, 누가 소유하는지, 어떻게 읽힐지를 아십시오.
서비스 지표 프로그램이 필요로 하는 데이터의 대부분은 이미 기록 시스템에 있습니다. IT 서비스 관리 도구에는 인시던트, 요청, 문제, 변경, 구성 레코드가 있습니다. 소스 제어, 빌드, 시험, 배포 시스템에는 엔지니어링 작업의 이력이 있습니다. 모니터링 및 관측 가능성 시스템에는 가용성, 지연, 오류 데이터가 있습니다. 설문 도구, 재무 시스템, 인사 시스템, 계약 저장소가 나머지를 가집니다. 지표 프로그램은 그 안에서 수행되는 일을 방해하지 않고 이 원천들을 연결합니다(주제 1.5, 데이터 원천과 계측 참조).
원천에서 분석할 수 있는 곳으로 데이터를 옮기는 것이 데이터 파이프라인이며, 고전적인 패턴은 추출, 변환, 적재입니다. 원천에서 읽고, 모양을 바꾸고 정제하고, 저장소에 씁니다. 저장소는 분석을 위해 조직된, 여러 시스템에서 온 데이터의 통합 저장소인 데이터 웨어하우스일 수 있습니다. 프로그램은 한 소프트웨어가 다른 소프트웨어에 정의된 방식으로 데이터를 요청하는 방법인 애플리케이션 프로그래밍 인터페이스를 통해 이 시스템에 닿습니다. 흘러가는 것의 품질이 모든 차트의 품질을 정합니다. 데이터 품질은 정확성, 완전성, 일관성, 시의성을 포괄하며, 그것을 지탱하는 규율이 데이터 거버넌스입니다.
재무 측면은 신중함이 필요합니다. 도구의 총소유비용에는 라이선스, 인프라, 통합, 교육, 관리, 떠나는 비용이 들어갑니다. 공급업체 종속은 공급업체를 바꾸는 비용이 너무 커서 고객이 사실상 묶이는 상황입니다. 지표 프로그램은 정의, 이력, 대시보드가 도구 안에 쌓이고 나중에 꺼내기 어렵기 때문에 특히 노출되어 있습니다.
애자일의 목표가 접근을 형성합니다. 지속적 전달이 프로그램에 적용됩니다. 한 팀을 위한 한 원천에서 한 관점까지의 가장 얇은 작동 경로를 세우고, 쓰임에서 배우고, 확장하십시오. 이해관계자의 지속적 참여는 숫자를 쓸 사람들이 도구 선택에 참여한다는 뜻입니다. 지속적 개선과 지속적인 발전은 도구가 바뀔 것으로 기대한다는 뜻이므로 완벽함보다 이식성이 더 중요합니다. 지속 가능한 속도는 프로그램이 측정하는 업무를 굶기는 데이터 엔지니어링 프로젝트가 되지 않는다는 뜻입니다. 그리고 의욕 있는 개인은 위에서 부과된 도구, 특히 감시처럼 느껴지는 도구보다 스스로 고르는 데 도움을 주고 이해하는 도구로 더 나은 일을 합니다(주제 11.3, 두려움을 키우지 않고 지표 도입하기 참조).
이 주제는 대시보드 설계 지침(주제 11.1, 서비스 지표 대시보드 설계 참조)과 1부의 거버넌스 주제에 기댑니다.
핵심 원칙
- 도구보다 질문이 먼저입니다. 질문과 측정치를 먼저 쓰고, 그것에 어떤 도구가 필요한지 보십시오.
- 기록 시스템을 쓰십시오. 일이 일어나는 곳에서 데이터를 가져오고 사람들에게 두 번 입력하라고 요구하지 마십시오.
- 정의를 도구 밖에 두십시오. 플랫폼이 바뀌어도 살아남는 평범하고 이식 가능한 형태로 지표 정의를 유지하십시오.
- 이식 가능한 데이터를 선호하십시오. 데이터를 개방 형식과 문서화된 인터페이스로 저장하고 빠져나갈 길을 유지하십시오.
- 얇게 시작해 키우십시오. 한 원천, 한 관점, 한 팀에서 시작해 확장하십시오.
- 전체 비용을 세십시오. 라이선스는 통합, 데이터 정제, 유지에 드는 비용의 일부일 뿐입니다.
- 사람을 보호하십시오. 도구는 팀과 서비스로 집계하고, 접근 규칙을 강제하고, 감시를 어렵게 만들어야 합니다.
- 파이프라인을 서비스로 다루십시오. 소유자, 모니터링, 시험, 실패를 처리하는 방법이 필요합니다.
지표 정의
아래 측정치는 지표 도구와 그 데이터 공급의 건강을 설명합니다. 인프라를 정직하게 유지하려는 프로그램 팀을 위한 것이며 사람을 평가하는 데 쓰지 않습니다.
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 |
|---|---|---|---|---|---|---|---|
| 원천 포괄률 | 합의된 측정치에 필요한 기록 시스템 중 지표 저장소에 자동으로 공급하는 것의 비율 | 연결되고 시험된 원천 / 합의된 측정치에 필요한 원천 | 퍼센트 | 원천 목록, 파이프라인 구성 | 정보 및 기술 관리, 서비스 구성 관리 | 파이프라인의 지속적 전달 | 분기 |
| 파이프라인 신뢰성 | 점검을 통과하며 제시간에 완료되는 예약된 데이터 적재의 비율 | 점검을 통과하며 제시간에 한 적재 / 예약된 적재 | 퍼센트 | 파이프라인 로그와 시험 결과 | 모니터링 및 이벤트 관리 | 자동화된 시험과 빠른 피드백 | 주 |
| 새 측정치까지의 시간 | 새 측정치에 대해 승인된 요청부터 정의 카드와 함께 이용할 수 있게 되기까지 경과한 시간 | 승인부터 발표까지의 일수, 중앙값과 85번째 백분위수 | 일 | 요청 및 릴리스 레코드 | 서비스 요청 관리, 변경 활성화 | 가치의 작은 증분 | 분기 |
| 조정률 | 표본 점검에서 지표 저장소와 원천 시스템이 일치하는 핵심 수치의 비율 | 허용 오차 안에서 일치하는 수치 / 점검한 수치 | 퍼센트 | 조정 점검 | 정보 및 기술 관리 | 신뢰할 수 있는 피드백 | 월 |
| 수작업 노력 비중 | 반복 보고서에 쓴 노력 중 수작업 수집과 정제에 쓴 비율 | 수작업 단계의 시간 / 반복 보고서의 총 시간 | 퍼센트 | 시간 추정, 팀 설문 | 지속적 개선 | 토일 제거 | 분기 |
| 이탈 준비도 | 정의, 이력, 대시보드를 문서화된 사용 가능한 형태로 내보낼 수 있는지 | 시험되고 완전한 내보내기 / 계획한 내보내기 시험 | 퍼센트 | 내보내기 시험 기록 | 공급업체 관리, 서비스 연속성 관리 | 지속 가능한 선택 | 연 |
| 지원 팀당 도구 비용 | 프로그램 도구의 연간 전체 비용을 그것이 섬기는 팀으로 나눈 값 | (라이선스 + 인프라 + 유지 노력) / 섬기는 팀 | 팀당 통화 | 재무 및 노력 기록 | 서비스 재무 관리 | 지속 가능한 속도 | 연 |
원천은 존재하는 것이 아니라 합의된 측정치가 필요로 하는 것으로 세어, 관련 없는 시스템을 연결해 포괄률을 올리지 못하게 하십시오. 조정은 표본과 허용 오차를 미리 고르는 것을 요구합니다. 지원 팀당 도구 비용은 낮추려는 목표가 아니라 선택지를 비교하는 데 쓰는 서술적 수치입니다. 파이프라인을 유지하는 사람들의 노력을 포함합니다.
권장 사항
무엇이 필요한지 결정하십시오
1. 요구 사항을 질문과 측정치로 쓰십시오. 프로그램이 공표하기로 합의한 측정치(주제 11.1, 서비스 지표 대시보드 설계 참조), 각각이 필요로 하는 원천, 각각이 얼마나 신선해야 하는지, 누가 볼 수 있는지, 이력을 얼마나 오래 보관해야 하는지를 나열하십시오. 필수 사항과 선호를 구별하십시오. 두 쪽의 짧은 문서가 긴 제안 요청서보다 낫습니다.
2. 이미 가진 것을 목록으로 만드십시오. 많은 조직이 서비스 관리, 엔지니어링, 모니터링 도구에 쓰지 않는 분석 기능을 갖고 있습니다. 많은 조직에 이미 필요의 일부에 답하는 스프레드시트, 스크립트, 보고서가 있습니다. 이것들이 무엇을 할 수 있는지 보는 데서 시작하십시오. 가장 싼 도구는 이미 값을 치렀고 이미 이해하는 것입니다.
3. 도구보다 데이터를 먼저 점검하십시오. 각 원천에 대해 데이터가 완전한지, 일관되게 입력되는지, 인터페이스로 접근할 수 있는지 확인하십시오. 도구는 아무도 쓰지 않는 인시던트 범주, 사후에 만든 변경 레코드, 덮어써진 타임스탬프를 고칠 수 없습니다. 가장 가치 있는 초기 작업의 일부는 원천에서 데이터 수집을 고치는 것입니다(주제 7.4, 구성 및 CMDB 품질 지표 참조).
구축, 구매, 또는 결합
4. 구축과 구매를 전체 비용과 적합성으로 비교하십시오. 분석 플랫폼이나 패키지된 엔지니어링 분석 제품을 사면 이미 만들어진 커넥터, 차트, 지원을 얻지만, 라이선스, 고정된 세계 모델, 의존이라는 값을 치릅니다. 파이프라인과 관점을 구축하면 적합성과 통제를 얻지만 엔지니어링 시간과 유지라는 값을 치릅니다. 대부분의 조직은 결합하게 됩니다. 충분히 좋은 곳에서는 내장 보고를 쓰고, 관점에는 범용 분석 도구를 쓰고, 달리 맞는 것이 없는 곳에는 얇은 커넥터를 구축합니다.
5. 실제 데이터로 프로토타입을 시험하십시오. 약속하기 전에 실제 데이터와 실제 사용자로 두세 개의 자체 측정치를 가지고 시간을 제한한 시험을 실행하십시오. 연결에 걸린 시간, 도구가 정의를 얼마나 잘 다뤘는지, 분포와 백분위수를 보여 줄 수 있었는지, 접근을 어떻게 통제했는지 점검하십시오. 마케팅 시연은 깨끗한 데이터를 쓰지만 당신의 데이터는 그렇지 않습니다.
6. 들어가기 전에 출구를 계획하십시오. 정의, 이력, 대시보드를 어떻게 내보낼 수 있는지 묻고 시험하십시오. 개방 인터페이스와 표준 형식이 있는 도구를 선호하고, 지표 정의와 정제된 데이터의 자체 사본을 유지하십시오. 떠나는 비용은 머무는 비용의 일부이며, 믿을 만한 출구는 협상 위치를 개선합니다(주제 8.4, 공급업체와 계약 지표 참조).
분명한 기준으로 선택하십시오
7. 공급업체 중립적인 선정 기준을 쓰십시오. 유용한 기준은 다음과 같습니다. 필요한 데이터 원천에 유지되는 커넥터가 있는가? 정의를 쓰고, 버전을 매기고, 검토할 수 있는가? 평균과 건수뿐 아니라 분포, 백분위수, 추세를 보여 줄 수 있는가? 팀과 서비스로 집계하며 개인 수준의 관점을 제한할 수 있는가? 역할 기반 접근과 감사를 지원하는가? 데이터를 개방 형식으로 내보낼 수 있는가? 공급업체는 변경, 장애, 보안 인시던트를 어떻게 처리하는가? 3년 뒤 예상하는 규모에서 비용은 얼마인가?
8. 내장된 점수 매기기를 경계하십시오. 일부 도구는 복합 점수, 사람의 순위, "생산성" 지수를 기본으로 제공합니다. 이것들은 도입하기 쉽고 변호하기 어렵습니다(주제 1.2, 굿하트의 법칙과 지표의 심리학 참조). 그런 기능을 끌 수 있는지 확인하고, 무엇이든 켜기 전에 정책을 정하십시오.
9. 쓸 사람들을 참여시키십시오. 팀에게 자신의 데이터로 후보로 좁힌 선택지를 써 보라고 하십시오. 그들의 질문이 요구 사항 문서가 드러내지 못한 한계를 드러낼 것입니다. 보안, 개인정보, 재무, 조달을 일찍 포함하십시오(주제 8.1, 보안 인시던트와 취약점 지표 참조).
파이프라인을 서비스로 운영하십시오
10. 파이프라인을 자동화하고, 시험하고, 모니터링하십시오. 데이터 적재를 다른 운영 서비스처럼 다루십시오. 건수, 범위, 중복, 신선도에 대한 자동 점검을 실행하십시오. 실패에 경보를 두고 대시보드에 데이터 품질 상태를 보여 주십시오. 변환 로직에 버전을 매기고 그 변경을 코드처럼 검토하십시오(주제 5.5, 모니터링과 경보 품질 지표 참조).
11. 정의의 카탈로그를 유지하십시오. 각 측정치의 정의, 공식, 원천, 소유자, 한계가 있는 공유 카탈로그를 유지하십시오. 평문 파일의 저장소, 데이터 카탈로그 도구, 위키일 수 있습니다. 중요한 것은 그것이 의미의 진실 원천이며 대시보드가 거기서 읽거나 거기에 연결된다는 것입니다(주제 1.4, 지표 거버넌스와 소유권 참조).
12. 매년 도구를 검토하십시오. 해마다 도구에 드는 비용, 프로그램이 쓰는 부분, 수작업이 남은 곳, 존재하는 더 새로운 선택지를 점검하십시오. 아무도 쓰지 않는 것은 폐기하십시오. 프로그램이 성숙함에 따라 구축 대 구매의 균형을 재고하십시오. 변화를 작업의 정상적인 일부로 계획하십시오.
악용 방식과 방호책
| 지표 | 악용되는 방식 | 짝을 이루는 방호책 지표 또는 실천 |
|---|---|---|
| 원천 포괄률 | 쉽거나 관련 없는 원천을 연결함, 쓸 만한 데이터를 싣지 않는 연결을 셈 | 합의된 측정치로 세기, 원천별 데이터 완전성 점검 |
| 파이프라인 신뢰성 | 적재가 항상 통과하도록 점검을 느슨하게 함, 적재를 덜 예약함 | 점검의 강도 검토, 조정과 원천 행 수 추적 |
| 새 측정치까지의 시간 | 정의나 시험 없이 발표함, 새 측정치로 치는 범위를 좁힘 | 완료에 정의 카드와 조정 점검을 요구 |
| 조정률 | 점검하기 쉬운 수치를 고름, 놓친 뒤에 허용 오차를 넓힘 | 점검 전에 표본을 고름, 허용 오차를 미리 고정, 어려운 수치 포함 |
| 수작업 노력 비중 | 수작업을 축소해 말함, 다른 예산에 노력을 숨김 | 일하는 사람에게 묻기, 각 보고 주기 말미에 쓴 시간과 비교 |
| 이탈 준비도 | 부분적인 내보내기를 시험함, 문서화된 계획을 준비도로 셈 | 표본을 다른 도구로 완전히 복원해 보기, 정의와 이력 검증 |
| 지원 팀당 도구 비용 | 유지 노력을 제외함, 서류상으로 팀을 더함 | 직원 시간 포함, 자신의 관점을 적극 쓰는 팀을 셈 |
건강한 수치는 제시간에 도착해 원천과 조정되는 데이터, 정의와 함께 발표되는 새 측정치, 줄어드는 수작업 노력, 적어도 한 번은 시험한 출구를 보여 줍니다.
상충 관계: 장점과 단점
| 접근 방식 | 강점 | 약점 |
|---|---|---|
| 각 도구의 내장 보고 | 싸고, 이미 있고, 이해함 | 사일로, 도구 간 일관되지 않은 정의 |
| 한 공급업체의 단일 제품군 | 통합됨, 계약 하나 | 종속, 당신의 모델이 아니라 공급업체의 모델에 맞음 |
| 패키지된 엔지니어링 분석 제품 | 빠른 시작, 준비된 커넥터 | 고정된 모델, 개인 수준 점수 매기기 위험, 규모에서의 비용 |
| 범용 분석 및 시각화 도구 | 유연함, 폭넓은 기술을 구할 수 있음 | 데이터 공급과 설계 기술이 필요함 |
| 변환 계층이 있는 웨어하우스 | 강한 통제, 원천에 걸친 연결 | 엔지니어링 노력, 소유권이 필요함 |
| 스프레드시트와 스크립트 | 시작이 빠름, 라이선스 없음 | 취약함, 개인에게 의존함, 감사하기 어려움 |
| 오픈 소스 스택 | 통제, 라이선스 비용 없음 | 유지 노력, 지원이 당신에게 달림 |
| 손으로 수집한 지표 | 도구 없이 작동함 | 느림, 오류가 나기 쉬움, 지속하기 어려움 |
산문의 답은 이미 가진 것에서 시작하고, 실제 질문에 답하는 가장 얇은 연결을 더하고, 정의와 데이터를 이식 가능하게 유지하고, 더 가벼운 것이 결정을 분명히 제한할 때만 더 무거운 도구로 옮기는 것입니다.
팀과 논의할 질문
1. 우리가 매달 손으로 만드는 숫자는 무엇이며, 멈추려면 무엇이 필요한가요? 수작업 보고서와 걸리는 시간을 나열하십시오. 각각의 원천과 인터페이스가 있는지 찾으십시오. 진행자는 어떤 보고서를 그냥 버릴 수 있는지 물어야 합니다. 자동화할 것 하나와 폐기할 것 하나에 합의하십시오.
2. 현재 보고 도구가 내일 사라진다면 우리는 무엇을 잃을까요? 그 안에만 있는 정의, 이력, 대시보드를 명명하십시오. 그중 어느 것을 내보낼 수 있는지 점검하십시오. 사본을 어디에 둘지 합의하십시오.
3. 우리 시스템의 데이터 중 가장 덜 신뢰하는 것은 무엇이며, 왜인가요? 입력 습관, 기본값, 덮어써진 필드를 보십시오. 각 왜곡이 우리가 공표하는 측정치에 얼마나 영향을 주는지 추정하십시오. 가장 적은 노력으로 가장 많은 신뢰를 더할 원천 수정에 합의하십시오.
4. 도구가 사람들이 볼 수 있게 하는 것 중 우리가 원하지 않는 것은 무엇인가요? 개인 수준의 관점, 활동 로그, 순위를 점검하십시오. 무엇을 제한하거나 끌지 결정하고, 누가 그 기능을 쓰기 전에 규칙을 적어 두십시오.
5. 새 측정치를 더하는 데 얼마나 걸리며, 무엇이 우리를 늦추나요? 최근 요청을 승인부터 이용 가능까지 추적하십시오. 기다림을 표시하십시오. 승인, 빠진 정의, 수작업 정제처럼 제거할 것에 합의하십시오.
6. 한 팀이 1년 동안 이 도구에 치르는 전체 비용은 얼마인가요? 라이선스, 인프라, 통합, 교육, 유지하는 사람들의 시간을 더하십시오. 그것이 개선한 결정과 비교하십시오. 무엇에 대한 지불을 멈출지 논의하십시오.
네 가지 관점
제품 및 전달 팀
팀은 추가 입력 없이 일에서 나오는 데이터와 자신의 질문에 답하는 관점을 원합니다. 도구를 고르고 시험하는 것을 돕고, 자신의 측정치의 정의를 소유하고, 개인의 순위를 매기는 기능을 거부해야 합니다. 그들의 시간이 가장 희소한 입력이며, 일을 두 번 기록하라고 요구하는 도구는 저항을 받을 것입니다.
서비스 및 운영 팀
운영 팀은 원천과 흔히 파이프라인을 운영합니다. 파이프라인을 모니터링과 시험이 있는 서비스로 다루고, 원천 데이터 필드를 신뢰할 수 있게 유지하고, 커넥터를 깨뜨릴 기록 시스템의 변경에 표시해야 합니다. 숫자가 틀릴 때 가장 먼저 보는 사람들입니다.
리더십과 거버넌스
리더는 프로그램에 자금을 대고 기대를 정합니다. 라이선스 가격이 아니라 총비용을 요청하고, 이식성과 출구를 요구하고, 정의 문제를 해결하려고 플랫폼을 사는 것에 저항하고, 개인정보와 접근 규칙을 고집해야 합니다. 소박한 시작을 받아들이고 그것이 개선하는 결정으로 판단해야 합니다.
고객과 사용자
고객과 사용자는 도구를 거의 보지 못하지만 그 결과와 함께 삽니다. 그들에 대한 데이터가 저장되고, 결합되고, 분석됩니다. 무엇이 수집되고, 얼마나 보관되고, 누가 보고, 어떻게 보호되는지에 대한 분명한 규칙을 가질 자격이 있습니다. 측정치가 그들의 피드백에 기댈 때 도구는 동의와 익명성을 존중해야 합니다.
실제 적용: 서비스 관리 사례
한 지역 물류 회사에는 서비스 관리 도구, 소스 제어 및 배포 시스템, 모니터링 플랫폼, 설문 도구가 있고, 각각이 자체 보고서를 만듭니다. 서비스 관리 책임자는 12개 팀의 서비스 건강에 대한 하나의 관점을 원합니다. 한 공급업체가 3년 계약으로 올인원 분석 플랫폼을 제안합니다. 아래 수치는 예시입니다.
서비스 관리 책임자는 먼저 팀과 리더가 대시보드 세션에서 합의한 질문과 14개의 측정치를 씁니다. 존재하는 것의 목록을 만듭니다. 서비스 관리 도구는 인터페이스로 인시던트와 변경 데이터를 내보낼 수 있고, 배포 시스템은 배포 타임스탬프를 제공하고, 모니터링 플랫폼은 목표에 대한 가용성을 보고합니다. 그는 팀 대표 소규모 그룹에게 두 선택지를 실제 데이터로 세 측정치에 대해 시험해 달라고 요청합니다. 공급업체의 플랫폼, 그리고 범용 시각화 도구를 작은 데이터 저장소 및 얇은 커넥터와 결합한 것입니다.
시험에서 차이가 나타납니다. 플랫폼은 이틀 만에 모든 원천에 연결되었지만 리드 타임을 평균으로 계산하고 높은 백분위수를 보여 줄 수 없었으며, 끌 수 없는 내장 "팀 생산성 점수"가 있었고, 대시보드 정의를 내보내면 다른 어떤 도구도 읽을 수 없는 파일이 나왔습니다. 결합은 연결에 11일이 걸렸지만 중앙값과 백분위수를 보여 주었고, 정의를 저장소의 평문으로 유지했으며, 데이터 저장소에서 개인 수준의 필드를 제한했습니다. 그룹은 또 변경 레코드의 30퍼센트가 배포 뒤에 만들어졌음을 발견하는데, 그래서 어떤 도구가 읽든 리드 타임은 틀렸습니다. 원천의 입력 습관을 고치는 것이 첫 작업이 됩니다.
회사는 결합을 선택합니다. 원천 포괄률은 두 분기에 걸쳐 필요한 8개 원천 중 3개에서 7개로 오릅니다. 파이프라인 신뢰성은 점검을 통과하며 제시간에 한 적재 71퍼센트에서 시작해, 팀이 시험과 실패 경보를 더한 뒤 96퍼센트에 이릅니다. 새 측정치까지의 시간은 중앙값 31일에서 9일로 줄어듭니다. 월간 보고서의 수작업 노력은 약 40시간에서 6시간으로 줄어듭니다. 한 이사가 공급업체 플랫폼의 생산성 점수를 더해 팀의 단일 순위를 낼 수 있는지 묻습니다. 서비스 관리 책임자는 주제 1.2의 분석을 설명하고, 회사의 다른 곳에서 비슷한 점수를 썼을 때 무슨 일이 있었는지 보여 주고, 현재의 균형 잡힌 관점을 제안합니다. 결정은 기록되고, 점수 기능은 그것이 있는 모든 도구에서 비활성화됩니다.
애자일, AI, 자동화, 분석
애자일
실제 팀과 실제 질문으로 작은 실험으로 도구를 고르고 방향을 바꿀 수 있는 능력을 유지하십시오. 주의할 점은 일찍 내린 큰 플랫폼 결정이 팀이 무엇이 필요한지 배우기 전에 정의를 고정한다는 것입니다.
AI
이제 많은 분석 및 서비스 관리 도구에 AI 기능이 들어 있습니다. AI가 무엇을, 어떤 데이터로, 어떤 조건에서 하는지, 출력을 어떻게 점검하는지, 어떻게 끄는지 묻고, AI 기능을 다른 사용처럼 측정하십시오(주제 10.5, AI 거버넌스와 위험 지표 참조). 주의할 점은 기본으로 켜진 AI 기능이 보고서를 조용히 바꿀 수 있으므로 매 릴리스마다 공급업체에 물어야 한다는 것입니다.
자동화
문서화된 인터페이스로 데이터를 자동으로 수집하게 하고 데이터를 이식 가능하게 유지하는 도구를 선호하십시오. 통합을 실패와 새 측정치까지의 시간으로 측정하십시오. 주의할 점은 독점 커넥터가 데이터를 가져가기 어렵게 만들 수 있으므로 내보내기를 시험해야 한다는 것입니다.
분석
도구를 원천 포괄률, 조정, 새 질문에 답하는 시간으로 판단하십시오. 이는 어떤 도구를 채택하고, 유지하고, 떠날지에 정보를 줍니다. 주의할 점은 시연 데이터는 깨끗해 보이므로 자신의 지저분한 데이터로 시험해야 한다는 것입니다.
부문별 관점
스타트업. 제품과 기존 도구가 이미 제공하는 것을 쓰십시오. 스프레드시트와 쓰는 도구의 내장 보고서가 초기 질문 대부분에 답할 수 있습니다. 질문이 안정되고 수작업이 아프기 전에는 데이터 플랫폼에 저항하십시오. 나중에 옮기기 쉽도록 지표 정의를 적어 두십시오.
소규모 사업. 측정치가 적고 시스템이 적으면 도구도 단순합니다. 내장 보고서와 스프레드시트로 충분한 경우가 많습니다. 주된 위험은 한 사람의 머릿속에만 있는 데이터와 내보내기가 없는 도구입니다. 떠날 수 있는 제품을 고르고 정의를 적어 두십시오.
대기업. 많은 시스템, 많은 팀, 많은 정의는 통제되는 데이터 저장소, 정의의 카탈로그, 계층적 관점을 요구합니다. 모든 보고서를 만드는 중앙 팀보다 연합적 소유가 더 잘 작동합니다. 종속, 접근 통제, 개인정보, 공급업체 평가에 주의를 기울이고, 파이프라인을 서비스로 제공하는 작은 플랫폼 팀을 고려하십시오.
정부 및 공공 부문. 조달 규칙, 데이터 주권, 접근성이 도구 선택에 영향을 줍니다. 계약이 길고 행정부가 바뀌므로 개방 표준과 이식성이 가치가 있습니다. 보안 평가, 기록 보존, 공개 규칙에 대비하고 호스팅과 조달에 대한 현행 지침을 확인하십시오(주제 8.5, 규제 및 정부 보고 참조).
비즈니스 케이스: 동기, ROI, TCO
비용에는 라이선스나 구독, 인프라, 통합과 커넥터 작업, 데이터 정제, 정의와 카탈로그 작업, 교육, 지원, 파이프라인을 건강하게 유지하는 반복 노력이 포함됩니다. 구축 선택지에는 과소평가하기 쉬운 엔지니어링 비용이 따르고, 구매 선택지에는 규모와 함께 커지는 요금과 떠나는 비용이 따릅니다.
수익은 절약한 보고 노력, 더 빠른 답, 숫자에 대한 더 적은 분쟁, 신뢰할 수 있는 데이터로 내린 더 나은 결정에서 옵니다. 자체 데이터로 사례를 만드십시오. 지금 수작업 보고서에 쓰는 시간, 한 수치의 경쟁하는 버전의 수, 질문과 답 사이의 지연, 겹치는 도구의 비용입니다. 추적 가능한 출처와 자기 맥락에의 관련성 없이 분석 수익에 대한 분석가의 수치를 인용하지 마십시오. 공정한 비교는 출구를 포함해 각 선택지의 3년 전체 비용을 셉니다(주제 7.5, 서비스 비용과 단위 경제성과 주제 7.7, 투자 수익과 비즈니스 케이스 참조).
안티패턴과 함정
- 도구 먼저, 질문은 나중에. 플랫폼이 도착하는데 아무도 무엇을 물어야 할지 모릅니다. 측정치를 먼저 쓰십시오.
- 정의 문제를 사서 고치기. 의미에 대한 불일치는 어떤 도구에서도 남습니다. 정의를 정리하십시오.
- 내장된 개인 점수. 유혹하고 왜곡합니다. 비활성화하고 정책을 먼저 정하십시오.
- 출구 없음. 이력과 정의가 갇힙니다. 내보내기를 시험하고 사본을 유지하십시오.
- 한 사람의 파이프라인. 그 사람이 떠나면 멈춥니다. 문서화하고, 시험하고, 소유권을 공유하십시오.
- 이중 입력. 사람들이 같은 일을 두 번 기록하고 둘 다의 품질이 떨어집니다. 기록 시스템에서 데이터를 가져오십시오.
- 일찍 과잉 설계하기. 하나의 관점이 가치를 증명하기 전에 데이터 플랫폼이 도착합니다. 얇게 시작하십시오.
- 데이터 품질 무시하기. 더러운 데이터 위의 깨끗한 차트가 더 설득력 있게 오도합니다. 원천에서 수집을 고치십시오.
성숙도 모델
| 차원 | 1 시작 | 2 발전 | 3 표준화 | 4 관리 | 5 조율 |
|---|---|---|---|---|---|
| 데이터 공급 | 수작업 수집, 스프레드시트 | 일부 자동화된 공급, 개인 스크립트 | 합의된 원천이 시험된 파이프라인으로 공유 저장소에 공급함 | 신뢰성, 조정, 신선도를 관리하고 눈에 보이게 함 | 팀과 공급업체에 걸쳐 공유 계약이 있는 연합 파이프라인, 피드백으로 원천을 개선함 |
| 정의와 카탈로그 | 사람들의 머릿속에 있음 | 일부 문서화됨 | 소유자가 있고 버전이 매겨지고 검토되는 하나의 정의 카탈로그 | 카탈로그가 대시보드를 이끌고 사용자와 변경을 검토함 | 팀과 공급업체에 걸쳐 정의를 공동 소유하고 결정에 정보를 주지 못하면 폐기함 |
| 선택과 비용 | 임시 구매 | 겹치는 도구 | 기준을 적어 둠, 출구를 시험함, 전체 비용을 셈 | 지원 팀당 비용과 수작업 노력을 관리함 | 사용자와 정기적으로 도구 선택을 검토하고 필요가 바뀌면 적응함 |
체크리스트
- 도구를 비교하기 전에 합의된 측정치와 그 질문을 적어 두었다.
- 기존 도구와 보고서의 목록을 만들고 먼저 시험해 보았다.
- 주요 원천의 데이터 품질을 점검하고 최악의 간극을 고쳤다.
- 선정 기준이 작성되어 있고 분포, 접근 통제, 내보내기를 포함한다.
- 약속하기 전에 실제 데이터와 실제 사용자로 시간을 제한한 시험을 했다.
- 개인 수준의 점수 매기기와 순위 기능을 정책으로 비활성화하거나 제한한다.
- 정의를 어떤 단일 도구 밖의 이식 가능한 카탈로그에 유지한다.
- 파이프라인에 소유자, 자동 점검, 모니터링, 실패 경보가 있다.
- 정의와 이력의 내보내기를 시험했다.
- 출구를 포함한 3년 전체 비용을 셌다.
AI 프롬프트
질문에서 요구 사항을 씁니다.
다음은 우리 독자가 묻는 질문과 공표하려는 측정치입니다: [붙여 넣기]. 지표 도구나
파이프라인을 위한 두 쪽짜리 요구 사항 문서의 초안을 작성해 주세요. 데이터 원천,
신선도, 접근 통제, 보존, 분포와 백분위수, 내보내기와 이식성, 필수 사항 대 선호
목록을 다루세요. 제품을 명명하지 마세요. 가정과 팀과 확인할 사항을 나열해 주세요.
도구 시험을 계획합니다.
우리는 지표 프로그램을 위해 [선택지]를 비교하고 있습니다. 우리 측정치 세 개와
실제 데이터를 쓰는 2주 시험을 설계해 주세요. 무엇을 시험할지, 서면 기준에 비춰
선택지를 채점하는 방법, 누가 참여해야 하는지, 접근 통제와 내보내기를 점검하는
방법, 어떤 증거를 기록할지 밝혀 주세요. 특정 제품의 결과를 주장하지 마세요.
가정과 위험을 나열해 주세요.
데이터 파이프라인을 검토합니다.
다음은 [원천]에서 우리 대시보드로 데이터가 흐르는 방식의 설명입니다: [붙여 넣기].
데이터가 늦거나, 중복되거나, 덮어써지거나, 사라질 수 있는 지점을 식별하고 각각에
대한 자동 점검을 제안해 주세요. 핵심 수치를 원천과 조정하는 방법을 제안해 주세요.
시스템 행동을 지어내지 마세요. 가정과 설명에서 알 수 없었던 것을 나열해 주세요.
전체 비용을 비교합니다.
우리 지표 프로그램을 위한 도구의 구축, 구매, 결합의 3년 전체 비용을 비교하도록
도와주세요. 각 선택지의 비용 범주를 나열하세요. 라이선스, 인프라, 통합, 데이터
정제, 교육, 유지, 출구를 포함합니다. 우리 수치를 위한 빈칸이 있는 표를 제공해
주세요. 가격을 제공하지 마세요. 가정을 나열해 주세요.
AI 스킬
- 서비스 관리 지표 스킬: 요구 사항을 쓸 때 각 측정치의 데이터 원천과 방호책을 찾는 데 사용합니다.
- 서비스 관리 지표 유지보수 스킬: 도구 결정 기록이 정의, 데이터 원천, 방호책을 갖추고 있는지 확인할 때 사용합니다.
핵심 정리
- 질문과 측정치를 먼저 쓰고, 그것을 섬기도록 도구를 고르십시오.
- 기록 시스템을 쓰고, 원천에서 데이터 수집을 고치고, 조정을 시험하십시오.
- 정의와 데이터를 이식 가능하게 유지하고, 약속하기 전에 출구를 시험하십시오.
- 개인 수준의 점수 매기기와 순위를 비활성화하고, 어떤 기능이든 켜기 전에 정책을 정하십시오.
- 소유자, 시험, 모니터링이 있는 서비스로 파이프라인을 운영하십시오.
- 여러 해에 걸친 전체 비용을 세고, 실제 질문에 답하는 가장 얇은 경로로 시작하십시오.
참고 문헌과 더 읽을거리
- Kimball, R., and Ross, M., The Data Warehouse Toolkit, Wiley, 3rd edition, 2013.
- Redman, T., Data Driven: Profiting from Your Most Important Business Asset, Harvard Business Press, 2008.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution Press, 2018.
- Axelos, ITIL 4 Foundation, 2019.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, IT service management.
- Wikipedia, Observability (software).
- Wikipedia, Data pipeline.
- Wikipedia, Extract, transform, load.
- Wikipedia, Data warehouse.
- Wikipedia, Application programming interface.
- Wikipedia, Data quality.
- Wikipedia, Data governance.
- Wikipedia, Total cost of ownership.
- Wikipedia, Vendor lock-in.