데이터 원천과 계측
지표는 그 밑에 깔린 이벤트만큼만 신뢰할 수 있습니다. 따라서 모든 숫자에 기록 시스템(system of record)을 지정하고, 이벤트가 일어나는 순간에 자동으로 포착하며, 차트를 검증하는 만큼 꼼꼼하게 파이프라인도 검증하십시오.
개요와 동기
대부분의 지표 프로그램은 대시보드에 노력을 쏟고, 대시보드에 데이터를 공급하는 배관에는 거의 쓰지 않습니다. 이는 순서가 거꾸로입니다. 타임스탬프가 일관되지 않거나, 아무도 갱신하지 않는 상태 필드가 있거나, 지난달에 조용히 멈춘 연동 위에 세운 매끈한 차트는 권위 있어 보이지만 실제로는 틀렸습니다. 이 주제는 이 책 나머지 부분의 눈에 띄지 않는 토대를 다룹니다. 서비스 및 전달 데이터가 어디서 오는지, 각 원천이 얼마나 믿을 만한지, 그리고 어떤 데이터 품질 결함이 아무도 모르는 사이에 지표를 무효로 만드는지를 살펴봅니다.
원천은 몇 가지 계열로 나뉩니다. IT 서비스 관리(ITSM, IT service management) 도구는 인시던트, 요청, 문제, 변경을 기록하며, ITIL은 이를 서비스 운영의 핵심 기록으로 봅니다. 이슈 추적 시스템(issue tracking system)은 애자일 팀의 백로그와 작업 항목의 이동을 기록합니다. 버전 관리(version control)는 커밋, 브랜치, 병합을 기록합니다. 지속적 통합 및 지속적 전달(CI/CD) 파이프라인은 빌드, 테스트 결과, 배포를 기록합니다. 모니터링 및 관측 가능성(observability) 플랫폼은 실행 중인 시스템에서 나오는 지표, 로그, 트레이스 같은 텔레메트리를 내보냅니다. 구성 관리 데이터베이스(CMDB, configuration management database)는 다른 것들이 연결되는 서비스와 구성 요소를 기록합니다. 설문은 만족도와 노력처럼 어떤 시스템도 관찰할 수 없는 것을 기록합니다.
파이프라인이 기록한 배포 이벤트는 객관적이고 조작하기 어렵습니다. 작업이 끝나고 몇 시간 뒤에 바꾼 티켓 상태는 기억에 의존한 기록이고, 설문 응답은 인식입니다. 숫자 뒤에 어떤 종류의 기록이 있는지 알면 어떤 결함부터 찾아야 하는지 알 수 있습니다.
애자일과 ITIL의 관점은 같은 데이터에서 만납니다. 둘 다 타임스탬프가 붙은 상태 기계이므로, 모든 상태 변경을 신뢰할 수 있는 시각이 붙은 이벤트로 기록하고 지표는 이벤트에서 도출하십시오.
이 주제에는 세 가지 용어가 반복해서 나옵니다. 기록 시스템(system of record)은 어떤 사실에 대해 권위를 갖는 유일한 원천으로, 예를 들어 "배포가 일어났다"는 사실에 대해서는 파이프라인이 기록 시스템입니다. 계측(instrumentation)은 코드, 구성, 도구 연동으로 이벤트를 의도적으로 포착하여, 아무도 손으로 입력하지 않아도 지표를 계산할 수 있게 하는 것입니다. 상태 모델(status model)은 작업 항목이나 기록이 가질 수 있는 상태의 집합과 상태 사이에 허용되는 이동입니다. 상태 모델이 어떤 시계를 계산할 수 있는지를 결정합니다.
엔터프라이즈와 공공 부문 규모에서는 문제가 더 커집니다. 데이터는 커넥터, 추출·변환·적재(ETL, extract, transform, load) 작업, 보고 계층을 거치며, 단계마다 의미가 어긋날 가능성이 있습니다. 원천에서 한 가지를 뜻하던 필드가 웨어하우스에서는 미묘하게 다른 것을 뜻할 수 있으며, 그래도 숫자는 그럴듯해 보입니다. 해법은 이벤트와 대시보드 사이의 거리를 줄이고 파이프라인을 일정에 따라 점검하는 것입니다.
핵심 원칙
- 요약이 아니라 이벤트를 포착합니다. 원시 상태 변경을 타임스탬프와 함께 저장하고 거기서 지표를 계산하십시오. 그러면 정의가 바뀌어도 이력을 잃지 않습니다.
- 자가 보고보다 관찰을 선호합니다. 시스템이 이벤트를 볼 수 있다면 그것을 쓰고, 사람의 보고는 사람만 말할 수 있는 것에 남겨 두십시오.
- 사실마다 기록 시스템을 하나만 지정합니다. 원천이 중복되면 서로 어긋나고, 그 불일치가 양쪽 모두에 대한 신뢰를 갉아먹습니다.
- 지표보다 먼저 상태 모델을 설계합니다. 존재하지 않거나 팀마다 의미가 다른 상태로는 시계를 계산할 수 없습니다.
- 파이프라인을 제품으로 다룹니다. 데이터 품질은 조용히 나빠지므로 파이프라인에는 소유자, 테스트, 모니터링, 변경 이력이 있어야 합니다.
- 출처를 보여 줍니다. 대시보드의 모든 숫자는 한두 번의 클릭으로 원천 기록까지 거슬러 갈 수 있어야 합니다.
- 쓸 것만 수집하고 보호합니다. 모든 필드는 비용이며, 사람에 관한 것이라면 개인정보 보호 의무입니다.
지표 정의
아래 지표는 데이터 공급 자체의 건강을 측정합니다. 계측기를 위한 계기판입니다.
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 |
|---|---|---|---|---|---|---|---|
| 원천 포괄률 | 이벤트가 자동으로 지표 저장소에 도달하는 범위 내 서비스와 팀의 비율 | 자동 피드가 있는 서비스 또는 팀 / 범위 내 서비스 또는 팀. "범위 내"는 지표 등록부에 나열됨 | 퍼센트 | 지표 등록부와 파이프라인 구성 | 측정과 보고, 서비스 구성 관리 | 도구에 관한 팀 작업 합의 | 분기 |
| 타임스탬프 완전성 | 해당 지표의 시계에 필요한 타임스탬프를 모두 갖춘 종료 작업 항목의 비율 | 필요한 상태 변경 타임스탬프가 모두 있는 종료 항목 / 해당 기간에 종료된 항목. 아직 열린 항목은 제외 | 퍼센트 | ITSM 도구 또는 이슈 추적기 이력 | 인시던트 관리, 서비스 요청 관리 | 보드 또는 워크플로 이력 | 월 |
| 소급 입력률 | 사후에 기록된 상태 변경의 비율. 이벤트 시각과 입력 시각의 간격으로 측정 | 이벤트 시각보다 24시간을 넘어 입력된 상태 변경 / 해당 기간의 상태 변경. 시계는 이벤트에서 시작하고 입력에서 멈춤 | 퍼센트 | 추적기의 감사 추적, 또는 파이프라인 이벤트 시각 대 입력 시각 | 변경 활성화, 인시던트 관리 | 완료의 정의 | 월 |
| 데이터 신선도 | 대시보드를 볼 때 가장 최신 데이터가 얼마나 오래되었는가 | 조회 시각에서 적재된 가장 최신 이벤트 시각을 뺀 값. 중앙값과 95백분위수를 보고 | 시간 | 파이프라인 실행 로그와 대시보드 로딩 로그 | 측정과 보고 | 이해관계자 검토 준비 | 주 |
| 대조 편차 | 같은 건수에 대한 두 원천 사이의 불일치 | 두 건수의 절대 차이 / 기록 시스템 건수. 기간과 범위는 고정 | 퍼센트 | 기록 시스템과 보고 계층 | 서비스 수준 관리, 재무 관리 | 릴리스 보고서 점검 | 월 |
| 상태 모델 이탈 | 문서화된 모델과 비교해 사용 중인 서로 다른 상태 이름 또는 전환의 수 | 해당 기간에 관찰된 문서화되지 않은 상태 또는 전환(건수). 문서화된 것은 제외 | 건수 | 추적기 워크플로 구성과 이벤트 이력 | 지속적 개선 | 워크플로에 관한 작업 합의 | 분기 |
| 설문 응답률 | 초대받은 사람 중 설문을 완료한 사람의 비율 | 완료된 응답 / 전달된 초대. 반송된 초대는 제외 | 퍼센트 | 설문 도구 | 서비스 수준 관리, 고객 경험 | 이해관계자 검토와 개선 피드백 | 설문 회차별 |
타임스탬프 완전성은 종료된 항목만 세므로, 오래된 열린 항목이 쌓여 있어도 빈틈을 가릴 수 없습니다. 소급 입력률의 24시간 기준은 예시입니다. 팀은 자기 업무에 맞는 기준을 정하고 문서로 남겨야 합니다.
권장 사항
모든 지표를 원천에 대응시키십시오
1. 대시보드를 만들기 전에 원천 지도를 만드십시오. 지표마다 기록 시스템, 시계를 시작하는 이벤트, 시계를 멈추는 이벤트, 원천의 소유자, 알려진 실패 양상을 기록하십시오. 시스템 이름을 댈 수 없다면 그 숫자가 어디서 오는지 아직 모르는 것입니다. 이 지도는 지표 등록부에 보관하십시오(주제 1.4, 지표 거버넌스와 소유권 참조).
2. 사실마다 기록 시스템을 하나만 고르십시오. 배포는 파이프라인이, 인시던트는 ITSM 도구가, 코드 변경은 버전 관리가, 서비스 관계는 CMDB가 기록합니다. 두 도구가 같은 사실을 가지고 있다면 어느 쪽이 우선인지 정하고 다른 쪽이 거기서 읽어 오게 하십시오. 그러면 대조는 논쟁이 아니라 점검이 됩니다.
이벤트가 일어나는 순간에 포착하십시오
3. 보고서가 아니라 이벤트를 계측하십시오. 배포는 파이프라인이, 병합은 버전 관리 호스트가, 경보는 모니터링 시스템이 기록하게 하십시오. 누군가 필드를 갱신하는 것을 기억해야 하는 데이터는 이벤트와의 거리와 업무량에 따라 품질이 떨어집니다. 자동화된 이벤트가 있다면 같은 사실에 대한 사람이 입력한 대용물보다 그것을 선호하십시오(주제 2.8, DORA 지표 참조).
4. 상태 변경이 작업의 부수 효과가 되게 하십시오. 브랜치 병합이 작업 항목을 "리뷰 중"으로, 배포가 "릴리스됨"으로 옮겨 놓는다면 아무도 기억할 필요가 없습니다. 버전 관리, 파이프라인, 추적기 사이의 연동은 소급 입력의 대부분을 없앱니다.
5. 원시 이벤트를 보관하고 변경할 수 없게 하십시오. 각 상태 변경을 이벤트 시각, 입력 시각, 행위자 유형(사람 또는 자동화)과 함께 저장하십시오. 정정은 덮어쓰기가 아니라 새 이벤트로 기록하여, 정정의 이력 자체가 데이터가 되게 하십시오.
시간을 바르게 다루십시오
6. 시간은 하나의 표준으로 기록하십시오. 타임스탬프는 ISO 8601과 RFC 3339가 정의한 것과 같은 모호하지 않은 형식의 협정 세계시(UTC, Coordinated Universal Time)로 저장하고, 현지 시간으로는 표시할 때만 변환하십시오. 시간대가 섞이고 일광 절약 시간제가 바뀌면 음수 기간이나 한 시간씩 어긋난 시계가 조용히 생깁니다.
7. 시계 규칙을 데이터가 있는 곳에 쓰십시오. 시간 측정마다 어떤 이벤트가 시계를 시작하고, 어떤 이벤트가 멈추며, 어떤 상태가 시계를 일시 정지하는지 명시하십시오. 일시 정지 상태는 설계상의 결정입니다. 각 일시 정지 상태가 얼마나 자주 쓰이는지 보고하십시오. 서비스 데이터가 가장 자주 가공되는 곳이 시계이기 때문입니다(주제 3.3, 인시던트 대응 및 해결 시간 참조).
상태 모델을 설계하십시오
8. 상태 모델은 작고, 공유되고, 문서화되게 유지하십시오. 상태가 하나 늘 때마다 팀마다 다른 해석이 생길 여지가 커집니다. 각 상태가 무엇을 뜻하는지 한 문장으로, 누가 작업을 그 상태로 옮길 수 있는지, 어떤 전환이 허용되는지 정의하십시오. 작업 항목 경과 시간과 흐름 측정은 이 모델에 의존하며(주제 2.1, 흐름 측정치 참조), 팀 간 비교는 팀들이 같은 상태에 같은 단어를 쓴다는 전제에 의존합니다. 데이터가 뜻밖이면 먼저 워크플로를 의심하십시오. 워크플로나 필드의 모든 변경을 날짜와 사유와 함께 기록하고, 문서화되지 않은 상태는 이탈 신호로 세십시오.
파이프라인을 정직하게 유지하십시오
9. 파이프라인을 소프트웨어처럼 테스트하십시오. 행 수를 원천과 대조하고, 필수 필드가 있는지 확인하고, 중복을 점검하고, 피드가 멈추면 경보를 보내십시오. 모든 대시보드에 신선도 표시기를 추가하여 보는 사람이 데이터가 얼마나 오래되었는지 알 수 있게 하십시오. 커넥터가 조용히 실패하여 지난달 숫자가 화면에 남아 있는 것은 이 영역에서 가장 흔하고 가장 해로운 실패 중 하나입니다(주제 11.1, 서비스 지표 대시보드 설계 참조).
10. 일정에 따라 대조하고 손으로 표본을 확인하십시오. 보고 계층의 건수를 고정된 기간의 원천과 비교하고 차이를 조사하십시오. 그다음 원시 기록 소수를 직접 읽어 보십시오. 15분의 표본 확인이 자동 점검이 찾지 못하는 것, 예컨대 뜻밖의 방식으로 쓰이는 상태를 찾아내곤 합니다.
사람과 설문을 신중하게 다루십시오
11. 설문은 사람만 말해 줄 수 있는 것에 남겨 두십시오. 만족도, 노력, 신뢰, 웰빙은 시스템 데이터로 관찰할 수 없습니다. 직접 묻고, 설문을 짧게 하고, 시점을 바꾸고, 응답률과 응답자 구성을 보고하십시오. 응답하는 사람은 응답하지 않는 사람과 다르며, 이는 선택 편향(selection bias)의 한 형태이기 때문입니다. 자유 의견은 전부 읽으십시오(주제 6.1, 고객 만족도 지표 참조).
12. 개인 데이터를 보호하고 데이터를 팀 수준에 두십시오. 작업에 관한 이벤트 데이터는 커밋 작성자, 담당자 필드, 채팅 기록을 통해 개인을 식별할 수 있습니다. 지표가 필요로 하는 수준에서만 수집하고 팀과 서비스로 집계하며, 관할 지역과 조직의 개인정보 보호 규칙을 적용하십시오. 개인 수준 데이터는 일단 수집되면 순위 매기기에 쓰이기 쉽고, 그러면 원천이 오염됩니다(주제 1.2, 굿하트의 법칙과 지표의 심리학 참조).
악용 방식과 방호책
| 지표 | 악용되는 방식 | 짝을 이루는 방호책 지표 또는 실천 |
|---|---|---|
| 원천 포괄률 | 피드가 연결되기만 하면 이벤트가 거의 없어도 포괄된 것으로 세기, 어려운 서비스를 범위에서 빼기 | 포괄된 서비스당 이벤트량을 알려진 활동과 비교, 범위 목록을 서비스 카탈로그와 대조 검토 |
| 타임스탬프 완전성 | 검증을 통과하려고 필수 타임스탬프를 종료 시각으로 채우기 | 연속된 상태 사이 간격의 분포, 종료 항목을 표본 추출하여 시각이 그럴듯한지 확인 |
| 소급 입력률 | 기준 직전에 맞춰 변경 입력하기, 기준 넓히기, 모든 변경을 일괄 갱신 한 번으로 기록하기 | 시간대별 입력 시각 패턴, 자동화가 한 변경 대 수작업 변경의 비율, 일괄 편집 감사 |
| 데이터 신선도 | 가장 최신 이벤트 시각 대신 마지막 새로 고침 시각을 보여 주기 | 대시보드에 가장 최신 이벤트 시각 표시, 피드가 새 이벤트를 전달하지 않으면 경보 |
| 대조 편차 | 대조가 맞는 기간이나 범위를 고르기, 원인을 찾지 않고 보고 계층을 원천에 맞춰 조정하기 | 범위와 기간을 사전에 고정, 발견한 원인을 각각 기록하고 분기마다 원인 검토 |
| 상태 모델 이탈 | 표시되지 않도록 기존 상태를 새 의미로 재사용하기, 기록하지 않고 상태 추가하기 | 검토 때마다 워크플로 구성을 등록부와 비교, 특이한 상태에 있는 항목의 표본 읽기 |
| 설문 응답률 | 응답할 가능성이 높은 사람만 초대하기, 만족한 사용자에게 독려 메시지 보내기, 응답을 편향시키는 보상 제공하기 | 응답자 구성을 사용자 모집단과 비교, 회차별 응답 분포, 검토에서 자유 의견 읽기 |
건강한 상태는 지루한 숫자들의 집합입니다. 포괄률은 높고, 소급 입력은 낮으며 감소하고, 신선도는 명시된 약속 안에 있고, 대조 편차가 0이 아닐 때마다 알려진 원인이 있습니다. 숫자가 움직이면 누군가 일이 바뀐 것인지 계측기가 바뀐 것인지 말할 수 있습니다.
상충 관계: 장점과 단점
| 접근 방식 | 강점 | 약점 |
|---|---|---|
| 자동 이벤트 포착 | 객관적이고 시의적절하며, 한 번 구축하면 노력이 적게 듦 | 계측한 것만 포괄하며, 도구가 바뀌면 조용히 깨짐 |
| 수동 입력과 상태 갱신 | 맥락과 판단을 담을 수 있고, 연동 없이도 작동 | 늦고 일관성이 없으며 악용에 열려 있음 |
| 중앙 지표 저장소 하나 | 정의가 하나, 테스트하고 통제할 곳이 하나 | 자금과 소유권이 필요하며 병목이 될 수 있음 |
| 팀마다 자체 데이터 보관 | 현지 업무에 맞고 시작이 빠름 | 정의가 갈라지고 취합이 신뢰할 수 없음 |
| 원시 이벤트 장기 보관 | 정의를 바꾸고 이력을 다시 계산할 수 있음 | 저장 및 개인정보 비용, 보호할 대상이 더 많음 |
관찰할 수 있는 것은 자동화하고, 관찰할 수 없는 것은 사람에게 묻고, 원시 기록은 보관하십시오. 가능한 모든 숫자를 위한 데이터 플랫폼이 아니라, 팀이 실제로 쓰는 두세 개 지표 뒤의 원천에 먼저 투자하십시오.
팀과 논의할 질문
1. 가장 중요한 지표의 기록 시스템은 어느 시스템이며, 그것을 어떻게 알 수 있을까요? 참석자들에게 대시보드의 숫자를 첫 이벤트까지 거슬러 추적해 보도록 요청하십시오. 사람이나 변환이 데이터에 손대는 모든 지점을 기록해 두십시오. 진행자는 아무도 설명하지 못하는 단계를 찾아야 합니다. 첫 조사는 거기서 시작해야 하기 때문입니다.
2. 우리 타임스탬프 중 시스템이 쓰는 것은 무엇이고, 사람이 입력하는 것은 무엇일까요? 응답 시간, 해결 시간, 사이클 타임처럼 사용 중인 시계를 나열하십시오. 각 시작과 종료를 자동 또는 수동으로 표시하십시오. 수동인 것은 이벤트 후 보통 얼마나 지나서 입력하는지 물어보십시오. 가장 논란이 많은 지표가 가장 믿기 어려운 타임스탬프에 의존하고 있음이 이 논의에서 드러나는 경우가 많습니다.
3. 우리 상태는 무엇을 뜻하며, 모든 팀이 같은 것을 뜻할까요? 워크플로를 보드에 올리고 서로 다른 팀 사람들이 각 상태를 자기 말로 설명하게 하십시오. 설명을 비교하십시오. 시계가 일시 정지되는 상태를 세고, 누가 왜 그것을 쓸 수 있는지 물으십시오. 모호성을 없앨 변경 하나에 합의하고 사유와 함께 기록하십시오.
4. 피드가 조용히 멈췄다면 우리는 어떻게 알게 될까요? 대시보드의 데이터가 최신인지 마지막으로 확인한 때가 언제인지 물어보십시오. 멈춘 커넥터를 하루 안에 잡아낼 경보나 신선도 표시기가 무엇일지 논의하십시오. 진행자는 "조심하겠다"는 일반적 의지가 아니라 이름이 있는 소유자와 구체적인 점검을 끌어내야 합니다.
5. 수집하지만 쓰지 않는 것은 무엇이고, 쓰지만 잘 수집하지 못하는 것은 무엇일까요? 필드 목록과 지표 목록을 나란히 놓으십시오. 어떤 결정에도 쓰이지 않는 필드와 부실한 필드에 의존하는 지표를 표시하십시오. 이번 분기에 수집을 중단할 필드 하나와 개선할 필드 하나를 정하십시오.
6. 우리 설문에 응답하는 사람은 누구이고, 응답하지 않는 사람은 누구일까요? 응답자를 사용자 또는 팀원 모집단과 비교하십시오. 집단별, 시간대별, 요일별 응답률을 살펴보십시오. 침묵이 무엇을 뜻할 수 있는지, 압박 없이 조용한 집단에 어떻게 다가갈지 논의하십시오. 모든 설문 결과 옆에 응답률을 어떻게 보여 줄지 합의하십시오.
네 가지 관점
제품 및 전달 팀
전달 팀은 커밋, 리뷰, 빌드, 배포처럼 객관적인 데이터를 대부분 만들어 냅니다. 상태 변경이 작업의 부수 효과가 되는 계측의 혜택을 보면, 추가 노력 없이도 보드가 정직하게 유지됩니다. 워크플로를 작게 유지하고, 버전 관리 활동을 노력의 척도로 쓰는 것을 경계해야 합니다(주제 2.2, 리드 타임, 사이클 타임, 흐름 효율 참조).
서비스 및 운영 팀
서비스 팀은 흔히 인시던트 중에 압박을 받으며 사람이 만든 기록에 의존합니다. 시계 규칙, 일시 정지 상태, 우선순위 필드에서 이탈이 일어납니다. 운영 팀은 경보 시각과 확인 시각처럼 핵심 시각의 포착을 가능한 한 자동으로 만들고, 일시 정지 상태 사용을 감사하며, 모니터링 데이터를 티켓 기록과 분리하여 서로를 점검하게 해야 합니다(주제 5.5, 모니터링과 경보 품질 지표 참조).
리더십과 거버넌스
리더는 데이터 토대에 얼마를 투자할지 결정하고, 데이터가 정직하게 유지되는지를 좌우하는 인센티브를 정합니다. 숫자가 왜 움직였는지 묻기 전에 어디서 왔는지 먼저 묻고, 파이프라인 소유를 지속적인 업무로 지원하며, 모든 보고서에 신선도 날짜와 정의가 있기를 기대해야 합니다. 거버넌스 기구는 원천이나 정의의 문서화된 변경을 실패가 아닌 정상적인 사건으로 다뤄야 합니다.
고객과 사용자
사용자는 대개 설문에 답하거나, 상호작용을 평가하거나, 문제를 보고하는 방식으로 경험에 관해 가장 중요한 데이터를 제공합니다. 무엇이 수집되는지, 왜 수집하는지, 그 결과로 무엇이 바뀌는지 알려 주어야 합니다. 설문을 짧게 하고 후속 조치를 눈에 보이게 하면 응답률이 건강하게 유지됩니다. 고객에게 제공하는 서비스 수준 보고서는 원천과 정의를 밝혀야 합니다(주제 5.2, SLI, SLO, 오류 예산 참조).
실제 적용: 서비스 관리 사례
중견 온라인 소매업체에 플랫폼 팀, 세 개의 제품 팀, 서비스 데스크가 있습니다. 이 사례의 모든 숫자는 예시(illustrative)입니다.
경영진은 월간 보고서의 변경 리드 타임이 한 분기 만에 중앙값 9일에서 3일로 줄어든 이유를 묻습니다. 그런데 제품 팀들은 일하는 방식이 달라진 것이 없다고 합니다. 플랫폼 엔지니어링 책임자는 계측기를 의심하며 해당 지표의 원천 지도를 요청합니다.
지도를 보니 리드 타임은 ITSM 도구에서 변경 기록이 만들어질 때 시작하고 상태가 "구현됨"으로 설정될 때 멈춥니다. 두 제품 팀이 작업이 준비된 뒤에 기록을 만들기 시작했고, 그래서 시계가 늦게 시작되었습니다. 기록 40건을 표본으로 확인했더니 12건이 배포와 같은 날 만들어졌습니다. 파이프라인의 배포 이벤트와 "구현됨" 상태 입력 사이의 간격으로 측정한 소급 입력률은 팀이 정한 24시간 기준을 넘는 비율이 31%였습니다.
팀은 세 가지를 바꿉니다. 첫째, 시계의 시작을 버전 관리에서 가져온 변경에 연결된 첫 커밋으로 옮기고, 종료를 파이프라인이 쓴 배포 이벤트로 옮깁니다. 둘째, ITSM 도구가 파이프라인에서 상태를 받아 오게 하여 "구현됨"을 더 이상 손으로 입력하지 않게 합니다. 셋째, 대시보드에 신선도 표시기를 추가하고 파이프라인과 ITSM 도구 사이의 변경 건수 대조 점검을 도입합니다.
새 정의에서 리드 타임 중앙값은 7일, 95백분위수는 21일이며 소급 입력률은 4%로 떨어집니다. 경영진은 처음에는 7일을 더 나쁜 결과로 읽습니다. 플랫폼 책임자는 예전 숫자가 늦은 기록 생성이 만든 인위적 결과였다고 설명합니다. 의사결정 로그에 기록된 결정은 원시 이벤트에서 이전 두 분기를 다시 계산하고 차트에 정의 변경을 표시하는 것입니다. 팀이 잡아낸 악용 위험은 미묘했습니다. 아무도 숫자를 위조하지 않았는데도 늦은 기록 생성이 보기 좋은 수치를 만들어 냈습니다. 이제 대조 편차가 방호책 역할을 하며, 원시 기록 표본은 분기마다 검토됩니다.
애자일, AI, 자동화, 분석
애자일
기능과 함께 계측을 작은 단계로 구축하여, 릴리스마다 그것을 측정하는 데 필요한 이벤트가 추가되게 하고, 숫자를 읽을 사람들과 함께 이벤트 정의에 합의하십시오. 실용적인 방법은 변경의 완료의 정의에 이벤트를 추가하는 것입니다. 주의할 점은, 출시 후에 측정을 덧붙이면 초기 데이터에 생긴 빈틈을 나중에 어떻게 고쳐도 복구할 수 없다는 것입니다.
AI
AI 시스템은 프롬프트, 응답, 도구 호출, 사람의 수정, 재정의라는 새로운 데이터 원천을 더합니다. 개인정보 보호와 보존 규칙을 전제로, 누가 또는 무엇이 행동했는지, 어떤 모델 버전이 실행되었는지, 사람이 결과를 바꾸었는지 포착하십시오. 주의할 점은 프롬프트를 로깅하면 개인 정보나 기밀 데이터가 담길 수 있으므로 시작하기 전에 무엇을 저장할지 정해야 한다는 것입니다.
자동화
이벤트를 기록 시스템에서 일어나는 순간에 자동으로 포착하고, 알려진 입력으로 파이프라인을 테스트하십시오. 자동화 자체도 하나의 원천이므로 실행, 실패, 재시도, 롤백을 기록하십시오. 주의할 점은 조용한 실패입니다. 커넥터가 고장 나도 평탄하고 건강해 보이는 숫자가 나오므로, 데이터 신선도를 지표로 모니터링하십시오.
분석
분기마다 적어도 하나의 숫자를 독립된 원천과 대조하고 편차를 공개하십시오. 이것이 알려 주는 결정은 어떤 지표를 쓸 만큼 신뢰할 수 있는가입니다. 주의할 점은 깔끔해 보이는 대시보드가 부실한 데이터 위에 서 있을 수 있다는 것이므로, 결과 옆에 데이터 완전성을 보여 주십시오.
부문별 관점
스타트업. 데이터는 적지만 신뢰는 높으며, 이는 도움이 됩니다. 추가 노력이 들지 않으므로 파이프라인과 버전 관리를 주된 원천으로 쓰고, 상태 모델은 소수의 상태로 유지하십시오. 각 정의와 원천을 한 페이지에 적어 두고 팀이 두 배로 커질 때 다시 살펴보십시오.
소규모 기업. 한 사람이 호스팅형 서비스 데스크로 IT를 운영하는 경우가 많습니다. 도구의 보고서를 쓰고, 공급업체에 정의를 서면으로 요청하며, 종속을 피하기 위해 주기적으로 원시 데이터를 내보내십시오.
엔터프라이즈. 많은 도구, 많은 팀, 여러 층의 연동은 정의 이탈의 가장 큰 위험을 만듭니다. 공유 이벤트 모델, 소유자가 지정된 중앙 지표 저장소, 자동화된 대조 및 신선도 점검에 투자하십시오. 엔터프라이즈 전반에서 쓰는 작은 상태 어휘에 합의하고, 팀이 현지 상태를 추가하려면 그 어휘로의 매핑을 명시하게 하십시오.
정부 및 공공 부문. 기록에는 보존, 감사, 접근, 개인정보 보호 관련 법이 적용될 수 있고, 조달이 도구와 데이터 형식을 고정시킬 수 있습니다. 이를 설계 입력으로 다루십시오. 감사 추적을 유지하고, 이벤트에서 보고서까지의 계보(lineage)를 문서화하며, 계약에서 데이터 내보내기 권리를 협상하십시오. 보고 의무가 있으므로 정의를 문서화하는 것이 필수입니다(주제 8.5, 규제 및 정부 보고 참조).
비즈니스 케이스: 동기, ROI, TCO
이 주제의 비용은 세 부분입니다. 첫째는 구축 노력으로, 연동, 지표 저장소, 상태 모델 정리가 해당됩니다. 둘째는 운영 노력으로, 파이프라인 소유자, 피드 모니터링, 분기별 대조 및 표본 확인 루틴이 해당됩니다. 셋째는 보관하는 데이터에 대한 개인정보 보호 및 보안 통제 비용입니다.
수익은 보이는 그대로의 의미를 갖는 숫자로 내린 결정에서 나옵니다. 데이터가 부실하면 잘못된 투자, 누구의 수치가 맞는지를 둘러싼 논쟁, 신뢰를 해치는 수정 재발표가 따릅니다. 이점은 스스로 측정할 수 있는 패턴으로 기술하십시오. 월간 보고서를 만드는 데 걸리는 시간의 전후 비교, 분기당 대조 분쟁 건수, 소급 입력률과 타임스탬프 완전성의 시간에 따른 추이가 그 예입니다. 총소유비용(TCO, total cost of ownership)은 사람이 지배하므로 파이프라인 소유자의 시간을 계산에 넣으십시오.
안티패턴과 함정
- 원천 지도보다 대시보드를 먼저 만들기. 차트는 완성되어 보이지만 의미는 알 수 없습니다. 원천, 시계, 소유자를 먼저 대응시키십시오.
- 시간 측정에 수동 상태 갱신을 신뢰하기. 늦은 입력은 시계를 허구로 만듭니다. 파이프라인과 버전 관리 이벤트가 있는 곳에서는 전환을 자동화하십시오.
- 한 사실에 기록 시스템이 여럿. 분쟁이 뒤따릅니다. 하나를 고르고 나머지가 거기서 읽어 오게 하십시오.
- 조용한 정의 변경. 추세선이 무의미해집니다. 모든 변경을 사유와 함께 기록하고 차트에 표시하십시오.
- 불완전한 데이터로 낸 평균. 누락된 타임스탬프는 무작위가 아닙니다. 까다로운 항목이 건너뛰어지는 경우가 많기 때문입니다. 결과 옆에 타임스탬프 완전성을 보고하십시오.
- 쓸모가 있을지 모른다며 모든 것을 수집하기. 어떤 결정에도 기여하지 않으면서 비용과 개인정보 위험만 커집니다. 이름이 있는 질문에 필요한 것만 수집하십시오.
- 신선도 표시기 없음. 오래된 대시보드는 최신 대시보드와 똑같아 보입니다. 모든 화면에 가장 최신 이벤트의 경과 시간을 보여 주십시오.
- 목적 없는 개인 수준 데이터. 순위 매기기를 부추기고 원천을 해칩니다. 팀과 서비스 수준으로 집계하고 접근을 제한하십시오.
성숙도 모델
| 차원 | 1 시작 | 2 발전 | 3 표준화 | 4 관리 | 5 조율 |
|---|---|---|---|---|---|
| 원천과 포착 | 내보내기 파일로 손수 취합한 숫자 | 일부 도구는 보고서에 자동으로 피드하고 일부는 아님 | 지표마다 이름이 있는 기록 시스템 하나, 이벤트가 있는 곳에서는 자동 포착 | 포괄률과 완전성을 측정하고 추세를 추적 | 합의된 인터페이스로 팀과 공급업체 사이에 이벤트를 공유하며, 내보내기에 대한 계약이 있음 |
| 시간과 상태 모델 | 사람마다 시간을 다르게 기록하고 읽음 | 일부 팀이 워크플로를 문서화 | 하나의 시간 표준과 서면 시계 규칙이 있는 공유 상태 어휘 | 이탈과 소급 입력을 모니터링하고 변경을 사유와 함께 기록 | 모델이 더 이상 결정에 정보를 주지 못할 때 공급업체 및 고객과 함께 개정 |
| 파이프라인 품질 | 누군가 불평할 때 실패를 발견 | 가끔 수동 점검 | 행 수, 중복 점검, 대시보드마다 신선도 표시기 | 대조를 일정화하고 원인을 검토하며 파이프라인에 소유자가 있음 | 파이프라인 건강을 서비스처럼 보고하고 개선에 자금 지원 |
| 설문과 개인정보 보호 실천 | 임시 설문, 개인정보 검토 없음 | 일부 팀에서 표준 질문 사용 | 응답률을 보여 주는 짧은 정기 설문, 데이터는 팀 수준에 보관 | 응답자 구성을 검토하고 조치 | 설문 결과와 개인정보 보호 실천을 사용자에게 공개 |
체크리스트
- 보고되는 모든 지표에 이름이 있는 기록 시스템과 이름이 있는 원천 소유자가 있습니다.
- 원천 지도가 지표 등록부에 저장되어 있습니다.
- 모든 시간 측정이 시계의 시작, 종료, 일시 정지 지점을 명시합니다.
- 타임스탬프를 모호하지 않은 형식의 UTC로 저장하며, 서버 시계가 동기화되어 있습니다.
- 이벤트가 있는 곳에서는 상태 변경이 자동화로 생성됩니다.
- 원시 이벤트를 이벤트 시각 및 입력 시각과 함께 보관하며, 정정은 새 이벤트입니다.
- 상태 모델이 문서화되어 있고 모든 변경이 사유와 함께 기록됩니다.
- 모든 대시보드가 가장 최신 데이터의 경과 시간을 보여 줍니다.
- 건수를 일정에 따라 원천과 대조하고 원인을 기록합니다.
- 분기마다 원시 기록 표본을 읽습니다.
- 모든 설문 결과와 함께 설문 응답률과 응답자 구성을 보여 줍니다.
- 개인 데이터를 최소화하고 팀 및 서비스 수준으로 집계합니다.
AI 프롬프트
지표를 위한 원천 지도 작성하기.
저는 이 지표 뒤에 있는 데이터를 문서화하고 있습니다. 지표 이름은 [지표 이름]이고
정의는 [정의]입니다. 우리가 쓰는 도구는 [도구 목록, 예: 추적기, ITSM 도구,
파이프라인, 모니터링]입니다. 다음 항목으로 원천 지도 초안을 작성해 주세요. 시계를
시작하는 이벤트, 시계를 멈추는 이벤트, 각각의 기록 시스템, 이벤트를 만드는 주체
(사람 또는 자동화), 예상되는 실패 양상, 각 실패를 탐지할 점검입니다. 도구 기능이나
벤치마크 값을 지어내지 마세요. 가정한 내용과, 지도를 완성하려면 제가 답해야 할
질문을 나열해 주세요.
상태 모델의 모호성 검토하기.
[팀 또는 서비스]의 워크플로는 다음과 같습니다. [상태 목록과 허용되는 전환, 알고
있다면 각 상태의 한 줄 의미]. 이 워크플로에서 계산하는 시계는 [시계 목록]입니다.
모호한 상태, 시계가 오해를 부르는 방식으로 멈추거나 일시 정지될 수 있는 상태, 두
팀이 같은 단어를 다르게 읽을 수 있는 지점을 찾아 주세요. 시계를 계속 지원하는 더
작은 모델을 제안하고, 무엇을 잃게 되는지 말해 주세요. 우리 도구가 어떻게
구성되어 있는지 추측하지 마세요. 가정한 내용을 나열해 주세요.
피드를 위한 데이터 품질 점검 설계하기.
[데이터 유형, 예: 변경 기록]을 [원천 시스템]에서 [대상]으로 [주기]마다 적재합니다.
필수 필드는 [필드 목록]입니다. 완전성, 중복, 신선도, 원천과의 대조에 대한 실용적인
점검 세트를 제안해 주세요. 각각에 제안 경보와 소유자 역할을 붙여 주세요. 세트는
[팀 규모]명 규모의 팀이 유지할 수 있을 만큼 작게 하세요. 임계값을 지어내지 말고,
필요한 것은 저에게 물어봐 주세요. 가정한 내용을 나열해 주세요.
짧은 설문과 응답률 계획 초안 작성하기.
[대상]에 대해 [경험 주제, 예: 요청이 이행되기까지 드는 노력]을 측정하고 싶습니다.
중립적인 질문 [개수]개, 언제 어떻게 보낼지에 대한 계획, 응답률과 응답자 구성을
보고하는 방법의 초안을 작성해 주세요. 응답을 편향시킬 수 있는 문구를 짚어 주고,
데이터가 [도구 또는 위치]에 보관된다는 점에서 개인정보 보호상 고려할 사항을
알려 주세요. 벤치마크 응답률을 지어내지 마세요. 가정한 내용을 나열해 주세요.
AI 스킬
- Service Management Metrics skill: 계측하려는 지표를 정의한 주제와 그 옆에 두어야 할 방호책을 찾을 때 사용합니다.
- Service Management Metrics maintainer skill: 새로 쓰거나 고친 지표 주제가 데이터 원천과 시계를 명시하는지 확인할 때 사용합니다.
핵심 정리
- 모든 지표는 이름이 있는 기록 시스템에 의존하므로, 차트를 만들기 전에 원천을 대응시키십시오.
- 이벤트가 일어나는 순간에 자동으로 포착하고 원시 이벤트를 보관하면, 이력을 잃지 않고 정의를 바꿀 수 있습니다.
- 시간도 데이터입니다. 하나의 표준을 쓰고, 시계 규칙을 적고, 소급 입력을 주시하십시오.
- 상태 모델은 작고, 공유되고, 문서화되게 유지하며 모든 변경을 기록하십시오.
- 파이프라인을 소유자, 테스트, 신선도 표시기, 정기 대조가 있는 제품으로 다루십시오.
- 설문은 사람만 말할 수 있는 것에 쓰고, 응답률을 보여 주며, 개인 데이터는 팀 수준에 두십시오.
참고 문헌과 더 읽을거리
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
- Kleppmann, M., Designing Data-Intensive Applications, O'Reilly Media, 2017.
- DAMA International, DAMA-DMBOK: Data Management Body of Knowledge, 2nd edition, Technics Publications, 2017.
- ISO/IEC 25012:2008, Software engineering: Software product Quality Requirements and Evaluation (SQuaRE): Data quality model, International Organization for Standardization.
- ISO 8601, Date and time: Representations for information interchange, International Organization for Standardization.
- Klyne, G., and Newman, C., RFC 3339: Date and Time on the Internet: Timestamps, Internet Engineering Task Force, 2002, https://www.rfc-editor.org/rfc/rfc3339
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, Information technology service management.
- Wikipedia, ITIL.
- Wikipedia, Issue tracking system.
- Wikipedia, Version control.
- Wikipedia, CI/CD.
- Wikipedia, Observability (software).
- Wikipedia, Configuration management database.
- Wikipedia, Extract, transform, load.
- Wikipedia, Data quality.
- Wikipedia, Coordinated Universal Time.
- Wikipedia, Selection bias.