개요와 동기

서비스 수준 협약(SLA, service level agreement)은 서비스 제공자와 고객 사이에 서비스가 무엇을 전달할지에 대한 문서화된 약속입니다. 운영 시간, 가용성, 제공자가 인시던트에 얼마나 빨리 대응하고 해결하는지, 요청을 얼마나 빨리 이행하는지입니다. ITIL 4(소유자인 AXELOS가 발간하고 현재 PeopleCert 아래 있는 프레임워크의 2019년판)에서 서비스 수준 관리(service level management) 프랙티스는 이런 목표를 정의하고, 모니터링하고, 보고합니다. 운영 수준 협약(OLA, operational level agreement)은 내부의 대응물입니다. 고객 대면 SLA를 충족할 수 있도록 서비스 데스크와 네트워크 팀처럼 같은 조직 안의 팀 사이에 각자가 무엇을 얼마나 빨리 할지에 대한 협약입니다. 지원 계약(underpinning contract)은 외부 공급업체에 대해 같은 역할을 합니다(주제 8.4, 공급업체와 계약 지표 참조).

경험 수준 협약(XLA)은 셋 중 가장 새로운 것입니다. 사람들이 서비스를 경험하는 방식, 즉 일을 얼마나 쉽게 해냈는지, 상호작용에 대해 어떻게 느꼈는지, 서비스가 목표에 이르도록 도왔는지로 합의된 성과를 기록합니다. 이 발상은 사용자가 불만인데도 SLA는 충족될 수 있기 때문에 서비스 관리 실천에서 자라났습니다. 이 주제는 세 협약과 그 보고를 소유합니다. 경험을 측정하는 방법의 깊이는 주제 6.2, 경험 수준 협약에, 목표의 엔지니어링 대응물은 주제 5.2, SLI, SLO, 오류 예산에 속합니다.

세 가지 애자일 및 신뢰성 개념이 이 협약들 옆에 있습니다. 서비스 수준 지표(SLI, service level indicator)는 성공적으로 처리된 요청의 비율처럼 서비스의 측정된 속성입니다. 서비스 수준 목표(SLO, service level objective)는 SLI에 대한 내부 목표로, 보통 고객에게 약속한 어떤 것보다 엄격합니다. 사이트 신뢰성 엔지니어링(SRE, site reliability engineering) 실천은 SLO와 거기서 따라오는 오류 예산을 제품과 운영의 공유된 결정 도구로 다룹니다. SLA는 계약이고, SLO는 엔지니어링의 목표이고, SLI는 측정입니다. 셋을 분리해 두면 계약상의 위약금 조항이 일상 엔지니어링 결정을 이끄는 데 쓰이는 흔한 혼란을 피할 수 있습니다.

이 가족에는 수박 보고(watermelon reporting)라는 잘 알려진 실패가 있습니다. 겉은 초록이고 속은 빨간 보고서입니다. 모든 SLA 줄이 충족으로 표시되는데도 고객은 불만입니다. 측정치가 고객이 신경 쓰는 것이 아니라 제공자가 믿을 만하게 달성할 수 있는 것으로 골라졌거나, 평균이 나쁜 꼬리를 가리거나, 가장 나쁜 기다림 동안 시계가 멈춰 있었기 때문입니다. 해법은 부분적으로 기술적이고(백분위수, 정직한 시계, 사용자 중심 지표) 부분적으로 사회적입니다(대화로 협상하고, 주기에 따라 검토하고, 팀에 대한 평결이 아니라 서비스에 대한 질문으로 읽는 협약). 측정치가 목표로 변하는 것에 대한 더 넓은 경고는 주제 1.2, 굿하트의 법칙과 지표의 심리학에 있습니다.

애자일 팀은 목표와 예산으로 생각하고, ITIL 서비스 수준 관리자는 협약과 검토로 생각합니다. 두 관점은 맞물립니다. 협약이 성과를 진술하고, 목표와 지표는 팀이 약속을 지키는 방법이며, 경험 측정치는 그것이 중요했음을 확인합니다.

마지막 용어입니다. 백분위수(percentile)는 관측값의 정해진 비율이 그 아래에 속하는 값입니다. 해결 시간의 85번째 백분위수는 티켓의 85퍼센트가 해결된 시간입니다. 대부분의 SLA 목표는 백분위수나 비율로 쓰이므로, 백분위수를 계산하는 방식과 그 안에 무엇이 포함되는지가 이 주제의 핵심입니다(주제 1.6, 서비스 지표를 위한 통계 소양 참조).

핵심 원칙

  • 고객과 성과에 합의한 다음 측정하십시오. 협약은 고객이 필요로 하고 제공자가 지속할 수 있는 것에 대한 협상된 진술로, 고객의 말로 쓰이고 함께 검토됩니다.
  • 단일 평균이 아니라 분포와 비율을 보고하십시오. 목표를 충족하는 평균 해결 시간 아래에 아주 늦은 작업의 긴 꼬리가 앉아 있을 수 있습니다. 백분위수, 모집단, 건수를 밝히십시오.
  • 시계를 정직하게 만드십시오. 모든 목표에는 시작 이벤트, 정지 이벤트, 멈춤 조건 목록이 있습니다. 시계 규칙을 게시하고 각 멈춤이 얼마나 자주 쓰이는지 보고하십시오.
  • 협약을 층으로 쌓으십시오. SLA는 OLA와 공급업체 계약 위에 세워지며, 팀 안에서 정한 목표는 밖에서 한 약속보다 엄격해야 합니다. 어느 층의 간극이든 맨 위에서 위반으로 나타납니다.
  • 모든 운영 측정치를 경험 측정치와 짝지우십시오. 충족된 목표와 나쁜 경험, 또는 그 반대는 보고서에서 가장 유용한 신호입니다.
  • 아슬아슬한 경우를 세십시오. 한도 안에 간신히 끝난 작업은 훨씬 안쪽에 끝난 작업보다 위험에 대해 더 많은 것을 알려 줍니다.
  • 팀과 서비스에 대해 보고하고 사람에 대해서는 하지 마십시오. 협약은 서비스나 팀이 확약하는 것을 설명합니다. 개인의 순위를 매기는 방법이 아닙니다.

지표 정의

지표 정의 공식 단위 데이터 원천 ITIL 프랙티스 애자일 대응 주기
SLA 달성률 기간 중 명시된 SLA 목표를 충족한 측정 항목(인시던트, 요청, 시간 구간)의 비율 목표를 충족한 항목을 측정된 항목으로 나눔. 시계는 협약에 정의된 기록 시각(예: 티켓 생성)에서 시작해 정의된 정지 이벤트(예: 복구 확인)에서 멈춤. 제외: 중복으로 취소한 항목과 예정된 유지보수 같은 합의된 제외 시간. 비율 옆에 건수를 보고 퍼센트, n과 함께 ITSM 도구 타임스탬프, 시간 기반 목표의 모니터링 데이터 서비스 수준 관리, 인시던트 관리, 서비스 요청 관리 이동 구간에 걸친 서비스 수준 목표 달성(주제 5.2, SLI, SLO, 오류 예산 참조) 월, 주간 내부 관점
아슬아슬한 충족 비중 목표를 충족했으나 허용 시간의 마지막 10분의 1 안에 끝난 항목의 비율 목표 시간의 90퍼센트 이상에서 끝났지만 여전히 한도 안인 항목을 목표를 충족한 항목으로 나눔. SLA와 같은 시계. 시간 구간에는 해당 없음(목표까지의 시간 측정치에만 적용) 퍼센트 ITSM 도구 타임스탬프 서비스 수준 관리 흐름 차트에서 서비스 수준 기대에 가까운 작업의 비율(주제 2.1, 흐름 측정치 참조) 월
시계 멈춤 비중 SLA 시계를 멈추는 상태에서 보낸 총 경과 티켓 시간의 비율 범위 안 항목의 시작부터 정지까지 총 경과 시간 대비 총 멈춤 시간. 멈춤 상태를 쓰지 않은 항목은 제외. 멈춤 상태별로 보고 퍼센트 ITSM 도구 상태 이력 서비스 수준 관리, 인시던트 관리 흐름 관점의 차단 시간과 대기 시간(주제 2.4, 가치 흐름 지표 참조) 월
OLA 달성률 두 팀 사이의 OLA 목표를 충족한 내부 인계의 비율 OLA 목표 안에 완료한 인계를 받은 인계로 나눔. 시계는 받는 팀이 배정될 때 시작해 항목을 돌려보내거나 닫을 때 멈춤. 제외: 잘못 재배정한 항목은 따로 셈 퍼센트, n과 함께 ITSM 도구 배정 이력 서비스 수준 관리, 인시던트 관리 팀 간 인계 대기 시간과 차단된 작업(주제 9.3, 협업과 인수인계 지표 참조) 월
인계 대기 시간(85번째 백분위수) 항목이 작업이 시작되기 전에 받는 팀의 대기열에서 기다리는 시간 받는 팀에 배정된 때부터 그 팀의 첫 기록된 행동까지 시간의 85번째 백분위수. 제외: 고객을 기다리는 항목 시간 또는 분 ITSM 도구 배정 및 활동 이력 서비스 수준 관리, 인시던트 관리 흐름 관점의 대기열 시간(주제 2.3, 진행 중인 작업과 대기열 참조) 주
여정별 경험 점수 새 노트북 받기나 장애 복구처럼 정의된 여정에서 서비스가 어떻게 지원했는지에 대한 고객 또는 사용자의 평가 기간 중 완료된 여정에 대한 고정된 척도의 설문 평가의 평균과 분포. 응답률과 응답자 구성을 보고. 제외: 부분 설문. 단일 평균이 아니므로 분포를 보여 줌 평가 척도, 응답률과 함께 짧은 상호작용 후 설문, ITSM 도구의 여정 이벤트 서비스 수준 관리, 고객 만족 프랙티스(주제 6.1, 고객 만족도 지표 참조) 고객 피드백과 성과 측정치 월, 각 조사 차수를 보여 줌
수박 간극 SLA는 충족으로 읽히는데 경험 측정치나 사용자 영향 측정치는 나쁘게 읽히는 보고 기간 또는 서비스의 비율 SLA 달성이 목표 이상이면서 경험이 합의된 수준 미만인 서비스(또는 기간)를 SLA 달성이 목표 이상인 서비스(또는 기간)로 나눔. 경험 수준은 기간에 점수를 매기기 전에 합의되어야 함 초록색 서비스의 퍼센트 SLA 달성과 경험 점수를 함께 서비스 수준 관리, 지속적 개선 성과에 비춘 결과의 회고 분기
협약 포괄률과 최신성 SLA, OLA, 공급업체 계약이 존재하고 합의된 간격 안에 검토된 운영 중 서비스의 비율 세 층이 모두 문서화되고 간격 안에 검토된 서비스를 서비스 카탈로그의 운영 중 서비스로 나눔. 간격은 조직이 정함. 제외: 폐기 중인 서비스 퍼센트 서비스 카탈로그(ITIL 자체 철자로는 service catalogue)와 협약 레지스트리 서비스 수준 관리, 서비스 카탈로그 관리, 공급업체 관리 정기적으로 검토하는 업무 합의와 팀 헌장 분기

권장 사항

협약을 설정하십시오

1. 각 SLA를 고객의 언어로 쓰고 하나의 성과에 묶으십시오. "계정이 잠긴 직원이 빨리 다시 일한다"처럼 고객이 필요로 하는 것에서 시작한 다음 측정치를 고르십시오. 의미 있는 몇 개의 목표가 있는 짧은 협약이 아무도 읽지 않는 긴 협약보다 낫습니다. 각 목표의 시계, 즉 시작 이벤트, 정지 이벤트, 멈춤 조건을 적으십시오(주제 3.3, 인시던트 대응 및 해결 시간 참조).

2. 목표를 명시된 모집단이 있는 백분위수나 비율로 진술하십시오. "우선순위 2 인시던트의 90퍼센트를 4시간 안에 복구"가 "평균 복구 2시간 미만"보다 많은 것을 말합니다. 무엇이 셈하는지 합의하십시오. 어떤 우선순위, 어떤 시간, 어떤 요청 유형인지입니다. 모든 백분율과 함께 건수를 보여 주어 인시던트 여덟 건의 달이 팔백 건의 달처럼 읽히지 않게 하십시오.

3. OLA를 SLA에서 도출하고 각각에 지명된 소유 팀을 두십시오. 고객 목표에서 거꾸로 일하십시오. 고객에게 4시간 안의 복구를 약속했다면 OLA는 감지, 분류, 인계, 수정을 위한 여유를 남겨야 합니다. 각 OLA를 받는 팀, 기대 응답 시간, 분쟁 경로가 있는 짧은 상호 협약으로 쓰십시오. OLA는 팀이 계획하는 것을 돕기 위해 존재하므로 관계가 허락하는 한 가볍게 유지하십시오.

4. 목표를 약속보다 엄격하게 유지하십시오. 내부 SLO를 SLA보다 엄격한 수준에 두어 나쁜 한 주를 고객에게 보이는 위반 전에 알아차리고 바로잡게 하십시오(주제 5.2, SLI, SLO, 오류 예산 참조). SLA는 재무와 법무가 신경 쓰는 바닥으로, SLO는 엔지니어가 조종하는 숫자로 다루십시오. 제품과 운영이 기능 작업과 신뢰성 작업 사이에서 결정하는 방법으로 오류 예산을 쓰십시오.

정직하게 측정하십시오

5. 시계 규칙을 게시하고 멈춤에 대해 보고하십시오. 녹색 보고서로 가는 가장 흔한 길은 제공자가 기다리는 쪽인데 쓰는 "고객 대기" 같은 후한 멈춤 상태입니다. 멈춤 상태별로 시계 멈춤 비중을 보고하고, 매달 멈춘 티켓 일부를 표본 검토하고, 고객이 시계를 멈춰야 했다는 데 동의할지 물으십시오. 허용되는 멈춤 이유의 목록을 짧게 유지하고 협약에 적으십시오.

6. 목표 옆에 분포 전체를 보여 주십시오. 달성률 옆에 중앙값, 85번째 또는 95번째 백분위수, 최악의 10분위를 두십시오. 평평한 95퍼센트 달성률이 며칠이 걸린 작업의 꼬리를 가릴 수 있습니다(주제 1.6, 서비스 지표를 위한 통계 소양 참조).

7. 아슬아슬한 경우와 위반 원인을 추적하십시오. 아슬아슬한 충족 비중은 초록색 숫자에 얼마나 운이 들어 있는지 알려 줍니다. 위반이 일어나면 원인 범주와 그것이 용량, 인계, 공급업체, 정의 문제 중 무엇이었는지 기록하십시오. 가장 큰 범주를 문제 관리에 연결하십시오(주제 4.1, 문제 관리 지표 참조).

8. 달성률뿐 아니라 OLA 대기열을 측정하십시오. 85번째 백분위수의 인계 대기 시간은 SLA 위반이 나타나기 훨씬 전에 일이 어디서 정체되는지 보여 줍니다. 보내는 팀과 받는 팀 모두와 공유하고, 둘 사이 흐름의 속성으로 설명하십시오. 대화는 대기열에 관한 것이지 그 안의 사람에 관한 것이 아닙니다(주제 2.3, 진행 중인 작업과 대기열 참조).

경험을 더하고 간극을 닫으십시오

9. 각 SLA를 같은 여정의 경험 측정치와 짝지우십시오. 상호작용 뒤에 그것이 효과가 있었는지, 얼마나 어려웠는지에 대한 짧은 질문을 사용자에게 하고 응답률과 응답자 구성을 보고하십시오. 어떤 수준이 충분히 좋은지 미리 합의해, XLA가 사후에 지어낸 숫자가 아니라 협상된 성과가 되게 하십시오(주제 6.2, 경험 수준 협약과 주제 6.1, 고객 만족도 지표 참조).

10. 수박 간극을 보고하고 발견 사항으로 다루십시오. SLA가 충족되는 동안 경험이 나쁜 빈도를 추적하십시오. 간극이 커지는 것은 SLA 측정치가 사용자가 신경 쓰는 것에서 멀어지고 있다는 뜻이며, 올바른 대응은 불일치를 설명하는 것이 아니라 측정치를 개정하는 것입니다. 고객 대표가 참석한 가운데 분기마다 검토하십시오.

11. 일정에 따라 협약을 검토하고 아무도 쓰지 않는 것은 폐기하십시오. 각 협약을 서비스 카탈로그, 공급업체 계약, 실제 업무에 비춰 점검하십시오. 운영 중인 협약의 작은 집합이 보고하기 더 쉽고 악용하기 더 어렵습니다.

12. 세 층을 결합한 하나의 관점으로 각 서비스를 보고하십시오. 각 서비스에 대해 SLA 달성, 분포, OLA 인계 대기, 경험 점수, 열린 개선 작업을 한 페이지에 보여 주십시오. 상태는 서비스 소유자가 고른 색이 아니라 데이터에서 도출하십시오. 페이지를 고객과 팀에게 공개하십시오(주제 11.1, 서비스 지표 대시보드 설계 참조).

악용 방식과 방호책

지표 악용되는 방식 짝을 이루는 방호책 지표 또는 실천
SLA 달성률 목표를 쉽게 정함, 티켓을 일찍 닫았다가 나중에 다시 엶, 우선순위를 낮게 재분류함, 어려운 사례를 "범위 밖"으로 제외함 재개방률과 우선순위 재분류율, 고객과 함께 읽는 닫은 티켓의 표본, 분기마다 제외 목록 검토
아슬아슬한 충족 비중 한도 1분 전에 시계를 멈추고 기록 밖에서 작업을 계속함, 티켓을 두 개의 더 짧은 티켓으로 쪼갬 마지막 고객 접촉부터 확인된 복구까지의 시간, 인시던트당 연결되거나 하위인 티켓 건수
시계 멈춤 비중 고객을 기다리지 않는 티켓에 멈춤 상태를 씀, 집계되지 않는 상태로 작업을 옮김 표본에 대한 멈춤 이유 감사, 고객이 되돌린 멈춤의 비중, 멈춘 티켓의 경험 점수
OLA 달성률 시계를 다시 시작하려고 인계를 보낸 쪽으로 되돌림, 작업을 시작하지 않고 항목을 수락한 것으로 표시함 항목당 반송 건수와 팀 전체에 걸친 복구까지 총 시간, 처음부터 끝까지의 SLA 성과
인계 대기 시간(85번째 백분위수) 대기를 숨기려고 팀 대기열이 아니라 사람에게 배정함, 형식적인 첫 행동을 기록함 표본 조사한 첫 행동의 품질, 배정부터 첫 고객이 보는 업데이트까지의 시간
여정별 경험 점수 만족한 사용자에게만 설문을 보냄, 유도 질문을 함, 대응자가 높은 평가를 주도록 코칭함 모집단에 대한 응답자 구성, 점수 옆에 응답률 표시, 검토에서 읽는 서술형 의견
수박 간극 간극이 작게 유지되도록 경험 수준을 낮게 정함, 경험 측정치가 떨어지면 측정치를 바꿈 미리 합의한 경험 수준과 이유와 함께 기록된 변경, 분포 전체의 추세
협약 포괄률과 최신성 실제 검토 없이 협약을 검토됨으로 표시함, 스텁 문서를 SLA로 셈 검토의 증거(참석자, 변경, 결정), 실제 내용과 고객 서명을 위해 읽는 협약 표본

건강한 수치는 이해할 만한 이유로 움직이는 달성률, 적고 설명되는 아슬아슬한 경우, 합의된 목록 안에 머무는 멈춤, 소유한 팀이 논의하는 인계 대기, 대체로 SLA와 일치하는 경험 측정치를 보여 줍니다. 둘이 어긋나는 곳에서는 팀에게 이미 원인에 대한 메모와 개선 항목이 있습니다.

상충 관계: 장점과 단점

접근 방식 강점 약점
위약금이 있는 계약상의 SLA 분명하고, 집행할 수 있고, 법적으로 인정됨 시계 게임과 방어적 보고를 부름, 위약금이 관계를 해칠 수 있음
위약금 없이 정기 검토를 하는 SLA 신뢰와 정직한 데이터를 쌓음, 학습에 집중함 공급업체가 계속 목표를 놓칠 때 영향력이 적음
모든 팀 사이의 상세한 OLA 분명한 기대와 더 적은 분쟁 관료주의, 팀이 고객의 시계가 아니라 자기 시계에 최적화함
공유된 엔드투엔드 목표가 있는 가벼운 OLA 협력을 북돋움, 서류 작업이 적음 분쟁을 해소하려면 신뢰와 좋은 대기열 가시성이 필요함
SLA에 XLA 추가 서비스가 사람들을 돕는지 보여 줌 설문 데이터는 더 잡음이 많고 느림, 귀속이 더 어려움

협약을 작게 유지하고, 분포를 보고하고, 경험 데이터로 운영 데이터를 점검하십시오. 숫자에 대한 의견 불일치 대부분이 생기는 시계 규칙과 인계에 노력을 쓰십시오.

팀과 논의할 질문

1. SLA 보고서가 모두 초록색이라면 사용자는 서비스에 대해 무엇이라고 말할 것으로 기대할까요? 몇 달 동안 초록색이었던 서비스를 그룹이 하나 명명하게 하고, 사용자가 의견과 불만에서 실제로 하는 말을 모으십시오. 둘을 비교하십시오. 진행자는 측정치와 실제 경험 사이의 간극을 찾고, 달성하기 쉬워서 골라진 측정치를 기록해야 합니다.

2. 우리 시계는 어디서 멈추며, 누가 그렇게 정했나요? 중요한 목표 하나의 시작, 정지, 멈춤 규칙을 훑어보며 각각을 누가 썼는지 물으십시오. 멈춤 상태에 있는 티켓의 비중을 보고 고객이 동의할지 물으십시오. 조이거나 명확히 할 규칙 하나에 합의하십시오.

3. 우리 OLA 중 팀이 계획하는 데 도움이 되는 것은 무엇이며, 비난만 배정하는 것은 무엇인가요? 내부 협약을 나열하고 각각을 누가 언제 읽는지 물으십시오. 놓친 OLA 뒤에 무슨 일이 일어나는지, 대기열에 대한 대화인지 잘못을 찾는 일인지 논의하십시오. 목표는 논의를 팀 사이의 일의 흐름 쪽으로 옮기는 것입니다. 단순화하거나 폐기할 OLA 하나를 고르십시오.

4. 우리의 초록색 중 얼마가 운인가요? 가장 중요한 목표의 아슬아슬한 충족 비중을 보여 주십시오. 다음 달에 어려운 사례가 조금 더 있거나 가용한 사람이 조금 적으면 어떻게 될지 논의하십시오. 팀에 여유가 있는지, 그것이 어디 있는지 물으십시오.

5. 고객이 오늘 우리가 측정하지 않는데 약속해 주기를 원하는 것은 무엇일까요? 고객 대표나 사용자에게 자신에게 중요한 것을 자기 말로 설명해 달라고 하십시오. 사람에게 닿을 수 있는 것이나 첫날 전에 노트북을 받는 것 같은 것입니다. 두세 가지 성과를 포착하십시오. 짧은 설문 질문이나 데이터에 이미 있는 이벤트가 될 수 있는 것과, 그룹이 좋은 수준에 어떻게 합의할지 결정하십시오.

6. SLA 측정치가 사용자가 신경 쓰는 것에서 멀어졌음을 어떻게 알까요? 수박 간극을 신호로 논의하고 누가 그것을 보는지 물으십시오. 협약을 얼마나 자주 검토하는지, 고객이 참석하는지 고려하십시오. 검토 날짜와 티켓 표본 및 최신 경험 결과를 포함해 가져올 증거에 합의하십시오.

네 가지 관점

제품 및 전달 팀

자기 서비스를 운영하기도 하는 전달 팀은 자체 목표와 오류 예산을 통해 SLA를 만나며, SLA 위약금이나 고객 에스컬레이션이 계획된 작업을 중단시킬 때 비용을 느낍니다. SLO를 SLA보다 엄격하게 유지하고 SLA를 일상 목표가 아니라 안전 바닥으로 다뤄야 합니다(주제 5.2, SLI, SLO, 오류 예산 참조).

서비스 및 운영 팀

운영 팀은 시계를 맡습니다. 시작, 정지, 멈춤 조건의 분명한 규칙, 받는 대기열을 명시하는 공유 OLA, 인계 대기의 가시성이 필요합니다. 위반 원인을 솔직히 보고하고 문제 및 용량 작업의 입력으로 써야 합니다(주제 4.1, 문제 관리 지표 참조). 원인을 고치는 대신 시계로 결과를 설명하라는 압박에 저항해야 합니다.

리더십과 거버넌스

리더는 SLA 보고서로 확약이 지켜지는지와 어디에 투자할지를 봅니다. 분포, 시계 멈춤 비중, 아슬아슬한 충족 비중, 수박 간극을 요청하고, 끊이지 않는 초록색에는 호기심을 가져야 합니다. 위반 분석 뒤의 개선 작업에 자금을 대고 정직한 보고를 비난으로부터 지키는 것이 목표 자체보다 중요합니다(주제 1.2, 굿하트의 법칙과 지표의 심리학 참조).

고객과 사용자

고객은 협약이 자신이 느끼는 것을 설명하기를 원합니다. 문제가 얼마나 빨리 고쳐지는지, 얼마나 자주 재발하는지, 도와주는 사람에게 닿을 수 있는지입니다. 협약의 검토에 참여하고 초록색 보고서가 자신의 경험과 맞지 않을 때 말할 방법이 있어야 합니다. 위반의 이유와 계획된 수정이 담긴 읽기 쉬운 한 쪽짜리 요약이 달성률의 긴 표보다 더 많은 신뢰를 쌓습니다.

실제 적용: 서비스 관리 사례

한 지역 병원의 IT 부서가 병동 직원이 쓰는 임상 일정 시스템을 지원합니다. 서비스 소유자, 서비스 데스크, 애플리케이션 팀, 인프라 팀이 매달 모입니다. 아래 모든 숫자는 예시입니다.

SLA는 24시간 7일 서비스에서 티켓 생성부터 측정해 우선순위 2 인시던트(병동에 영향을 주는 부분적 기능 상실)의 90퍼센트를 4시간 안에 복구한다고 약속합니다. 월간 보고서는 36건의 인시던트(예시)에 94퍼센트 달성을 보여 주며 편안한 초록색입니다. 우선순위 2 종료마다 보내는 경험 설문은 응답률 41퍼센트(예시)에 5점 척도의 평가 중앙값 3으로, 서비스 소유자와 병동 관리자들이 XLA로 합의한 4라는 수준에 크게 못 미칩니다. 수박 간극이 석 달 연속 보입니다.

팀이 분포를 봅니다. 복구 중앙값은 1시간 40분(예시)이지만 95번째 백분위수는 3시간 50분(예시)이고, 아슬아슬한 충족 비중은 31퍼센트(예시)입니다. "충족한" 인시던트의 거의 3분의 1이 허용 시간의 마지막 10분의 1에 끝났습니다. 시계 멈춤 비중을 보니 경과 시간의 22퍼센트(예시)가 "고객 대기" 상태에 쓰였습니다. 멈춘 티켓 열 건의 표본은 병동이 답했는데도 티켓이 다음 교대까지 멈춰 있던 것이 네 건이고, 다른 세 건에서는 애플리케이션 팀이 인프라 팀을 기다리고 있었음을 보여 줍니다. 인프라 대기열의 85번째 백분위수 인계 대기 시간은 OLA 30분(예시)에 비해 2시간 10분(예시)이며, 그 인계의 OLA 달성률은 58퍼센트(예시)입니다.

결정은 실용적입니다. 고객에 대한 문서화된 요청 뒤에만 "고객 대기"를 쓸 수 있고 시계는 다음 답신에서 재개된다는 쪽으로 시계 규칙을 바꿉니다. 병동 시간에 인프라 대기열에 대한 온콜 경로를 추가하고 더 작은 OLA에 합의하며 한 달 뒤 검토합니다. 월간 한 쪽짜리 보고서에 경험 측정치와 수박 간극을 추가하고 병동 관리자를 검토에 초대합니다. 또 내부 SLO를 인시던트의 95퍼센트를 4시간 안에 복구하는 더 엄격한 수준으로 낮춰, SLA가 위험해지기 전에 팀이 문제를 알아차리게 합니다.

악용 위험은 두 번째 달에 나타납니다. 멈춤 규칙이 바뀐 뒤 달성률이 89퍼센트(예시)로 떨어지고, 한 관리자가 서비스 데스크에 "우선순위를 다시 확인하라"고 요청합니다. 팀은 우선순위 2에서 3으로의 강등이 급증한 것을 알아차리고, 달성률을 재분류율 및 재개방률과 짝지우고, 우선순위 변경마다 레코드에 이유를 요구합니다. 세 번째 달에 달성률은 91퍼센트(예시)이고, 95번째 백분위수는 더 낮고, 아슬아슬한 충족 비중은 줄었고, 경험 평가 중앙값은 3.8(예시)로 올랐습니다. 일이 개선되었기 때문에 간극이 좁아졌고 숫자는 믿을 만합니다.

애자일, AI, 자동화, 분석

애자일

이해관계자와 서비스 수준에 합의하고 정기적으로 검토해, 서비스가 진화함에 따라 목표가 사용자가 필요로 하는 것을 따르게 하십시오. 주의할 점은 몇 년 동안 방치된 고정 목표는 과거를 측정한다는 것입니다.

AI

AI는 위반을 요약하고, 어떤 티켓이 목표를 놓칠지 예측하고, 에스컬레이션을 제안할 수 있습니다. 달성률을 경험 점수 및 수박 간극과 짝지우고 어떤 예측이 맞았는지 기록하십시오. 주의할 점은 목표를 지키라는 AI의 재촉이 사람들을 시계를 멈추거나 우선순위를 다시 매기도록 밀 수 있으므로 멈춤 사용을 감사해야 한다는 것입니다.

자동화

이벤트 타임스탬프로 달성률을 계산하고 멈춤 규칙을 보이게 하십시오. 자동 에스컬레이션을 오에스컬레이션과 놓친 위반으로 측정하십시오. 주의할 점은 고객 대기 같은 상태에 대한 자동 멈춤이 악용으로 가는 쉬운 길이라는 것입니다.

분석

달성률을 아슬아슬한 경우 및 백분위수와 함께 보고하고 옆에 경험 점수를 보여 주십시오. 이는 어떤 협약을 재협상할지에 정보를 줍니다. 주의할 점은 적은 티켓 건수에 대한 달성률은 변동이 크므로 각 백분율 뒤의 건수를 보여 줘야 한다는 것입니다.

부문별 관점

스타트업. 작은 회사에는 공식 SLA가 전혀 없고 소수의 초기 고객에 대한 비공식 약속만 있는 경우가 많습니다. 서비스 시간, 응답 목표, 백분위수로 진술한 복구 목표를 명시한 한 쪽을 쓰고 팀 안에 SLO를 두십시오. 고객과의 대화가 XLA를 대신하므로 가장 중요한 고객 세 곳이 매달 하는 말을 적어 두십시오.

소규모 사업. 작은 IT 팀은 보통 외부 공급업체에 크게 의존하므로 내부 OLA보다 지원 계약이 더 중요합니다. 각 공급업체의 확약이 자체 사용자에게 주는 SLA만큼 엄격한지 점검하고 공급업체의 실제 성과를 추적하십시오(주제 8.4, 공급업체와 계약 지표 참조). 달성률, 아슬아슬한 경우, 짧은 사용자 설문이 있는 단순한 월간 페이지면 충분합니다.

대기업. 대규모 조직에는 협약 레지스트리와 포괄률 지표가 필요합니다. 상위 집계가 의미를 갖도록 서비스 간에 시계 규칙과 정의를 표준화하십시오(주제 1.4, 지표 거버넌스와 소유권 참조). 수백 개의 초록색 줄이 심각한 사용자 고통이 있는 몇몇 서비스를 가리는 관리 상위 집계의 수박 효과를 경계하십시오.

정부 및 공공 부문. 공공 기관에는 법정 서비스 기준, 계약에 SLA를 고정하는 조달 규칙, 결과를 공표할 의무가 있는 경우가 많습니다. 공표하는 측정치를 분명하고 검증 가능하게 유지하고, 감사를 위해 시계 규칙과 증거를 보존하고, 시민을 검토에서 발언권이 있는 고객으로 대하십시오(주제 8.5, 규제 및 정부 보고 참조). 계약이 경직된 곳에서는 계약 문구를 바꾸지 않고 그 옆에 경험 측정치를 추가하십시오.

비즈니스 케이스: 동기, ROI, TCO

더 나은 협약 지표의 사례는 신뢰와 낭비되는 노력을 피하는 사례입니다. 사용자가 느끼는 것과 맞는 보고서는 에스컬레이션과 분쟁을 줄이고, 누구의 숫자가 맞느냐는 월간 논쟁을 줄이고, 리더가 중요한 일에 자금을 대게 합니다. 분명한 OLA는 긴 복구의 가장 큰 기여 요인 중 하나인 인계 지연을 줄입니다. 일찍 포착한 수박 간극은 고객 관계나 계약 갱신이 잘못되는 더 큰 비용을 피합니다.

비용은 적당합니다. 협약을 쓰고 검토하는 시간, 믿을 수 있는 시계와 인계 데이터(주제 1.5, 데이터 원천과 계측 참조), 짧은 설문, 월간 검토입니다. 총비용은 협약의 수에 따라 늘어나므로 더 적고 더 단순한 협약이 소유하기 더 쌉니다.

수익은 놀라운 위반의 감소, 보고서를 설명하는 데 드는 시간의 감소, 더 나은 정보에 기반한 투자 선택으로 나타납니다. 이를 계산이 아니라 시간에 따라 관찰하고 비교할 패턴으로 다루십시오. 월간 검토의 노력을 자체 조직에서 에스컬레이션된 분쟁 한 건이나 잃은 갱신 한 건의 비용과 자체 데이터로 비교하십시오(주제 7.7, 투자 수익과 비즈니스 케이스 참조).

안티패턴과 함정

  • 평균만 보고하기. 평균은 늦은 작업의 긴 꼬리를 가립니다. 백분위수, 아슬아슬한 충족 비중, 건수를 보고하십시오.
  • 달성하기 쉬운 것을 중심으로 SLA 쓰기. 편안함을 위해 고른 목표는 항상 초록색인 보고서를 줍니다. 고객이 필요로 하는 것에서 시작하고 간극을 공개적으로 보여 주십시오.
  • 숫자를 개선하려고 시계 멈추기. 후한 멈춤 상태는 SLA를 허구로 만듭니다. 멈춤 규칙을 게시하고, 표본을 감사하고, 멈춤 비중을 보고하십시오.
  • 무기로서의 OLA. 다음 팀을 비난하는 데 쓰는 OLA는 팀이 일을 반송하도록 가르칩니다. 놓친 것을 대기열에 대한 정보로 다루고 흐름을 고치십시오.
  • 위약금 주도의 보고. 무거운 위약금은 방어적 분류와 시계 논쟁을 부릅니다. 위약금을 아껴 쓰고 재개방률 및 재분류율과 짝지우십시오.
  • 응답률 없는 경험 데이터. 작고 자기 선택한 표본의 높은 점수는 오해를 부릅니다. 모든 결과 옆에 응답률과 응답자 구성을 보여 주십시오.
  • 아무도 검토하지 않는 협약. 낡은 협약은 더 이상 존재하지 않는 서비스를 설명합니다. 검토를 일정에 넣고 쓰이지 않는 것은 폐기하십시오.
  • 팀 협약에서 나온 개인 목표. 팀 SLA를 개인 할당량으로 쪼개면 서둘러 닫고 순위를 매기게 됩니다. 협약을 서비스와 팀 수준에 두십시오.

성숙도 모델

차원 시작 발전 표준화 관리 조율
협약 설계 구두 약속이나 복사한 템플릿, 습관으로 정한 목표 일부 서면 SLA, OLA는 드묾, 팀마다 시계가 다름 성과 기반 목표, 백분위수, 서면 시계 규칙이 있는 짧은 템플릿 고객과 함께 주기적으로 협약을 검토하고 SLO에 연결함 SLA, OLA, 공급업체 계약, SLO의 층을 조건이 바뀌면 함께 조정함
측정 품질 수작업 건수, 평균, 문서화되지 않은 멈춤 일부 서비스에 도구 기반 달성률, 멈춤 사용은 검토하지 않음 하나의 정의와 데이터 원천, 분포와 멈춤 비중을 보여 줌 아슬아슬한 경우, 위반 원인, 인계 대기를 추세로 보고 표본 조사함 팀과 공급업체의 데이터를 대조하고 결정에 정보를 주지 못하면 정의를 개정함
경험 연결 SLA에 연결된 사용자 피드백이 없음 일부 서비스에 임시 설문 응답률을 보여 주는 핵심 여정의 짧은 설문 고객과 경험 목표를 합의하고 수박 간극을 보고함 경험과 운영 측정치가 고객과의 공동 개선 작업을 이끎
개선에서의 활용 불만 뒤에 보고함 팀 회의에서 위반을 논의함 소유자와 조치가 있는 월간 검토 위반 원인이 자금 투입 개선과 문제 작업에 공급됨 고객, 공급업체, 팀이 같은 관점에서 개선을 함께 계획함

체크리스트

  • 각 SLA가 성과, 백분위수나 비율로 된 목표, 모집단을 명시한다.
  • 모든 목표에 시작 이벤트, 정지 이벤트, 허용되는 멈춤 조건이 적혀 있다.
  • 고객 대면 SLA마다 그 안에 맞는 OLA 또는 공급업체 계약이 있고 각각 지명된 소유 팀이 있다.
  • 내부 목표가 약속된 SLA 목표보다 엄격하다.
  • 보고서가 분포, 건수, 아슬아슬한 충족 비중, 시계 멈춤 비중을 보여 준다.
  • 매달 멈춘 티켓과 닫은 티켓의 표본을 읽는다.
  • 각 핵심 서비스에 합의된 수준의 경험 측정치가 있고 응답률을 보여 준다.
  • 수박 간극을 추적하고 고객 대표와 검토한다.
  • 협약을 일정에 따라 검토하고 쓰이지 않으면 폐기한다.
  • 어떤 협약 지표도 개인의 순위를 매기는 데 쓰지 않는다.

AI 프롬프트

시계와 문구 문제에 대해 SLA를 검토합니다.

다음은 [서비스]에 대한 우리 SLA의 본문입니다: [협약 본문 붙여 넣기]. 목표는
[목표 목록]이며 [도구]에서 측정합니다. 시작 이벤트, 정지 이벤트, 멈춤 조건의
모호함, 평균이 긴 꼬리를 가릴 수 있는 곳, 고객이 우리와 다르게 읽을 수 있는
문구를 찾아 주세요. 더 분명한 문구와 고객에게 물어야 할 질문을 제안해 주세요.
기준 값이나 법적 결론을 지어내지 마세요. 가정한 내용을 나열해 주세요.

두 팀 사이의 OLA 초안을 작성합니다.

[서비스]에 대한 [SLA 목표]의 SLA를 뒷받침하는 [보내는 팀]과 [받는 팀] 사이의
짧은 운영 수준 협약이 필요합니다. 전형적인 인계는 [설명]이고 대기열은 [대기열
이름 또는 도구]입니다. 목적, 기대 응답, 시계 규칙, 분쟁 해결 방법, 검토 날짜를
담은 한 쪽짜리 OLA 초안을 작성해 주세요. 어조는 협력적으로 하고 내가 요청하지
않는 한 위약금을 제안하지 마세요. 목표 값을 지어내지 말고 내게 물어보세요.
가정한 내용을 나열해 주세요.

우리 데이터에서 수박 간극을 찾습니다.

다음은 [기간] 동안 [서비스 목록]의 SLA 달성과 경험 측정치 요약입니다: [표 붙여
넣기]. SLA는 충족으로 읽히고 경험은 나쁘게 읽히는 서비스를 찾고, 시계 멈춤,
우선순위 재분류, 잘못 고른 측정치 같은 조사할 수 있는 설명을 제안해 주세요.
각각에 대해 질문과 읽어 볼 소량의 티켓 표본을 제안해 주세요. 원인을 가정하거나
임계값을 지어내지 마세요. 가정한 내용을 나열해 주세요.

XLA를 위한 짧은 경험 설문을 설계합니다.

[대상]을 위한 [여정, 예: 새 노트북 받기]의 경험 측정치를 추가하려 합니다.
중립적인 질문 [개수]개, 언제 어떻게 보낼지에 대한 계획, 응답률과 응답자 구성을
보고하는 방법의 초안을 작성해 주세요. 답을 편향시킬 수 있는 표현을 짚고
[고객 대표 역할]과 목표 수준에 합의하는 방법을 제안해 주세요. 기준 점수를
지어내지 마세요. 가정한 내용을 나열해 주세요.

AI 스킬

핵심 정리

  • SLA는 고객에 대한 약속이고, OLA는 팀 사이의 약속이며, XLA는 합의된 경험 성과입니다. 각각 자체 측정치와 소유자가 필요합니다.
  • 평균과 조용한 멈춤은 나쁜 서비스 위에 초록색 보고서를 만들므로, 백분위수, 건수, 아슬아슬한 경우, 시계 멈춤 비중을 보고하십시오.
  • OLA를 SLA에서 도출하고 내부 목표를 약속보다 엄격하게 유지하십시오.
  • 모든 SLA를 같은 여정의 경험 측정치와 짝지우고, 수박 간극을 행동할 발견 사항으로 보고하십시오.
  • 고객이 자리한 가운데 일정에 따라 협약을 검토하고 아무도 쓰지 않는 것은 폐기하십시오.
  • 모든 협약 지표를 서비스와 팀 수준에 두고 개인에게는 절대 두지 마십시오.

참고 문헌과 더 읽을거리

  1. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
  2. Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SLOs, O'Reilly Media, 2018, https://sre.google/workbook/table-of-contents/
  3. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  4. AXELOS, ITIL Foundation: ITIL 4 Edition, TSO (The Stationery Office), 2019.
  5. ISO/IEC 20000-1:2018, Information technology: Service management: Part 1: Service management system requirements, International Organization for Standardization.
  6. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  7. Wikipedia, Service-level agreement.
  8. Wikipedia, ITIL.
  9. Wikipedia, Operational-level agreement.
  10. Wikipedia, Service level indicator.
  11. Wikipedia, Service level objective.
  12. Wikipedia, Site reliability engineering.
  13. Wikipedia, Percentile.