이 책의 모든 지표는 세어지는 것을 만드는 데 실제 노력이 든다는 가정에 서 있습니다. 해결된 티켓은 작업을 반영했습니다. 쓴 문서는 지식을 반영했습니다. 병합된 변경은 정성을 반영했습니다. 생성형 AI는 그 가정을 약화시킵니다. 답장, 문서, 시험, 코드 블록의 초안을 몇 초 만에 만들 수 있고, 만든 것은 그럴듯한 경우가 많고 때로는 틀립니다. 건수는 올라갑니다. 서비스를 받는 사람들이 더 나아졌는지는 건수가 답할 수 없는 별개의 질문입니다.

AI는 측정할 새로운 것도 더합니다. 대화형 어시스턴트와 사용자를 대신해 행동하는 에이전트에는 해결, 인계, 잘못된 행동의 피해에 대한 측정치가 필요합니다. 모델, 프롬프트, 공급업체의 거버넌스에는 포괄, 통제, 인시던트 처리의 측정치가 필요합니다. 이 도구들 곁에서 일하는 사람들은 기술, 이해, 지속 가능한 속도를 보호받아야 합니다. 이 부의 측정치는 책의 나머지에 기대는데, 방호책이 같기 때문입니다. 각 지표를 그것이 숨길 수 있는 것에 대한 점검과 짝지우고, 기준선과 비교하고, 사람과 함께 표본을 조사하고, 사람에 대한 데이터를 평가 밖에 두십시오(주제 1.2, 굿하트의 법칙과 지표의 심리학 참조).

애자일과 ITIL의 업무 방식은 이 모든 것에 대해 합리적인 입장을 제공합니다. AI의 각 사용을 작은 실험으로 다루십시오. 기대하는 이익을 밝히고, 기꺼이 하는 사람들과 시도하고, 그것 없이 한 비슷한 작업과 비교하고, 증거로 결정하십시오. 신호가 나빠질 때 가장 먼저 알아차리는 사람이 이해관계자이므로 그들을 계속 참여시키십시오. 절약한 시간이 수요의 자동적 증가가 아니라 품질과 학습에 대한 선택이 되도록 지속 가능한 속도를 목표로 하십시오. 그리고 의욕 있는 개인을 중심으로 만든다는 목표를 기억하십시오. AI는 지루한 일을 덜어 주고 사람들의 판단을 존중해야 하며, 사람을 모니터링하는 방법이 되어서는 안 됩니다.

AI 도구, 제품, 규칙에 대한 사실은 빠르게 바뀝니다. 이 부에서 특정 규제, 표준, 도구에 대한 진술은 2026년 10월 기준이며 독자는 다시 확인해야 합니다. 측정 원칙은 그것이 설명하는 어떤 기술보다 오래갑니다.

이 부는 네 가지 렌즈 중 나머지 둘인 자동화와 분석도 다룹니다. 자동화와 오케스트레이션은 누가 일을 하는지를 바꾸고 실패를 빠르고 넓게 만들므로, 무엇을 없애고 무엇을 깨뜨리는지로 측정합니다. 파이프라인은 변경과 규정 준수에 대한 증거 상당 부분을 만들므로 시스템으로 측정합니다. 분석, 예측, 관측 가능성은 책의 다른 모든 곳에서 쓰이는 숫자를 만들므로, 그 데이터 품질, 불확실성, 비용에 자체 측정치가 필요합니다.

이 부의 주제

  • 10.1 서비스 관리 측정에서의 AI: AI가 일에 들어오는 곳, 도입 전의 기준선, 비교, 점검된 결과까지의 시간, 전체 비용입니다.
  • 10.2 AI 지원 작업 측정: 유지, 재작업, 검토 부하, 빠져나간 결함, 이해, 기술입니다.
  • 10.3 AI 에이전트와 챗봇 지표: 검증된 해결, 재접촉, 인계, 사람까지의 시간, 답변 정확성, 에이전트 행동의 되돌림입니다.
  • 10.4 지표 인플레이션과 품질 희석: 물량과 속도가 부풀려지는 방식, 유용성 표본 조사, 검증 부담, 피드백 고리 끊기입니다.
  • 10.5 AI 거버넌스와 위험 지표: 사용 레지스트리, 위험 등급, 모델과 프롬프트의 변경 통제, 평가, 감독, 인시던트입니다.
  • 10.6 자동화와 오케스트레이션 지표: 자동화가 없애고 깨뜨리는 것, 의미 있는 포괄, 실패와 롤백, 사람이 개입하는 설계입니다.
  • 10.7 파이프라인과 자동화된 변경 지표: 파이프라인 건강, 자동 승인, 코드형 정책, 파이프라인이 만드는 증거입니다.
  • 10.8 분석과 데이터 품질 지표: 완전성, 적시성, 계보, 대조, 숫자가 보여 줄 수 있는 것과 없는 것입니다.
  • 10.9 예측과 예측 분석 지표: 예측 오차, 보정, 구간, 예측이 정보를 주는 결정입니다.
  • 10.10 관측 가능성과 텔레메트리 지표: 로그, 지표, 트레이스의 포괄, 신호 품질, 텔레메트리의 비용입니다.

이 주제들의 상호 관계

기초 주제는 방법을 정합니다(주제 10.1, 서비스 관리 측정에서의 AI 참조). 기준선, 비교, 표본 조사, 전체 비용입니다. 이 부의 다른 모든 주제에 적용됩니다. 지원 작업 주제는 그 방법을 사람들이 AI를 곁에 두고 하는 일에 적용하고, 무엇이 살아남는지와 이해에 무슨 일이 생기는지 봅니다(주제 10.2, AI 지원 작업 측정 참조). 챗봇과 에이전트 주제는 그것을 사용자를 직접 마주하거나 사용자를 대신해 행동하는 시스템에 적용하며, 잘못된 답이나 행동의 비용이 다른 사람에게 떨어집니다(주제 10.3, AI 에이전트와 챗봇 지표 참조).

인플레이션과 희석은 이 모든 것의 경고하는 짝입니다(주제 10.4, 지표 인플레이션과 품질 희석 참조). 쉬운 숫자가 왜 오르는지와 무엇을 짝지워야 하는지를 설명하며, 다른 주제의 유용성 점검과 이어집니다. 거버넌스는 나머지를 제자리에 잡아 두는 구조입니다(주제 10.5, AI 거버넌스와 위험 지표 참조). 무엇을 측정할지 알려 주는 레지스트리, 얼마나 깊이 측정할지 알려 주는 위험 등급, 행동이 보이지 않게 표류하는 것을 막는 변경 통제, 무언가 잘못되었을 때의 인시던트 프로세스를 제공합니다.

몇 가지 방호책 짝이 뒤따릅니다. 속도 측정치는 점검된 결과까지의 시간 및 검증 부담과 함께 읽어야 합니다. 봉쇄나 우회 수치는 검증된 해결 및 재접촉과 함께 읽어야 합니다. 등록된 사용의 수는 독립적인 탐색에 비춰 읽어야 합니다. AI 도구의 도입 수치는 서술적인 것으로 다뤄야 하며, 비교에 비춘 성과가 무게를 집니다.

이 부는 앞선 부들과 이어집니다. 제2부의 검토와 흐름 측정치, 제3부의 지식과 셀프서비스 측정치, 제8부의 보안과 위험 측정치, 제9부의 사람 측정치입니다. 주제 10.6에서 10.10은 방법을 자동화, 파이프라인, 분석, 예측, 관측 가능성으로 확장합니다. 같은 기준선, 속도를 품질과 짝짓기, 숫자가 보여 줄 수 없는 것을 점검하는 같은 습관입니다. 자동화와 파이프라인 측정치(주제 10.6, 자동화와 오케스트레이션 지표와 주제 10.7, 파이프라인과 자동화된 변경 지표 참조)는 주제 10.8의 데이터 품질 측정치(주제 10.8, 분석과 데이터 품질 지표 참조)에 기대고, 예측(주제 10.9, 예측과 예측 분석 지표 참조)과 텔레메트리(주제 10.10, 관측 가능성과 텔레메트리 지표 참조)가 둘 다에 공급합니다. 마지막 내용 부로 이어지는데, 이는 지표 프로그램 자체를 구축하는 것에 관한 것입니다. 주의 없이 측정을 도입하는 프로그램은 이 부가 설명하는 것과 같은 왜곡을 겪기 때문입니다.