개요와 동기

인공지능은 이제 팀이 서비스를 만들고 운영하는 데 쓰는 많은 도구 안에 들어 있습니다. 인공지능(AI)은 인간 지능과 연관된 과업을 수행하는 컴퓨팅 시스템의 능력입니다. 그 안에서 기계 학습 시스템은 데이터에서 패턴을 배우고, 흔히 거대 언어 모델 위에 만들어지는 생성형 AI 시스템은 프롬프트에 응답해 텍스트, 코드, 다른 콘텐츠를 만듭니다. IT 서비스 관리(ITSM)에서 이런 능력은 티켓 분류, 인시던트 요약, 지식 문서 초안, 서비스 데스크의 제안 응답, 전달 파이프라인의 코드 완성과 리뷰, 모니터링의 이상 징후 감지, 사용자를 위한 대화형 어시스턴트에 나타납니다. AIOps는 IT 운영 데이터에 AI를 적용하는 것에 흔히 붙는 이름입니다.

이 도구들에 대한 주장은 크고, 어느 조직에서든 증거는 대개 작습니다. 공급업체는 절약한 시간을 보고합니다. 초기 도입자는 열정을 보고합니다. 경영진은 약속된 효율 향상을 요청합니다. 그동안 팀은 출력을 점검해야 하고, 일부 제안은 자신 있게 틀리고, 일이 다르게 느껴진다고 보고합니다. 측정은 조직이 이 중 어느 것이 자기 일에 대해 참인지 알아내는 방법입니다. 책의 이 부는 AI를 다른 지표 가족과 같은 방호책으로 측정해야 할 대상으로 진지하게 다룹니다.

AI는 측정 문제를 네 가지 방식으로 바꿉니다.

  • 물량과 속도는 오르고 품질은 보기 어려워집니다. AI는 티켓, 답장, 코드, 문서를 빨리 만들 수 있으므로 산출의 측정치가 오릅니다. 산출이 좋은지는 별개의 질문입니다(주제 10.4, 지표 인플레이션과 품질 희석 참조).
  • 기준선이 사라집니다. AI를 매일 쓰게 되면 그것 없이 일이 어떤 모습이었는지 되찾을 수 없습니다. 기준선은 변경 전에 포착하거나 비교 그룹이 있어야 합니다.
  • 사람이 고리 안에 남으며 결과가 따릅니다. 인간 참여 루프(human-in-the-loop) 설계는 결과에 대한 책임을 사람에게 둡니다. 기계 출력을 검토하는 사람은 너무 쉽게 따를 수 있으며, 이 패턴을 자동화 편향이라 하고, 아니면 절약한 것보다 점검에 더 많은 시간을 쓸 수 있습니다.
  • 출력은 유창하면서 틀릴 수 있습니다. 환각은 입력이나 사실이 뒷받침하지 않는 자신 있는 출력입니다. 측정치에는 사람이 표본 조사한 정확성 점검이 포함되어야 합니다.

애자일과 ITIL의 업무 방식은 모두 이에 대한 입장을 제공합니다. 지속적 전달, 지속적 개선, 지속적 진화라는 애자일의 목표는 AI의 각 사용을 작은 실험으로 다루라고 시사합니다. 기대하는 이익을 밝히고, 기꺼이 하는 몇 사람과 시도하고, 비교하고, 결정합니다. 피드백과 함께 반복적으로 진행한다는 ITIL의 지침 원칙도 같은 곳을 가리키며, 가치에 대한 강조는 얼마나 많은 텍스트가 만들어지는지가 아니라 사용자와 비즈니스에 어떤 성과가 개선되는지 묻습니다. 의욕 있는 사람이라는 목표는 AI가 지루한 일을 덜어 주고 그들의 판단을 존중할 때 충족되며, AI가 속도를 높이거나 사용자를 모니터링하는 방법이 될 때는 충족되지 않습니다. 지속 가능한 속도는 절약한 시간이 조용히 더 많은 수요로 바뀌어서는 안 된다는 뜻입니다.

굿하트의 법칙의 방호책은 AI에 가장 날카로운 형태로 적용됩니다. "AI 도입"이나 "코드 중 AI가 생성한 비율"이 목표가 되면 사람들은 도움이 되지 않는 곳에서 도구를 쓸 것이고, 품질이 그 숫자의 대가를 치를 것입니다(주제 1.2, 굿하트의 법칙과 지표의 심리학 참조).

이 주제는 기초를 다룹니다. AI가 일에 들어오는 곳, 포착할 기준선, AI의 사용이 도움이 되는지 보여 주는 측정치입니다. 다음 주제들이 지원 작업, 에이전트와 챗봇, 인플레이션과 희석, 거버넌스를 더 깊이 다룹니다. AI 제품과 규칙에 대한 사실은 빠르게 바뀌며, 이 부에서 특정 도구나 규제에 대한 진술은 2026년 10월 기준이고 다시 확인해야 합니다.

핵심 원칙

  • AI를 도입하기 전에 기준선을 포착하십시오. 없으면 모든 이익 주장은 의견입니다.
  • 각 사용을 비교가 있는 실험으로 다루십시오. 같은 기간 AI 없이 한 비슷한 작업과 비교하십시오.
  • 품질을 사람과 함께 표본 조사로 측정하십시오. 유창한 출력이 올바른 출력은 아닙니다.
  • 전체 비용을 세십시오. 검토 시간, 재작업, 라이선스, 추론 비용을 포함하십시오.
  • 사람이 책임지고 알도록 하십시오. AI를 쓰는 사람이 결과에 대해 답합니다.
  • AI가 속도 증가나 감시가 되지 않게 하십시오. 절약한 시간은 그 시간을 어떻게 쓸지에 대한 선택입니다.
  • 기꺼이 하는 사람과 실제 문제로 시작하십시오. 의무화는 가치 없는 사용을 낳습니다.

지표 정의

지표 정의 공식 단위 데이터 원천 ITIL 프랙티스 애자일 대응 주기
기준선 완전성 주요 지표에 대해 기록된 도입 전 기준선이 있는 계획된 AI 사용 사례의 비율 날짜가 있는 기준선이 있는 사용 사례 / 계획된 사용 사례 퍼센트 사용 사례 레지스트리 지속적 개선, 측정 및 보고 실험 전의 기준선 분기
AI 사용 포괄률 사용 사례별로 AI를 쓴 적격 작업 항목 또는 과업의 비율 AI 지원을 쓴 항목 / 적격 항목, 도구 로그 또는 사용자 태그에서, 팀 수준 퍼센트 도구 사용 로그, 태그 서비스 데스크, 인시던트 관리, 릴리스 및 배포 관리 기꺼이 하는 팀의 도구 도입 월
제안 수락 및 재정의율 그대로 수락, 수정, 거부한 AI 제안의 비율 각 범주의 제안 / 제시된 제안 퍼센트 팀별로 집계한 도구 로그 서비스 데스크, 지식 관리 기계 제안의 검토 월
검토된 출력 정확성 자격 있는 검토자가 올바르고 목적에 맞다고 판단한 표본 AI 출력의 비율 올바르다고 판단한 출력 / 표본 추출한 출력 퍼센트 표본 검토 기록 품질 보증, 지식 관리 산출물에 대한 완료의 정의 월
기준선에 비춘 과업 시간 기준선이나 비교 그룹과 견준, AI를 쓴 정의된 과업의 완료 시간 AI를 쓴 과업 시간의 중앙값과 85번째 백분위수 빼기 기준선이나 비교의 같은 값 분 또는 시간 시간을 잰 과업, 티켓 타임스탬프 서비스 데스크, 인시던트 관리 과업의 사이클 타임 분기
AI 지원 과업당 비용 검토와 재작업을 포함한 과업당 AI 지원 작업의 총비용 (라이선스 및 사용 비용 + 검토와 재작업 시간 비용) / AI로 완료한 과업 과업당 통화 공급업체 청구서, 시간 추정, 작업 트래커 서비스 재무 관리 성과당 서비스 비용 분기
비교에 비춘 성과 변화 비슷한 비지원 작업과 비교한 AI 지원 작업의 성과 지표 변화 AI 지원 그룹의 지표 변화 빼기 비교 그룹의 변화 지표 단위 사용 사례별 성과 측정치(품질, 만족도, 재개방률, 결함) 지속적 개선 실험에서의 학습 분기

각 사용 사례를 과업, 사용자, 성과 지표로 정의하고 레지스트리에 기록하십시오. AI 사용 포괄률은 서술적인 측정치이지 목표가 아닙니다. 검토된 출력 정확성은 출력을 만들지 않은 자격 있는 사람이 서면 기준에 비춰 판단합니다. 과업 시간은 생성뿐 아니라 프롬프트, 검토, 수정에 드는 시간을 포함합니다. 과업당 비용은 점검하고 고치는 데 쓴 사람의 시간을 셉니다. 성과 변화는 미리 고른 비교와 기간 중 다른 변화에 대한 메모가 필요합니다.

권장 사항

AI가 어디에 속하는지 정하십시오

1. 과업과 AI의 각 사용이 다루는 문제를 나열하십시오. 도구가 아니라 고통에서 시작하십시오. 반복되는 초안 작성, 느린 분류, 흩어진 지식, 긴 검토, 시끄러운 경보입니다. 각 후보 사용에 대해 문제, 누가 느끼는지, 개선되어야 할 성과, 위험을 적으십시오. 분명한 문제가 없는 사용은 건너뛰십시오. 이것이 기준선과 측정치가 매달리는 레지스트리입니다.

2. 각 사용의 위험을 분류하십시오. 내부 메모의 초안을 만드는 도구는 운영 시스템을 바꾸거나, 고객에게 답하거나, 사람에 대한 결정을 내리는 도구와 위험이 다릅니다. 출력이 틀렸을 때의 피해, 누가 영향받는지, 효과가 나기 전에 사람이 검토하는지로 사용을 분류하십시오. 위험이 더 높은 사용에는 더 강한 측정치, 표본 조사, 거버넌스가 필요합니다(주제 10.5, AI 거버넌스와 위험 지표 참조).

3. 기꺼이 하는 사람과 한정된 과업으로 시작하십시오. 흔하고 점검 가능한 과업을 자원자와 시범 운영하십시오. 자원자는 정직한 피드백을 주고 도구를 자기 일에 맞춥니다. 한정된 과업은 기준선과 비교를 가능하게 합니다. 가장 민감한 일로 시작하는 것을 피하십시오.

기준선을 포착하고 비교를 마련하십시오

4. 첫 사용 전에 기준선을 기록하십시오. 각 사용 사례에 대해 지표의 현재 상태를 포착하십시오. 완료 시간, 품질이나 결함률, 재작업, 사용자 만족도, 비용입니다. 정상적인 변동을 볼 만큼 충분한 관측을 취하십시오(주제 1.6, 서비스 지표를 위한 통계 소양 참조). 기준선에 날짜를 매겨 보관하십시오. 롤아웃 뒤에 취한 기준선은 새로운 세계의 기록입니다.

5. 비교를 만드십시오. 가능하면 시범 운영 기간 동안 AI를 쓰지 않는 비슷한 그룹이나 과업 집합을 두거나, 주나 과업 유형별로 공정한 방식으로 번갈아 쓰십시오. 무작위 배정이 이상적이지만 비현실적인 경우가 많습니다. 또 무엇이 바뀌었는지 분명히 밝히십시오. 비교가 없으면 계절성, 인력 배치, 학습으로 인한 개선이 도구의 공으로 돌려집니다.

6. 시간을 정직하게 측정하십시오. 첫 초안까지의 시간은 올바른 측정치인 경우가 드뭅니다. 프롬프트, 검토, 수정을 포함해 완성되고 점검된 결과까지의 시간을 측정하십시오. 사람들은 흔히 생성 단계에 기반해 절약한 시간을 보고하는데, 검토 단계가 그 일부나 전부를 먹습니다. 표본 과업의 시간 연구는 노력할 가치가 있습니다.

품질과 비용을 측정하십시오

7. 자격 있는 사람이 검토하도록 출력을 표본 조사하십시오. 매달 AI 지원 출력의 무작위 표본을 뽑아 자격 있는 사람이 서면 기준에 비춰 판단하게 하십시오. 정확성, 발견한 오류의 종류, 추세를 보고하십시오. 이것이 유창한 실수가 퍼지는 것에 대한 주된 보호입니다. 검토자를 생산자와 독립되게 유지하고 돌려 가며 쓰십시오.

8. 수락과 재정의 패턴을 지켜보십시오. 매우 높은 수락률은 사람들이 점검 없이 수락하는 자동화 편향을 알릴 수 있습니다. 매우 낮은 비율은 유용하지 않은 도구를 알릴 수 있습니다. 비율을 팀과의 대화를 위한 촉구로 쓰고 그들의 경험에서 숫자가 무엇을 뜻하는지 물으십시오. 수락에 대한 목표를 정하지 마십시오.

9. 과업당 전체 비용을 세십시오. 라이선스 요금, 사용량 기반 요금, 프롬프트, 검토, 수정에 쓴 시간, 교육, 거버넌스 노력을 포함하십시오. 기준선 비용과 비교하십시오. 초안은 빨리 만드는데 많은 수정이 필요한 도구는 옛 방식보다 비용이 더 들 수 있습니다. 사용자에게 닿는 실수의 비용을 포함하십시오.

사람의 측면을 바르게 하십시오

10. 사람을 감시와 속도 증가로부터 보호하십시오. AI 사용 데이터를 팀 수준에서 집계하고 개인을 평가하는 데 쓰지 마십시오. 사용을 성과 측정치로 쓰지 마십시오. 절약한 시간이 자동으로 추가 업무량이 되지 않는다고 미리 합의하고, 팀과 함께 그 시간으로 무엇을 할지 결정하십시오. 품질, 학습, 개선, 다른 일입니다. 일정한 속도는 설계 목표입니다(주제 9.2, 만족도와 웰빙 지표 참조).

11. 쓰는 사람에게 물으십시오. 짧은 펄스와 대화는 숫자가 놓치는 것을 드러냅니다. 도구가 도움이 되는 곳, 좌절시키는 곳, 일을 만드는 것에서 점검하는 것으로 옮기는 곳, 직무의 만족을 바꾸는지입니다. 기술, 품질, 고용 안정에 대한 우려를 존중으로 대하십시오.

12. 결정하고, 공표하고, 다시 보십시오. 각 시범 운영이 끝날 때 확장, 조정, 중단을 결정하고 증거를 기록하십시오. 무효 및 부정적 결과를 포함해 정직하게 결과를 공유하십시오. 도구가 빠르게 바뀌므로 결정을 다시 보십시오. 지난해 도움이 되지 않은 사용이 지금은 도움이 될 수 있고, 그 반대도 마찬가지입니다.

악용 방식과 방호책

지표 악용되는 방식 짝을 이루는 방호책 지표 또는 실천
기준선 완전성 사후에 기준선을 기록함, 편리한 지표를 씀 날짜가 찍힌 기준선, 기준선 방법의 독립 검토
AI 사용 포괄률 사용을 의무화함, 사소하거나 자동적인 호출을 셈 결코 목표가 아님, 성과 변화와 비교, 의미 있는 사용을 셈
제안 수락 및 재정의율 수락을 보상함, 거부를 번거롭게 만듦 목표 없음, 검토된 출력 정확성, 사용자에게 경험을 물음
검토된 출력 정확성 쉬운 출력을 표본 추출함, 관대한 검토자 독립 검토자의 무작위 표본, 서면 기준, 검토자 순환
기준선에 비춘 과업 시간 생성만 시간을 잼, 쉬운 과업을 고름 점검된 결과까지의 시간, 과업을 무작위로 표본 추출, 검토와 재작업 포함
AI 지원 과업당 비용 검토 시간이나 거버넌스 비용을 뺌 전체 비용 체크리스트, 시간 연구와 비교
비교에 비춘 성과 변화 유리한 그룹이나 기간을 고름, 다른 변화를 무시함 미리 합의한 비교와 기간, 다른 변화의 목록

건강한 수치는 모든 시범 운영의 기준선, 측정된 완성 결과까지의 시간, 자격 있는 사람이 점검한 정확성, 검토를 포함한 비용, 공정하게 비교한 성과, 도구가 자신의 판단에 봉사한다고 말하는 팀입니다.

상충 관계: 장점과 단점

접근 방식 강점 약점
자원자와의 시범 운영 정직한 피드백, 낮은 위험 자원자는 열성가임, 결과가 일반화되지 않을 수 있음
의무화된 롤아웃 빠른 포괄 가치 없는 사용, 분개, 악용
통제된 비교 믿을 만한 증거 노력, 항상 가능하지는 않음
전후만 비교 단순함 다른 변화로 교란됨
공급업체가 보고한 절감 얻기 쉬움 낙관적, 맥락 없음
자체적으로 시간을 잰 과업 자기 일에 근거함 시간이 많이 듦, 작은 표본
모든 출력의 무거운 검토 안전함 이익을 없앰
표본 검토 확장됨 일부 오류가 빠져나감

실용적인 답은 기준선과 비교가 있는 작은 시범 운영을 하고, 품질을 위해 출력을 표본 조사하고, 전체 비용을 세고, 증거로 결정하는 것입니다. 공급업체의 수치는 시험할 가설로 쓰십시오.

팀과 논의할 질문

1. AI가 어디서 우리를 도울 것으로 기대하며, 도움이 된다면 무엇을 보게 될까요? 후보 사용을 나열하고 각각에 대해 지표와 오늘 가진 기준선을 적으십시오. 진행자는 구체성을 촉구해야 합니다. 어떤 과업, 어떤 측정치, 어느 정도 크기의 변화가 중요한지입니다. 시범 운영할 사용 하나를 고르고 기준선에 합의하십시오.

2. 무엇이 AI 제안을 신뢰하거나 불신하게 만들며, 우리가 틀렸음을 어떻게 알까요? 출력이 틀렸던 사례와 어떻게 알아차렸는지 논의하십시오. 검토가 실제로 어떻게 작동하는지와 압박이 건너뛰게 만드는지 고려하십시오. 독립된 누군가가 운영할 표본 조사 방법에 합의하십시오.

3. 우리가 절약하는 시간 중 얼마가 점검에 쓰일까요? 도구가 있을 때와 없을 때 실제 과업 하나의 시간을 프롬프트와 검토를 포함해 재어 보십시오. 사람들이 기대하는 것과 비교하십시오. 대화는 이득이 있는 곳과 없는 곳을 드러내는 경우가 많습니다.

4. 절약한 시간으로 무엇을 해야 할까요? 미리 결정하십시오. 선택지에는 품질 작업, 학습, 개선, 더 적은 압박이 있습니다. 시간이 더 많은 수요로 조용히 흡수되는 것을 막는 방법을 논의하십시오. 팀이 그것을 어떻게 보호할지 리더와 합의하십시오.

5. 여기서 AI가 하지 않았으면 하는 것은 무엇이며, 왜인가요? 사람의 판단, 공감, 책임이 필요한 과업을 나열하십시오. 사용자와 기술에 대한 위험을 논의하십시오. 진행자는 경계를 거버넌스의 입력으로 기록해야 합니다.

6. 언제 멈춰야 하는지 어떻게 알까요? 시범 운영이나 사용을 끝낼 증거를 정의하십시오. 누가 언제 결정할지 합의하십시오. 종료 기준이 없는 시범 운영은 영구적인 고정물이 됩니다.

네 가지 관점

제품 및 전달 팀

전달 팀은 코드, 시험, 리뷰, 문서화에 AI를 씁니다. 검토되고 동작하는 결과까지의 시간을 측정하고, 품질과 결함을 지켜보고, 사람의 검토를 의미 있게 유지해야 합니다. 생성된 줄 수나 수락을 세는 지표에 저항하고, 결함과 안정성 같은 성과 측정치를 고집해야 합니다.

서비스 및 운영 팀

운영과 서비스 데스크 팀은 분류, 요약, 제안, 모니터링에 AI를 씁니다. 처리와 해결 품질을 기준선과 비교하고, 출력을 표본 조사하고, 사용자와 반복 접촉에 미치는 영향을 지켜봐야 합니다. AI를 사용자 앞에 두기 전에 상의를 받아야 합니다.

리더십과 거버넌스

리더는 AI 프로그램을 후원하고 이득을 보여 달라는 압박에 직면합니다. 기준선과 비교를 고집하고, 검토 작업에 자금을 대고, 사용 목표를 피하고, 사람을 감시와 속도 증가로부터 보호해야 합니다. 거버넌스는 확장 전에 위험 분류와 증거를 요구해야 합니다.

고객과 사용자

사용자는 답, 제안, 자동화된 행동에서 AI를 만납니다. 올바르고 이해할 수 있는 도움과 사람에게 닿을 수 있는 능력을 원합니다. 적절한 곳에서는 AI와 상호작용하고 있다는 것을 들어야 하며, 그들의 피드백이 도움이 되는지의 핵심 증거입니다(주제 6.1, 고객 만족도 지표 참조).

실제 적용: 서비스 관리 사례

한 중견 보험사의 기술 그룹이 직원 4,000명을 위한 내부 서비스 데스크와 여러 제품 팀을 운영합니다. 리더십은 AI 어시스턴트의 라이선스를 구매하고 석 달 뒤 절약한 시간의 보고서를 요청합니다. 아래 숫자는 예시입니다.

서비스 관리 책임자는 기준선을 고집합니다. 서비스 데스크의 가장 흔한 과업인 접근 및 비밀번호 요청에 대한 답장 초안 작성에 대해 최근 티켓 120건의 시간을 잽니다. 처리 시간 중앙값 11분, 85번째 백분위수 24분, 재개방률 6퍼센트, 안정적인 설문 만족도입니다. 어시스턴트를 시범 운영할 두 팀을 고르고 비슷한 두 팀을 비교로 유지합니다. 시범 운영 팀은 자원자입니다.

8주 뒤 시범 운영 팀의 처리 시간 중앙값은 8분이고 85번째 백분위수는 19분인데, 비교 팀은 11분과 23분입니다. 도구 로그는 상담원이 제안을 52퍼센트의 경우에 그대로 수락하고, 38퍼센트에서 수정하고, 10퍼센트를 거부함을 보여 줍니다. 시범 운영에 속하지 않은 선임 상담원이 검토한 월간 무작위 표본 답장 80건은 91퍼센트가 완전히 올바르고, 오류는 어시스턴트가 낡은 단계를 준 드물게 쓰이는 절차에 집중되어 있음을 발견합니다. 시범 운영 팀의 재개방률은 정상적인 변동 안에서 7퍼센트로 약간 오릅니다. 라이선스와 검토 시간을 셈하면 티켓당 비용은 소폭 떨어집니다. 설문은 상담원이 초안을 고마워하고 긴 답변을 추가로 점검하는 것을 싫어함을 보여 줍니다. 두 상담원은 시간당 더 많은 티켓을 처리하라는 압박을 느낀다고 말합니다.

서비스 관리 책임자는 중앙값에서 약 4분의 1의 시간 절약을 보고하고 단서를 밝힙니다. 두 팀, 8주, 자원자, 지켜봐야 하는 재개방률입니다. 그는 절약한 시간이 지식 베이스와 복잡한 사례에 쓰이고 어떤 티켓 목표도 오르지 않는다고 리더와 합의합니다. 낡은 절차는 지식 베이스에서 수정됩니다. 한 고위 관리자가 전사적 의무 사용과 수락 80퍼센트라는 목표를 요청합니다. 그는 수락 목표가 점검하지 않음을 보상할 것이라고 설명하며 목표를 거절하고, 같은 측정치로 시범 운영을 두 팀 더 확장하자고 제안합니다. 결정은 기록됩니다.

애자일, AI, 자동화, 분석

애자일

각 단계마다 기준선과 비교를 두고 이해관계자와 작은 단계로 AI를 도입하고, 정기 개선 대화에서 결과를 검토하십시오. 주의할 점은 AI를 한꺼번에 모든 곳에 롤아웃하면 비교 그룹이 사라진다는 것입니다.

AI

이 주제 전체가 AI에 관한 것이므로 규칙은 단순합니다. 오늘의 일을 기록하고, AI의 각 사용을 그 기준선과 AI 없이 한 비교 가능한 작업에 견주어 측정하고, 모든 속도 향상을 점검된 품질 측정치와 짝지우십시오. 각 사용에 소유자를 지명하고 사람이 결정하는 곳을 미리 정하십시오. 주의할 점은 공급업체의 수치가 다른 조직을 설명하므로 자체 데이터를 써야 한다는 것입니다.

자동화

사용, 제안, 수락, 재정의 이벤트를 자동으로 수집하고, AI 출력을 적용하는 자동화를 오류율과 되돌림율로 측정하십시오. 주의할 점은 사람들이 점검을 멈추어서 수락률이 오를 수 있으므로 수락된 출력을 표본 조사해야 한다는 것입니다.

분석

표본 크기와 함께 검토한 표본의 정확성을, 명시된 한계와 함께 비교에 비춘 성과를 보고하십시오. 이는 AI의 사용을 확장할지, 바꿀지, 중단할지에 정보를 줍니다. 주의할 점은 작은 시범 운영은 잡음이 큰 결과를 주므로 시범 운영에서 나온 수치를 약속하는 것을 피해야 한다는 것입니다.

부문별 관점

스타트업. 도구가 빠르고 비공식적으로 도입되는 경우가 많습니다. 주요 사용에 대해 시간과 결함의 단순한 기준선을 포착하고, 고객 대면 모든 것의 사람 검토를 유지하고, 일찍부터 단일 공급업체에 묶이는 것을 피하십시오. 직원이 공개 도구를 쓸 때 보안과 데이터 노출을 지켜보십시오.

소규모 사업. 기성 어시스턴트는 초안 작성과 일상 과업에 실제 도움을 줄 수 있습니다. 소규모로 측정하십시오. 몇 개의 실제 과업의 시간과 수정률입니다. 기밀 데이터에 주의하고 공급업체가 데이터를 어떻게 쓰는지 약관을 확인하십시오.

대기업. 규모는 거버넌스, 조달 표준, 공통 측정 접근을 요구합니다. 비교가 있는 시범 운영을 하고, 결과를 내부에 공표하고, 팀에 걸쳐 기준선과 방법을 공유하십시오. 사용을 성공으로 보고하는 프로그램을 조심하십시오.

정부 및 공공 부문. 시민에게 영향을 주는 결정에는 투명성, 공정성, 사람의 검토에 대한 법적 의무가 있을 수 있습니다. 위험으로 사용을 분류하고, 결정에서 AI를 어떻게 썼는지 기록을 보관하고, 그에 대해 개방적이십시오. 조달 규칙과 데이터 보호가 적용되며, 일부 관할에는 오늘 기준으로 확인해야 할 특정 AI 법이 있습니다(주제 8.5, 규제 및 정부 보고 참조).

비즈니스 케이스: 동기, ROI, TCO

비용은 라이선스나 사용량 요금, 통합, 교육, 기준선을 포착하고 비교를 운영하는 시간, 출력을 검토하고 수정하는 데 쓰는 사람의 시간, 거버넌스 노력입니다. 비용은 사용량에 따라 늘고 공급업체 가격에 따라 바뀔 수 있으므로 범위로 모델링하십시오.

잠재적 수익은 반복 과업에서 회복한 시간, 더 빠른 초안 작성과 검색, 지식의 더 나은 포괄, 직원이 지루한 일에서 벗어나는 것입니다. 이는 시험할 가능성이지 은행에 넣을 가정이 아닙니다. 자체 시범 운영으로 사례를 만드십시오. 측정한 점검된 결과까지의 과업 시간, 검토된 정확성, 재작업, 과업당 전체 비용을 기준선과 비교에 견줘서입니다. 방법과 자기 일에의 적합성을 추적할 수 없다면 공급업체나 설문 출처의 생산성 퍼센트를 인용하지 마십시오. 사용자에게 닿는 실수의 위험과 도구를 통제하는 비용을 포함하십시오(주제 7.7, 투자 수익과 비즈니스 케이스 참조).

안티패턴과 함정

  • 기준선 없이 AI 도입하기. 무엇이 바뀌었는지 알 수 없습니다. 먼저 포착하십시오.
  • 생성 속도 측정하기. 절감이 검토에서 사라질 수 있습니다. 점검된 결과까지의 시간을 재십시오.
  • 도입 목표. 가치 없는 사용을 낳습니다. 포괄을 서술적으로 다루십시오.
  • 공급업체의 주장을 믿기. 가설입니다. 자기 일에서 시험하십시오.
  • 실제가 아닌 검토. 자동화 편향이 검토를 도장 찍기로 만듭니다. 독립적으로 표본 조사하고 점검하십시오.
  • 절약한 시간을 더 많은 수요로 바꾸기. 신뢰와 지속 가능한 속도를 침식합니다. 그 시간이 무엇을 위한 것인지 미리 정하십시오.
  • 개인의 사용 모니터링하기. 두려움을 키웁니다. 팀 수준으로 집계하십시오.
  • 끝없는 시범 운영. 기본적으로 영구적이 됩니다. 종료 기준을 정하십시오.

성숙도 모델

차원 1 시작 2 발전 3 표준화 4 관리 5 조율
목적과 기준선 열정으로 도구를 도입함 사용 사례를 나열함 각 사용의 문제, 위험 등급, 기준선, 지표가 있는 레지스트리 확장 전에 기준선과 비교를 요구하고 결과를 공표함 팀과 파트너에 걸쳐 기준선과 방법을 공유하고 증거가 약해지면 사용을 폐기함
이익의 증거 일화와 공급업체의 주장 비공식 시간 추정 시간을 잰 과업, 표본 정확성, 과업당 전체 비용 비교에 비춘 성과 변화를 한계와 함께 보고함 AI가 도움이 되는 곳의 포트폴리오 관점, 학습을 널리 공유함
사람과 속도 의무화, 모니터링 비공식적 배려 팀 수준 데이터만, 합의에 따라 배분한 절약 시간 우려를 추적하고 기술과 만족을 측정함 사용자 및 직원과 AI 사용을 공동 설계하고 지속된 속도를 보호함

체크리스트

  • AI의 각 사용에 서면 문제, 위험 등급, 소유자, 종료 기준이 있다.
  • 각 시범 운영에 첫 사용 전의 날짜가 있는 기준선이 있다.
  • 비교 그룹이나 비교 과업이 미리 정의되어 있다.
  • 시간을 완성되고 점검된 결과까지 측정한다.
  • 출력을 매달 표본 조사해 자격 있고 독립적인 사람이 검토한다.
  • 과업당 전체 비용에 검토와 재작업이 포함된다.
  • 사용 데이터를 팀 수준으로 집계하고 개인에게 쓰지 않는다.
  • 팀이 절약한 시간으로 무엇을 할지 합의했다.
  • 사용자에게 도구 경험을 묻는다.
  • 시범 운영이 확장, 조정, 중단의 기록된 결정으로 끝난다.

AI 프롬프트

사용 사례 항목의 초안을 작성합니다.

[팀과 서비스]의 [과업]에 AI를 쓰는 것을 검토하고 있습니다. 사용 사례 레지스트리
항목의 초안을 작성해 주세요. 문제와 누가 느끼는지, 개선되어야 할 성과, 위험
분류와 이유, 사람의 검토 단계, 지금 포착할 기준선 지표, 비교 접근, 추적할 비용
구성 요소, 종료 기준, 팀에 할 질문입니다. 특정 공급업체의 기능을 가정하거나
이익을 주장하지 마세요. 가정한 내용을 나열해 주세요.

시간을 잰 과업 연구를 설계합니다.

[과업]에 대한 AI 어시스턴트의 효과를 측정하는 작은 연구를 설계해 주세요.
과업을 고르는 방법, 도구가 있을 때와 없을 때를 공정하게 비교하는 방법, 시간을
잴 것(프롬프트, 검토, 수정 포함), 출력 품질을 판단하는 방법, 편향을 피하는
방법을 제안해 주세요. [수]명의 팀에 현실적이게 해 주세요. 기대 결과를 진술하지
마세요. 가정한 내용과 설계의 한계를 나열해 주세요.

출력 표본 조사를 계획합니다.

우리의 월간 AI 지원 출력은 유형 [목록]에 걸쳐 약 [수]건입니다. 월간 무작위 표본
조사와 검토 프로세스를 설계해 주세요. 표본 크기와 선택 방법(과장된 정밀성을
피하는 근거와 함께), 누가 검토하는지, 서면 기준, 오류 범주, 보고 방법, 발견을
쓰는 방법입니다. 가정한 내용과 위험을 나열해 주세요.

절약한 시간으로 무엇을 할지 결정합니다.

시범 운영은 [팀]에서 주당 [수]건의 과업에 대해 과업당 중앙값 [값]을
절약했습니다. 품질, 학습, 지속 가능한 속도를 뒷받침하는 시간 활용 선택지를
각각의 상충 관계 및 위험과 함께 제안하고, 팀 및 리더와 선택에 합의하는 방법을
제안해 주세요. 절약이 지속될 것이라고 가정하지 마세요. 가정한 내용을 나열해
주세요.

AI 스킬

핵심 정리

  • AI를 쓰기 전에 날짜가 있는 기준선을 포착하고, AI 없이 한 비슷한 작업과 비교하십시오.
  • 완성되고 점검된 결과까지의 시간을 측정하고, 독립 검토자와 함께 정확성을 위해 출력을 표본 조사하십시오.
  • 검토와 재작업을 포함해 전체 비용을 세십시오.
  • 사용과 수락을 서술적인 것으로 다루고, 결코 목표로 삼지 마십시오.
  • 절약한 시간으로 무엇을 할지 미리 정하고 지속 가능한 속도를 유지하십시오.
  • 사용 데이터를 팀 수준에 두고, 모든 시범 운영을 기록된 결정으로 끝내십시오.

참고 문헌과 더 읽을거리

  1. National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, 2023.
  2. ISO/IEC 42001, Information technology: Artificial intelligence: Management system, International Organization for Standardization, 2023.
  3. Parasuraman, R., and Manzey, D. H., "Complacency and bias in human use of automation: An attentional integration," Human Factors, 52(3), 2010.
  4. Bender, E. M., Gebru, T., McMillan-Major, A., and Shmitchell, S., "On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?" Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, 2021.
  5. Russell, S., and Norvig, P., Artificial Intelligence: A Modern Approach, 4th ed., Pearson, 2020.
  6. Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
  7. Wikipedia, Artificial intelligence.
  8. Wikipedia, Machine learning.
  9. Wikipedia, Generative artificial intelligence.
  10. Wikipedia, Large language model.
  11. Wikipedia, AIOps.
  12. Wikipedia, Human-in-the-loop.
  13. Wikipedia, Automation bias.
  14. Wikipedia, Hallucination (artificial intelligence).
  15. Wikipedia, Goodhart's law.