개요와 동기

AI는 많은 문을 통해 조직에 들어옵니다. 팀이 코딩 어시스턴트를 도입합니다. 공급업체가 이미 쓰는 제품에 생성형 기능을 추가합니다. 직원이 문서를 공개 도구에 붙여 넣습니다. 한 부서가 요청의 점수를 매기는 모델을 만듭니다. 각각은 자체 이익과 위험이 있는 AI의 사용이며, 한곳에서 보이는 것은 드뭅니다. 거버넌스는 그런 사용을 알려지고, 책임지고, 충분히 안전하게 만드는 구조, 정책, 관행의 집합입니다. 위험 측정치는 거버넌스가 작동하는지 알려 줍니다.

ITIL에는 구성 요소가 있습니다. 서비스 가치 체계의 거버넌스, 위험 관리, 변경 활성화, 정보 보안 관리, 공급업체 관리, 지속적 개선입니다. 애자일과 DevOps의 업무 방식은 작고, 통제되고, 되돌릴 수 있는 변경의 습관과 파이프라인의 자동화된 점검을 제공합니다. AI 거버넌스에 별도의 우주가 필요하지는 않습니다. 기존 소프트웨어와 다르게 행동하는 것에 이 관행들을 적용하는 것이 필요합니다.

AI의 무엇이 다릅니까?

  • 행동이 통계적이며 코드 변경 없이 바뀔 수 있습니다. 모델은 공급업체 업데이트, 입력의 변화, 프롬프트의 변화 뒤에 다르게 행동할 수 있습니다. 운영에서 보는 데이터는 시험한 데이터에서 표류할 수 있으며, 기계 학습에서는 이 현상을 표류라 합니다. 시스템이 조용히 저하될 수 있습니다.
  • 출력을 완전히 예측할 수 없습니다. 시험이 모든 입력을 포괄할 수 없으므로 평가는 증명이 아니라 표본 조사와 표적 시험으로 이루어집니다. 시스템은 만든 사람이 예상하지 못한 방식으로 실패할 수 있습니다.
  • 피해가 퍼져 있고 불평등할 수 있습니다. 알고리즘 편향은 일부 집단에 불공정한 결과를 낳는 체계적 오류입니다. 데이터, 설계, 사용에서 생길 수 있고 전체 정확성 수치에는 드러나지 않을 수 있습니다.
  • 새로운 공격 표면이 나타납니다. 프롬프트 인젝션은 입력 데이터에 숨은 지시로 언어 모델을 의도하지 않은 행동으로 조작하는 공격입니다. 모델이 소유자가 의도하지 않은 데이터를 드러내거나 행동을 취하도록 유도될 수 있습니다.
  • 공급업체에 대한 의존이 깊습니다. 많은 AI 능력이 외부 제공자에게서 오며, 어떻게 만들어지고 바뀌는지에 대한 가시성이 제한적입니다. 공급업체 측정치가 더 중요합니다(주제 8.4, 공급업체와 계약 지표 참조).
  • 규칙이 등장하고 있으며 곳에 따라 다릅니다. AI에 대한 법, 표준, 지침은 빠르게 발전하고 있습니다. 유럽 연합의 인공지능법은 단계적으로 적용되는 의무가 있는 위험 기반 접근을 택하며, 다른 관할은 다른 길을 가고 있습니다. AI 관리 체계에 대한 ISO/IEC 42001과 NIST AI 위험 관리 프레임워크 같은 표준이 구조를 제공합니다. 이 주제에서 특정 규칙에 대한 진술은 2026년 10월 기준이며 다시 확인해야 하고, 의무는 법률 자문이 안내해야 합니다. 더 넓은 분야는 책임 있는 AI 또는 신뢰할 수 있는 AI로 다양하게 설명되며, 법이 AI를 어떻게 다뤄야 하는지의 문제는 인공지능 규제의 주제입니다.

거버넌스는 반대되는 두 방식으로 실패할 수 있습니다. 팀이 피할 만큼 무거워서 AI 사용이 섀도 IT로 지하로 갈 수 있습니다. 또는 실천을 반영하지 않는 정책과 레지스트리를 가진 서류 작업이 될 수 있습니다. 애자일의 목표는 중도를 시사합니다. 규칙을 정하는 데 이해관계자가 지속적으로 참여하고, 위험이 낮은 사용에는 작고 빠른 승인을, 피해가 가능한 곳에는 더 깊은 정밀 검토를 두고, 경험이 쌓이면서 통제를 지속적으로 개선하는 것입니다. 분명한 경계를 가지고 그 안에서 판단을 신뢰받는 의욕 있는 사람들은 문제를 보고합니다. 처벌을 두려워하는 사람들은 하지 않습니다.

굿하트의 법칙의 방호책은 거버넌스 측정치에 적용됩니다. "등록된 AI 사용의 비율"이 목표가 되면 레지스트리는 아무도 읽지 않는 항목으로 채워지고 실제 사용은 눈에 보이지 않게 남습니다(주제 1.2, 굿하트의 법칙과 지표의 심리학 참조).

이 주제는 8부의 위험, 규정 준수, 보안 주제와 이 부의 앞선 주제 위에 서 있습니다.

핵심 원칙

  • AI가 어디서 쓰이는지 아십시오. 제품에 내장된 것과 직원이 스스로 도입한 것을 포함한 사용 레지스트리가 토대입니다.
  • 정밀 검토를 위험에 맞추십시오. 위험이 낮은 사용에는 가볍게, 중대한 사용에는 더 깊게.
  • 모델과 프롬프트 변경을 변경으로 다루십시오. 시험, 위험에 비례하는 승인, 롤백 능력이 필요합니다.
  • 사용 전과 사용 중에 평가하십시오. 현실적인 사례로 시험하고 운영에서도 계속 시험하십시오.
  • 의미 있는 사람의 감독을 유지하십시오. 사람이 이해하고, 의문을 제기하고, 재정의할 수 있어야 하며, 그럴 시간과 권한이 있어야 합니다.
  • 비난 없이 인시던트에서 배우십시오. AI 실패는 새롭고, 보고가 조직이 배우는 방법입니다.
  • 안전한 사례의 승인을 빠르게 하십시오. 느린 거버넌스는 사용을 눈에 보이지 않는 곳으로 몰아냅니다.

지표 정의

지표 정의 공식 단위 데이터 원천 ITIL 프랙티스 애자일 대응 주기
AI 사용 레지스트리 포괄률 독립적 수단으로 찾은 AI 사용 중 소유자와 위험 등급이 있는 레지스트리의 비율 소유자와 위험 등급이 있는 레지스트리의 사용 / 독립적 탐색(조달, 경비, 신원, 네트워크, 직원 보고)으로 찾은 사용 퍼센트 레지스트리, 조달 및 경비 데이터, 신원 로그, 설문 거버넌스, IT 자산 관리, 위험 관리 눈에 보이는 작업과 분명한 소유권 분기
위험 평가 최신성 요구되는 주기 안에 위험 평가가 있는 중간 및 높은 위험 사용의 비율 주기 안에 평가한 사용 / 중간 및 높은 위험 사용 퍼센트 위험 평가 위험 관리, 정보 보안 관리 위험에 대한 정기적 돌아보기 분기
변경 통제 포괄률 필요한 시험과 함께 변경 통제를 거친 운영 중인 모델, 프롬프트, 도구, 데이터 원천에 대한 변경의 비율 변경 레코드, 시험, 위험에 비례하는 승인이 있는 변경 / 탐지된 변경 퍼센트 버전 이력 및 공급업체 릴리스 노트와 비교한 변경 레코드 변경 활성화, 릴리스 및 배포 관리 작고, 통제되고, 되돌릴 수 있는 변경 월
평가 최신성 현재의 평가(정확성, 안전, 해당하는 곳의 공정성)가 있고 결과가 허용 범위 안인 운영 사용의 비율 주기 안에 평가가 있고 결과가 수용 가능한 사용 / 범위 안 운영 사용 퍼센트 평가 기록 품질 보증, 위험 관리 행동에 대한 완료의 정의 분기
사람 감독 증거율 기록된 실질적인 사람의 검토가 있는 표본 중대 출력 또는 결정의 비율 결과를 바꿀 수 있었던 문서화된 검토가 있는 표본 항목 / 표본 추출한 항목 퍼센트 표본 결정 기록 위험 관리, 거버넌스 릴리스 전의 검토 월
AI 인시던트율과 격리까지의 시간 AI가 관련된 인시던트(해로운 출력, 데이터 노출, 안전하지 않은 행동)의 사용당 건수와 격리까지의 시간 분기당 운영 사용별 인시던트, 탐지부터 격리까지 시간의 중앙값과 85번째 백분위수 건수, 시간 AI로 태그한 인시던트 레코드 인시던트 관리, 정보 보안 관리 비난 없는 대응과 학습 분기
공급업체 AI 실사 최신성 핵심 서비스에 AI 기능을 제공하는 공급업체 중 AI 특화 평가가 최신인 비율 최신 AI 평가가 있는 공급업체 / AI 기능이 있는 핵심 공급업체 퍼센트 공급업체 평가 공급업체 관리, 위험 관리 의존성의 정기 검토 분기

레지스트리에서 "AI 사용"을 넓게 정의하십시오. 직접 만든 모델, 구매한 서비스, 제품 안의 기능, 직원이 쓰는 도구입니다. 위험 등급과 주기는 정책에서 정합니다. 레지스트리 포괄률은 레지스트리 자체가 아니라 독립적 탐색에 비춰 측정합니다. 변경 통제 포괄률은 변경을 탐지할 방법이 필요합니다. 버전 관리, 공급업체 공지, 구성 모니터링입니다. 사람 감독 증거는 버튼을 눌렀다는 것이 아니라 검토가 결과를 바꿀 수 있었어야 함을 요구합니다. 인시던트율은 사용과 시스템을 설명하며 사람을 평가하는 데 쓰지 않습니다.

권장 사항

알고 분류하십시오

1. 묻는 것뿐 아니라 찾는 것으로 레지스트리를 만드십시오. 설문과 정책으로 시작한 뒤, 조달 및 경비 기록, 신원 및 접근 로그, 네트워크 및 클라우드 청구 데이터, 공급업체 제품 업데이트에 비춰 점검하십시오. 이미 보유한 도구에 내장된 AI 기능을 포함하십시오. 놀라움을 예상하십시오. 사람들은 승인하지 않은 도구를 종종 좋은 이유로 씁니다. 정보로 다루십시오(주제 7.2, 소프트웨어 자산과 라이선스 지표 참조).

2. 각 사용에 소유자와 위험 등급을 배정하십시오. 소유자는 사용과 그 결과에 책임지는 사람입니다. 위험 등급은 시스템이 실패할 때의 피해를 반영합니다. 누가 영향받는지, 사람에 대한 결정이 관련되는지, 스스로 행동하는지, 어떤 데이터를 건드리는지, 효과를 얼마나 되돌릴 수 있는지입니다. 분명한 규칙이 있는 소수의 등급을 쓰십시오. NIST AI 위험 관리 프레임워크, ISO/IEC 42001, 적용되는 법 같은 인정된 프레임워크를 활용하고 맥락에 맞게 조정하십시오.

3. 승인을 비례에 맞게 하십시오. 위험이 낮은 사용에는 몇 가지 질문이 있는 빠른 셀프서비스 등록이면 충분합니다. 중대한 사용에는 위험 평가, 평가 결과, 정의된 사람 감독 설계, 서명을 요구하십시오. 안전한 다수를 위한 빠른 경로는 사람들을 체계 안에 두고, 위험한 소수를 위한 더 느린 경로는 제대로 된 정밀 검토를 줍니다.

시험하고 변경을 통제하십시오

4. 사용 전과 사용 중에 현실적인 사례로 평가하십시오. 어렵고 적대적인 것을 포함해 실제 입력을 반영하는 시험 사례 집합을 만들고 서면 기준에 비춰 출력을 채점하십시오. 사람이 영향받을 수 있는 곳에는 안전과 공정성 점검을 포함하십시오. 일정에 따라, 그리고 모델, 프롬프트, 데이터가 바뀔 때마다 평가를 다시 실행하십시오. 약점을 찾으려고 일부러 시스템을 공격하는 그룹인 레드팀은 위험이 더 높은 사용에 유용한 관행입니다. 지원 작업의 표본 조사 관행을 보십시오(주제 10.2, AI 지원 작업 측정 참조).

5. 모델, 프롬프트, 도구를 변경 통제 아래 두십시오. 프롬프트와 구성에 코드처럼 버전을 매기십시오. 변경에는 위험에 비례하는 시험과 승인을 요구하고, 기록하고, 롤백할 수 있게 유지하십시오. 예고 없이 행동을 바꿀 수 있는 공급업체 주도의 모델 업데이트를 추적하고, 어떻게 통지받을지 공급업체와 합의하십시오. 모델 업그레이드를 통제가 필요한 변경으로 다루십시오(주제 4.3, 변경 활성화 지표 참조).

6. 운영에서 모니터링하십시오. 입력과 출력의 표류, 오르는 오류 및 재정의율, 특이한 패턴을 지켜보십시오. 검토를 촉발하는 임계값을 정하십시오. 행동을 취하는 시스템에서는 행동 로그를 모니터링하십시오. 모니터링은 시험이 놓친 문제를 찾는 방법입니다.

사람의 감독을 실제로 유지하십시오

7. 작동할 수 있는 감독을 설계하십시오. 빠른 시스템의 모든 출력을 검토하는 사람은 따라갈 수 없고, 이해할 수 없는 것을 승인하라고 요청받는 사람은 감독을 제공하지 못합니다. 사람이 무엇을 하는지, 어떤 정보가 있는지, 시간은 얼마인지, 재정의할 권한이 무엇인지 정의하십시오. 검토가 실질적인지 표본 조사하십시오. 기계 출력을 수락하는 경향인 자동화 편향을 경계하십시오(주제 10.1, 서비스 관리 측정에서의 AI 참조).

8. 감사 추적을 유지하십시오. 개인정보 규칙과 보존 한도에 따라 조사를 뒷받침하는 방식으로 입력, 출력, 버전, 결정, 행동을 기록하십시오. 감사 추적은 무슨 일이 왜 있었는지 답하게 해 줍니다. 사람에 대한 중대한 결정에는 어떤 설명을 줄 수 있고 어떤 이의 제기 경로가 있는지 고려하십시오(주제 8.3, 규정 준수와 감사 지표 참조).

9. 데이터를 보호하고 조작에 저항하십시오. AI 시스템이 볼 수 있고 내보낼 수 있는 데이터를 통제하십시오. 특히 외부 콘텐츠를 읽거나 도구에 접근하는 시스템에 대해 프롬프트 인젝션과 데이터 유출을 시험하십시오. 행동하는 에이전트에 쓰는 최소 권한 원칙을 적용하십시오(주제 10.3, AI 에이전트와 챗봇 지표와 주제 8.1, 보안 인시던트와 취약점 지표 참조). 설계 시점에 개인정보를 고려하고 데이터 보호 전문가를 참여시키십시오.

대응하고 배우십시오

10. AI 인시던트를 인시던트로 다루십시오. 무엇이 해당하는지 정의하십시오. 해롭거나 편향된 출력, 데이터 노출, 안전하지 않은 행동, 사용자에게 닿는 중대한 오류입니다. AI 태그를 단 일반 인시던트 프로세스를 쓰고, 비난 없이 검토하고, 교훈을 평가와 통제에 되먹임하십시오. 직원과 사용자가 보고하기 쉽게 만드십시오. 격리까지의 시간은 어느 인시던트 못지않게 중요합니다(주제 3.4, 중대 인시던트 지표 참조).

11. 공급업체의 AI를 관리하십시오. 공급업체에 어떤 AI 기능을 쓰는지, 어떻게 시험하고 바꾸는지, 데이터를 어떻게 다루는지, 인시던트를 어떻게 보고하는지 물으십시오. 중요한 곳에서는 중대한 모델 변경의 통지를 포함해 계약에 AI 특화 조건을 더하십시오. 핵심 공급업체는 주기에 따라 다시 평가하십시오(주제 8.4, 공급업체와 계약 지표 참조).

12. 거버넌스 자체를 검토하십시오. 분기마다 측정치가 보여 주는 것을 점검하십시오. 사용이 등록되지 않은 곳, 너무 느렸던 승인, 문제를 잡지 못한 통제입니다. 정책과 경로를 조정하십시오. 검토에 직원과 사용자를 참여시키십시오. 규칙을 짧고, 분명하고, 최신으로 유지하고, 비용만큼 값을 못하는 통제는 폐기하십시오.

악용 방식과 방호책

지표 악용되는 방식 짝을 이루는 방호책 지표 또는 실천
AI 사용 레지스트리 포괄률 비율을 올리려고 사소한 사용을 등록함, 분모를 등록된 것으로 한정함 분모를 위한 독립적 탐색, 레지스트리 항목의 품질 표본 조사, 미등록 사용에 대한 사면
위험 평가 최신성 항상 통과하는 가벼운 평가, 위험이 낮은 사용을 평가함 평가 깊이 검토, 위험 등급이 기준과 맞는지 점검
변경 통제 포괄률 공급업체 변경을 탐지하지 않음, 변경을 사후에 기록함 버전 이력과 공급업체 공지를 통한 탐지, 릴리스 전 타임스탬프가 찍힌 변경 레코드
평가 최신성 쉬운 사례로 평가함, 결과를 본 뒤 허용 범위를 정함 독립적 제3자가 검토하는 시험 집합, 미리 정한 임계값
사람 감독 증거율 읽지 않고 승인을 누름, 결과를 바꿀 수 없었던 검토를 문서화함 검토의 실질을 표본 조사, 알려진 오류를 심어 둠, 검토자 부하
AI 인시던트율과 격리까지의 시간 인시던트를 보고하지 않음, 정의를 좁힘 쉽고 비난 없는 보고, 사용자 불만과 감사 지적과 비교
공급업체 AI 실사 최신성 마케팅이 답한 설문, 증거 없는 평가 핵심 공급업체의 증거 요구, 독립적 검증

건강한 수치는 독립적 탐색이 확인하는 레지스트리, 위험에 맞는 평가, 통제를 거치는 변경, 최신으로 유지되는 평가, 실제 오류를 찾는 감독, 쉽게 보고되고 빨리 격리되는 인시던트, 바꾸는 것을 공유하는 공급업체입니다.

상충 관계: 장점과 단점

접근 방식 강점 약점
모든 AI 사용의 중앙 승인 통제, 일관성 느림, 사용을 지하로 몰아냄
위험 등급이 있는 셀프서비스 등록 안전한 다수에게 빠름 좋은 기준과 표본 점검이 필요함
공개 도구 금지 데이터 노출을 줄임 그림자 사용, 잃은 이익
안내와 함께 승인된 도구 눈에 보이고 관리 가능한 사용 제공과 지원이 필요함
무거운 문서화 감사의 증거 부담, 실천을 반영하지 않을 수 있음
파이프라인의 자동화된 평가 지속적이고 일관됨 좋은 시험 집합이 필요함, 새로운 실패를 놓칠 수 있음
모든 것의 사람 검토 안전 확장되지 않음, 피로
위험 기반 표본 조사 실용적임 일부 실패가 빠져나감

실용적인 답은 승인된 도구와 위험이 낮은 사용을 위한 빠른 경로를 제공하고, 정밀 검토를 중대한 사용에 집중하고, 평가와 모니터링을 자동화하고, 사람의 감독을 실제로 작동할 수 있는 곳에 두는 것입니다.

팀과 논의할 질문

1. 오늘 우리는 어떤 목록에도 없는 곳에서 AI를 쓰고 있나요? 팀에게 솔직하게 묻고 사면을 제공하십시오. 제품 안에 있는 것을 포함해 초안 작성, 요약, 코딩, 분석에 쓰는 도구를 보십시오. 진행자는 판단 없이 사용을 기록해야 합니다. 누가 그것을 등록하고 어느 것을 더 자세히 봐야 하는지 합의하십시오.

2. 가장 중대한 AI 사용이 해로운 실수를 한다면 어떻게 알아내고 무엇을 할까요? 탐지, 격리, 소통, 학습을 훑어보십시오. 모니터링, 소유권, 끌 권한의 간극을 메모하십시오. 개선 하나에 합의하십시오.

3. 아무도 승인하지 않은 채 우리 밑에서 바뀔 수 있는 것은 무엇인가요? 모델, 프롬프트, 데이터 원천, 공급업체 업데이트를 나열하십시오. 각각에 대해 바뀌었음을 어떻게 알고 어떻게 시험할지 물으십시오. 탐지나 시험을 더할 곳에 합의하십시오.

4. 우리 프로세스에서 AI 출력을 검토하는 사람이 현실적으로 심각한 오류를 잡을 수 있나요? 물량, 정보, 시간, 권한을 보십시오. 심어 둔 오류로 시험하십시오. 검토가 작동할 수 없다면 AI를 더하기 전에 프로세스를 다시 설계하십시오.

5. 우리 규칙 중 바쁜 동료가 따르기 쉽다고 여길 것은 무엇이고, 우회할 것은 무엇인가요? 현재 규칙을 나열하고 실제 워크플로에 비춰 시험하십시오. 규칙이 우회되는 이유를 논의하십시오. 안전한 경로를 쉬운 경로로 만드는 변경에 합의하십시오.

6. 공급업체는 자신의 AI에 대해 우리에게 무엇을 말했으며, 우리는 무엇을 묻지 않았나요? 최근 설문과 계약을 점검하십시오. AI 기능이 있는 핵심 공급업체와 정보의 간극을 식별하십시오. 다음 검토를 위한 질문에 합의하십시오.

네 가지 관점

제품 및 전달 팀

전달 팀은 AI 기능을 만들고 도입하며, 거버넌스를 마찰이나 도움으로 느낍니다. 사용을 일찍 등록하고, 현실적인 사례로 시험하고, 프롬프트와 모델을 버전 관리하고, 작동하는 감독을 설계해야 합니다. 위험이 낮은 사용의 빠른 승인에서 이득을 봅니다.

서비스 및 운영 팀

운영 팀은 운영에서 AI를 실행하고 그 인시던트에 대응합니다. 표류를 모니터링하고, 행동 로그를 유지하고, AI 인시던트에 태그를 달고, 시스템을 끌 권한과 수단을 가져야 합니다. 자신들도 AI를 쓰므로 같은 규칙을 따라야 합니다.

리더십과 거버넌스

리더는 위험 선호를 정하고 성과에 책임을 집니다. 레지스트리, 평가, 모니터링에 자금을 대고, 일부 AI 사용이 통과하지 못할 것임을 받아들이고, 사용의 독립적 탐색을 요청하고, 인시던트와 격리까지의 시간을 추적해야 합니다. 거버넌스 기구는 규칙을 짧게 유지하고, 정기적으로 검토하고, 직원과 사용자가 발언권을 갖게 해야 합니다.

고객과 사용자

사용자는 종종 모르는 채 AI의 결정과 출력의 영향을 받습니다. 자신에게 영향을 주는 일에 AI가 관여할 때 알고, 사람에게 닿고, 결정에 이의를 제기할 자격이 있습니다. 불만과 이의 제기는 거버넌스가 실천에서 어떻게 작동하는지에 대한 핵심 증거입니다.

실제 적용: 서비스 관리 사례

한 지역 은행의 기술 및 운영 부문이 한 직원이 고객 세부 정보를 공개 도구에 붙여 넣은 뒤 AI 정책을 채택합니다. 규정 준수 팀은 레지스트리를 공표하고 모든 사용이 나열되기를 기대합니다. 아래 숫자는 예시입니다.

석 달 뒤 레지스트리에는 38개의 AI 사용이 나열되어 있습니다. 기술 위험 책임자는 독립적 수단으로 점검합니다. 조달 및 경비 데이터, AI 서비스에 대한 로그인을 보여 주는 신원 로그, 네트워크 데이터, 익명 직원 설문입니다. 탐색은 94개 사용을 찾아 레지스트리 포괄률은 40퍼센트입니다. 열일곱 개는 은행이 이미 라이선스한 도구 안의 기능이고, 열두 개는 직원이 쓰는 공개 도구입니다. 등록된 38개 사용 중 위험 등급이 있는 것은 14개뿐이며, 가장 위험이 높은 셋인 사기 경보에 점수를 매기는 모델, 고객을 위한 챗봇, 불만을 요약하는 도구는 지난 1년 동안 평가가 없습니다. 사기 모델의 구성과 챗봇의 프롬프트에 대한 변경은 팀이 직접 하며, 지난 분기의 변경 레코드는 버전 이력에서 찾은 변경의 21퍼센트를 포괄합니다. 모델이 기각한 사기 경보 60건의 표본은 그중 52건에 사람의 검토가 기록됨을 보여 주지만, 심어 둔 알려진 놓침 다섯 건은 한 검토자만 잡았는데, 검토자 각각이 하루에 수백 건의 경보를 처리하기 때문입니다. 챗봇이 고객에게 낡은 수수료 금액을 알려 준 인시던트 하나는 불만으로 발견되었고, 아무도 끌 권한이 없어서 격리하는 데 6일이 걸렸습니다.

기술 위험 책임자는 팀과 거버넌스를 다시 설계합니다. 다섯 개 질문이 있는 짧은 셀프서비스 등록이 위험이 낮은 사용을 몇 분 만에 레지스트리에 넣고, 사면 기간이 직원이 쓰는 도구를 나열하도록 장려합니다. 위험 등급은 피해, 데이터, 자율성에 기반합니다. 위험이 더 높은 사용에는 평가, 현실적이고 적대적인 사례에 대한 평가, 정의된 감독 설계가 필요합니다. 모델, 프롬프트, 도구는 위험에 비례하는 시험과 함께 변경 통제 아래 들어가고, 챗봇의 프롬프트는 롤백과 함께 버전이 매겨집니다. 사기 경보 프로세스는 검토자가 더 적고 더 잘 우선순위가 매겨진 경보를 다루도록 재설계되고, 심어 둔 오류가 그들의 탐지를 시험합니다. 각 고위험 사용의 지명된 소유자에게는 끌 권한이 있고, 인시던트 대응이 AI를 포괄합니다. 은행의 클라우드 및 AI 공급업체에는 어떤 AI 기능을 쓰고 변경을 어떻게 통지하는지 질문합니다.

두 분기 뒤 독립적 탐색에 따른 레지스트리 포괄률은 88퍼센트이고, 모든 고위험 사용이 주기 안에 평가되고 시험되며, 변경 통제 포괄률은 84퍼센트이고, 검토자의 심어 둔 오류 탐지는 5건 중 4건으로 오르고, AI 인시던트 격리까지의 시간 중앙값은 3시간입니다. 직원은 대부분의 과업에 승인된 도구를 씁니다. 한 고위 임원이 레지스트리 포괄률 100퍼센트라는 목표를 요청합니다. 기술 위험 책임자는 독립적 탐색에 비춘 포괄률, 평가 최신성, 인시던트 처리를 추적하자고 제안하며, 탐색 없는 레지스트리는 100퍼센트에 이르고도 위험을 놓칠 수 있다고 설명합니다. 결정은 기록됩니다.

애자일, AI, 자동화, 분석

애자일

AI를 일회성 승인이 아니라, 가벼운 정기 검토와 이해관계자가 자리한 운영 중인 서비스의 변경으로 통제하십시오. 주의할 점은 무거운 승인 관문이 팀이 AI 사용을 숨기게 한다는 것입니다.

AI

모든 AI 사용의 레지스트리를 소유자, 위험 등급, 평가 날짜, 사람 감독 지점과 함께 유지하고, 포괄률을 독립적 탐색에 비춰 측정하십시오. 감독을 행사할 수 있는지 시험하십시오. 주의할 점은 이 책이 법률 자문을 제공하지 않으며 의무가 곳과 시간에 따라 다르므로 자체 법률 자문과 확인해야 한다는 것입니다.

자동화

모델, 프롬프트, 데이터 변경에 대한 탐색과 증거 수집을 자동화하고, 자동화를 놓친 변경으로 측정하십시오. 주의할 점은 자동화된 평가 묶음이 만들어진 대로만 시험하므로 실패가 나타나면 새 시험을 더해야 한다는 것입니다.

분석

평가와 평가 최신성을 날짜와 건수와 함께 보고하십시오. 이는 감독이 얇은 곳에 정보를 줍니다. 주의할 점은 AI의 인시던트 건수가 작고 고르지 않으므로 아슬아슬한 사건 보고와 결합해야 한다는 것입니다.

부문별 관점

스타트업. 속도가 중요하고 위험은 대부분 데이터 노출과 믿을 수 없는 출력입니다. 소유자가 있는 도구와 사용의 짧은 목록을 유지하고, 어떤 데이터를 어디서 쓸 수 있는지에 대한 몇 가지 분명한 규칙을 정하고, 프롬프트에 버전을 매기십시오. 고객의 보증 요구가 커지면 다시 검토하십시오.

소규모 사업. 직원은 공개 도구를 쓸 것입니다. 승인된 선택지를 제공하고, 데이터에 대한 한 쪽짜리 규칙을 쓰고, 도구가 어떻게 쓰이는지 검토하십시오. 공급업체에 AI 기능에 대해 묻고, AI가 고객이나 직원에 대한 결정을 내리는 곳을 기록하십시오.

대기업. 규모는 운영 모델을 요구합니다. 레지스트리, 위험 등급, 평가 표준, 변경 통제, 기존 위험 및 보안 기능과 통합된 인시던트 프로세스입니다. 독립적 탐색을 쓰고, 파이프라인에서 평가를 자동화하고, 표준과 맞추십시오. 팀에게 빠른 경로를 주십시오.

정부 및 공공 부문. 시민에게 영향을 주는 결정에는 투명성, 공정성, 이의 제기의 의무가 따르며, 조달과 법적 프레임워크가 허용되는 것을 형성합니다. 요구되는 곳에서는 고영향 사용의 공공 기록을 유지하고, 권리에 미치는 영향을 평가하고, 사람을 의미 있게 고리 안에 두고, 현행 법과 지침을 확인하십시오(주제 8.5, 규제 및 정부 보고 참조).

비즈니스 케이스: 동기, ROI, TCO

비용에는 레지스트리를 만들고 유지하는 노력, 탐색 도구나 분석, 위험 평가, 평가 집합과 실행, 프롬프트와 모델의 변경 통제, 모니터링, 교육, 인시던트 대응 용량이 포함됩니다. 거버넌스는 위험이 더 높은 사용에 약간의 지연도 더합니다. 이 비용은 사용의 수와 위험에 따라 늘어나며, 위험이 낮은 승인을 가볍게 유지할 이유입니다.

수익에는 피한 피해와 노출, 감사와 규제 검토에서의 더 적은 놀라움, 분명한 규칙을 통한 더 빠른 안전한 도입, 고객과 직원의 신뢰가 포함됩니다. 자체 데이터로 사례를 만드십시오. 레지스트리 밖에서 발견한 사용의 수와 그것들이 건드리는 데이터, 인시던트와 그 비용, 전후의 임시 승인에 쓴 시간, 감사의 지적입니다. 추적 가능한 출처와 자기 맥락에의 관련성 없이 AI 인시던트나 벌금에 대한 공개 통계를 인용하지 마십시오. 거버넌스를 하지 않는 비용도 포함하십시오. 상당한 법적, 평판상의 피해 가능성이 들어 있습니다(주제 7.7, 투자 수익과 비즈니스 케이스 참조).

안티패턴과 함정

  • 아무도 점검하지 않는 레지스트리. 포괄률은 높아 보이지만 실제 사용을 놓칩니다. 독립적 탐색을 쓰십시오.
  • 일괄 금지. 사용을 지하로 몰아냅니다. 승인된 도구와 빠른 경로를 제공하십시오.
  • 프롬프트와 모델을 아무도 소유하지 않는 구성으로 취급하기. 행동이 눈치채지 못한 채 바뀝니다. 변경 통제 아래 두십시오.
  • 한 번만 평가하기. 시스템은 표류하고 바뀝니다. 일정에 따라, 변경 시 다시 실행하십시오.
  • 이름뿐인 감독. 검토자는 볼 수 없는 것을 잡을 수 없습니다. 심어 둔 오류로 시험하고 부하를 고치십시오.
  • 끌 권한이 없음. 격리에 며칠이 걸립니다. 시스템을 멈출 힘이 있는 소유자를 지명하십시오.
  • 공급업체의 AI 무시하기. 당신의 위험에는 그들의 위험이 포함됩니다. 묻고, 계약하고, 다시 평가하십시오.
  • 아무도 따를 수 없는 규칙. 우회됩니다. 짧게 유지하고 안전한 경로를 쉽게 만드십시오.

성숙도 모델

차원 1 시작 2 발전 3 표준화 4 관리 5 조율
알고 분류하기 AI 사용에 대한 관점 없음 정책과 부분적 목록 소유자와 위험 등급이 있는 레지스트리, 포괄률에 독립적 탐색을 씀 포괄률, 평가 최신성, 승인 시간을 관리함 사업 부문과 공급업체에 걸친 레지스트리 관점 공유, 규제 기관 및 사용자와 등급을 검토함
시험과 변경 임시 일부 사용에 일부 평가 현실적인 사례로 평가, 프롬프트와 모델이 변경 통제 아래 있음 지속적 평가와 표류 모니터링, 포괄률을 관리함 파이프라인에서 자동화된 위험 기반 평가와 변경, 독립적으로 감사함
감독과 학습 신뢰에 의존 원칙적으로 검토가 있음 설계하고 표본 조사한 감독, AI 인시던트에 태그를 달고 비난 없이 검토함 심어 둔 오류 시험, 격리까지의 시간, 공급업체 평가를 관리함 직원, 사용자, 파트너와 감독, 인시던트 학습, 정책을 공동 개발함

체크리스트

  • 레지스트리가 AI 사용을 소유자와 위험 등급과 함께 나열하며 독립적 탐색에 비춰 점검한다.
  • 위험이 낮은 사용을 위한 빠른 경로와 중대한 사용을 위한 더 깊은 경로가 있다.
  • 위험이 더 높은 사용에는 최신 위험 평가와 정의된 감독 설계가 있다.
  • 현실적이고 적대적인 사례에 대한 평가가 최신이며 변경 시 다시 실행된다.
  • 프롬프트, 모델, 도구, 데이터 원천에 버전이 매겨져 있고 변경 통제 아래 있다.
  • 운영 모니터링이 표류, 오류, 재정의, 특이한 행동을 지켜본다.
  • 감독을 심어 둔 오류로 시험하고 검토자 부하가 현실적이다.
  • 감사 추적이 개인정보와 보존 규칙 안에서 조사를 뒷받침한다.
  • AI 인시던트에 태그를 달고, 비난 없이 검토하고, 소유자가 시스템을 끌 수 있다.
  • AI 기능이 있는 공급업체를 평가하고 중대한 변경을 통지하도록 구속한다.

AI 프롬프트

AI 사용의 위험 분류 초안을 작성합니다.

[조직 유형]에서 틀렸을 때의 피해, 누가 영향받는지, 사람에 대한 결정의 관여,
행동의 자율성, 데이터 민감도, 되돌릴 수 있음에 기반한 AI 사용의 단순한 위험
분류(세 단계 또는 네 단계)를 제안해 주세요. 각 단계에 대해 예시 사용, 필요한
승인과 증거, 검토 주기를 밝혀 주세요. 법적 결론을 진술하지 마세요. 가정한
내용과 법무, 위험, 보안 전문가와 확인할 사항을 나열해 주세요.

등록 양식을 설계합니다.

새 AI 사용을 위한 여덟 개 이하의 질문이 있는 짧은 셀프서비스 등록 양식을
설계해 주세요. 초기 위험 등급을 자동으로 배정하고 위험이 더 높은 사용을 검토로
보냅니다. 목적, 데이터, 영향받는 사용자, 자율성, 공급업체, 소유자를 다루세요.
위험이 낮은 사례에서 빠르게 유지하는 방법을 설명해 주세요. 가정한 내용과 잘못
분류의 위험을 나열해 주세요.

평가 집합을 계획합니다.

우리는 [프로세스]의 [과업]에 AI를 씁니다. 평가 집합의 설계를 도와주세요. 현실적인
사례의 유형, 어렵고 적대적인 사례, 올바르고 안전한 출력의 서면 기준, 사람이
영향받는 곳의 공정성 점검, 실용적인 집합의 크기, 다시 실행하는 빈도, 다시
실행을 촉발할 변경입니다. 집합이 충분하다고 주장하지 마세요. 가정한 내용과
한계를 나열해 주세요.

AI 인시던트를 검토합니다.

다음은 AI 관련 인시던트의 설명입니다: [개인 데이터 없이 붙여 넣기]. 비난 없는
검토의 초안을 작성해 주세요. 타임라인, 탐지된 방법, 기여 요인(데이터, 프롬프트,
모델, 감독, 공급업체, 프로세스), 영향, 격리한 것, 소유자가 있는 조치입니다.
평가, 모니터링, 변경 통제의 변경을 제안해 주세요. 개인에게 비난을 돌리지
마세요. 가정한 내용과 열린 질문을 나열해 주세요.

AI 스킬

핵심 정리

  • AI 레지스트리를 독립적 탐색으로 만들고, 안전한 사용을 위한 빠른 경로로 정밀 검토를 위험에 맞추십시오.
  • 모델, 프롬프트, 도구, 데이터 원천을 시험, 승인, 롤백이 필요한 변경으로 다루십시오.
  • 현실적이고 적대적인 사례로 사용 전과 사용 중에 평가하십시오.
  • 작동할 수 있는 사람의 감독을 설계하고 심어 둔 오류로 시험하십시오.
  • AI 인시던트를 다른 인시던트처럼 비난 없는 검토로 다루고, 소유자에게 시스템을 끌 힘을 주십시오.
  • 공급업체의 AI에 대해 묻고, 규칙을 짧게, 안전한 경로를 쉽게 유지하십시오.

참고 문헌과 더 읽을거리

  1. National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, 2023.
  2. ISO/IEC 42001, Information technology: Artificial intelligence: Management system, International Organization for Standardization, 2023.
  3. ISO/IEC 23894, Information technology: Artificial intelligence: Guidance on risk management, International Organization for Standardization, 2023.
  4. European Parliament and Council, Regulation (EU) 2024/1689 laying down harmonised rules on artificial intelligence (Artificial Intelligence Act), 2024.
  5. Organisation for Economic Co-operation and Development, OECD AI Principles, 2019 (updated 2024).
  6. Mitchell, M., et al., "Model Cards for Model Reporting," Proceedings of the Conference on Fairness, Accountability, and Transparency, 2019.
  7. Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
  8. Wikipedia, Algorithmic bias.
  9. Wikipedia, Prompt injection.
  10. Wikipedia, Artificial Intelligence Act.
  11. Wikipedia, Responsible AI.
  12. Wikipedia, Regulation of artificial intelligence.
  13. Wikipedia, Shadow IT.
  14. Wikipedia, Goodhart's law.
  15. Wikipedia, Audit trail.