개요와 동기

팀이 매일 AI 도구를 쓰기 시작하면 핵심 질문은 "써야 할까?"에서 "무엇을 얻고 있는가?"로 바뀝니다. 앞선 주제에서는 기준선, 비교, 전체 비용이라는 기초를 다뤘습니다(주제 10.1, 서비스 관리 측정에서의 AI 참조). 이 주제는 작업 자체를 들여다봅니다. AI가 지원한 코드, 티켓, 문서, 의사결정이 그것이 대체한 작업과 비교해 더 낫거나 같거나 못한지 어떻게 알 수 있을까요? 그리고 그 일을 하는 사람들에게는 어떤 일이 벌어질까요?

AI 지원은 여러 종류의 작업에 닿습니다. 소프트웨어 전달에서는 도구가 코드, 테스트, 커밋 메시지, 리뷰 의견을 제안하거나 생성합니다. 서비스 운영에서는 인시던트를 요약하고, 원인을 제안하고, 답변을 작성하고, 지식 문서를 씁니다. 분석에서는 보고서와 쿼리를 만듭니다. 공통점은 그럴듯한 첫 버전을 만드는 일이 싸진다는 것입니다. 비용은 다른 곳으로 옮겨 갑니다. 결과물을 읽고 판단하는 일, 틀린 부분을 고치는 일, 생성된 것을 유지보수하는 일, 그 차이를 알 만큼 배우는 일입니다.

몇 가지 효과가 측정을 까다롭게 만듭니다.

  • 산출량 집계는 오해를 부릅니다. 코드 줄 수(Lines of code)는 예전부터 생산성의 좋지 않은 척도였고, 생성된 코드는 이를 더 나쁘게 만듭니다. 코드가 많아지면 읽고, 테스트하고, 유지보수할 것도 많아집니다. 생성된 줄 수, 수락된 제안 수, 초안 수는 가치에 대해 거의 말해 주지 않습니다.
  • 리뷰가 병목이 됩니다. 코드 리뷰(code review)와 그 밖의 생성된 작업에 대한 검토에는 시간이 들고, 더 크고 더 잦은 변경의 흐름은 리뷰어에게 과부하를 줄 수 있습니다. 큰 풀 리퀘스트(pull request)는 제대로 검토하기 더 어렵고, 과부하에 걸린 리뷰어는 이해하지 못한 것을 승인할 가능성이 더 높습니다. 앞에서 다룬 리뷰와 흐름 지표는 여전히 필수입니다(주제 2.7, 풀 리퀘스트와 코드 리뷰 지표 참조).
  • 품질 문제는 늦게 도착합니다. 생성된 코드는 오늘 테스트를 통과하더라도 중복 코드(duplicate code), 불분명한 구조, 숨은 결함을 안고 있다가 유지보수 비용, 곧 기술 부채(technical debt)의 한 형태로 드러날 수 있습니다. 생성 시점에 하는 측정은 이를 놓칩니다. 작업이 이후에 어떻게 되는지를 보세요.
  • 기술이 바뀔 수 있습니다. 예전에는 직접 하던 일을 도구에 맡기는 것은 인지 오프로딩(cognitive offloading)의 한 형태입니다. 이는 더 어려운 문제에 쓸 주의력을 확보해 주기도 하지만, 밑바탕의 이해가 흐려지면 숙련도 저하(deskilling)로 이어질 수도 있습니다. 둘 다 가능하며 결과는 도구를 어떻게 쓰느냐에 달려 있습니다. 이는 관련된 사람들에게도, 도구가 처리하지 못하는 상황을 팀이 감당할 수 있는 능력에도 중요합니다.

AI 지원이 생산성에 미치는 영향에 대한 증거는 아직 발전하는 중이며, 과제, 사용자의 경험, 도구, 환경에 따라 달라집니다. 코딩 과제를 다룬 일부 통제 연구는 잘 정의된 과제에서 더 빠른 완료를 보고했고, 다른 연구와 보고서는 자신이 잘 아는 복잡한 시스템에서 일하는 경험 많은 사람들에게서 이득이 더 작거나 없거나 추가 비용이 든다고 보고했습니다. 이 책은 숫자를 제시하지 않습니다. 팀이 취해야 할 책임 있는 입장은 기준선과 비교를 갖추고 자기 작업을 측정하는 것이며, 공개된 수치는 특정 맥락의 연구 하나로 다루는 것입니다.

굿하트의 법칙(Goodhart's law)에서 나온 방호책은 여기서 특히 중요합니다. 성과를 보여 달라는 압력이 강하고 쉽게 얻는 숫자일수록 오해를 부르기 때문입니다. 아래의 지표들은 만들어진 것이 아니라 살아남은 것을 따라갑니다(주제 1.2, 굿하트의 법칙과 지표의 심리학 참조).

핵심 원칙

  • 살아남는 것을 측정하세요. 유지율, 재작업, 유출 결함이 산출량보다 더 많은 것을 알려 줍니다.
  • 리뷰를 지켜보세요. AI 지원 작업의 흐름은 사람들이 그것을 얼마나 잘 읽을 수 있는지에 의해 제한됩니다.
  • 같은 것끼리 비교하세요. 지원받은 작업과 받지 않은 작업은 종류와 난이도가 비슷해야 합니다.
  • 지금뿐 아니라 나중에도 보세요. 품질 문제와 유지보수 비용은 생성 후 몇 주 또는 몇 달 뒤에 나타납니다.
  • 이해를 흐름 안에 두세요. 작업을 내보내는 사람은 그것을 설명할 수 있어야 합니다.
  • 기술과 학습을 보호하세요. 사람들이 도구 없이 여전히 무엇을 할 수 있는지 살피세요.
  • 집계하고, 개인을 감시하지 마세요. 누가 AI를 어떻게 쓰는지에 관한 데이터는 프로세스를 개선하기 위한 것이지 사람의 순위를 매기기 위한 것이 아닙니다.

지표 정의

지표 정의 공식 단위 데이터 원천 ITIL 프랙티스 애자일 대응 개념 주기
유지율 정해진 기간이 지난 뒤에도 실질적으로 변하지 않고 남아 있는 AI 지원 변경의 비율 30일 뒤 수정되거나 되돌려진 비율이 정해진 수준 미만인 AI 지원 변경 / 30일 전에 병합된 AI 지원 변경 백분율 지원 태그와 결합된 버전 관리 이력(팀 수준) 릴리스 및 배포 관리, 변경 활성화 정착되는 작업, 낮은 재작업 월간
병합 후 재작업 짧은 기간 안에 후속 수정이 필요한 변경의 비율(지원 변경과 비교 변경 각각) 14일 안에 연결된 후속 수정이 있는 변경 / 병합된 변경(그룹별) 백분율 버전 관리, 이슈 트래커, 변경 기록 변경 활성화, 문제 관리 유출 결함, 재작업 월간
리뷰 부하 변경당 리뷰어의 노력(지원 변경과 비교 변경 각각) 변경당 리뷰 시간과 리뷰 횟수의 중앙값과 85번째 백분위수(그룹별) 시간, 횟수 리뷰 도구 타임스탬프(팀별 집계) 릴리스 및 배포 관리 피드백과 학습으로서의 리뷰 월간
유출 결함률 변경당 운영 환경에서 발견된 결함(지원 변경과 비교 변경 각각) 릴리스 후 발견되어 한 변경에 귀속된 결함 / 릴리스된 변경(그룹별) 변경당 결함 수 변경과 연결된 결함 트래커 인시던트 관리, 문제 관리 릴리스된 것의 품질 분기
설명 점검 통과율 표본으로 뽑은 AI 지원 변경 중 작성자가 리뷰에서 접근 방식과 상충 관계를 설명할 수 있는 비율 작성자가 리뷰어가 만족할 만큼 설명한 표본 변경 / 표본 변경 백분율 표본 리뷰 메모 지식 관리, 변경 활성화 코드에 대한 공유된 이해 분기
지원 받은 지원 업무의 품질 AI가 지원한 응답과 지원 없는 응답을 비교한 재오픈율과 사용자 만족도 재오픈된 지원 티켓 / 지원 티켓, 그리고 호의적 평가 / 평가(그룹별) 백분율 ITSM 도구, 설문 서비스 데스크, 인시던트 관리 서비스 성과의 품질 월간
도구 없는 자신감 평가 도구 없이 핵심 업무를 해낼 수 있다는 팀의 자신감 평가 합의된 척도에서의 평균 평가와 분산(팀별) 척도 점수 익명 팀 펄스 인력 및 인재 관리, 지식 관리 팀의 역량과 학습 분기

AI 지원은 도구 로그나 가벼운 약속을 통해 팀 수준에서 안정적으로 태그하고, 비교 변경을 어떻게 고르는지 밝히세요. 크기, 영역, 위험이 비슷해야 합니다. 유지율은 실질적인 변경을 측정하며, 임계값은 지표 등록부에 정합니다. 병합 후 재작업은 명시된 규칙으로 후속 수정을 원래 변경에 연결합니다. 리뷰 부하는 작성자가 아니라 리뷰어의 노력이며, 측정할 수 있다면 능동적인 리뷰 시간만 포함합니다. 개인 수준의 데이터는 절대 보고하지 않습니다. 설명 점검의 표본은 무작위로 뽑으며, 이 점검은 학습을 돕는 대화이지 사람에 대한 시험이 아닙니다.

권장 사항

작업이 만들어진 뒤에도 따라가세요

1. 지원받은 작업이 시간이 지나며 어떻게 되는지 추적하세요. 코드라면 병합 후 몇 주 동안 변경을 따라가세요. 그대로 남는지, 수정되는지, 되돌려지는지 봅니다. 지원 업무라면 답변 이후 티켓을 따라가세요. 다시 열리는지, 반복 문의가 뒤따르는지 봅니다. 문서라면 쓰이는지, 정정되는지, 무시되는지 확인하세요. 유지율과 재작업은 품질에 대한 단순하고 꾸미기 어려운 신호입니다.

2. 비슷한 비지원 작업과 비교하세요. 같은 기간의, 크기와 위험과 영역이 비슷한 작업을 비교 대상으로 고르세요. 난이도가 중요합니다. 사람들이 쉬운 작업에 AI를 쓰면 도구가 좋아 보이고, 어려운 작업에 쓰면 도구가 불리해 보입니다. 작업이 어떻게 지원 대상이 되는지 밝히고 그에 맞춰 조정하거나 단서를 다세요. 작고 정직한 비교가 크지만 교란된 비교보다 낫습니다(주제 6.5, 가치 실현과 비즈니스 성과 참조).

3. 하류 지표를 표준 세트에 포함하세요. 속도 지표는 변경 실패율, 유출 결함, 이미 쓰고 있는 안정성 지표와 짝지으세요(주제 2.8, DORA 지표 참조). 안정성이 떨어지는 속도 향상은 운영과 사용자에게 비용을 넘기는 것입니다. 짝을 이룬 지표를 함께 보고하세요.

리뷰를 의미 있게 유지하세요

4. 리뷰 부하와 크기를 지켜보세요. 지원받은 작업과 받지 않은 작업의 리뷰 시간, 리뷰 횟수, 변경 크기를 측정하세요. 지원받은 변경이 더 크거나 더 많다면 리뷰어가 과부하일 수 있습니다. 변경 크기에 대한 규범을 정하고, 한 번의 리뷰에 들어갈 수 있는 생성물의 양을 제한하세요. 리뷰 역량은 시스템 역량의 일부입니다(주제 2.3, 진행 중인 작업과 대기열 참조).

5. 작성자에게 설명을 요청하세요. 변경의 작성자가 그것이 무엇을 하는지, 왜 이 접근 방식인지, 상충 관계가 무엇인지 설명할 수 있는 것을 습관으로 만드세요. 리뷰에서 나누는 짧고 지지적인 대화면 충분합니다. 이해가 산출량을 따라가고 있는지 보려면 분기마다 설명 점검을 표본 추출하세요. 작성자가 설명하지 못한다면 사람의 결함이 아니라 속도를 늦추고 배우라는 신호로 다루세요.

6. 자동화 편향을 경계하세요. 리뷰어가 지원받은 작업도 다른 작업만큼 비판적으로 읽도록 권장하세요. 리뷰어를 순환시키고, 탐지 능력을 확인하기 위해 테스트용 변경에 알려진 문제를 가끔 심어 두고, 독립된 리뷰어가 산출물을 표본 검토하는 일을 계속하세요. 매우 높은 수락률과 늘어나는 재작업은 경고입니다(주제 10.1, 서비스 관리 측정에서의 AI 참조).

품질과 유지보수를 돌보세요

7. 코드와 시스템의 구조를 모니터링하세요. 지원이 많이 쓰인 영역의 중복, 복잡도, 테스트 커버리지, 변경 속도를 추적하세요. 이미 갖고 있는 소프트웨어 테스트(software testing)와 코드 건강 지표를 쓰고, 추세를 보세요. 중복이 늘거나 테스트 효과가 떨어지면 생성된 코드가 설계에 통합되지 않은 채 수락되고 있다는 신호일 수 있습니다. 회귀 테스트(regression testing) 커버리지는 안전망이며, 변경량이 늘수록 그 강도가 더 중요해집니다.

8. 생성된 테스트를 조심스럽게 다루세요. AI는 많은 테스트를 빠르게 쓸 수 있고, 테스트는 의미 있는 것을 검사하지 않고도 통과할 수 있습니다. 생성된 테스트를 표본으로 뽑아 가치를 확인하고, 동작을 일부러 망가뜨렸을 때 테스트가 실패하는지 같은 방법으로 테스트 효과를 측정하세요. 작성된 테스트 수를 품질 지표로 세지 마세요.

9. 지원받은 지원 업무의 품질을 지켜보세요. 서비스 데스크와 운영에서는 지원받은 응답과 받지 않은 응답에 대해 재오픈율, 반복 문의, 만족도, 표본 답변의 정확도를 측정하세요. 사용자를 되돌려 보내는 빠른 답변은 전체로는 더 느립니다. 지원받은 답변에 대한 사용자 의견을 읽고, 중요한 경우 사용자가 AI와 상대하고 있음을 아는지 살피세요(주제 6.1, 고객 만족도 지표 참조).

사람과 기술을 보호하세요

10. 사람들이 여전히 무엇을 할 수 있는지 살피세요. 팀에 도구 없이 핵심 업무를 해낼 자신이 얼마나 있는지 묻고 추세를 추적하세요. 가끔 하는 도구 없는 연습, 짝 작업, 밑바탕 설계 리뷰로 기술을 살려 두세요. 특히 새 팀원의 학습을 보호하세요. 이들은 경험 많은 동료가 도구를 판단할 때 의지하는 멘탈 모델을 쌓기도 전에 도구를 쓸 수 있습니다(주제 9.4, 기술과 학습 지표 참조).

11. 사람에 관한 데이터를 평가에서 제외하세요. 팀 수준으로 집계하세요. 누가 AI를 가장 많이 쓰는지 보고하지 말고, 사용량, 수락률, 생성량을 성과 평가에 쓰지 마세요. 규칙을 알리세요. 무엇이 통하고 무엇이 통하지 않는지 솔직히 보고하려면 신뢰가 필요합니다.

12. 정기적으로 다시 살펴보세요. 도구, 모델, 관행은 몇 달 만에 바뀝니다. 도구나 일하는 방식이 바뀌면 비교를 다시 실행하세요. 이 환경에서는 도구가 도움이 되지 않았다는 점을 포함해 결과를 공유하고, 더는 제 몫을 하지 못하는 사용처는 접으세요.

악용 방식과 방호책

지표 악용되는 방식 짝을 이루는 방호책 지표 또는 관행
유지율 숫자를 유지하려고 필요한 변경을 피함, 성공한 변경만 지원받은 것으로 태그함 작성자의 선택이 아니라 도구 로그로 태그, 유출 결함 및 재작업과 짝짓기
병합 후 재작업 연결되지 않은 다른 티켓이나 새 변경에서 수정함, 기간을 넘기도록 수정을 미룸 등록부의 연결 규칙, 더 긴 기간 확인, 운영 환경 결함
리뷰 부하 측정 시간을 줄이려고 서두른 리뷰, 의견 없는 승인 리뷰 깊이 표본 조사, 유출 결함, 리뷰어 설문
유출 결함률 결함을 변경에 귀속하지 않음, 결함을 개선 사항으로 재분류함 귀속 규칙, 결함 분류의 독립 표본 검토
설명 점검 통과율 작성자가 점검을 대비해 연습함, 관대한 리뷰어 예고 없는 무작위 표본, 리뷰어 순환, 설계 이유에 초점
지원 받은 지원 업무의 품질 쉬운 티켓에만 지원을 사용함, 사용자가 높게 평가하도록 유도함 유형과 난이도로 티켓 매칭, 응답률과 구성, 의견 읽기
도구 없는 자신감 평가 면밀한 검토를 피하려고 평가를 부풀림, 더 많은 도구를 주장하려고 낮게 평가함 익명성, 훈련에서 관찰한 실제 수행과 비교, 의견 읽기

건강한 모습은 이렇습니다. 지원받은 작업이 지원받지 않은 작업만큼 자주 제자리에 남아 있고, 재작업과 유출 결함이 비교 대상과 같거나 더 낫고, 리뷰가 깊이를 유지하고, 작성자가 자신이 내보내는 것을 설명할 수 있고, 지원받은 지원 업무가 되돌아오지 않고, 팀이 자신의 기술에 대한 자신감을 유지합니다.

상충 관계: 장점과 단점

접근 방식 강점 약점
산출량 측정 쉬움 양에 보상을 주고, 가치에 대해서는 아무것도 말해 주지 않음
유지율과 재작업 측정 시간에 따른 품질을 반영함 지연됨, 기록 연결이 필요함
통제된 비교 신뢰할 수 있음 노력이 들고 현실적이지 않을 수 있음
관찰 기반 비교 저렴함 과제 선택에 의해 교란됨
필수 설명 점검 이해를 유지함 시험처럼 느껴질 수 있고 노력이 추가됨
가벼운 표본 점검 부담이 낮음 패턴을 놓칠 수 있음
AI 사용에 대한 강한 제한 위험 통제 이점을 잃음, 그림자 사용
측정을 병행하는 열린 사용 학습과 이점 신뢰와 규율이 필요함

현실적인 답은 명확한 규칙 안에서 사용을 허용하고, 살아남는 것을 측정하고, 이해를 표본으로 확인하고, 리뷰 역량과 기술을 보호하고, 사람에 관한 데이터를 평가에서 제외하는 것입니다.

팀과 논의할 질문

1. 지난 분기에 AI의 도움으로 만든 것 중 얼마나 그대로 남아 있으며, 우리는 그것을 어떻게 알까요? 지원받은 변경의 유지율과 재작업을 비교 가능한 집합과 견주어 보세요. 진행자는 답하기가 얼마나 어려웠는지 기록해야 합니다. 다음 분기에는 답이 쉽게 나오도록 기록을 태그하고 연결하는 방법에 합의하세요.

2. 리뷰가 따라가고 있을까요, 그리고 따라가지 못하면 어떻게 될까요? 리뷰 시간, 횟수, 크기를 보세요. 리뷰어에게 지원받은 변경에 대해 어떻게 느끼는지 물어보세요. 크기 제한과 부담을 나누는 방법을 논의하세요. 시험해 볼 규범 하나에 합의하세요.

3. 우리 각자는 AI의 도움을 받아 내보낸 마지막 변경과 그 상충 관계를 설명할 수 있을까요? 둘씩 짝지어 해 보세요. 설명이 쉬웠던 곳과 어려웠던 곳을 알아차리세요. 그것이 우리의 도구 사용에 대해 무엇을 말해 주는지, 이해를 유지하려면 어떻게 해야 하는지 논의하세요.

4. 도구 없이 우리가 여전히 잘하는 것은 무엇이고, 감각을 잃어 가고 있는 것은 무엇일까요? 핵심 업무를 나열하고, 자신감을 솔직하게 평가하고, 도구 없는 연습이나 짝 작업을 계획하세요. 이 대화는 사람들이 일에서 가치 있게 여기고 지키고 싶어 하는 것도 드러냅니다.

5. AI가 우리에게 가장 많이 도움이 된 곳과 가장 적게 도움이 된 곳은 어디이고, 그 곳들의 공통점은 무엇일까요? 사례를 비교하세요. 잘 정의된 과제, 좋은 테스트, 익숙한 영역 같은 특징을 찾아보세요. 그 결과를 도구를 어디에 쓸지 안내하는 데 활용하세요.

6. 첫인상을 믿지 않는다면 우리는 무엇을 측정할까요? 도구에 대한 생각을 어느 쪽으로든 바꿀 만한 증거가 무엇인지 그룹에 말해 보게 하세요. 그 답으로 다음 비교를 정의하세요.

네 가지 관점

제품 및 전달 팀

전달 팀은 일상의 경험과 품질 성과를 쥐고 있습니다. 지원받은 작업을 태그하고, 유지율과 재작업을 지켜보고, 리뷰를 의미 있게 유지하고, 자신들의 이해를 유지해야 합니다. 생성된 변경의 양이 리뷰 능력을 앞지를 때는 목소리를 내야 합니다.

서비스 및 운영 팀

운영 팀은 요약, 진단, 답변에 AI를 쓰며, 빠져나온 품질 문제를 물려받습니다. 산출물을 표본 검토하고, 재오픈율과 반복 문의율을 비교하고, 운영 환경에서의 조치에 대한 사람의 책임을 분명히 유지해야 합니다. 사람 없이는 AI가 행동해서는 안 되는 곳을 정하는 일을 도와야 합니다.

리더십과 거버넌스

리더는 성과를 보여 달라는 압력을 받으며 사용량과 산출량 지표에 끌리기 쉽습니다. 속도 옆에 유지율, 재작업, 안정성 지표를 놓도록 요구하고, 리뷰 역량에 투자하고, 기술 개발을 보호하고, 사람의 순위를 매기려는 유혹에 맞서야 합니다. 거버넌스는 AI 효과 보고서에 비교와 단서가 담기기를 기대해야 합니다.

고객과 사용자

사용자는 결과를 받습니다. 자신의 서비스를 움직이는 코드, 요청에 대한 답변, 의지하는 문서입니다. 품질이 유지되면 이익을 보고, 그렇지 않으면 피해를 봅니다. 사람에게 연락할 수 있어야 하며, 지원받은 상호작용에 대한 그들의 피드백은 품질의 핵심 증거입니다.

실제 적용: 서비스 관리 사례

한 유럽 항공사의 디지털 그룹에는 예약 및 운영 소프트웨어를 만들고 운영하는 여섯 개의 제품 팀이 있습니다. 팀들은 1년 전부터 AI 코딩 어시스턴트를 쓰기 시작했고, 그룹의 대시보드는 병합된 줄의 38%가 AI가 생성한 것이라고 보고합니다. 아래 숫자는 설명을 위한 가상의 값입니다.

엔지니어링 우수성 책임자는 그 대시보드가 마음에 걸립니다. 그녀는 세 팀에 도구 로그로 지원받은 변경을 태그하되 팀 수준에서만 하고, 크기와 영역이 비슷한 비교 변경을 고르라고 요청합니다. 한 분기 동안 첫 커밋에서 병합까지 걸린 시간의 중앙값은 지원받은 변경이 1.4일로 2.0일보다 짧습니다. 30일 뒤 지원받은 변경의 유지율은 81%로, 비교 변경의 90%보다 낮고, 지원받은 변경의 12%가 14일 안에 후속 수정이 필요했는데 비교 변경은 7%였습니다. 리뷰 부하도 같은 이야기를 합니다. 변경당 리뷰 시간의 중앙값이 지원받은 변경에서 35% 더 높고, 변경 크기의 85번째 백분위수는 커졌습니다. 100개 변경당 유출 결함은 지원받은 변경에서 약간 더 높지만, 표본이 작고 차이는 정상적인 변동 범위 안입니다. 지원받은 변경 40건의 표본에서 31건은 작성자가 접근 방식과 상충 관계를 잘 설명할 수 있었고, 6건은 부분적으로, 3건은 전혀 설명하지 못했으며, 대부분 작성자에게 새로운 코드 영역이었습니다. 서비스 데스크에서는 지원받은 답변의 재오픈율이 7%, 지원 없는 답변은 6%였고 만족도는 비슷했습니다. 팀 펄스에서 신입 엔지니어들은 도구 없이 핵심 기능을 구현할 자신감을 5점 만점에 2.6으로 평가했고, 그룹에서 3년 넘게 일한 엔지니어들은 4.1이었습니다.

엔지니어링 우수성 책임자는 결과를 팀들에게 가져가되 순위를 매기지 않습니다. 팀들은 네 가지 변화에 합의합니다. 변경 크기 제한과 리뷰 당번표가 리뷰어를 보호합니다. 작성자는 리뷰에서 지원받은 변경을 간단히 설명합니다. 신입 엔지니어는 핵심 기능에서 경험 많은 엔지니어와 짝을 이루고, 월 1회 도구 없는 연습으로 기술을 유지합니다. 대시보드는 생성된 줄 비율을 빼고 지원받은 변경과 비교 변경의 유지율, 재작업, 리뷰 부하, 유출 결함을 보여 줍니다. 석 달 뒤 유지율 격차는 4포인트로 줄고, 후속 수정은 8%로 떨어지며, 설명 점검이 개선됩니다. 한 부사장이 생성된 줄 비율을 모든 팀의 목표로 삼자고 요청합니다. 엔지니어링 우수성 책임자는 결과를 설명하고 성과를 계속 추적하자고 제안하며, 어떤 과제에서는 이득이 실제이고 다른 과제에서는 아니므로 도구를 어디에 쓸지는 팀이 결정할 것이라고 덧붙입니다. 이 결정은 기록됩니다.

애자일, AI, 자동화, 분석

애자일

지속 가능한 속도와 동기 부여된 사람들에는 이해를 지키는 일이 포함되므로, 정기적인 주기로 팀과 함께 AI 지원 작업을 검토하고 살아남은 것을 살펴보세요. 주의할 점은 개인의 AI 사용을 측정하면 팀의 관행이 감시로 바뀐다는 것입니다.

AI

AI 지원 작업은 검토와 운영을 거치고 살아남는 것, 그리고 사람들이 자신이 내보내는 것을 여전히 이해하는지로 판단하세요. 유지율과 재작업을 설명 점검 및 도구 없는 자신감 평가와 짝지키고, 데이터는 팀 수준에 두세요. 주의할 점은 빠른 초안이 노력을 리뷰어에게 옮기므로 리뷰 부하도 함께 측정해야 한다는 것입니다.

자동화

도구가 허용하는 곳에서는 AI 지원 변경을 자동으로 태그하고, 태그 지정을 커버리지로 측정하세요. 태그되지 않은 작업은 비교를 깨뜨리기 때문입니다. 주의할 점은 자동 태그가 제거되거나 누락될 수 있으므로 표본 검토를 해야 한다는 것입니다.

분석

AI 지원 작업과 그 밖의 작업을 같은 지표로, 건수와 불확실성을 함께 비교하세요. 이를 통해 판단할 일은 AI의 도움이 실제인 곳과 재작업만 늘리는 곳이 어디인가입니다. 주의할 점은 두 작업 집단이 종류가 다를 수 있으므로 거친 비교에서 인과 주장을 하지 말아야 한다는 것입니다.

부문별 관점

스타트업. 작은 팀은 지원으로 큰 이득을 볼 수 있지만 숨은 부채도 빠르게 쌓을 수 있습니다. 초기부터 유지율과 재작업을 추적하고, 테스트를 의미 있게 유지하고, 시스템을 유지보수할 사람들이 그것을 이해하도록 하세요. 아무도 설명할 수 없는 코드를 내보내는 일을 조심하세요.

소기업. 지원은 아주 작은 팀의 역량을 늘려 줄 수 있습니다. 작은 표본으로 측정하세요. 지원받은 작업이 나중에 얼마나 자주 수정이 필요한가를 봅니다. 백업, 테스트, 고객과 맞닿는 모든 것에 대한 사람의 검토를 유지하고, 자신이 의존하는 시스템에 대한 소유자의 이해를 보호하세요.

대기업. 규모는 이득과 문제를 모두 증폭합니다. 태그, 리뷰 한도, 지표에 대한 공통 지침을 제공하고, 순위를 매기지 않으면서 팀 간 비교를 신중하게 하고, 리뷰와 테스트 역량에 투자하세요. 파이프라인에 생성된 코드의 보안 및 라이선스 검토를 포함하세요(주제 7.2, 소프트웨어 자산과 라이선스 지표 참조).

정부 및 공공 부문. 공공 시스템은 수명이 길고, 책임성이 엄격하며, 오류의 결과가 큽니다. 추적 가능한 사람의 책임, 신중한 테스트, AI를 어떻게 썼는지에 대한 문서화를 요구하세요. 지원받은 작업을 변경 기록에 남기고, 공정성과 보안에 대한 위험을 평가하세요(주제 8.5, 규제 및 정부 보고 참조).

비즈니스 케이스: 동기, ROI, TCO

비용은 도구 및 사용 요금, 기록을 태그하고 연결하는 노력, 리뷰와 수정에 드는 시간, 추가 테스트, 교육입니다. 비교 연구에는 시간이 들지만, 확대하거나 금지하는 잘못된 결정에 비하면 저렴합니다.

수익은 지원이 품질을 떨어뜨리지 않고 노력을 줄이는 곳에서는 실제이고, 노력을 리뷰, 재작업, 유지보수로 옮기는 곳에서는 사라집니다. 자기 지표로 케이스를 만드세요. 병합되어 유지되는 변경까지의 시간, 비교 대비 재작업과 유출 결함, 리뷰 부하, 사용자와 직원의 만족도입니다. 공개된 생산성 수치를 자신의 추정치로 쓰지 마세요. 숨은 비용을 기억하세요. 이해의 감소, 기술의 상실, 기술 부채입니다. 불확실성에 대해 솔직하세요(주제 7.7, 투자 수익과 비즈니스 케이스 참조).

안티패턴과 함정

  • 생성된 줄이나 수락된 제안을 세기. 양에 보상을 줍니다. 살아남는 것을 측정하세요.
  • 쉬운 과제의 지원받은 작업과 어려운 과제의 지원받지 않은 작업을 비교하기. 결과가 도구를 실제보다 좋게 또는 나쁘게 보이게 합니다. 과제를 맞추세요.
  • 리뷰 역량이 뒤처지게 두기. 품질이 조용히 떨어집니다. 변경 크기를 제한하고 리뷰어를 보호하세요.
  • 하류 지표 건너뛰기. 비용은 나중에 나타납니다. 재작업, 결함, 안정성을 추적하세요.
  • 생성된 테스트를 품질로 취급하기. 아무것도 검사하지 않고 통과할 수 있습니다. 테스트를 테스트하세요.
  • 기술을 무시하기. 이해는 눈에 띄지 않게 흐려집니다. 도구 없는 자신감과 연습을 추적하세요.
  • 개인을 감시하기. 두려움을 낳고 문제를 숨깁니다. 데이터를 팀 수준에 두세요.
  • 짧고 작은 연구에서 승리를 선언하기. 도구와 관행이 바뀔 때마다 다시 실행하세요.

성숙도 모델

차원 1 시작 2 발전 3 표준화 4 관리 5 조율
살아남는 것 측정 산출량 집계 품질에 대한 비공식적 인상 지원받은 작업이 태그되고, 비교 대비 유지율과 재작업이 추적됨 하류 결함, 안정성, 리뷰 부하가 함께 관리됨 팀 간 증거가 지원을 쓸 곳을 안내하고 결과가 널리 공유됨
리뷰와 이해 이전처럼 리뷰함 과부하에 대한 우려 변경 크기 규범, 설명 점검 표본 추출 리뷰 역량이 계획되고 자동화 편향에 대응함 리뷰와 이해가 모든 팀이 AI와 일하는 방식에 내재화됨
사람과 기술 고려하지 않음 일화 도구 없는 자신감을 펄스로 측정하고 일부 연습을 함 기술 개발이 계획되고 추세가 관리됨 조직 전반에서 학습과 장인 정신이 보호되고 AI 사용이 직원과 함께 설계됨

체크리스트

  • AI 지원 작업이 도구 로그나 가벼운 약속을 통해 팀 수준에서 태그된다.
  • 크기, 영역, 위험이 비슷한 비교 작업이 정의되어 있다.
  • 지원받은 작업과 비교 작업의 유지율과 병합 후 재작업이 추적된다.
  • 모든 속도 지표 옆에 유출 결함과 변경 실패율이 보고된다.
  • 리뷰 시간, 리뷰 횟수, 변경 크기가 모니터링되고 크기에 대한 규범이 있다.
  • 작성자가 지원받은 변경을 설명할 수 있으며, 표본을 분기마다 점검한다.
  • 생성된 테스트를 표본으로 뽑아 가치를 확인한다.
  • 지원 업무의 재오픈율, 반복 문의, 만족도를 비교한다.
  • 도구 없는 자신감을 펄스로 측정하고, 도구 없는 연습을 계획한다.
  • 개인의 사용량과 수락률 데이터는 평가에 쓰지 않는다.

AI 프롬프트

지원받은 변경과 지원받지 않은 변경의 비교를 계획하세요.

We want to compare AI-assisted and unassisted changes for [team and system]. Our
data includes: [list fields]. Propose how to tag assisted changes without
relying on authors' memory, how to choose comparison changes of similar size and
risk, which measures to compare (retention, rework, review load, defects), the
period, and how to caveat the findings. Do not state expected results. List your
assumptions and threats to validity.

설명 점검을 설계하세요.

Design a short, supportive explanation check for sampled AI-assisted changes in
[language and domain]. Include how to sample, the questions a reviewer asks,
what a good explanation covers, how to record results at team level, and how to
use the findings for learning without grading people. List your assumptions and
risks of the check.

하류 지표를 검토하세요.

Here are our measures for [period]: speed [values], retention [values], rework
[values], review load [values], escaped defects [values], for assisted and
comparison work. Describe what the pattern suggests and what it does not, which
differences are within normal variation, and what to check next. Do not claim
causation. List your assumptions and the data I should add.

도구 없는 연습을 계획하세요.

Propose a light program to keep core skills alive for a team that uses AI tools
daily: monthly unaided exercises, pairing between newer and experienced members,
and design discussions. Suggest how to fit it into the working week without
adding pressure and how to track its effect with the unaided confidence pulse.
List your assumptions and trade-offs.

AI 스킬

핵심 정리

  • 살아남는 것을 측정하세요. 유지율, 재작업, 유출 결함, 안정성을 비교 가능한 지원 없는 작업과 견줍니다.
  • 리뷰 역량을 보호하고 리뷰의 깊이를 유지하세요. 지원받은 작업이 안전하게 흐를 수 있는 속도를 제한하기 때문입니다.
  • 작성자가 내보내는 것을 설명할 수 있는지 확인하고, 기술이 자라고 있는지 흐려지고 있는지 살피세요.
  • 생성된 테스트와 산출물을 표본으로 뽑아 실제 가치를 확인하세요.
  • 공개된 생산성 주장은 단일 연구로 읽고, 자기 작업을 측정하세요.
  • 개인의 사용 데이터를 평가에서 제외하세요.

참고 문헌과 더 읽을거리

  1. Peng, S., Kalliamvakou, E., Cihon, P., and Demirer, M., "The Impact of AI on Developer Productivity: Evidence from GitHub Copilot," arXiv preprint, 2023.
  2. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  3. DORA, Google Cloud, Accelerate State of DevOps Report (latest edition addressing AI), https://dora.dev/.
  4. Parasuraman, R., and Manzey, D. H., "Complacency and bias in human use of automation: An attentional integration," Human Factors, 52(3), 2010.
  5. Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 19(1), 2021.
  6. Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
  7. Wikipedia, Lines of code.
  8. Wikipedia, Code review.
  9. Wikipedia, Pull request.
  10. Wikipedia, Duplicate code.
  11. Wikipedia, Technical debt.
  12. Wikipedia, Cognitive offloading.
  13. Wikipedia, Deskilling.
  14. Wikipedia, Goodhart's law.
  15. Wikipedia, Software testing.
  16. Wikipedia, Regression testing.