Измерение работы с помощью ИИ
Судите о работе с помощью ИИ по тому, что выживает при рецензировании, в продуктиве и при следующем обращении пользователя, а не по тому, как быстро она появилась, и продолжайте следить, учатся ли ещё люди, которые её делают.
Обзор и мотивация
Как только команда пользуется инструментами ИИ ежедневно, центральный вопрос меняется с «стоит ли?» на «что мы получаем?» Предыдущая тема изложила основы: базовые уровни, сравнения и полную цену (см. тему 10.1, ИИ в измерении управления услугами). Эта тема идёт в саму работу. Как отличить, являются ли код, заявки, документы и решения с помощью ИИ такими же хорошими, лучше или хуже работы, которую они заменяют, и что происходит с людьми, которые её делают?
Помощь ИИ затрагивает многие виды работы. В разработке ПО инструменты предлагают или порождают код, тесты, сообщения коммитов и замечания рецензирования. В эксплуатации услуг они резюмируют инциденты, предлагают причины, составляют ответы и пишут статьи знаний. В анализе они производят отчёты и запросы. Общая черта в том, что получение правдоподобной первой версии становится дешёвым. Цена переходит в другие места: чтение и оценка вывода, исправление неверного, поддержка порождённого и достаточное обучение, чтобы знать разницу.
Измерение усложняют несколько эффектов.
- Счёты выпуска вводят в заблуждение. Строки кода всегда были плохой мерой производительности, а порождённый код делает её хуже. Больше кода значит больше читать, тестировать и поддерживать. Счёты порождённых строк, принятых предложений или черновиков мало говорят о ценности.
- Рецензирование становится узким местом. Рецензирование кода и рецензирование другой порождённой работы занимают время, а поток более крупных и частых изменений может перегрузить рецензентов. Большие запросы на слияние труднее рецензировать хорошо, а перегруженный рецензент охотнее одобряет то, чего не понял. Меры рецензирования и потока из более ранних частей остаются необходимыми (см. тему 2.7, Метрики запросов на слияние и проверки кода).
- Проблемы качества приходят поздно. Порождённый код может проходить тесты сегодня и нести дублирующийся код, неясную структуру или скрытые дефекты, всплывающие как цена поддержки, форма технического долга. Меры, снятые в момент создания, это упускают. Смотрите, что происходит с работой потом.
- Навыки могут меняться. Опора на инструмент в задачах, которые человек раньше делал сам, есть форма когнитивной разгрузки, которая может освободить внимание для более трудных проблем или привести к утрате квалификации, если лежащее в основе понимание угасает. Возможно и то и другое, а исход зависит от того, как используются инструменты. Это важно для вовлечённых людей и для способности команды справляться с ситуациями, с которыми инструмент не справится.
Свидетельства о влиянии помощи ИИ на производительность всё ещё развиваются и различаются по задаче, опыту пользователя, инструменту и обстановке. Некоторые контролируемые исследования задач программирования нашли более быстрое завершение на чётко определённых задачах, а другие исследования и отчёты нашли меньший или нулевой выигрыш или дополнительные затраты для опытных людей, работающих над знакомыми им сложными системами. Эта книга не предлагает числа. Ответственная позиция для команды: измерять собственную работу с базовыми уровнями и сравнением и относиться к любой опубликованной цифре как к одному исследованию в определённом контексте.
Ограждение из закона Гудхарта особенно важно здесь, потому что давление показать выигрыш сильно, а лёгкие числа вводят в заблуждение. Меры ниже следуют за тем, что выживает, а не за произведённым (см. тему 1.2, Закон Гудхарта и психология метрик).
Ключевые принципы
- Измеряйте, что выживает. Сохранение, переделки и ускользнувшие дефекты говорят больше выпуска.
- Следите за рецензированием. Поток работы с помощью ИИ ограничен тем, насколько хорошо люди могут её читать.
- Сравнивайте подобное с подобным. Работа с помощью и без помощи должна быть сходна по виду и трудности.
- Смотрите и потом, и сейчас. Проблемы качества и цена поддержки появляются через недели или месяцы после создания.
- Держите понимание в петле. Человек, выпускающий работу, должен мочь её объяснить.
- Защищайте навыки и обучение. Замечайте, что люди ещё могут без инструмента.
- Агрегируйте; не мониторьте отдельных людей. Данные о том, кто использует ИИ и как, служат улучшению процесса, а не ранжированию людей.
Определения метрик
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность |
|---|---|---|---|---|---|---|---|
| Доля сохранения | Доля изменений с помощью ИИ, остающихся по существу неизменными через заявленный период | изменения с помощью ИИ, где изменено или откачено менее заданной доли через 30 дней / изменения с помощью ИИ, слитые 30 дней назад | процент | История системы контроля версий, соединённая с метками помощи, на уровне команды | Управление релизами и развёртыванием; управление изменениями (change enablement) | Работа, которая держится; мало переделок | Раз в месяц |
| Переделки после слияния | Доля изменений, требующих последующего исправления в короткий период, для изменений с помощью и сравнения | изменения со связанным последующим исправлением в течение 14 дней / слитые изменения, по группе | процент | Система контроля версий, трекер задач, записи об изменениях | Управление изменениями; управление проблемами | Ускользнувшие дефекты; переделки | Раз в месяц |
| Нагрузка рецензирования | Усилия рецензента на изменение, для изменений с помощью и сравнения | медиана и 85-й перцентиль времени рецензирования и раундов рецензирования на изменение, по группе | часы; раунды | Метки времени инструмента рецензирования, агрегированные по команде | Управление релизами и развёртыванием | Рецензирование как обратная связь и обучение | Раз в месяц |
| Доля ускользнувших дефектов | Дефекты, найденные в продуктиве, на изменение, для изменений с помощью и сравнения | дефекты, найденные после релиза и приписанные изменению / выпущенные изменения, по группе | дефектов на изменение | Трекер дефектов, связанный с изменениями | Управление инцидентами; управление проблемами | Качество выпускаемого | Раз в квартал |
| Доля прохождения проверки объяснения | Доля выбранных изменений с помощью ИИ, чей автор может объяснить подход и компромиссы на рецензировании | выбранные изменения, где автор объяснил к удовлетворению рецензента / выбранные изменения | процент | Заметки выборочного рецензирования | Управление знаниями; управление изменениями | Общее понимание кода | Раз в квартал |
| Качество поддержки с помощью ИИ | Доля повторных открытий и удовлетворённость пользователей для ответов поддержки с помощью ИИ по сравнению с ответами без помощи | повторно открытые заявки с помощью / заявки с помощью, и благоприятные оценки / оценки, по группе | процент | Инструмент ITSM, опрос | Служба поддержки; управление инцидентами | Качество результатов услуг | Раз в месяц |
| Оценка уверенности без инструмента | Оценка командой уверенности в выполнении ключевых задач без инструмента | средняя оценка и разброс по согласованной шкале, по команде | пункты шкалы | Анонимный пульс команды | Управление персоналом и талантами; управление знаниями | Способность команды и обучение | Раз в квартал |
Надёжно метьте помощь ИИ на уровне команды, по логам инструмента или лёгкому соглашению, и указывайте, как выбираются изменения сравнения: схожие по размеру, области и риску. Сохранение измеряет существенное изменение с порогом, заданным в реестре. Переделки после слияния связывают последующее исправление с исходным изменением по заявленному правилу. Нагрузка рецензирования есть усилия рецензента, а не автора, и включает только активное время рецензирования, где его можно измерить. Данные уровня отдельных людей никогда не сообщаются. Выборки для проверки объяснения выбираются случайно, а проверка есть разговор в поддержку обучения, а не испытание человека.
Рекомендации
Следите за работой после её создания
1. Отслеживайте, что происходит с работой с помощью ИИ во времени. Для кода следите за изменениями недели после слияния: остаются они, исправляются или откатываются? Для поддержки следите за заявками после ответа: открываются ли они повторно или следуют ли за ними повторные обращения? Для документов проверяйте, используются ли они, исправляются или игнорируются. Сохранение и переделки суть простые, трудно подделываемые сигналы качества.
2. Сравнивайте с похожей работой без помощи. Выбирайте работу сравнения схожего размера, риска и области, из того же периода. Трудность важна: люди могут использовать ИИ для лёгких задач, что польстило бы инструменту, или для трудных, что наказало бы его. Укажите, как задачи оказываются с помощью, и корректируйте или делайте оговорку. Малое честное сравнение лучше большого искажённого (см. тему 6.5, Реализация ценности и бизнес-результаты).
3. Включайте нисходящие меры в стандартный набор. Парьте любую меру скорости с долей сбоев изменений, ускользнувшими дефектами и мерами стабильности, уже используемыми (см. тему 2.8, Метрики DORA). Выигрыш скорости при падающей стабильности есть перенос затрат на эксплуатацию и пользователей. Сообщайте пару вместе.
Сохраняйте рецензирование осмысленным
4. Следите за нагрузкой и размером рецензирования. Измеряйте время рецензирования, раунды рецензирования и размер изменения для работы с помощью и без. Если изменения с помощью крупнее или многочисленнее, рецензенты могут быть перегружены. Задайте нормы размера изменения и ограничьте объём порождённого материала в одном рецензировании. Ёмкость рецензирования есть часть ёмкости системы (см. тему 2.3, Работа в процессе и теория очередей).
5. Просите авторов объяснять. Сделайте привычкой, что автор изменения может объяснить, что оно делает, почему такой подход и каковы компромиссы. Достаточно короткого поддерживающего разговора на рецензировании. Берите выборку проверок объяснения ежеквартально, чтобы видеть, поспевает ли понимание за выпуском. Где авторы не могут объяснить, относитесь к этому как к сигналу замедлиться и учиться, а не как к провалу человека.
6. Охраняйтесь от предвзятости автоматизации. Поощряйте рецензентов читать работу с помощью так же критично, как любую другую. Вращайте рецензентов, иногда подкладывайте известные проблемы в тестовое изменение, чтобы проверить обнаружение, и продолжайте выборку выводов независимыми проверяющими. Очень высокая доля принятия при растущих переделках есть предупреждение (см. тему 10.1, ИИ в измерении управления услугами).
Заботьтесь о качестве и поддержке
7. Мониторьте структуру кода и системы. Отслеживайте дублирование, сложность, покрытие тестами и скорость изменений в областях, где помощь велика. Используйте меры, уже имеющиеся для тестирования ПО и здоровья кода, и смотрите на тренды. Растущее дублирование или падающая эффективность тестов могут сигнализировать, что порождённый код принимается без интеграции в проект. Покрытие регрессионным тестированием есть страховочная сетка, и её сила важнее, когда растёт объём изменений.
8. Относитесь к порождённым тестам с осторожностью. ИИ может быстро писать много тестов, а тесты могут проходить, ничего значимого не проверяя. Берите выборку порождённых тестов на ценность и измеряйте эффективность тестов методами вроде того, падают ли тесты, когда поведение намеренно ломается. Не считайте написанные тесты мерой качества.
9. Следите за качеством поддержки с помощью ИИ. Для службы поддержки и эксплуатации измеряйте долю повторных открытий, повторные обращения, удовлетворённость и точность выбранных ответов для ответов с помощью и без. Более быстрый ответ, возвращающий пользователя, в целом медленнее. Читайте комментарии пользователей об ответах с помощью ИИ и смотрите, знают ли пользователи, что имеют дело с ИИ, где это важно (см. тему 6.1, Метрики удовлетворённости клиентов).
Защищайте людей и навыки
10. Замечайте, что люди ещё могут. Спрашивайте команды, насколько они уверены в выполнении ключевых задач без инструмента, и отслеживайте тренд. Используйте разовую практику без инструмента, парную работу и пересмотры лежащего в основе проекта, чтобы держать навыки живыми. Особенно защищайте обучение новых членов команды, которые могут использовать инструмент раньше, чем построят мысленные модели, на которые опираются опытные коллеги, чтобы судить о нём (см. тему 9.4, Метрики навыков и обучения).
11. Держите данные о людях вне оценки. Агрегируйте до уровня команды. Не сообщайте, какие отдельные люди используют ИИ больше всех, и не используйте использование, долю принятия или порождённый объём в оценках результативности. Делайте правила известными. Доверие нужно для честных сообщений о том, что работает, а что нет.
12. Регулярно пересматривайте. Инструменты, модели и практики меняются за месяцы. Повторяйте сравнение, когда меняется инструмент или способ работы. Делитесь находками, включая то, что инструмент здесь не помог, и выводите использования, больше не заслуживающие своего места.
Векторы манипуляции и ограждения
| Метрика | Как её искажают | Парная метрика или практика-ограждение |
|---|---|---|
| Доля сохранения | Избегать нужных изменений, чтобы держать число; метить как помощь только успешные изменения | Метить по логам инструмента, а не по выбору автора; парить с ускользнувшими дефектами и переделками |
| Переделки после слияния | Исправлять в другой заявке или новом несвязанном изменении; откладывать исправления за пределы окна | Правило связывания в реестре; смотреть более длинное окно; продуктивные дефекты |
| Нагрузка рецензирования | Поспешные рецензирования, снижающие измеренное время; одобрения без комментариев | Выборка глубины рецензирования; ускользнувшие дефекты; опрос рецензентов |
| Доля ускользнувших дефектов | Не приписывать дефекты изменениям; переклассифицировать дефекты как улучшения | Правило атрибуции; независимая выборка классификации дефектов |
| Доля прохождения проверки объяснения | Авторы репетируют для проверки; снисходительные рецензенты | Случайные неанонсированные выборки; ротация рецензентов; фокус на причинах проекта |
| Качество поддержки с помощью ИИ | Помогать только лёгким заявкам; натаскивать пользователей на высокие оценки | Сопоставлять заявки по типу и трудности; доля ответивших и состав; читать комментарии |
| Оценка уверенности без инструмента | Завышенные оценки, чтобы избежать внимания; заниженные, чтобы аргументировать за больше инструментов | Анонимность; сравнивать с наблюдаемой практикой на учениях; читать комментарии |
Здоровое чтение есть работа с помощью, остающаяся на месте так же часто, как работа без помощи, переделки и ускользнувшие дефекты на уровне сравнения или лучше, рецензирование, остающееся глубоким, авторы, способные объяснить, что они выпускают, поддержка с помощью, не возвращающаяся, и команды, остающиеся уверенными в своих навыках.
Компромиссы: плюсы и минусы
| Подход | Сильная сторона | Слабая сторона |
|---|---|---|
| Измерение объёма выпуска | Легко | Награждает объём; ничего не говорит о ценности |
| Измерение сохранения и переделок | Отражает качество во времени | Запаздывает; нужна связь записей |
| Контролируемое сравнение | Достоверно | Нужны усилия; может быть непрактично |
| Наблюдательное сравнение | Дёшево | Искажается выбором задач |
| Обязательные проверки объяснения | Сохраняют понимание | Могут ощущаться как испытание; добавляют усилия |
| Лёгкие выборочные проверки | Низкое бремя | Могут упускать закономерности |
| Жёсткие ограничения использования ИИ | Контроль риска | Потерянная выгода; теневое использование |
| Открытое использование с измерением | Обучение и выгода | Нужны доверие и дисциплина |
Ответ прост: допускайте использование в ясных правилах, измеряйте, что выживает, берите выборку на понимание, защищайте ёмкость рецензирования и навыки и держите данные о людях вне оценки.
Вопросы для обсуждения в команде
1. Какая часть того, что ИИ помог нам произвести в прошлом квартале, всё ещё на месте, неизменной, и откуда мы знаем? Посмотрите сохранение и переделки изменений с помощью относительно сопоставимого набора. Ведущему стоит записать, насколько трудно было ответить. Договоритесь, как метить и связывать записи, чтобы ответ был лёгким в следующем квартале.
2. Поспевает ли рецензирование и что происходит, когда нет? Посмотрите времена, раунды и размеры рецензирования. Спросите рецензентов, что они чувствуют по поводу изменений с помощью. Обсудите ограничения размера и способы распределить нагрузку. Договоритесь об одной норме для пробы.
3. Мог бы каждый из нас объяснить последнее изменение, выпущенное с помощью ИИ, и его компромиссы? Попробуйте парами. Отметьте, где объяснение было лёгким, а где трудным. Обсудите, что это говорит о нашем использовании инструмента и как держать понимание на уровне.
4. Что мы ещё можем хорошо делать без инструмента и к чему теряем сноровку? Перечислите ключевые задачи, честно оцените уверенность и спланируйте разовую практику без инструмента или парную работу. Разговор также выявляет, что люди ценят в своей работе и хотят сохранить.
5. Где ИИ помог нам больше всего и меньше всего и что общего у этих мест? Сравните примеры. Ищите черты вроде чётко определённых задач, хороших тестов или знакомых областей. Используйте находки, чтобы направлять, где применять инструмент.
6. Что мы измерили бы, если бы не доверяли первым впечатлениям? Попросите группу назвать свидетельство, которое изменило бы их мнение об инструменте в любую сторону. Используйте ответы, чтобы определить следующее сравнение.
Четыре точки зрения
Продуктовые команды и команды поставки
Команды поставки держат ежедневный опыт и результаты качества. Им следует метить работу с помощью, следить за сохранением и переделками, сохранять рецензирование осмысленным и поддерживать собственное понимание. Им следует высказываться, когда объём порождённых изменений опережает их способность рецензировать.
Команды услуг и эксплуатации
Команды эксплуатации используют ИИ для резюме, диагностики и ответов и наследуют проблемы качества, которые ускользают. Им следует брать выборку выводов, сравнивать доли повторных открытий и повторных обращений и сохранять ясную человеческую ответственность за действия в продуктиве. Им следует помогать определять, где ИИ не должен действовать без человека.
Руководство и управление
Руководители сталкиваются с давлением показать выигрыш и могут поддаться искушению метрик использования и выпуска. Им следует настаивать на мерах сохранения, переделок и стабильности рядом со скоростью, финансировать ёмкость рецензирования, защищать развитие навыков и сопротивляться ранжированию людей. Управлению следует ожидать сравнений и оговорок в отчётах о выгодах ИИ.
Клиенты и пользователи
Пользователи получают результаты: код, ведущий их услуги, ответы на их запросы, документы, на которые они полагаются. Им выгодно, когда качество держится, и вредно, когда нет. Они должны мочь добраться до человека, а их обратная связь по взаимодействиям с помощью ИИ есть ключевое свидетельство качества.
На практике: пример из управления услугами
В цифровой группе европейской авиакомпании шесть продуктовых команд, строящих и ведущих ПО бронирования и операций. Команды начали использовать ассистента кода на основе ИИ год назад, и панель группы сообщает, что 38 % слитых строк порождены ИИ. Числа ниже иллюстративны.
Руководителя инженерного совершенства эта панель тревожит. Руководитель просит три команды метить изменения с помощью через логи инструмента, только на уровне команды, и выбрать изменения сравнения схожего размера и области. За квартал медианное время от первого коммита до слияния короче для изменений с помощью, 1,4 дня против 2,0. Доля сохранения изменений с помощью через 30 дней составляет 81 % против 90 % для изменений сравнения, а 12 % изменений с помощью потребовали последующего исправления в течение 14 дней против 7 %. Нагрузка рецензирования рассказывает ту же историю: медианное время рецензирования на изменение выше на 35 % для изменений с помощью, а 85-й перцентиль размера изменения вырос. Ускользнувшие дефекты на 100 изменений слегка выше для изменений с помощью, хотя выборка мала, а разница в пределах нормальной вариации. Выборка из 40 изменений с помощью показывает, что в 31 автор мог хорошо объяснить подход и компромиссы, в 6 частично, а в 3 нет вовсе, в основном в областях кода, новых для автора. В службе поддержки ответы с помощью имели долю повторных открытий 7 % против 6 % без помощи, при сходной удовлетворённости. В пульсе команды новые инженеры оценивают свою уверенность в реализации основных функций без инструмента в 2,6 из 5, против 4,1 для инженеров с опытом в группе более трёх лет.
Руководитель инженерного совершенства несёт результаты командам и не ранжирует их. Команды договариваются о четырёх изменениях. Ограничения размера изменений и расписание рецензирования защищают рецензентов. Авторы кратко объясняют изменения с помощью на рецензировании. Новые инженеры работают парами с опытными над основными функциями, а ежемесячное упражнение без инструмента держит навыки в практике. Панель отказывается от доли порождённых строк и показывает сохранение, переделки, нагрузку рецензирования и ускользнувшие дефекты, с помощью против сравнения. Через три месяца разрыв сохранения сужается до 4 пунктов, последующие исправления падают до 8 %, а проверка объяснения улучшается. Вице-президент просит сделать долю порождённых строк целью для каждой команды. Руководитель инженерного совершенства объясняет находки и предлагает продолжать отслеживать результаты, добавляя, что выигрыши реальны в одних задачах и нет в других и что команда сама решит, где применять инструмент. Решение записано.
Agile, ИИ, автоматизация и аналитика
Agile
Устойчивый темп и мотивированные люди включают защиту понимания, поэтому пересматривайте работу с помощью ИИ с командой в регулярном ритме и смотрите, что выжило. Осторожность в том, что измерение индивидуального использования ИИ превращает командную практику в слежку.
ИИ
Судите о работе с помощью ИИ по тому, что выживает при рецензировании и в продуктиве и понимают ли люди ещё, что выпускают. Парьте сохранение и переделки с проверкой объяснения и оценкой уверенности без инструмента и держите данные на уровне команды. Осторожность в том, что быстрые черновики переносят усилия на рецензентов, поэтому измеряйте и нагрузку рецензирования.
Автоматизация
Метьте изменения с помощью ИИ автоматически, где позволяют инструменты, и измеряйте разметку по охвату, поскольку неразмеченная работа ломает сравнение. Осторожность в том, что автоматические метки могут быть убраны или пропущены, поэтому берите выборку.
Аналитика
Сравнивайте работу с помощью ИИ и другую работу по тем же мерам, со счётами и неопределённостью. Решение, которое это информирует, состоит в том, где помощь ИИ реальна, а где добавляет переделки. Осторожность в том, что две группы работы могут различаться по виду, поэтому избегайте причинных заявлений из грубого сравнения.
Отраслевой взгляд
Стартап. Малые команды могут многое выиграть от помощи и также быстро накапливать скрытый долг. Отслеживайте сохранение и переделки с самого начала, держите тесты осмысленными и следите, чтобы люди, которые будут поддерживать систему, понимали её. Остерегайтесь выпуска кода, который никто не может объяснить.
Малый бизнес. Помощь может растянуть крошечную команду. Измеряйте на малой выборке: как часто работе с помощью позже требуется исправление. Держите резервные копии, тесты и рецензирование человеком всего, что обращено к клиентам, и защищайте понимание владельцем систем, от которых он зависит.
Крупная компания. Масштаб усиливает и выигрыши, и проблемы. Предоставьте общее руководство по разметке, ограничениям рецензирования и мерам, аккуратно сравнивайте между командами без ранжирования и вкладывайтесь в ёмкость рецензирования и тестирования. Включайте проверку безопасности и лицензий порождённого кода в конвейер (см. тему 7.2, Метрики программных активов и лицензий).
Государство и публичный сектор. Публичные системы живут долго, подотчётны строго, а ошибки имеют высокие последствия. Требуйте прослеживаемой человеческой ответственности, тщательного тестирования и документирования того, как использовался ИИ. Записывайте работу с помощью в записях об изменениях и оценивайте риски для справедливости и безопасности (см. тему 8.5, Регулируемая и государственная отчётность).
Бизнес-обоснование: мотивы, ROI и TCO
Затраты: инструменты и платежи по использованию, усилия по разметке и связыванию записей, время на рецензирование и исправление, дополнительное тестирование и обучение. Исследование сравнения занимает время, но дёшево относительно неверного решения масштабировать или запретить.
Отдача реальна там, где помощь снижает усилия, не снижая качество, и теряется там, где переносит усилия в рецензирование, переделки и поддержку. Стройте обоснование из собственных мер: время до слитого сохранённого изменения, переделки и ускользнувшие дефекты относительно сравнения, нагрузка рецензирования и удовлетворённость пользователей и персонала. Избегайте использования опубликованных цифр производительности как вашей оценки. Помните скрытые затраты: сниженное понимание, утрату навыков и технический долг. Будьте честны о неопределённости (см. тему 7.7, Возврат инвестиций и бизнес-обоснование).
Антипаттерны и ловушки
- Счёт порождённых строк или принятых предложений. Они награждают объём. Измеряйте, что выживает.
- Сравнение работы с помощью на лёгких задачах с работой без помощи на трудных. Результат льстит или наказывает инструмент. Сопоставляйте задачи.
- Позволять ёмкости рецензирования отставать. Качество падает молча. Ограничивайте размер изменений и защищайте рецензентов.
- Пропуск нисходящих мер. Цена появляется позже. Отслеживайте переделки, дефекты и стабильность.
- Отношение к порождённым тестам как к качеству. Они могут проходить, ничего не проверяя. Испытывайте тесты.
- Игнорирование навыков. Понимание угасает незамеченным. Отслеживайте уверенность без инструмента и практику.
- Мониторинг отдельных людей. Он порождает страх и прячет проблемы. Держите данные на уровне команды.
- Объявление победы по короткому малому исследованию. Повторяйте по мере изменения инструментов и практик.
Модель зрелости
| Измерение | 1 Инициирование | 2 Развитие | 3 Стандартизация | 4 Управление | 5 Оркестрация |
|---|---|---|---|---|---|
| Измерение выжившего | Счёты выпуска | Неформальные впечатления о качестве | Работа с помощью размечена; сохранение и переделки отслеживаются относительно сравнения | Нисходящие дефекты, стабильность и нагрузка рецензирования управляются вместе | Свидетельства между командами направляют, где используется помощь; результаты широко разделяются |
| Рецензирование и понимание | Рецензирование как раньше | Опасение перегрузки | Нормы размера изменений; проверки объяснения по выборке | Ёмкость рецензирования планируется; предвзятость автоматизации парируется | Рецензирование и понимание встроены в то, как все команды работают с ИИ |
| Люди и навыки | Не рассматриваются | Анекдоты | Уверенность без инструмента пульсируется; некоторая практика | Развитие навыков планируется; тренды управляются | Обучение и мастерство защищены по организации; использование ИИ проектируется вместе с персоналом |
Контрольный список
- Работа с помощью ИИ размечена на уровне команды через логи инструмента или лёгкое соглашение.
- Работа сравнения схожего размера, области и риска определена.
- Сохранение и переделки после слияния отслеживаются для работы с помощью и сравнения.
- Ускользнувшие дефекты и доля сбоев изменений сообщаются рядом с любой мерой скорости.
- Время рецензирования, раунды и размер изменений мониторятся, с нормами размера.
- Авторы могут объяснить изменения с помощью, и выборка проверяется каждый квартал.
- Порождённые тесты проверяются выборкой на ценность.
- Поддержка с помощью сравнивается по доле повторных открытий, повторным обращениям и удовлетворённости.
- Уверенность без инструмента пульсируется, а практика без инструмента запланирована.
- Данные об индивидуальном использовании и принятии не используются в оценке.
Промпты для ИИ
Спланируйте сравнение изменений с помощью и без.
We want to compare AI-assisted and unassisted changes for [team and system]. Our
data includes: [list fields]. Propose how to tag assisted changes without
relying on authors' memory, how to choose comparison changes of similar size and
risk, which measures to compare (retention, rework, review load, defects), the
period, and how to caveat the findings. Do not state expected results. List your
assumptions and threats to validity.
Спроектируйте проверку объяснения.
Design a short, supportive explanation check for sampled AI-assisted changes in
[language and domain]. Include how to sample, the questions a reviewer asks,
what a good explanation covers, how to record results at team level, and how to
use the findings for learning without grading people. List your assumptions and
risks of the check.
Проверьте нисходящие меры.
Here are our measures for [period]: speed [values], retention [values], rework
[values], review load [values], escaped defects [values], for assisted and
comparison work. Describe what the pattern suggests and what it does not, which
differences are within normal variation, and what to check next. Do not claim
causation. List your assumptions and the data I should add.
Спланируйте практику без инструмента.
Propose a light program to keep core skills alive for a team that uses AI tools
daily: monthly unaided exercises, pairing between newer and experienced members,
and design discussions. Suggest how to fit it into the working week without
adding pressure and how to track its effect with the unaided confidence pulse.
List your assumptions and trade-offs.
Навыки ИИ
- Service Management Metrics skill: используйте, чтобы найти парное ограждение для меры работы с помощью ИИ.
- Service Management Metrics maintainer skill: используйте, чтобы проверить, что метрика работы с помощью ИИ измеряет, что выживает, и несёт свой вектор манипуляции и ограждение.
Главные выводы
- Измеряйте, что выживает: сохранение, переделки, ускользнувшие дефекты и стабильность относительно сопоставимой работы без помощи.
- Защищайте ёмкость рецензирования и держите рецензирование глубоким, потому что оно ограничивает, как быстро работа с помощью может безопасно течь.
- Проверяйте, что авторы могут объяснить, что они выпускают, и замечайте, растут ли навыки или угасают.
- Берите выборку порождённых тестов и выводов на настоящую ценность.
- Читайте опубликованные заявления о производительности как отдельные исследования и измеряйте собственную работу.
- Держите данные об индивидуальном использовании вне оценки.
Источники и дополнительное чтение
- Peng, S., Kalliamvakou, E., Cihon, P., and Demirer, M., "The Impact of AI on Developer Productivity: Evidence from GitHub Copilot," arXiv preprint, 2023.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- DORA, Google Cloud, Accelerate State of DevOps Report (latest edition addressing AI), https://dora.dev/.
- Parasuraman, R., and Manzey, D. H., "Complacency and bias in human use of automation: An attentional integration," Human Factors, 52(3), 2010.
- Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 19(1), 2021.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Строки кода.
- Wikipedia, Рецензирование кода.
- Wikipedia, Запрос на слияние.
- Wikipedia, Дублирующийся код.
- Wikipedia, Технический долг.
- Wikipedia, Когнитивная разгрузка.
- Wikipedia, Утрата квалификации.
- Wikipedia, Закон Гудхарта.
- Wikipedia, Тестирование программного обеспечения.
- Wikipedia, Регрессионное тестирование.