ИИ в измерении управления услугами
Прежде чем ИИ изменит работу, запишите, как работа выглядит сегодня, затем измеряйте каждое использование ИИ относительно этого базового уровня и относительно сопоставимой работы, сделанной без него, потому что заявления будут большими, а свидетельств обычно мало.
Обзор и мотивация
Искусственный интеллект теперь сидит внутри многих инструментов, которыми команды строят и ведут услуги. Искусственный интеллект (ИИ) есть способность вычислительных систем выполнять задачи, связанные с человеческим интеллектом. Внутри него системы машинного обучения извлекают закономерности из данных, а системы генеративного ИИ, часто построенные на больших языковых моделях, производят текст, код и другое содержание в ответ на промпты. В управлении ИТ-услугами (ITSM) эти возможности появляются в сортировке заявок, резюмировании инцидентов, черновиках статей знаний, предлагаемых ответах для службы поддержки, дополнении и рецензировании кода в конвейерах поставки, обнаружении аномалий в мониторинге и разговорных ассистентах для пользователей. AIOps есть название, часто даваемое применению ИИ к данным ИТ-операций.
Заявления об этих инструментах велики, а свидетельства в любой данной организации обычно малы. Поставщики сообщают о сэкономленном времени. Ранние последователи сообщают об энтузиазме. Руководители просят обещанного прироста эффективности. Команды тем временем сообщают, что вывод нужно проверять, что некоторые предложения уверенно неверны и что работа ощущается иначе. Измерение есть то, как организация выясняет, что из этого верно для её собственной работы. Эта часть книги относится к ИИ серьёзно как к тому, что надо измерять, с теми же ограждениями, что и любое другое семейство метрик.
ИИ меняет проблему измерения четырьмя способами.
- Объём и скорость растут, а качество становится труднее увидеть. ИИ может быстро производить заявки, ответы, код и документы, так что меры выпуска растут. Хорош ли выпуск, есть отдельный вопрос (см. тему 10.4, Инфляция метрик и разбавление качества).
- Базовые уровни исчезают. Как только ИИ в ежедневном использовании, нельзя восстановить, как работа выглядела без него. Базовый уровень нужно зафиксировать до изменения или должна существовать группа сравнения.
- Люди остаются в петле, с последствиями. Проекты с человеком в петле оставляют человека ответственным за результат. Люди, рецензирующие машинный вывод, могут слишком охотно ему подчиняться, закономерность, известная как предвзятость автоматизации, или могут тратить на проверку больше времени, чем сэкономили.
- Вывод может быть гладким и неверным. Галлюцинация есть уверенный вывод, не подкреплённый входом или фактом. Меры должны включать проверку правильности, выбираемую человеком.
Способы работы Agile и ITIL дают позицию к этому. Цели Agile непрерывной поставки, непрерывного улучшения и постоянного развития предлагают относиться к каждому использованию ИИ как к малому эксперименту: заявить ожидаемую выгоду, попробовать с несколькими желающими людьми, сравнить и решить. Руководящий принцип ITIL продвигаться итеративно с обратной связью указывает туда же, а его упор на ценность спрашивает, какой результат улучшается для пользователей и бизнеса, а не сколько текста произведено. Цель мотивированных людей обслуживается, когда ИИ снимает утомительную работу и уважает их суждение, и не обслуживается, когда ИИ становится способом ускорить темп или следить за пользующимися им людьми. Устойчивый темп означает, что сэкономленное время не должно молча превращаться в больший спрос.
Ограждение из закона Гудхарта применимо к ИИ в самой острой форме. Если целью становится «внедрение ИИ» или «доля кода, порождённого ИИ», люди будут использовать инструмент там, где он не помогает, а качество заплатит за число (см. тему 1.2, Закон Гудхарта и психология метрик).
Эта тема охватывает основы: где ИИ входит в работу, какие базовые уровни фиксировать и какие меры показывают, помогает ли использование ИИ. Следующие темы идут глубже в работу с помощью ИИ, агентов и чат-ботов, инфляцию и разбавление и управление. Факты о продуктах и правилах ИИ быстро меняются, и утверждения о конкретных инструментах или регламентах в этой части датированы октябрём 2026 года и должны быть перепроверены.
Ключевые принципы
- Фиксируйте базовый уровень до внедрения ИИ. Без него каждое заявление о выгоде есть мнение.
- Относитесь к каждому использованию как к эксперименту со сравнением. Сравнивайте с похожей работой, сделанной без ИИ, за тот же период.
- Измеряйте качество выборкой, вместе с людьми. Гладкий вывод не есть верный вывод.
- Считайте полную цену. Включайте время рецензирования, переделки, лицензии и затраты на вывод.
- Держите людей подотчётными и осведомлёнными. Использующий ИИ человек отвечает за результат.
- Не позволяйте ИИ стать ускорением темпа или монитором. Сэкономленное время есть выбор о том, как его использовать.
- Начинайте с желающих людей и реальных проблем. Мандаты производят использование без ценности.
Определения метрик
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность |
|---|---|---|---|---|---|---|---|
| Полнота базовых уровней | Доля запланированных случаев использования ИИ с записанным дооперационным базовым уровнем по основным индикаторам | случаи использования с датированным базовым уровнем / запланированные случаи использования | процент | Реестр случаев использования | Непрерывное улучшение; измерение и отчётность | Базовый уровень до эксперимента | Раз в квартал |
| Охват использованием ИИ | Доля подходящих рабочих элементов или задач, где использовался ИИ, по случаям использования | элементы, где использовалась помощь ИИ / подходящие элементы, из логов инструмента или меток пользователей, на уровне команды | процент | Логи использования инструмента, метки | Служба поддержки; управление инцидентами; управление релизами и развёртыванием | Внедрение инструмента желающими командами | Раз в месяц |
| Доля принятия и отклонения предложений | Доля предложений ИИ, принятых как есть, отредактированных или отклонённых | предложения в каждой категории / предложенные предложения | процент | Логи инструмента, агрегированные по команде | Служба поддержки; управление знаниями | Рецензирование машинных предложений | Раз в месяц |
| Точность проверенного вывода | Доля выбранных выводов ИИ, признанных верными и пригодными квалифицированным проверяющим | выводы, признанные верными / выбранные выводы | процент | Записи выборочных пересмотров | Обеспечение качества; управление знаниями | Определение готовности для вывода | Раз в месяц |
| Время задачи относительно базового уровня | Время выполнения определённой задачи с ИИ по сравнению с базовым уровнем или группой сравнения | медиана и 85-й перцентиль времени задачи с ИИ минус то же для базового уровня или сравнения | минуты или часы | Замеры задач, метки времени заявок | Служба поддержки; управление инцидентами | Время цикла задачи | Раз в квартал |
| Стоимость задачи с помощью ИИ | Общая стоимость работы с помощью ИИ на задачу, включая рецензирование и переделки | (стоимость лицензий и использования + стоимость времени на рецензирование и переделки) / задачи, завершённые с ИИ | валюта на задачу | Счета поставщиков, оценки времени, трекер работы | Управление финансами услуг | Стоимость обслуживания на результат | Раз в квартал |
| Движение результата относительно сравнения | Изменение индикатора результата для работы с помощью ИИ по сравнению с похожей работой без помощи | изменение индикатора для группы с ИИ минус изменение для группы сравнения | единицы индикатора | Меры результатов по случаям использования (качество, удовлетворённость, доля повторных открытий, дефекты) | Непрерывное улучшение | Обучение на экспериментах | Раз в квартал |
Определяйте каждый случай использования задачей, пользователями и индикаторами результата и записывайте их в реестр. Охват использованием ИИ есть описательная мера, а не цель. Точность проверенного вывода оценивается по письменному стандарту квалифицированным человеком, не производившим вывод. Время задачи включает время на промптинг, рецензирование и исправление так же, как на порождение. Стоимость на задачу считает время людей, потраченное на проверку и исправление. Движение результата требует сравнения, выбранного заранее, и заметки о других изменениях за период.
Рекомендации
Решите, где ИИ уместен
1. Перечислите задачи и проблему, которую решает каждое использование ИИ. Начинайте с боли, а не с инструмента: повторяющееся составление черновиков, медленная сортировка, разбросанные знания, долгие рецензирования, шумные оповещения. Для каждого кандидата в использование запишите проблему, кто её чувствует, результат, который должен улучшиться, и риски. Пропускайте использования без ясной проблемы. Это реестр, на котором держатся базовый уровень и меры.
2. Классифицируйте риск каждого использования. Инструмент, составляющий внутренние заметки, несёт иной риск, чем меняющий продуктивные системы, отвечающий клиентам или принимающий решения о людях. Классифицируйте использования по вреду при неверном выводе, по тому, кого это затрагивает, и по тому, рецензирует ли его человек до вступления в силу. Использованиям с более высоким риском нужны более сильные меры, выборка и управление (см. тему 10.5, Метрики управления ИИ и рисков).
3. Начинайте с желающих людей и ограниченных задач. Пилотируйте с добровольцами на задаче, которая обычна и проверяема. Добровольцы дают честную обратную связь и подстраивают инструмент под свою работу. Ограниченная задача делает базовые уровни и сравнения осуществимыми. Избегайте начала с самой чувствительной работы.
Зафиксируйте базовые уровни и настройте сравнения
4. Запишите базовый уровень до первого использования. Для каждого случая использования зафиксируйте текущее состояние индикаторов: время выполнения, качество или доля дефектов, переделки, удовлетворённость пользователей и стоимость. Возьмите достаточно наблюдений, чтобы увидеть нормальную вариацию (см. тему 1.6, Статистическая грамотность для метрик услуг). Датируйте базовый уровень и сохраняйте его. Базовый уровень, снятый после развёртывания, есть запись нового мира.
5. Постройте сравнение. Где возможно, держите похожую группу или набор задач, не использующих ИИ в период пилота, или чередуйте использование по неделям или типам задач справедливым образом. Рандомизация идеальна и часто непрактична. Прямо укажите, что ещё изменилось. Без сравнения улучшения от сезонности, штата или обучения припишут инструменту.
6. Измеряйте время честно. Время до первого черновика редко бывает верной мерой. Измеряйте время до законченного проверенного результата, включая промптинг, рецензирование и исправление. Люди часто сообщают о сэкономленном времени, исходя из шага порождения, а шаг рецензирования съедает часть или всё. Хронометраж на выборке задач стоит усилий.
Измеряйте качество и цену
7. Берите выборку выводов для рецензирования квалифицированными людьми. Каждый месяц берите случайную выборку выводов с помощью ИИ и пусть квалифицированный человек оценит их по письменному стандарту. Сообщайте точность, виды найденных ошибок и тренды. Это главная защита от распространения гладких ошибок. Держите проверяющего независимым от производителя и вращайте проверяющих.
8. Следите за закономерностями принятия и отклонения. Очень высокая доля принятия может сигнализировать о предвзятости автоматизации, когда люди принимают, не проверяя. Очень низкая может сигнализировать о бесполезном инструменте. Используйте доли как поводы для разговора с командой и спрашивайте, что числа значат в её опыте. Не ставьте целей по принятию.
9. Считайте полную цену на задачу. Включайте платежи за лицензии, платежи по использованию, время на промптинг, рецензирование и исправление, обучение и усилия управления. Сравнивайте с базовой стоимостью. Инструмент, быстро делающий черновики и требующий сильной правки, может стоить больше старого способа. Включайте цену ошибок, доходящих до пользователей.
Держите человеческую сторону верной
10. Защищайте людей от мониторинга и от ползучего ускорения темпа. Агрегируйте данные об использовании ИИ на уровне команды и не используйте их для оценки отдельных людей. Не используйте использование как меру результативности. Заранее договоритесь, что сэкономленное время не станет автоматически дополнительной нагрузкой, и решите вместе с командой, что с ним делать: качество, обучение, улучшение или другая работа. Постоянный темп есть цель проектирования (см. тему 9.2, Метрики удовлетворённости и благополучия).
11. Спрашивайте тех, кто пользуется. Короткие пульсы и разговоры выявляют то, что упускают числа: где инструмент помогает, где раздражает, где переносит работу от создания к проверке и меняет ли он удовлетворённость работой. Относитесь к опасениям о навыках, качестве и безопасности работы с уважением.
12. Решайте, публикуйте и пересматривайте. В конце каждого пилота решайте масштабировать, адаптировать или остановить и записывайте свидетельства. Честно делитесь результатами, включая нулевые и отрицательные. Пересматривайте решения по мере изменения инструментов, а они меняются быстро. Использование, не помогавшее в прошлом году, может помочь сейчас, и наоборот.
Векторы манипуляции и ограждения
| Метрика | Как её искажают | Парная метрика или практика-ограждение |
|---|---|---|
| Полнота базовых уровней | Записывать базовые уровни постфактум; использовать удобные индикаторы | Датированные базовые уровни; независимый пересмотр метода базового уровня |
| Охват использованием ИИ | Обязывать использование; засчитывать тривиальные или автоматические вызовы | Никогда не цель; сравнивать с движением результата; считать осмысленное использование |
| Доля принятия и отклонения предложений | Награждать принятие; делать отклонение обременительным | Нет целей; точность проверенного вывода; спрашивать пользователей об их опыте |
| Точность проверенного вывода | Выбирать лёгкие выводы; снисходительные проверяющие | Случайная выборка независимыми проверяющими; письменный стандарт; ротация проверяющих |
| Время задачи относительно базового уровня | Хронометрировать только порождение; выбирать лёгкие задачи | Время до проверенного результата; выбирать задачи случайно; включать рецензирование и переделки |
| Стоимость задачи с помощью ИИ | Опускать время рецензирования или цену управления | Контрольный список полной цены; сравнение с хронометражем |
| Движение результата относительно сравнения | Выбирать выгодные группы или периоды; игнорировать другие изменения | Заранее согласованные сравнение и период; список других изменений |
Здоровое чтение есть базовые уровни для каждого пилота, измеренное время до законченных результатов, точность, проверенная квалифицированными людьми, цены, включающие рецензирование, честно сравниваемые результаты и команды, говорящие, что инструмент служит их суждению.
Компромиссы: плюсы и минусы
| Подход | Сильная сторона | Слабая сторона |
|---|---|---|
| Пилот с добровольцами | Честная обратная связь; низкий риск | Добровольцы энтузиасты; результаты могут не обобщаться |
| Навязанное развёртывание | Быстрый охват | Использование без ценности; негодование; манипуляции |
| Контролируемое сравнение | Достоверное свидетельство | Усилия; не всегда возможно |
| Только до и после | Просто | Искажается другими изменениями |
| Экономия, сообщённая поставщиком | Легко получить | Оптимистично; вне контекста |
| Собственные хронометрированные задачи | Основаны на вашей работе | Затратно по времени; малые выборки |
| Тяжёлое рецензирование каждого вывода | Безопасно | Убирает выгоду |
| Выборочное рецензирование | Масштабируется | Некоторые ошибки проскальзывают |
Ответ прост: проводите малые пилоты с базовыми уровнями и сравнениями, берите выборку выводов для качества, считайте полную цену и решайте по свидетельствам. Используйте цифры поставщиков как гипотезы для проверки.
Вопросы для обсуждения в команде
1. Где мы ожидаем, что ИИ нам поможет и что мы увидели бы, если бы помог? Перечислите кандидатов в использование и для каждого индикатор и базовый уровень, который у нас есть сегодня. Ведущему стоит добиваться конкретики: какая задача, какая мера, какой размер изменения был бы значим. Выберите одно использование для пилота и договоритесь о базовом уровне.
2. Что заставило бы нас доверять или не доверять предложению ИИ и как мы узнали бы, что ошиблись? Обсудите случаи, когда вывод был неверен и как это заметили. Подумайте, как рецензирование работает на практике и не ведёт ли давление к его пропуску. Договоритесь о методе выборки, который будет вести кто-то независимый.
3. Какая часть сэкономленного времени уйдёт на проверку? Замерьте одну реальную задачу с инструментом и без, включая промптинг и рецензирование. Сравните с ожиданиями людей. Разговор часто выявляет, где выигрыш, а где нет.
4. Что нам делать со временем, которое мы сэкономим? Решите заранее. Варианты включают работу над качеством, обучение, улучшение или меньшее давление. Обсудите, как не дать времени молча впитаться в больший спрос. Договоритесь с руководителями, как команда его защитит.
5. Чего мы не хотели бы, чтобы ИИ делал здесь, и почему? Перечислите задачи, требующие человеческого суждения, сочувствия или подотчётности. Обсудите риски для пользователей и навыков. Ведущему стоит записать границы как вход в управление.
6. Как мы узнаем, когда остановиться? Определите свидетельства, которые положили бы конец пилоту или использованию. Договоритесь, кто решает и когда. Пилот без критериев выхода становится постоянной принадлежностью.
Четыре точки зрения
Продуктовые команды и команды поставки
Команды поставки используют ИИ для кода, тестов, рецензирования и документации. Им следует измерять время до проверенного работающего результата, следить за качеством и дефектами и сохранять осмысленное рецензирование человеком. Им следует сопротивляться метрикам, считающим порождённые строки или принятие, и настаивать на мерах результатов, таких как дефекты и стабильность.
Команды услуг и эксплуатации
Команды эксплуатации и службы поддержки используют ИИ для сортировки, резюме, предложений и мониторинга. Им следует сравнивать качество обработки и решения с базовыми уровнями, брать выборку выводов и следить за влиянием на пользователей и повторные обращения. С ними следует консультироваться, прежде чем ставить ИИ перед пользователями.
Руководство и управление
Руководители спонсируют программы ИИ и сталкиваются с давлением показать выгоды. Им следует настаивать на базовых уровнях и сравнениях, финансировать работу рецензирования, избегать целей по использованию и защищать людей от мониторинга и ползучего ускорения темпа. Управлению следует требовать классификации риска и свидетельств до масштабирования.
Клиенты и пользователи
Пользователи встречают ИИ в ответах, предложениях и автоматизированных действиях. Они хотят верной понятной помощи и возможности добраться до человека. Им следует сообщать, когда они взаимодействуют с ИИ, где это уместно, и их обратная связь есть ключевое свидетельство того, помогает ли это (см. тему 6.1, Метрики удовлетворённости клиентов).
На практике: пример из управления услугами
Технологическая группа страховщика среднего размера ведёт внутреннюю службу поддержки для 4000 сотрудников и несколько продуктовых команд. Руководство покупает лицензии на ассистента ИИ и просит отчёт о сэкономленном времени через три месяца. Числа ниже иллюстративны.
Руководитель управления услугами настаивает на базовом уровне. Для самой частой задачи службы поддержки, составления ответов на запросы доступа и паролей, руководитель замеряет 120 недавних заявок: медианное время обработки 11 минут, 85-й перцентиль 24, доля повторных открытий 6 % и оценка удовлетворённости из опроса стабильна. Руководитель выбирает две команды для пилота ассистента и держит две похожие команды для сравнения. Пилотные команды суть добровольцы.
Через восемь недель медианное время обработки у пилотных команд составляет 8 минут, а 85-й перцентиль 19, против 11 и 23 в командах сравнения. Логи инструмента показывают, что исполнители принимают предложения как написано в 52 % случаев, редактируют в 38 % и отклоняют в 10 %. Месячная случайная выборка из 80 ответов, рецензируемая старшим исполнителем вне пилота, находит 91 % полностью верных, причём ошибки сосредоточены в редко используемой процедуре, где ассистент дал устаревшие шаги. Доля повторных открытий у пилотных команд слегка растёт до 7 %, в пределах нормальной вариации. Стоимость на заявку скромно падает после учёта лицензий и времени рецензирования. Опрос показывает, что исполнителям нравятся черновики и не нравится дополнительная проверка длинных ответов. Двое исполнителей говорят, что чувствуют давление обрабатывать больше заявок в час.
Руководитель управления услугами сообщает экономию времени около четверти по медиане и указывает оговорки: две команды, восемь недель, добровольцы и доля повторных открытий, за которой надо следить. Руководитель договаривается с руководством, что сэкономленное время пойдёт в базу знаний и на сложные случаи и что целей по заявкам повышать не будут. Устаревшая процедура исправляется в базе знаний. Старший менеджер просит обязательное использование по компании и цель в 80 % принятия. Руководитель отклоняет цель, объясняя, что цель по принятию награждала бы непроверку, и предлагает распространить пилот ещё на две команды с теми же мерами. Решение записано.
Agile, ИИ, автоматизация и аналитика
Agile
Вводите ИИ малыми шагами вместе с заинтересованными сторонами, с базовым уровнем и сравнением для каждого шага, и пересматривайте результат на регулярном разговоре об улучшении. Осторожность в том, что развёртывание ИИ везде сразу убирает группу сравнения.
ИИ
Вся эта тема об ИИ, поэтому правило простое: записывайте работу такой, какая она сегодня, измеряйте каждое использование относительно этого базового уровня и относительно сопоставимой работы без ИИ и парьте каждый выигрыш скорости с проверенной мерой качества. Назовите владельца каждого использования и решите заранее, где решает человек. Осторожность в том, что цифры поставщиков описывают другие организации, поэтому используйте собственные данные.
Автоматизация
Собирайте события использования, предложений, принятия и отклонения автоматически и измеряйте автоматизацию, применяющую вывод ИИ, по долям ошибок и откатов. Осторожность в том, что доли принятия могут расти, потому что люди перестали проверять, поэтому берите выборку принятого вывода.
Аналитика
Сообщайте точность по проверенной выборке с её размером и результаты относительно сравнения с заявленными пределами. Решение, которое это информирует, состоит в том, расширять, менять или остановить использование ИИ. Осторожность в том, что малые пилоты дают шумные результаты, поэтому избегайте обещания цифры из пилота.
Отраслевой взгляд
Стартап. Инструменты принимаются быстро и часто неформально. Зафиксируйте простой базовый уровень времени и дефектов для основного использования, сохраняйте рецензирование человеком всего, что обращено к клиентам, и избегайте ранней привязки к одному поставщику. Следите за безопасностью и раскрытием данных, когда персонал использует публичные инструменты.
Малый бизнес. Готовые ассистенты могут дать реальную помощь в составлении черновиков и рутинных задачах. Измеряйте в малом масштабе: время нескольких реальных задач и доля исправлений. Будьте осторожны с конфиденциальными данными и проверяйте условия поставщика о том, как используются данные.
Крупная компания. Масштаб требует управления, стандартов закупок и общего подхода к измерению. Проводите пилоты со сравнением, публикуйте результаты внутри и делитесь базовыми уровнями и методами между командами. Остерегайтесь программ, сообщающих использование как успех.
Государство и публичный сектор. Решения, затрагивающие граждан, могут подчиняться юридическим обязанностям по прозрачности, справедливости и пересмотру человеком. Классифицируйте использования по риску, храните записи о том, как ИИ использовался в решениях, и будьте открыты об этом. Применяются правила закупок и защиты данных, а у некоторых юрисдикций есть специфические законы об ИИ, которые следует проверять по состоянию на сегодня (см. тему 8.5, Регулируемая и государственная отчётность).
Бизнес-обоснование: мотивы, ROI и TCO
Затраты: лицензии или платежи по использованию, интеграция, обучение, время на фиксацию базовых уровней и проведение сравнений, время людей на рецензирование и исправление выводов и усилия управления. Затраты могут масштабироваться с использованием и меняться с ценами поставщика, поэтому моделируйте диапазон.
Возможная отдача есть возвращённое время на повторяющихся задачах, более быстрое составление черновиков и поиск, лучший охват знаний и облегчение персонала от утомительной работы. Это возможности для проверки, а не допущения для банка. Стройте обоснование из собственных пилотов: измеренное время задачи до проверенного результата, проверенная точность, переделки и полная цена на задачу относительно базового уровня и сравнения. Избегайте цитирования процентов производительности из источников поставщиков или опросов, если не можете проследить метод и соответствие вашей работе. Включайте риск ошибок, доходящих до пользователей, и цену управления инструментами (см. тему 7.7, Возврат инвестиций и бизнес-обоснование).
Антипаттерны и ловушки
- Введение ИИ без базового уровня. Нельзя сказать, что изменилось. Сначала зафиксируйте его.
- Измерение скорости порождения. Экономия может исчезнуть в рецензировании. Измеряйте время до проверенного результата.
- Цели по внедрению. Они производят использование без ценности. Относитесь к охвату как к описательному.
- Доверие заявлениям поставщиков. Они гипотезы. Проверяйте их на вашей работе.
- Рецензирование, которое не реально. Предвзятость автоматизации превращает рецензирование в формальный штамп. Берите выборку и проверяйте независимо.
- Превращение сэкономленного времени в больший спрос. Это подтачивает доверие и устойчивый темп. Решите заранее, для чего время.
- Мониторинг индивидуального использования. Он порождает страх. Агрегируйте до уровня команды.
- Пилоты без конца. Они становятся постоянными по умолчанию. Задавайте критерии выхода.
Модель зрелости
| Измерение | 1 Инициирование | 2 Развитие | 3 Стандартизация | 4 Управление | 5 Оркестрация |
|---|---|---|---|---|---|
| Цель и базовые уровни | Инструменты принимаются по энтузиазму | Случаи использования перечислены | Реестр с проблемой, классом риска, базовым уровнем и индикатором для каждого использования | Базовые уровни и сравнения требуются до масштабирования; результаты публикуются | Общие базовые уровни и методы между командами и партнёрами; использования выводятся, когда свидетельства угасают |
| Свидетельства выгоды | Анекдоты и заявления поставщиков | Неформальные оценки времени | Хронометрированные задачи; выборочная точность; полная цена на задачу | Движение результата относительно сравнения сообщается с пределами | Вид портфеля того, где ИИ помогает, с широким обменом обучением |
| Люди и темп | Мандаты; мониторинг | Неформальная забота | Данные только уровня команды; сэкономленное время распределяется по соглашению | Опасения отслеживаются; навыки и удовлетворённость измеряются | Совместное проектирование использования ИИ с пользователями и персоналом; устойчивый темп защищён |
Контрольный список
- У каждого использования ИИ есть письменная проблема, класс риска, владелец и критерии выхода.
- Для каждого пилота до первого использования существует датированный базовый уровень.
- Группа сравнения или задачи сравнения определены заранее.
- Время измеряется до законченного проверенного результата.
- Выводы выбираются ежемесячно и рецензируются квалифицированными независимыми людьми.
- Полная цена на задачу включает рецензирование и переделки.
- Данные об использовании агрегируются на уровне команды и не используются для отдельных людей.
- Команда договорилась, что делать со сэкономленным временем.
- Пользователей спрашивают об их опыте с инструментом.
- Пилоты заканчиваются записанным решением масштабировать, адаптировать или остановить.
Промпты для ИИ
Составьте черновик записи случая использования.
We are considering using AI for [task] in [team and service]. Draft a use case
register entry: the problem and who feels it, the outcome that should improve,
risk classification and why, the human review step, baseline indicators to
capture now, a comparison approach, cost components to track, exit criteria,
and questions for the team. Do not assume specific vendor features or claim
benefits. List your assumptions.
Спроектируйте исследование хронометрированных задач.
Design a small study to measure the effect of an AI assistant on [task]. Propose
how to select tasks, how to compare with and without the tool fairly, what to
time (including prompting, review, and correction), how to judge output quality,
and how to avoid bias. Keep it practical for a team of [number] people.
Do not state expected results. List your assumptions and limits of the design.
Спланируйте выборку выводов.
Our AI-assisted outputs per month are about [number] of types [list]. Design a
monthly random sampling and review process: sample size and selection method (with
the reasoning, avoiding overstated precision), who reviews, the written standard,
error categories, how to report, and how to use findings. List your assumptions
and risks.
Решите, что делать со сэкономленным временем.
Our pilot saved a median of [value] per task for [number] tasks per week in
[team]. Suggest options for using the time that support quality, learning, and
a sustainable pace, with the trade-offs and risks of each, and a way to agree
the choice with the team and leaders. Do not assume the savings will persist.
List your assumptions.
Навыки ИИ
- Service Management Metrics skill: используйте, чтобы найти парное ограждение для метрики, связанной с ИИ, прежде чем о ней сообщить.
- Service Management Metrics maintainer skill: используйте, чтобы проверить, что запись метрики ИИ фиксирует свой базовый уровень, сравнение, вектор манипуляции и ограждение.
Главные выводы
- Фиксируйте датированный базовый уровень до использования ИИ и сравнивайте с похожей работой, сделанной без него.
- Измеряйте время до законченного проверенного результата и берите выборку выводов для точности с независимыми проверяющими.
- Считайте полную цену, включая рецензирование и переделки.
- Относитесь к использованию и принятию как к описательным, никогда как к целям.
- Заранее решайте, что делать со сэкономленным временем, и сохраняйте устойчивый темп.
- Держите данные об использовании на уровне команды и заканчивайте каждый пилот записанным решением.
Источники и дополнительное чтение
- National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, 2023.
- ISO/IEC 42001, Information technology: Artificial intelligence: Management system, International Organization for Standardization, 2023.
- Parasuraman, R., and Manzey, D. H., "Complacency and bias in human use of automation: An attentional integration," Human Factors, 52(3), 2010.
- Bender, E. M., Gebru, T., McMillan-Major, A., and Shmitchell, S., "On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?" Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, 2021.
- Russell, S., and Norvig, P., Artificial Intelligence: A Modern Approach, 4th ed., Pearson, 2020.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Искусственный интеллект.
- Wikipedia, Машинное обучение.
- Wikipedia, Генеративный искусственный интеллект.
- Wikipedia, Большая языковая модель.
- Wikipedia, AIOps.
- Wikipedia, Человек в петле.
- Wikipedia, Предвзятость автоматизации.
- Wikipedia, Галлюцинация (искусственный интеллект).
- Wikipedia, Закон Гудхарта.