Метрики управления ИИ и рисков
Использованию ИИ нужна та же дисциплина, что и любому изменению живой услуги: знайте, где оно, кто им владеет, насколько оно рискованно, как оно испытывается и меняется и что происходит, когда оно идёт не так, с надзором, который люди могут действительно осуществлять.
Обзор и мотивация
ИИ приходит в организацию через многие двери. Команда принимает ассистента кода. Поставщик добавляет генеративную функцию в уже используемый продукт. Сотрудник вставляет документ в публичный инструмент. Отдел строит модель для оценки запросов. Каждое есть использование ИИ со своими выгодами и рисками, и немногие видны в одном месте. Управление есть набор структур, политик и практик, делающих эти использования известными, подотчётными и достаточно безопасными. Метрики риска говорят, работает ли управление.
В ITIL есть строительные блоки: управление системой создания ценности, управление рисками, управление изменениями (change enablement), управление информационной безопасностью, управление поставщиками и непрерывное улучшение. Способы работы Agile и DevOps дают привычку к малым, контролируемым, обратимым изменениям и автоматизированным проверкам в конвейере. Управлению ИИ не нужна отдельная вселенная. Ему нужны эти практики, применённые к вещам, ведущим себя иначе, чем обычное ПО.
Чем отличается ИИ?
- Поведение статистическое и может меняться без изменения кода. Модель может вести себя иначе после обновления поставщика, изменения входов или изменения промпта. Данные, которые она видит в продуктиве, могут дрейфовать от данных, на которых она испытывалась, явление, известное в машинном обучении как дрейф. Система может тихо деградировать.
- Выводы не полностью предсказуемы. Тестирование не может охватить каждый вход, поэтому оценка идёт выборкой и целевыми тестами, а не доказательством. Системы могут отказывать способами, которых их создатели не предвидели.
- Вред может быть рассеянным и неравным. Алгоритмическая предвзятость есть систематическая ошибка, ведущая к несправедливым исходам для некоторых групп. Она может возникать из данных, проекта или использования и может не проявляться в общих цифрах точности.
- Появляются новые поверхности атаки. Внедрение в промпт есть атака, в которой инструкции, скрытые во входных данных, заставляют языковую модель вести себя непреднамеренно. Модели можно побудить раскрыть данные или предпринять действия, которых не намеревались их владельцы.
- Зависимость от поставщиков глубока. Многие способности ИИ идут от внешних провайдеров с ограниченной видимостью того, как они построены или меняются. Меры поставщиков важнее (см. тему 8.4, Метрики поставщиков и контрактов).
- Правила возникают и различаются по месту. Законы, стандарты и руководства по ИИ быстро развиваются. Акт об искусственном интеллекте Европейского союза использует подход на основе риска с обязательствами, применяемыми поэтапно, а другие юрисдикции идут иными путями. Стандарты вроде ISO/IEC 42001 о системах управления ИИ и Рамка управления рисками ИИ NIST предлагают структуры. Утверждения о конкретных правилах в этой теме датированы октябрём 2026 года и должны быть перепроверены, а юридический совет должен направлять ваши обязательства. Более широкая область по-разному описывается как ответственный ИИ или заслуживающий доверия ИИ, а вопрос о том, как право должно относиться к ИИ, есть предмет регулирования искусственного интеллекта.
Управление может провалиться двумя противоположными способами. Оно может быть настолько тяжёлым, что команды его избегают, а использование ИИ уходит в подполье как теневое ИТ. Или оно может быть бумажным упражнением, с политикой и реестром, не отражающими практику. Цели Agile предлагают средний путь: непрерывное вовлечение заинтересованных сторон в установление правил, малые и быстрые утверждения для использований низкого риска, более глубокая проверка там, где возможен вред, и непрерывное улучшение контролей по мере роста опыта. Мотивированные люди с ясными границами, которым доверяют использовать суждение внутри них, будут сообщать о проблемах. Люди, боящиеся наказания, нет.
Ограждение из закона Гудхарта применимо к мерам управления: когда целью является «процент зарегистрированных использований ИИ», реестры наполняются записями, которых никто не читает, а реальные использования остаются вне поля зрения (см. тему 1.2, Закон Гудхарта и психология метрик).
Эта тема опирается на темы о рисках, соответствии и безопасности части 8 и на более ранние темы этой части.
Ключевые принципы
- Знайте, где используется ИИ. Реестр использований, включая встроенные в продукты и принятые сотрудниками самостоятельно, есть основа.
- Соразмеряйте проверку с риском. Лёгкую для использований низкого риска, более глубокую для существенных.
- Относитесь к изменениям модели и промпта как к изменениям. Им нужны тестирование, утверждение, соразмерное риску, и возможность отката.
- Оценивайте до и во время использования. Испытывайте на реалистичных случаях и продолжайте испытывать в продуктиве.
- Сохраняйте осмысленный надзор человека. Человек должен мочь понять, поставить под вопрос и переопределить, и иметь на это время и полномочия.
- Учитесь на инцидентах без обвинения. Сбои ИИ новы, и сообщение есть то, как организация учится.
- Делайте утверждение быстрым для безопасных случаев. Медленное управление загоняет использование из виду.
Определения метрик
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность |
|---|---|---|---|---|---|---|---|
| Охват реестра использований ИИ | Доля использований ИИ, найденных независимыми средствами, находящихся в реестре с владельцем и классом риска | использования в реестре с владельцем и классом риска / использования, найденные независимым обнаружением (закупки, расходы, идентификация, сеть и сообщения персонала) | процент | Реестр, данные закупок и расходов, логи идентификации, опросы | Управление; управление ИТ-активами; управление рисками | Видимая работа и ясное владение | Раз в квартал |
| Актуальность оценки риска | Доля использований среднего и высокого риска с оценкой риска в требуемом цикле | использования, оценённые в цикле / использования среднего и высокого риска | процент | Оценки рисков | Управление рисками; управление информационной безопасностью | Регулярная рефлексия о рисках | Раз в квартал |
| Охват контролем изменений | Доля изменений моделей, промптов, инструментов и источников данных в продуктиве, прошедших контроль изменений с требуемыми тестами | изменения с записью об изменении, тестами и утверждением, соразмерным риску / обнаруженные изменения | процент | Записи об изменениях, сравненные с историей версий и примечаниями к релизам поставщиков | Управление изменениями (change enablement); управление релизами и развёртыванием | Малые, контролируемые, обратимые изменения | Раз в месяц |
| Актуальность оценки качества | Доля продуктивных использований с актуальной оценкой (точность, безопасность и справедливость, где релевантно) и результатами в пределах допуска | использования с оценкой в цикле и приемлемыми результатами / продуктивные использования в области | процент | Записи оценок | Обеспечение качества; управление рисками | Определение готовности для поведения | Раз в квартал |
| Доля свидетельств человеческого надзора | Доля выбранных существенных выводов или решений с записанным содержательным рецензированием человеком | выбранные элементы с документированным рецензированием, которое могло изменить исход / выбранные элементы | процент | Записи выбранных решений | Управление рисками; управление | Рецензирование до выпуска | Раз в месяц |
| Доля инцидентов ИИ и время до сдерживания | Инциденты с участием ИИ (вредный вывод, раскрытие данных, небезопасное действие) на использование и время их сдерживания | инциденты на продуктивное использование в квартал; медиана и 85-й перцентиль часов от обнаружения до сдерживания | инциденты; часы | Записи об инцидентах с меткой ИИ | Управление инцидентами; управление информационной безопасностью | Реакция и обучение без поиска виновных | Раз в квартал |
| Актуальность должной проверки ИИ поставщиков | Доля поставщиков, предоставляющих функции ИИ в критических услугах, чья специфическая для ИИ оценка актуальна | поставщики с актуальной оценкой ИИ / критические поставщики с функциями ИИ | процент | Оценки поставщиков | Управление поставщиками; управление рисками | Регулярный пересмотр зависимостей | Раз в квартал |
Определяйте «использование ИИ» в реестре широко: модели, которые вы строите, услуги, которые покупаете, функции внутри продуктов и инструменты, которыми пользуются сотрудники. Классы риска и циклы задаются в политике. Охват реестра измеряется относительно независимого обнаружения, а не относительно самого реестра. Охват контролем изменений требует способа обнаруживать изменения: контроль версий, уведомления поставщиков, мониторинг конфигурации. Свидетельство человеческого надзора требует, чтобы рецензирование могло изменить исход, а не чтобы была нажата кнопка. Доли инцидентов описывают использования и системы и не используются для оценки людей.
Рекомендации
Знайте и классифицируйте
1. Стройте реестр находя так же, как спрашивая. Начните с опроса и политики, затем сверьте с записями закупок и расходов, логами идентификации и доступа, данными сети и облачных счетов и обновлениями продуктов поставщиков. Включайте функции ИИ, встроенные в инструменты, которыми вы уже владеете. Ждите сюрпризов: люди используют инструменты, которые вы не одобряли, часто по веским причинам. Относитесь к ним как к информации (см. тему 7.2, Метрики программных активов и лицензий).
2. Назначьте владельца и класс риска каждому использованию. Владелец есть человек, подотчётный за использование и его результаты. Класс риска отражает вред при сбое системы: кого это затрагивает, вовлечены ли решения о людях, действует ли она сама, каких данных касается и насколько обратимы последствия. Используйте мало классов с ясными правилами. Опирайтесь на признанные рамки, такие как Рамка управления рисками ИИ NIST, ISO/IEC 42001 и применимое право, и адаптируйте их к вашему контексту.
3. Делайте утверждение соразмерным. Для использований низкого риска достаточно быстрой самообслуживаемой регистрации с несколькими вопросами. Для существенных использований требуйте оценки риска, результатов оценки качества, определённого проекта человеческого надзора и подписи. Быстрый путь для безопасного большинства держит людей внутри системы, а более медленный путь для опасных немногих даёт им надлежащую проверку.
Испытывайте и контролируйте изменения
4. Оценивайте на реалистичных случаях, до и во время использования. Постройте набор тестовых случаев, отражающих реальные входы, включая трудные и состязательные, и оценивайте выводы по письменным критериям. Включайте проверки безопасности и справедливости там, где могут быть затронуты люди. Повторяйте оценки по графику и всякий раз, когда меняются модель, промпт или данные. Красная команда, группа, намеренно атакующая систему для поиска слабостей, есть полезная практика для использований более высокого риска. См. практики выборки для работы с помощью ИИ (см. тему 10.2, Измерение работы с помощью ИИ).
5. Поставьте модели, промпты и инструменты под контроль изменений. Версионируйте промпты и конфигурации как код. Требуйте тестов и утверждения, соразмерных риску, для изменений, записывайте их и сохраняйте возможность отката. Отслеживайте обновления моделей по инициативе поставщика, которые могут менять поведение без уведомления, и договаривайтесь с поставщиками, как вам сообщат. Относитесь к обновлению модели как к изменению, требующему контроля (см. тему 4.3, Метрики управления изменениями).
6. Мониторьте в продуктиве. Следите за дрейфом входов и выводов, растущими долями ошибок и переопределений и необычными закономерностями. Задайте пороги, запускающие пересмотр. Для систем, предпринимающих действия, мониторьте журналы действий. Мониторинг есть то, как вы находите проблемы, которые упустило тестирование.
Сохраняйте человеческий надзор реальным
7. Проектируйте надзор, который может работать. Человек, рецензирующий каждый вывод быстрой системы, не может поспевать, а человек, которого просят одобрить непонятное, не обеспечивает надзор. Определите, что делает человек, какая у него информация, сколько времени и какие полномочия переопределять. Берите выборку рецензирований, чтобы проверять их содержательность. Будьте внимательны к предвзятости автоматизации, склонности принимать машинный вывод (см. тему 10.1, ИИ в измерении управления услугами).
8. Ведите журналы аудита. Записывайте входы, выводы, версии, решения и действия способом, поддерживающим расследование, с учётом правил приватности и пределов хранения. Журнал аудита позволяет ответить, что произошло и почему. Для существенных решений о людях подумайте, какое объяснение вы можете дать и какой путь обжалования существует (см. тему 8.3, Метрики соответствия и аудита).
9. Защищайте данные и сопротивляйтесь манипуляции. Контролируйте, какие данные системы ИИ могут видеть и отправлять наружу. Испытывайте на внедрение в промпт и утечку данных, особенно для систем, читающих внешнее содержание или имеющих доступ к инструментам. Применяйте принципы наименьших привилегий, используемые для агентов, которые действуют (см. тему 10.3, Метрики ИИ-агентов и чат-ботов, и тему 8.1, Метрики инцидентов безопасности и уязвимостей). Учитывайте приватность на этапе проектирования и привлекайте специалистов по защите данных.
Реагируйте и учитесь
10. Относитесь к инцидентам ИИ как к инцидентам. Определите, что считается: вредные или предвзятые выводы, раскрытие данных, небезопасные действия, значимые ошибки, доходящие до пользователей. Используйте обычный процесс инцидентов с меткой ИИ, пересматривайте без поиска виновных и передавайте уроки в оценки и контроли. Облегчите сообщение для персонала и пользователей. Время до сдерживания важно так же, как для любого инцидента (см. тему 3.4, Метрики крупных инцидентов).
11. Управляйте ИИ поставщиков. Спрашивайте поставщиков, какие функции ИИ они используют, как их испытывают и меняют, как обращаются с данными и как сообщают об инцидентах. Добавляйте в контракты условия, специфичные для ИИ, где это важно, включая уведомление о существенных изменениях модели. Переоценивайте критических поставщиков по циклу (см. тему 8.4, Метрики поставщиков и контрактов).
12. Пересматривайте само управление. Каждый квартал проверяйте, что показывают меры: где использования остались незарегистрированными, какие утверждения были слишком медленными, какие контроли не поймали проблемы. Корректируйте политику и пути. Привлекайте персонал и пользователей к пересмотру. Держите правила короткими, ясными и актуальными и выводите контроли, не оправдывающие свою цену.
Векторы манипуляции и ограждения
| Метрика | Как её искажают | Парная метрика или практика-ограждение |
|---|---|---|
| Охват реестра использований ИИ | Регистрировать тривиальные использования, чтобы поднять процент; ограничивать знаменатели тем, что зарегистрировано | Независимое обнаружение для знаменателя; выборка записей реестра на качество; амнистия для незарегистрированных использований |
| Актуальность оценки риска | Поверхностные оценки, всегда проходящие; оценка использований низкого риска | Пересматривать глубину оценок; проверять, что класс риска соответствует критериям |
| Охват контролем изменений | Не обнаруживать изменения поставщика; записывать изменения постфактум | Обнаружение через историю версий и уведомления поставщиков; записи об изменениях с меткой времени до релиза |
| Актуальность оценки качества | Оценки на лёгких случаях; выбор допусков после просмотра результатов | Тестовые наборы пересматриваются независимой стороной; пороги задаются заранее |
| Доля свидетельств человеческого надзора | Нажимать «одобрить», не читая; документировать рецензирование, не могшее изменить исход | Выборка рецензирований на суть; подложенные известные ошибки; нагрузка рецензента |
| Доля инцидентов ИИ и время до сдерживания | Не сообщать об инцидентах; сужать определение | Лёгкое сообщение без вины; сравнивать с жалобами пользователей и находками аудита |
| Актуальность должной проверки ИИ поставщиков | Анкеты, заполняемые маркетингом; оценки без свидетельств | Требования свидетельств для критических поставщиков; независимая проверка |
Здоровое чтение есть реестр, подтверждаемый независимым обнаружением, оценки, соответствующие риску, изменения, проходящие через контроль, актуальные оценки качества, надзор, находящий реальные ошибки, инциденты, о которых охотно сообщают и которые быстро сдерживаются, и поставщики, делящиеся тем, что меняют.
Компромиссы: плюсы и минусы
| Подход | Сильная сторона | Слабая сторона |
|---|---|---|
| Центральное утверждение каждого использования ИИ | Контроль, единообразие | Медленно; загоняет использование в подполье |
| Самообслуживаемая регистрация с уровнями риска | Быстро для безопасного большинства | Нужны хорошие критерии и выборочные проверки |
| Запрет публичных инструментов | Снижает раскрытие данных | Теневое использование; потерянные выгоды |
| Одобренные инструменты с руководством | Видимое и управляемое использование | Нужны предоставление и поддержка |
| Тяжёлая документация | Свидетельства для аудита | Бремя; может не отражать практику |
| Автоматизированная оценка в конвейере | Непрерывно, единообразно | Нужны хорошие тестовые наборы; может упустить новые сбои |
| Рецензирование человеком всего | Безопасность | Не масштабируется; усталость |
| Выборка на основе риска | Практично | Некоторые сбои проскальзывают |
Ответ прост: предоставляйте одобренные инструменты и быстрый путь для использований низкого риска, сосредотачивайте проверку на существенных, автоматизируйте оценку и мониторинг и держите человеческий надзор там, где он может действительно работать.
Вопросы для обсуждения в команде
1. Где мы используем ИИ сегодня такого, чего нет ни в одном списке? Спросите команду честно и предложите амнистию. Посмотрите на инструменты, используемые для составления текстов, резюмирования, кода и анализа, включая находящиеся внутри продуктов. Ведущему стоит записать использования без суждения. Договоритесь, кто зарегистрирует их и какие требуют более пристального взгляда.
2. Если бы наше самое существенное использование ИИ допустило вредную ошибку, как бы мы узнали и что сделали? Пройдите обнаружение, сдерживание, коммуникацию и обучение. Отметьте пробелы в мониторинге, владении и полномочиях отключить. Договоритесь об одном улучшении.
3. Что может измениться под нами без чьего-либо утверждения? Перечислите модели, промпты, источники данных и обновления поставщиков. По каждому спросите, как мы узнали бы об изменении и как его испытали. Договоритесь, где добавить обнаружение или тест.
4. Мог бы человек, рецензирующий вывод ИИ в нашем процессе, реалистично поймать серьёзную ошибку? Посмотрите объём, информацию, время и полномочия. Испытайте с подложенной ошибкой. Если рецензирование не может работать, перепроектируйте процесс, прежде чем добавлять больше ИИ.
5. Какие наши правила занятому коллеге легко соблюдать, а какие он обойдёт? Перечислите текущие правила и проверьте их на реальных рабочих процессах. Обсудите, почему правила обходят. Договоритесь об изменениях, делающих безопасный путь лёгким.
6. Что поставщики сказали нам о своём ИИ и о чём мы не спросили? Проверьте недавние анкеты и контракты. Определите критических поставщиков с функциями ИИ и информационные пробелы. Договоритесь о вопросах для следующего пересмотра.
Четыре точки зрения
Продуктовые команды и команды поставки
Команды поставки строят и принимают функции ИИ и ощущают управление как трение или как помощь. Им следует регистрировать использования рано, испытывать на реалистичных случаях, ставить промпты и модели под контроль версий и проектировать надзор, который работает. Им выгодно быстрое утверждение использований низкого риска.
Команды услуг и эксплуатации
Команды эксплуатации ведут ИИ в продуктиве и реагируют на его инциденты. Им следует мониторить дрейф, вести журналы действий, помечать инциденты ИИ и иметь полномочия и средства отключить систему. Они также сами используют ИИ и должны следовать тем же правилам.
Руководство и управление
Руководители задают аппетит к риску и подотчётны за результаты. Им следует финансировать реестр, оценку и мониторинг, принимать, что некоторые использования ИИ не пройдут, просить независимого обнаружения использований и отслеживать инциденты и время до сдерживания. Органам управления следует держать правила короткими, регулярно их пересматривать и обеспечивать голос персонала и пользователей.
Клиенты и пользователи
Пользователей затрагивают решения и выводы ИИ, часто без их ведома. Они заслуживают знать, когда ИИ вовлечён в касающиеся их дела, мочь добраться до человека и оспаривать решения. Жалобы и апелляции суть существенное свидетельство того, как управление работает на практике.
На практике: пример из управления услугами
Технологическое и операционное подразделение регионального банка принимает политику ИИ после того, как сотрудник вставляет данные клиентов в публичный инструмент. Команда соответствия публикует реестр и ожидает, что каждое использование будет указано. Числа ниже иллюстративны.
Через три месяца реестр перечисляет 38 использований ИИ. Руководитель технологических рисков проверяет независимыми средствами: данные закупок и расходов, логи идентификации, показывающие входы в услуги ИИ, сетевые данные и анонимный опрос персонала. Обнаружение находит 94 использования, так что охват реестра составляет 40 %. Семнадцать суть функции внутри инструментов, лицензированных банком, а двенадцать публичные инструменты, используемые персоналом. Из 38 зарегистрированных использований только у 14 есть класс риска, а у трёх самых рискованных, модели, оценивающей оповещения о мошенничестве, чат-бота для клиентов и инструмента резюмирования жалоб, нет оценки качества за последний год. Изменения конфигурации модели мошенничества и промптов чат-бота вносятся командами напрямую, а записи об изменениях за последний квартал охватывают 21 % изменений, найденных в истории версий. Выборка из 60 оповещений о мошенничестве, отклонённых моделью, показывает записанное рецензирование человеком для 52 из них, но подложенный набор из пяти известных пропусков был пойман лишь одним рецензентом, потому что каждый рецензент обрабатывает несколько сотен оповещений в день. Один инцидент, в котором чат-бот сообщил клиентам устаревшую сумму комиссии, был найден по жалобе, и его сдерживание заняло шесть дней, потому что ни у кого не было полномочий его отключить.
Руководитель технологических рисков перепроектирует управление вместе с командами. Короткая самообслуживаемая регистрация из пяти вопросов за минуты помещает использования низкого риска в реестр, а период амнистии побуждает персонал указывать используемые инструменты. Классы риска основаны на вреде, данных и автономии. Использованиям более высокого риска нужны оценка, оценка качества на реалистичных и состязательных случаях и определённый проект надзора. Модели, промпты и инструменты ставятся под контроль изменений с тестами, соразмерными риску, а промпты чат-бота версионируются с откатом. Процесс оповещений о мошенничестве перепроектируется так, что рецензенты обрабатывают меньше, но лучше приоритизированных оповещений, а подложенные ошибки проверяют их обнаружение. У названного владельца каждого высокорискового использования есть полномочия его отключить, а реагирование на инциденты охватывает ИИ. Облачных поставщиков и поставщиков ИИ банка спрашивают, какие функции ИИ они используют и как уведомляют об изменениях.
Через два квартала охват реестра по независимому обнаружению составляет 88 %, все высокорисковые использования оценены и проверены в цикле, охват контролем изменений 84 %, обнаружение подложенных ошибок рецензентами растёт до 4 из 5, а медианное время до сдерживания инцидента ИИ 3 часа. Персонал использует одобренные инструменты для большинства задач. Старший руководитель просит цель в 100 % охвата реестра. Руководитель технологических рисков предлагает отслеживать охват относительно независимого обнаружения, актуальность оценок и обработку инцидентов и объясняет, что реестр без обнаружения может достичь 100 % и всё же упустить риск. Решение записано.
Agile, ИИ, автоматизация и аналитика
Agile
Управляйте ИИ как изменением живой услуги, с лёгким регулярным пересмотром и заинтересованными сторонами за столом, а не разовым утверждением. Осторожность в том, что тяжёлые ворота утверждения заставляют команды прятать использование ИИ.
ИИ
Ведите реестр каждого использования ИИ с владельцем, классом риска, датой оценки качества и точкой человеческого надзора и измеряйте охват относительно независимого обнаружения. Испытывайте, что надзор можно осуществлять. Осторожность в том, что эта книга не даёт юридических советов, а обязательства различаются по месту и времени, поэтому проверяйте их у вашего юридического консультанта.
Автоматизация
Автоматизируйте обнаружение и сбор свидетельств об изменениях модели, промпта и данных и измеряйте автоматизацию по пропущенным изменениям. Осторожность в том, что автоматизированные наборы оценки проверяют то, на что построены, поэтому добавляйте новые тесты по мере появления сбоев.
Аналитика
Сообщайте актуальность оценок и оценок качества с датами и счётами. Решение, которое это информирует, состоит в том, где надзор тонок. Осторожность в том, что счёты инцидентов ИИ малы и неравномерны, поэтому сочетайте их с сообщениями о почти-промахах.
Отраслевой взгляд
Стартап. Скорость важна, а риски в основном раскрытие данных и ненадёжные выводы. Ведите короткий список инструментов и использований с владельцами, задайте несколько ясных правил о том, какие данные можно где использовать, и версионируйте промпты. Пересматривайте по мере роста требований клиентов к гарантиям.
Малый бизнес. Персонал будет использовать публичные инструменты. Предоставьте одобренный вариант, напишите одностраничное правило о данных и пересматривайте, как используются инструменты. Спрашивайте поставщиков об их функциях ИИ и храните запись о том, где ИИ принимает решения о клиентах или персонале.
Крупная компания. Масштаб требует операционной модели: реестр, уровни риска, стандарты оценки, контроль изменений и процесс инцидентов, интегрированные с существующими функциями рисков и безопасности. Используйте независимое обнаружение, автоматизируйте оценку в конвейерах и согласуйте со стандартами. Дайте командам быстрый путь.
Государство и публичный сектор. Решения, затрагивающие граждан, приносят обязанности прозрачности, справедливости и обжалования, а рамки закупок и права формируют, что допустимо. Ведите публичные записи высоковоздействующих использований там, где требуется, оценивайте влияние на права, держите людей осмысленно в петле и проверяйте текущее право и руководства (см. тему 8.5, Регулируемая и государственная отчётность).
Бизнес-обоснование: мотивы, ROI и TCO
Затраты включают усилия по построению и поддержанию реестра, инструменты или анализ обнаружения, оценки риска, наборы и прогоны оценки качества, контроль изменений для промптов и моделей, мониторинг, обучение и ёмкость реагирования на инциденты. Управление также добавляет некоторую задержку для использований более высокого риска. Эти затраты масштабируются с числом и риском использований, что есть причина держать утверждение низкого риска лёгким.
Отдача включает избегнутый вред и уязвимость, меньше сюрпризов в аудитах и регуляторных проверках, более быстрое безопасное внедрение благодаря ясным правилам и доверие клиентов и персонала. Стройте обоснование из собственных данных: число использований, найденных вне реестра, и данные, которых они касаются, инциденты и их цена, время на разовые утверждения до и после и находки в аудитах. Избегайте цитирования опубликованной статистики инцидентов ИИ или штрафов без прослеживаемого источника и релевантности вашему контексту. Включайте цену отсутствия управления, включающую возможность значительного юридического и репутационного ущерба (см. тему 7.7, Возврат инвестиций и бизнес-обоснование).
Антипаттерны и ловушки
- Реестр, который никто не проверяет. Охват выглядит высоким и упускает реальные использования. Используйте независимое обнаружение.
- Всеобщие запреты. Они загоняют использование в подполье. Предоставьте одобренные инструменты и быстрый путь.
- Отношение к промптам и моделям как к конфигурации без владельца. Поведение меняется незаметно. Поставьте их под контроль изменений.
- Оценка один раз. Системы дрейфуют и меняются. Повторяйте по графику и при изменении.
- Надзор лишь по имени. Рецензенты не могут поймать то, чего не видят. Испытывайте подложенными ошибками и исправляйте нагрузку.
- Нет полномочий отключить. Сдерживание занимает дни. Назовите владельцев с властью остановить систему.
- Игнорирование ИИ поставщиков. Ваш риск включает их. Спрашивайте, заключайте контракты и переоценивайте.
- Правила, которым никто не может следовать. Их обходят. Держите их короткими и делайте безопасный путь лёгким.
Модель зрелости
| Измерение | 1 Инициирование | 2 Развитие | 3 Стандартизация | 4 Управление | 5 Оркестрация |
|---|---|---|---|---|---|
| Знание и классификация | Нет вида использования ИИ | Политика и частичный список | Реестр с владельцем и классом риска; независимое обнаружение используется для охвата | Охват, актуальность оценок и времена утверждения управляются | Общий вид реестра между бизнес-подразделениями и поставщиками; классы пересматриваются с регуляторами и пользователями |
| Испытание и изменения | Разово | Некоторая оценка для некоторых использований | Оценка на реалистичных случаях; промпты и модели под контролем изменений | Непрерывная оценка и мониторинг дрейфа; охват управляется | Автоматизированная оценка на основе риска и изменения в конвейерах, независимо проверяемые |
| Надзор и обучение | Опора на доверие | Рецензирование существует в принципе | Надзор спроектирован и выбирается; инциденты ИИ помечаются и пересматриваются без поиска виновных | Подложенные ошибки, время до сдерживания и оценки поставщиков управляются | Надзор, обучение на инцидентах и политика разрабатываются совместно с персоналом, пользователями и партнёрами |
Контрольный список
- Реестр перечисляет использования ИИ с владельцем и классом риска, сверенный с независимым обнаружением.
- Для использований низкого риска существует быстрый путь, а для существенных более глубокий.
- У высокорисковых использований есть актуальная оценка риска и определённый проект надзора.
- Оценки на реалистичных и состязательных случаях актуальны и повторяются при изменении.
- Промпты, модели, инструменты и источники данных версионируются и находятся под контролем изменений.
- Продуктивный мониторинг следит за дрейфом, ошибками, переопределениями и необычными действиями.
- Надзор испытывается подложенными ошибками, а нагрузка рецензента реалистична.
- Журналы аудита поддерживают расследование в рамках правил приватности и хранения.
- Инциденты ИИ помечаются, пересматриваются без поиска виновных, и владельцы могут отключать системы.
- Поставщики с функциями ИИ оцениваются и обязаны уведомлять о существенных изменениях.
Промпты для ИИ
Составьте черновик классификации риска для использований ИИ.
Propose a simple risk classification (three or four levels) for AI uses in [type of
organization] based on harm if wrong, who is affected, involvement of decisions
about people, autonomy of actions, data sensitivity, and reversibility. For each
level, state example uses, the approvals and evidence required, and the review
cycle. Do not state legal conclusions. List your assumptions and points to confirm
with legal, risk, and security specialists.
Спроектируйте форму регистрации.
Design a short self-service registration form for new AI uses, with no more than
eight questions, that assigns an initial risk class automatically and routes
higher-risk uses to review. Cover purpose, data, users affected, autonomy, vendor,
and owner. Explain how to keep it quick for low-risk cases. List your assumptions
and risks of misclassification.
Спланируйте набор для оценки.
We use AI for [task] in [process]. Help design an evaluation set: types of
realistic cases, difficult and adversarial cases, written criteria for correct
and safe outputs, checks for fairness where people are affected, how big a set is
practical, how often to rerun it, and what changes should trigger a rerun. Do not
claim a set is sufficient. List your assumptions and limits.
Проверьте инцидент ИИ.
Here is a description of an AI-related incident: [paste, without personal data].
Draft a blameless review: timeline, how it was detected, contributing factors
(data, prompt, model, oversight, supplier, process), impact, what contained it,
and actions with owners. Suggest changes to evaluation, monitoring, and change
control. Do not assign blame to individuals. List your assumptions and open
questions.
Навыки ИИ
- Service Management Metrics skill: используйте, чтобы найти парное ограждение для метрики управления ИИ или рисков.
- Service Management Metrics maintainer skill: используйте, чтобы проверить, что запись метрики управления ИИ использует независимые свидетельства и несёт свой вектор манипуляции и ограждение.
Главные выводы
- Стройте реестр ИИ независимым обнаружением и соразмеряйте проверку с риском, с быстрым путём для безопасных использований.
- Относитесь к моделям, промптам, инструментам и источникам данных как к изменениям, требующим тестирования, утверждения и отката.
- Оценивайте до использования и во время использования, на реалистичных и состязательных случаях.
- Проектируйте человеческий надзор, который может работать, и испытывайте его подложенными ошибками.
- Относитесь к инцидентам ИИ как к другим инцидентам, с пересмотром без поиска виновных, и давайте владельцам власть отключать системы.
- Спрашивайте поставщиков об их ИИ, держите правила короткими, а безопасный путь лёгким.
Источники и дополнительное чтение
- National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, 2023.
- ISO/IEC 42001, Information technology: Artificial intelligence: Management system, International Organization for Standardization, 2023.
- ISO/IEC 23894, Information technology: Artificial intelligence: Guidance on risk management, International Organization for Standardization, 2023.
- European Parliament and Council, Regulation (EU) 2024/1689 laying down harmonised rules on artificial intelligence (Artificial Intelligence Act), 2024.
- Organisation for Economic Co-operation and Development, OECD AI Principles, 2019 (updated 2024).
- Mitchell, M., et al., "Model Cards for Model Reporting," Proceedings of the Conference on Fairness, Accountability, and Transparency, 2019.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Алгоритмическая предвзятость.
- Wikipedia, Внедрение в промпт.
- Wikipedia, Акт об искусственном интеллекте.
- Wikipedia, Ответственный ИИ.
- Wikipedia, Регулирование искусственного интеллекта.
- Wikipedia, Теневое ИТ.
- Wikipedia, Закон Гудхарта.
- Wikipedia, Журнал аудита.