Обзор и мотивация

Каждое изменение услуги несёт риск, как и оставление её без изменений. Управление рисками есть выявление, оценка и приоритизация рисков с последующими согласованными действиями по их снижению, принятию, передаче или избеганию. ITIL рассматривает риск как нить, проходящую через каждую практику: управление изменениями (change enablement) решает, сколько проверки нужно изменению, непрерывность услуг планирует нарушение, информационная безопасность защищает от угроз. Способы работы Agile и DevOps снижают риск иначе. Малые изменения, поставляемые непрерывно, с быстрой обратной связью и возможностью отката, делают каждое изменение менее опасным и делают проблемы видимыми раньше.

Эти два взгляда встречаются в метриках. Команде, поставляющей непрерывно, всё равно нужно знать свои главные риски, кто ими владеет и работают ли контроли, на которые она полагается. Функции рисков, настаивающей на тяжёлом утверждении, всё равно нужны свидетельства, что её контроли снижают вред, а не просто замедляют людей. Эта тема даёт меры для обоих и опирается на практики, описанные в соседних темах о безопасности и аудите (см. тему 8.1, Метрики инцидентов безопасности и уязвимостей, и тему 8.3, Метрики соответствия и аудита).

Повторяются четыре термина.

  • Риск: неопределённое событие или условие, которое, если произойдёт, влияет на цели. У него есть причина, событие и последствие, а также вероятность и воздействие, которые обычно оцениваются, а не известны.
  • Реестр рисков: перечень выявленных рисков с владельцами, оценками и ответами. Реестр рисков есть рабочий инструмент, когда он актуален и читается, и артефакт соответствия, когда нет.
  • Контроль: действие или механизм, снижающий риск, такой как пересмотр, автоматизированный тест, утверждение, разделение обязанностей или оповещение мониторинга. Набор контролей, на который полагается организация, есть её система внутреннего контроля.
  • Ключевой индикатор риска (KRI): мера, сигнализирующая об изменении уровня риска до наступления потери. Ключевой индикатор риска полезен, когда он опережает событие и когда кто-то действует по нему.

У количественной оценки риска есть хорошо известные слабости. Матрица рисков, наносящая вероятность против воздействия на сетку цветных клеток, широко используется и широко критикуется: оценки субъективны, разные риски могут попадать в одну клетку по разным причинам, а арифметика умножения порядковых оценок не имеет твёрдого основания. Редкие тяжёлые события, иногда описываемые через теорию чёрного лебедя, особенно трудно оценить. Честный ответ состоит в том, чтобы использовать матрицу как помощь разговору, показывать диапазоны и поддерживать её свидетельствами о контролях и инцидентах. Рамка трёх линий защиты, разделяющая команды, владеющие риском, команды, осуществляющие надзор за ним, и независимое обеспечение уверенности, предлагает структуру для ролей и работает лучше всего, когда первая линия, команды поставки и эксплуатации, действительно владеет своими рисками.

Ограждение из закона Гудхарта применимо к отчётности о рисках особым образом. Когда красная оценка приносит пристальное внимание, люди оценивают риски как жёлтые. Когда закрытый риск есть успех, люди закрывают риски, не обрабатывая их (см. тему 1.2, Закон Гудхарта и психология метрик).

Ключевые принципы

  • Держите реестр коротким и актуальным. Несколько хорошо принадлежащих рисков, которые пересматриваются, лучше сотен, которые нет.
  • Пусть первая линия владеет своими рисками. Люди, ближайшие к работе, знают её лучше.
  • Испытывайте контроли, на которые полагаетесь. Контроль, который никогда не испытывали, есть надежда.
  • Предпочитайте опережающие индикаторы, по которым кто-то действует. Индикатор без плана реакции есть украшение.
  • Показывайте диапазоны и свидетельства, а не ложную точность. Оценки суть оценки.
  • Снижайте риск, делая изменения малыми и обратимыми. Непрерывная поставка с быстрым откатом есть контроль.
  • Говорите о риске без обвинения. Честная отчётность есть сырьё всей практики.

Определения метрик

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность
Актуальность пересмотра рисков Доля открытых рисков, пересмотренных владельцем в согласованный интервал риски, пересмотренные в интервале / открытые риски процент Даты пересмотра реестра рисков Управление рисками; непрерывное улучшение Риски пересматриваются на планировании и обзорах Раз в месяц
Охват владельцами Доля открытых рисков с названным действующим владельцем, принявшим владение риски с подтверждённым действующим владельцем / открытые риски процент Реестр рисков, соединённый со справочником людей Управление рисками Принадлежащие командам риски в бэклоге Раз в месяц
Охват испытаниями контролей Доля ключевых контролей, испытанных на работу в требуемом цикле ключевые контроли, испытанные в цикле / ключевые контроли процент Реестр контролей и записи испытаний Управление рисками; управление информационной безопасностью Автоматизированные проверки в конвейере Раз в квартал
Доля эффективности контролей Доля испытанных контролей, признанных работающими как задумано контроли, признанные эффективными / испытанные контроли процент Результаты испытаний Управление рисками; непрерывное улучшение Автоматизированные тесты проходят по верным причинам Раз в квартал
Время реакции на нарушение KRI Время от пересечения ключевым индикатором риска своего порога до записанного решения медиана и 85-й перцентиль часов или дней от нарушения до решения часы или дни Мониторинг KRI и журнал решений Управление рисками; мониторинг и управление событиями Реакция на продуктивный сигнал Раз в месяц
Своевременность планов обработки Доля обработок риска, завершённых к обещанной дате обработки, завершённые к дате / обработки, срок которых наступает в периоде процент Реестр рисков и трекер действий Управление рисками; непрерывное улучшение Доставленные действия по улучшению Раз в квартал
Доля изменений на основе риска Доля изменений, утверждённых по путям на основе риска с приложенными свидетельствами контролей изменения, утверждённые по пути на основе риска с требуемыми свидетельствами / изменения в периоде процент Записи об изменениях Управление изменениями (change enablement); управление рисками Изменения, поставляемые непрерывно с автоматизированными проверками Раз в месяц

Определите интервал пересмотра и список ключевых контролей в реестре. Контроль «испытан» только когда испытание рассматривает свидетельство работы, а не только проект. Часы KRI запускаются, когда индикатор пересекает порог, как записано системой мониторинга, и останавливаются на записанном решении, которое может быть действовать, принять или изменить порог. Исключайте риски, выводимые из реестра, из знаменателя только после записанного решения о закрытии.

Рекомендации

Держите разговор о рисках живым

1. Держите реестр коротким и записывайте каждый риск в стандартной форме. Используйте предложение вида «Из-за [причина] может произойти [событие], что приведёт к [последствие]». Ограничивайте реестр рисками, которые изменили бы решение или план. Сливайте дубликаты, делите расплывчатые и выводите прошедшие риски. Список из нескольких десятков рисков, которые люди обсуждают, ценнее тысячи, которую никто не читает.

2. Назначайте каждому риску владельца, способного действовать. Владелец есть человек с полномочиями над ответом, обычно в команде поставки или эксплуатации, а не в функции рисков. Подтверждайте владение с человеком и пересматривайте его, когда люди меняют роли. Охват владельцами измеряет это, а бесхозный риск есть находка.

3. Пересматривайте риски в уже идущих разговорах. Поднимайте главные риски на планировании, обзорах и пересмотрах инцидентов вместо создания отдельного совещания. Привычка Agile к регулярной рефлексии о том, как стать эффективнее, есть естественный дом для вопроса «что может навредить нам дальше?» Записывайте результат в реестр.

4. Парьте оценки со свидетельствами и диапазонами. Для каждого важного риска записывайте, что заставляет вас думать, что он вероятен или серьёзен: инциденты, почти-промахи, результаты испытаний, история поставщика. Давайте диапазон вероятности и воздействия, где можете, и говорите, насколько вы не уверены. Не объединяйте порядковые оценки в единое число и не относитесь к нему как к измерению. Если используете матрицу, используйте её для начала обсуждения (см. тему 1.6, Статистическая грамотность для метрик услуг).

Испытывайте контроли

5. Назовите ключевые контроли и для чего каждый. Для каждого главного риска перечислите немногие контроли, на которые вы полагаетесь, и как выглядел бы отказ каждого. Реестр контролей, перечисляющий сотни мелких действий, прячет те, что важны. Включайте автоматизированные контроли в конвейере, такие как тесты, проверки политик и ворота утверждения.

6. Испытывайте работу, а не только проект. Проверка проекта спрашивает, работал бы контроль, если бы им пользовались. Испытание работы спрашивает, пользовались ли им и работал ли он в периоде, рассматривая выборки свидетельств. Планируйте испытания в цикле, соответствующем риску, записывайте результаты и доводите до конца отказы. Где возможно, автоматизируйте свидетельства, так что испытание идёт непрерывно.

7. Относитесь к отказам контролей как к информации. Неудавшееся испытание есть работа системы контролей. Записывайте отказ, спрашивайте почему и исправляйте причину. Долю эффективности контролей следует читать вместе с дальнейшей работой: отказы, найденные и быстро исправленные, здоровее идеальной доли, идущей от слабого тестирования.

8. Используйте независимое обеспечение уверенности там, где оно добавляет ценность. Внутренний аудит или независимый проверяющий могут испытывать контроли, которыми владеет первая линия и за которыми надзирает вторая. Независимость защищает от проверки собственной работы. Координируйтесь, чтобы команды не проверяли три группы на одно и то же.

Хорошо используйте индикаторы и решения

9. Выберите несколько опережающих индикаторов на главный риск. Ключевой индикатор риска должен быть дешёв в измерении, связан с причиной и в паре с порогом и ответом. Например, возраст самой старой критической уязвимости сигнализирует о риске безопасности, а доля изменений, требующих экстренной обработки, сигнализирует о риске изменений. Определите, кто смотрит на индикатор и что он будет делать на пороге (см. тему 8.1, Метрики инцидентов безопасности и уязвимостей).

10. Записывайте решение при каждом нарушении. Когда индикатор пересекает порог, кто-то решает: действовать, принять или скорректировать порог. Записывайте решение и причину. Это строит историю, показывающую, хорошо ли заданы пороги и своевременен ли ответ.

11. Сделайте утверждение на основе риска значением по умолчанию для изменений. В условиях непрерывной поставки заменяйте общие советы по утверждению путями на основе риска: автоматизированные проверки и рецензирование коллегами для стандартных изменений низкого риска и более полный пересмотр для немногих изменений высокого риска (см. тему 4.3, Метрики управления изменениями). Прикладывайте свидетельство, что контроли отработали. Это снижает риск и задержку вместе, потому что малые изменения с автоматизированными свидетельствами безопаснее больших с подписью.

12. Учитесь на потерях и почти-промахах. После инцидентов и близких случаев обновляйте реестр: был ли риск, был ли он хорошо оценён, работал ли контроль? Используйте ответы, чтобы улучшить оба. Петля между событиями и реестром держит реестр честным (см. тему 4.2, Метрики разборов и обучения).

Векторы манипуляции и ограждения

Метрика Как её искажают Парная метрика или практика-ограждение
Актуальность пересмотра рисков Помечать риски пересмотренными без обсуждения; менять интервал Выборочная проверка пересмотров на содержание; фиксированный интервал в реестре
Охват владельцами Назначать владельцев без их ведома; называть высокопоставленного человека без полномочий Подтверждение владельца; проверка, что владельцы могут действовать по ответу
Охват испытаниями контролей Испытывать лёгкие контроли; засчитывать проверки проекта как испытания работы Список ключевых контролей фиксируется второй стороной; тип испытания записывается
Доля эффективности контролей Испытывать малые выборки; выбирать выборки, которые проходят Метод выборки независим от владельца; размер выборки записывается
Время реакции на нарушение KRI Менять порог после нарушения; записывать решение без содержания Журнал изменений порогов; выборка содержания решений
Своевременность планов обработки Задавать лёгкие даты; переопределять завершение Даты согласуются с владельцем при одобрении; проверка, что оценка риска сдвинулась
Доля изменений на основе риска Классифицировать изменения как низкого риска, чтобы избежать пересмотра; прикладывать свидетельства, не произведённые контролями Выборочная проверка классификации по правилам; автоматизированные свидетельства из конвейера

Здоровое чтение есть короткий реестр, о котором люди спорят, владельцы, знающие свои риски, испытанные контроли, где часть отказов найдена и исправлена, индикаторы, ведущие реальные решения, и меньше тяжёлых утверждений для малых изменений.

Компромиссы: плюсы и минусы

Подход Сильная сторона Слабая сторона
Матрица рисков Быстро, наглядно, начало разговора Субъективна; ложная точность; порядковая арифметика
Количественные диапазоны Честнее о неопределённости Нужны данные и навык; усилия
Тяжёлые советы по утверждению Видимый контроль Медленно; поощряет накопление изменений
Автоматизированные проверки на основе риска Быстро и единообразно Нужна инженерия; автоматизированные проверки могут ошибаться
Центральная функция рисков владеет рисками Единообразие Далеко от работы; владельцы отстранены
Владение первой линии Знание и подотчётность Переменное качество; нужен надзор
Периодическое испытание контролей Эффективно для стабильных контролей Упускает дрейф между испытаниями
Непрерывный мониторинг контролей Своевременные свидетельства Усилия на инструменты; шум

Ответ прост: размещайте владение у команд, применяйте лёгкий центральный надзор и независимое испытание, автоматизируйте свидетельства, где возможно, и используйте оценки как побуждения к разговору.

Вопросы для обсуждения в команде

1. Каковы три риска, вероятнее всего способных навредить этой услуге в следующем году, и кто владеет каждым? Попросите каждого участника записать три риска про себя, затем сравните. Совпадения и различия информативны. Ведущему стоит записать, кто действовал бы по каждому риску. Договоритесь о трёх главных и подтвердите владельцев.

2. От какого контроля мы зависим больше всего и когда мы в последний раз проверяли, что он работает? Выберите контроль, например правило рецензирования кода, резервную копию или шаг утверждения. Проследите, когда в последний раз рассматривалось свидетельство его работы. Если никто не знает, запланируйте испытание. Разговор показывает разницу между проектом и работой.

3. Что заставило бы нас изменить оценку с жёлтой на красную и кто бы это заметил? Обсудите индикаторы и пороги. Спросите, понижала ли команда когда-либо оценку, чтобы избежать внимания, и какое давление это вызвало. Договоритесь, какое свидетельство оправдало бы изменение и как сделать красный безопасным для высказывания.

4. Какие утверждения замедляют наши изменения, не снижая риск? Перечислите утверждения, нужные типичному изменению, и по каждому спросите, какой риск оно адресует и останавливало ли когда-нибудь изменение. Предложите заменить одно автоматизированной проверкой. Договоритесь, какое свидетельство покажет безопасность изменения.

5. Когда контроль отказал, как мы узнали и что сделали? Вспомните недавний отказ. Он был найден испытанием, инцидентом или аудитором? Обсудите, как выглядит более сильная петля. Включите то, как обошлись с нашедшим.

6. Какие риски мы приняли и когда пересматриваем это решение? Перечислите принятые риски и даты пересмотра. Проверьте, что у каждого есть владелец и причина. Принятый риск без даты пересмотра есть риск, за которым никто не следит.

Четыре точки зрения

Продуктовые команды и команды поставки

Команды поставки владеют большей частью операционного риска. Им следует вести короткий список собственных рисков, обсуждать их на планировании и обзорах и встраивать контроли в конвейер, чтобы свидетельства были автоматическими. Им выгодны пути изменений на основе риска, позволяющие изменениям низкого риска течь, и им следует честно говорить, что может пойти не так.

Команды услуг и эксплуатации

Команды эксплуатации ведут контроли: резервные копии, мониторинг, пересмотры доступа и испытания восстановления. Им следует хранить свидетельства работы, испытывать контроли в регулярном цикле и рано поднимать нарушения индикаторов. Они несут цену тяжёлых контролей и должны говорить, какие дают мало.

Руководство и управление

Руководители задают аппетит к риску и решают, сколько трения приемлемо. Им следует просить короткий список главных рисков с владельцами и свидетельствами, приветствовать красные оценки, финансировать испытание контролей и поддерживать независимое обеспечение уверенности. Управлению следует проверять, что реестр отражает инциденты и почти-промахи, и не награждать аккуратно выглядящие отчёты.

Клиенты и пользователи

Пользователи несут последствия реализовавшихся рисков и часто знают о них раньше реестра. У них должен быть способ поднять опасения, и им следует сообщать о рисках, их затрагивающих, в пределах конфиденциальности. Их опыт инцидентов и изменений есть свидетельство для пересмотров рисков.

На практике: пример из управления услугами

Цифровая группа национальной энергетической компании ведёт биллинг клиентов, мобильное приложение и интеграции с эксплуатацией сети. Числа ниже иллюстративны.

В реестре рисков группы 340 записей, последняя чистка была три года назад. Актуальность пересмотра рисков составляет 22 %, а у 61 риска владельцы ушли. Матрица показывает 85 рисков в красном, и никто не читает отчёт. Новый руководитель обеспечения услуг предлагает перезапуск. Вместе с командами поставки руководитель сокращает реестр до рисков, которые изменили бы решение, и в итоге получается 38. Каждому назначается названный владелец в команде, способной действовать, и они подтверждают. Руководитель выбирает 12 ключевых контролей и испытывает работу каждого вместо пересмотра проекта. Пять отказывают: два восстановления из резервных копий никогда не испытывались, один пересмотр доступа был пропущен, а два утверждения изменений подписаны без свидетельства тестирования.

Команда исправляет отказы и заменяет совет по утверждению изменений для стандартных изменений путями на основе риска. Автоматизированные тесты и рецензирование коллегами суть контроли, а конвейер прикладывает свидетельство к записи об изменении. Каждый главный риск получает один-два опережающих индикатора с порогами и ответами. Для риска длительного сбоя биллинга индикаторами служат возраст самой старой критической уязвимости и число неудавшихся восстановлений из резервных копий за квартал. Первый квартал показывает, что владельцы подтверждают все 38 рисков, актуальность пересмотра 91 %, доля эффективности контролей 7 из 12 при первом испытании и 12 из 12 после исправлений, а медианное время реакции на нарушение KRI 2 дня. Доля изменений по путям на основе риска составляет 64 %.

Главный по рискам просит, чтобы число красных рисков упало вдвое за год. Руководитель обеспечения услуг предлагает отслеживать своевременность планов обработки и эффективность контролей и объясняет, что число красных рисков может падать переоценкой и что руководитель предпочёл бы видеть честные красные оценки. Решение записано, а отчёт следующего квартала включает выборку решений за каждым понижением.

Agile, ИИ, автоматизация и аналитика

Agile

Держите реестр рисков живым через регулярные разговоры с заинтересованными сторонами, а не ежегодный пересмотр. Осторожность в том, что числовые оценки могут сделать неопределённость аккуратной.

ИИ

Системам ИИ нужны записи в реестре рисков с владельцем, точкой пересмотра человеком и датой пересмотра. Измеряйте эффективность контроля надзора за ИИ, испытывая его. Осторожность в том, что политика, говорящая, что человек проверяет вывод, не есть контроль, пока кто-то не испытает её.

Автоматизация

Автоматизируйте проверки контролей там, где их можно испытать, и измеряйте автоматизацию по неудавшимся и пропущенным проверкам. Осторожность в том, что проходящий автоматизированный контроль может проверять не то.

Аналитика

Сообщайте охват испытаниями контролей и эффективность с размером выборки. Решение, которое это информирует, состоит в том, какие контроли усилить. Осторожность в том, что малые выборки и субъективная оценка ограничивают точность, поэтому говорите об этом.

Отраслевой взгляд

Стартап. Риски в основном о том, что закончатся деньги, потеряются ключевые люди и случится крупный сбой. Ведите одностраничный список пяти главных, пересматривайте его ежемесячно и испытывайте резервные копии и восстановления. Встраивайте контроли в конвейер с самого начала, они дешевле поздней переделки.

Малый бизнес. Доминируют несколько рисков: зависимость от ключевого человека, единственный поставщик, вымогательское ПО и потеря данных. Ведите короткий список с владельцами, испытывайте восстановления и держите страховку и контакты актуальными. Сопротивляйтесь тяжёлым рамкам и заимствуйте из них то, что подходит.

Крупная компания. Масштаб требует общей таксономии, лёгких инструментов реестра и трёх линий защиты на практике. Пусть первая линия владеет своими рисками, держите вторую линию малой и совещательной и делайте независимое испытание эффективным. Избегайте дублирующих испытаний между аудитом, рисками и соответствием.

Государство и публичный сектор. Управление рисками часто есть формальная обязанность со стандартными рамками, комитетами по аудиту и публичной отчётностью. Согласуйте с требуемой рамкой, документируйте заявления об аппетите к риску и храните свидетельства. Публичная подотчётность делает честные красные оценки более ценными, а также более трудными (см. тему 8.5, Регулируемая и государственная отчётность).

Бизнес-обоснование: мотивы, ROI и TCO

Затраты: время владельцев на пересмотр рисков, усилия по определению ключевых контролей и их испытанию, инструменты реестра и мониторинга индикаторов, если их ещё нет, и цена независимого обеспечения уверенности. Автоматизация сбора свидетельств требует инженерных усилий и затем сокращает повторяющуюся цену.

Отдача есть меньше сюрпризов, более быстрое и лёгкое утверждение изменений и более достоверное обеспечение уверенности. Обрезанный реестр и пути изменений на основе риска экономят время, потреблявшееся большими органами утверждения. Неудавшиеся испытания контролей, найденные до инцидента, предотвращают потери, которые трудно оценить. Стройте обоснование из собственных данных: время на утверждение изменения до и после, число отказов контролей, найденных испытанием против найденных инцидентами или аудиторами, и цена прошлых инцидентов, которые предотвратил бы контроль. Избегайте цитирования отраслевой статистики потерь без прослеживаемого источника и метода.

Антипаттерны и ловушки

  • Реестр, растущий вечно. Никто его не читает. Обрезайте его до рисков, которые важны.
  • Оценки без свидетельств. Они суть мнения в цвете. Прикладывайте свидетельства и диапазоны.
  • Владельцы лишь по имени. Риск сидит у того, кто не может действовать. Подтверждайте владение с нужными людьми.
  • Испытание проекта и называние этого обеспечением уверенности. Контроль, который мог бы работать, мог и не работать. Испытывайте работу.
  • Сообщение только числа красных рисков. Счёты падают переоценкой. Смотрите на обработки и результаты контролей.
  • Советы по утверждению для каждого изменения. Они замедляют малые изменения и учат накоплению. Используйте пути на основе риска.
  • Наказание красных оценок. Тогда риски скрываются. Награждайте раннее предупреждение.
  • Раздельные культуры рисков и поставки. Работа с рисками, делаемая командам, а не с ними, производит театр соответствия.

Модель зрелости

Измерение 1 Инициирование 2 Развитие 3 Стандартизация 4 Управление 5 Оркестрация
Реестр и владение Длинный устаревший список Реестр есть, частично принадлежит Короткий реестр с подтверждёнными владельцами первой линии и датами пересмотра Пересмотры в разговорах команд; свидетельства и диапазоны приложены Риски разделяются между командами и поставщиками с совместными владельцами
Контроли Предполагаются работающими Проект документирован Ключевые контроли названы; испытания работы по циклу Отказы доводятся до конца; свидетельства автоматизированы, где возможно Непрерывный мониторинг контролей с надзором человека и независимым обеспечением уверенности
Решения и изменения Утверждения комитетом Некоторые стандартные изменения заранее одобрены Пути на основе риска с приложенными свидетельствами Индикаторы с порогами и записанными решениями; пути настраиваются по исходам Решения о рисках встроены в конвейеры по организации и цепочке поставки

Контрольный список

  • Реестр короток, риски записаны в форме причина, событие, последствие.
  • У каждого риска есть подтверждённый владелец первой линии, способный действовать.
  • Риски пересматриваются в регулярных разговорах команды.
  • Ключевые контроли названы и испытываются на работу в заявленном цикле.
  • Отказы контролей записываются, объясняются и исправляются.
  • У каждого главного риска есть один-два опережающих индикатора с порогами и ответами.
  • Решения при нарушениях индикаторов записываются.
  • Существуют пути изменений на основе риска, со свидетельствами, прикладываемыми автоматически, где возможно.
  • У принятых рисков есть владелец, причина и дата пересмотра.
  • Инциденты и почти-промахи обновляют реестр.

Промпты для ИИ

Перепишите риски в стандартной форме.

Here are [number] entries from our risk register: [paste, with sensitive details
removed]. Rewrite each in the form "Because of [cause], [event] may happen,
leading to [consequence]." Flag entries that are vague, duplicated, or really
issues that have already happened. Suggest which could be merged or retired.
Do not rate them. List your assumptions and what to confirm with the owners.

Спроектируйте испытание контроля.

For the control [describe, for example quarterly access review for the billing
system], design an operating test. Include what evidence to examine, how to
select a sample without bias, what counts as a pass or a fail, how to record
results, and how to automate the evidence collection over time. Do not assume
specific tools. List your assumptions and risks in the test design.

Предложите опережающие индикаторы для риска.

Risk: [describe in cause, event, consequence form]. Propose up to three leading
indicators that are cheap to measure and linked to the cause, with a suggested
response for a threshold breach and the way each indicator could mislead. Do
not invent threshold values; describe how we should calibrate them from our own
data. List your assumptions.

Проверьте процесс утверждения изменений.

Our change approval process for [type of change] is: [describe steps, approvers,
and typical delays]. Identify steps that add delay without reducing risk, propose
a risk-based alternative with automated checks and evidence, and say what we
should measure to know whether risk went up or down. Do not claim research
results. List your assumptions and decisions needing leadership input.

Навыки ИИ

  • Service Management Metrics skill: используйте, чтобы найти парное ограждение для метрики риска или контроля.
  • Service Management Metrics maintainer skill: используйте, чтобы проверить, что запись метрики рисков несёт свой вектор манипуляции, ограждение и правило свидетельства.

Главные выводы

  • Держите реестр рисков коротким, во владении команд, способных действовать, и пересматриваемым в уже существующих разговорах.
  • Испытывайте, что ключевые контроли работают, относитесь к отказам как к полезной информации и автоматизируйте свидетельства.
  • Используйте несколько опережающих индикаторов с порогами, ответами и записанными решениями.
  • Заменяйте общее утверждение путями изменений на основе риска, подкреплёнными автоматизированными свидетельствами.
  • Показывайте диапазоны и свидетельства вместо ложной точности и используйте матрицы для начала разговоров.
  • Делайте красные оценки безопасными для высказывания и учитесь на потерях и почти-промахах.

Источники и дополнительное чтение

  1. ISO 31000, Risk management: Guidelines, International Organization for Standardization.
  2. Committee of Sponsoring Organizations of the Treadway Commission, Enterprise Risk Management: Integrating with Strategy and Performance, 2017.
  3. Hubbard, D. W., The Failure of Risk Management: Why It's Broken and How to Fix It, 2nd ed., Wiley, 2020.
  4. Cox, L. A., "What's wrong with risk matrices?" Risk Analysis, 28(2), 2008.
  5. Taleb, N. N., The Black Swan: The Impact of the Highly Improbable, Random House, 2007.
  6. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  7. Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
  8. Wikipedia, Управление рисками.
  9. Wikipedia, Реестр рисков.
  10. Wikipedia, Внутренний контроль.
  11. Wikipedia, Ключевой индикатор риска.
  12. Wikipedia, Матрица рисков.
  13. Wikipedia, Теория чёрного лебедя.
  14. Wikipedia, Закон Гудхарта.