Метрики прогнозирования и предиктивной аналитики
Прогноз есть диапазон с историей проверок, а не дата или число, которое нужно защищать, поэтому измеряйте, как часто фактический результат попадал в заявленный диапазон, был ли диапазон честен в своей ширине и принял ли кто-нибудь лучшее решение благодаря ему.
Обзор и мотивация
Прогнозирование оценивает будущую величину по прошлым данным и заявленным допущениям. Организации услуг прогнозируют спрос на поддержку, ёмкость платформы, дату завершения работы, вероятность сбоя изменения и цену услуги в следующем году. Предиктивные модели, включая модели машинного обучения, распространяют это на оценку отдельных элементов: какая заявка нарушит свою цель, какое изменение рискованно, какой инцидент вероятно повторится.
Прогнозы и предсказания отказывают обычными способами. Прошлое может не походить на будущее, потому что услуга, команда или инструмент изменились. Данные могут быть скудными или смещёнными. Диапазон может быть слишком узким, потому что одно число выглядит полезнее интервала. И прогноз может использоваться как обязательство, так что люди работают, чтобы он сбылся, или прячут то, что ему противоречит.
Более ранние темы давали прогнозы для конкретных использований: даты поставки по пропускной способности (см. тему 2.5, Метрики прогнозирования и планирования поставки), ёмкость по спросу (см. тему 5.4, Метрики ёмкости и производительности) и стоимость (см. тему 7.5, Стоимость услуг и удельная экономика). Эта тема даёт общий метод измерения качества любого прогноза или предсказания, применимый ко всем им. Она также охватывает предиктивные модели, вывод которых запускает действие, где цена неверного предсказания падает на кого-то.
Используемые термины. Точечный прогноз есть одно предсказанное значение. Интервал предсказания есть диапазон, предназначенный содержать фактическое значение с заявленной вероятностью. Калибровка есть согласие между заявленной вероятностью и наблюдаемой частотой: из прогнозов, сказавших 80 %, около 80 % должны сбыться. Ошибка прогноза есть разница между прогнозом и фактом. Базовый прогноз есть простой метод, например «как в прошлом периоде», с которым сравнивается более сложный метод. Ложноположительное есть предсказание события, которого не происходит, а ложноотрицательное есть непредсказание того, что происходит. Дрейф есть изменение данных или связи между входами и результатами, снижающее точность модели со временем.
Ключевые принципы
- Прогнозируйте диапазонами и ведите историю проверок. Прогноз, который никогда не проверяют, не может улучшаться.
- Сравнивайте с простым базовым уровнем. Сложная модель, не побеждающая «как в прошлом периоде», не окупает свою цену.
- Калибровка важна так же, как точность. Прогноз, говорящий 90 %, должен быть верен около девяти раз из десяти.
- Соразмеряйте цену ошибок с решением. Ложная тревога и пропуск стоят по-разному.
- Следите за дрейфом. Прогнозы разлагаются, когда мир меняется, поэтому мониторьте их.
- Прогноз не есть обязательство. Не превращайте его в цель для людей.
Определения метрик
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность |
|---|---|---|---|---|---|---|---|
| Охват интервала прогноза | Доля фактических исходов, попавших в заявленный интервал предсказания | исходы внутри интервала / оценённые прогнозы; оценённые прогнозы суть те, чей исход известен | процент | Журнал прогнозов и фактические значения | Управление ёмкостью и производительностью; управление финансами | Прогноз диапазонами по пропускной способности | Раз в квартал |
| Ошибка прогноза | Типичный размер разницы между прогнозом и фактом | медиана абсолютной ошибки и её 85-й перцентиль, где абсолютная ошибка = модуль (прогноз минус факт) / факт, по оценённым прогнозам | процент | Журнал прогнозов и фактические значения | Управление ёмкостью и производительностью | Пересмотр планирования | Раз в квартал |
| Мастерство относительно базового уровня | Улучшение метода прогноза относительно простого базового уровня | 1 минус (медианная абсолютная ошибка метода / медианная абсолютная ошибка базового уровня) по тем же прогнозам | отношение | Журнал прогнозов, журнал базового уровня и факты | Непрерывное улучшение | Экспериментируйте и сравнивайте | Раз в квартал |
| Разрыв калибровки | Разница между заявленной вероятностью и наблюдаемой частотой | для каждой полосы вероятности модуль (заявленная вероятность минус наблюдаемая доля), усреднённый по полосам; полосы с числом случаев меньше заданного сообщаются отдельно | процентные пункты | Журнал вероятностных прогнозов и исходы | Управление рисками; управление изменениями (change enablement) | Ретроспектива об оценках | Раз в квартал |
| Точность и полнота оповещений | Для предиктивного оповещения или оценки: доля верных оповещений и доля пойманных событий | точность = истинно положительные / (истинно положительные + ложноположительные); полнота = истинно положительные / (истинно положительные + ложноотрицательные) | процент | Журнал предсказаний и исходы | Управление инцидентами; управление событиями | Определение готовности для модели | Раз в месяц |
| Сигнал дрейфа прогноза | Рост ошибки со временем относительно опорного периода | медианная абсолютная ошибка в последнем окне минус медианная абсолютная ошибка в опорном окне, с указанными размерами окон | процентные пункты | Журнал прогнозов и фактические значения | Непрерывное улучшение; управление ёмкостью | Инспекция и адаптация | Раз в месяц |
| Связь прогнозов с решениями | Доля прогнозов, процитированных в записанном решении | прогнозы, процитированные в журнале решений / опубликованные прогнозы | процент | Журнал решений и журнал прогнозов | Непрерывное улучшение; управление | Действия по результатам пересмотра | Раз в квартал |
Ошибка прогноза и охват вычисляются только для прогнозов, чей исход известен, поэтому недавние прогнозы исключаются до этого. Точность и полнота зависят от того, как определено событие, поэтому определение события, например «изменение, вызывающее инцидент в течение 48 часов», указывается вместе с метрикой.
Рекомендации
Прогнозируйте честно
1. Публикуйте диапазоны, а не отдельные даты. Давайте интервал с заявленной вероятностью, например «между 12 и 18 рабочими днями, с достоверностью 85 %», и объясняйте допущение за ним. Одно число приглашает к обязательству.
2. Ведите журнал прогнозов. Записывайте каждый прогноз в момент его составления: величину, значение или диапазон, дату, метод и допущения. Добавляйте факт, когда он известен. Без журнала нет истории проверок.
3. Начинайте с простого базового уровня. Сравнивайте любой новый метод с наивным, например значением прошлого периода или недавним средним. Если сложный метод не побеждает его явно со временем, оставьте простой.
4. Указывайте допущения, которые сделали бы прогноз недействительным. Прогноз спроса предполагает отсутствие большого запуска, сбоя, новой группы клиентов. Пишите допущение рядом с числом, чтобы читатель знал, когда не доверять.
Измеряйте качество
5. Проверяйте охват и калибровку. Считайте, как часто исходы попадают в интервал. Если 85-процентный интервал содержит исход только вполовину случаев, он слишком узок. Сообщайте калибровку с числом случаев, поскольку малые выборки шумны.
6. Читайте ошибки как распределение. Медианная ошибка 10 % может прятать редкие промахи в 50 %, которые важнее всего. Показывайте высокий перцентиль и крупнейшие промахи и пересматривайте их.
7. Соотносите меру с ценой решения. Для предиктивного оповещения выбирайте точность или полноту по цене ложной тревоги и пропуска. У оповещения о мошенничестве и малорисковой подсказки маршрутизации разные балансы.
8. Следите за дрейфом. Сравнивайте недавнюю ошибку с опорным периодом и исследуйте рост. Частые причины суть новая услуга, изменённый процесс, новые инструменты или изменение способа записи данных.
Используйте прогнозы хорошо
9. Связывайте прогнозы с решениями. Говорите, какое решение прогноз информирует, и записывайте в журнале решений, что решено. Выводите прогнозы, которыми никто не пользуется.
10. Держите прогнозы вдали от целей для людей. Прогноз объёма инцидентов, ставший квотой для службы, исказит отчётность. Относитесь к прогнозам как к информации о системе.
11. Держите человека подотчётным за действия по предсказаниям. Для моделей, оценивающих элементы, назовите владельца, действие, предпринимаемое по оценке, как человек может её переопределить и как сообщаются ошибки. Пересматривайте ложноположительные и ложноотрицательные на выбранных случаях.
12. Следите за предвзятостью и вредом. Модель, обученная на прошлых решениях, может повторять их предвзятость. Проверяйте результаты по группам пользователей или услуг, которым приходится по-разному, и сообщайте, что проверка показать не может. Эта книга не даёт юридических советов, поэтому проверяйте обязательства у вашего юридического консультанта.
Векторы манипуляции и ограждения
| Метрика | Как её искажают | Парная метрика или практика-ограждение |
|---|---|---|
| Охват интервала прогноза | Расширять интервалы, пока охват не выглядит хорошо; оценивать только лёгкие прогнозы | Сообщать ширину интервала вместе с охватом; оценивать все записанные прогнозы |
| Ошибка прогноза | Пересматривать прогноз прямо перед исходом; выбирать окно оценки | Использовать записанный исходный прогноз; задавать окно заранее |
| Мастерство относительно базового уровня | Выбирать слабый базовый уровень; настраивать метод на данных оценки | Согласовать базовый уровень заранее; оценивать на данных, не использованных для настройки |
| Разрыв калибровки | Использовать мало полос или мало случаев; сливать полосы, чтобы спрятать разрывы | Сообщать число случаев на полосу; минимальные числа случаев |
| Точность и полнота оповещений | Переопределять события постфактум; считать дубликаты | Задавать определение события заранее; убирать дубликаты; выборка оповещений |
| Сигнал дрейфа прогноза | Сбрасывать опорный период; игнорировать медленный дрейф | Зафиксировать опорное окно и пересматривать его по графику |
| Связь прогнозов с решениями | Цитировать прогнозы в журнале без влияния на решение | Спрашивать, что изменилось; выборка записей |
Здоровое чтение есть интервалы, покрывающие заявленную долю исходов без абсурдной ширины, простые базовые уровни, которые сложные методы побеждают с явным отрывом, замеченный и исследованный дрейф и прогнозы, появляющиеся в решениях.
Компромиссы: плюсы и минусы
| Подход | Сильная сторона | Слабая сторона |
|---|---|---|
| Простые базовые прогнозы | Легко объяснять и поддерживать; трудно переобучить | Упускают закономерности и изменения |
| Статистические модели или модели машинного обучения | Улавливают больше закономерностей; масштабируются по элементам | Трудно объяснить; дрейф; нужны мониторинг и данные |
| Точечные прогнозы | Легко сообщать | Ложная точность; приглашают к обязательству |
| Интервальные прогнозы | Честны о неопределённости | Труднее сообщать; могут читаться как расплывчатые |
| Экспертное суждение | Использует контекст, которого нет у модели | Смещено; трудно отслеживать |
Вывод прост: начинайте с простого, ведите журнал, показывайте интервалы и добавляйте сложность, только когда она оправдывает место относительно базового уровня. Суждение и модели могут работать вместе, если оба записываются и проверяются.
Вопросы для обсуждения в команде
1. Каков наш последний прогноз и чем он кончился? Большинство команд не знают, потому что прогнозы не записываются. Попросите число, допущение и факт. Заметьте, пришёл сюрприз из данных или из допущения. В продолжение начните журнал прогнозов с этого примера.
2. Какой прогноз мы трактуем как обязательство и кто платит, когда он неверен? Ищите прогнозы, ставшие целями, например даты поставки или цифры объёма. Спросите, кто чувствует давление и что делает. Обсудите диапазоны и язык, которым их сообщают. В продолжение перепишите одно обязательство как диапазон с допущениями.
3. Побеждает ли наша предиктивная модель или инструмент «как в прошлом периоде»? Попросите сравнение, а не заявление поставщика. У команд часто нет базового уровня. Обсудите, как сравнивать честно на одних и тех же случаях. В продолжение запустите базовый уровень рядом на один квартал.
4. Сколько нам стоит ложная тревога и сколько пропуск? Это задаёт баланс между точностью и полнотой. Попросите реальные примеры. Цены часто различаются для разных людей, например для дежурного инженера и клиента. В продолжение договоритесь, какая ошибка важнее.
5. Что заставило бы наши прогнозы перестать работать и заметили бы мы? Обсудите изменения вроде нового продукта, нового инструмента или иного способа записи данных. Спросите о сигнале, который показал бы дрейф. В продолжение добавьте проверку дрейфа и владельца.
6. Кто действует по предсказанию и может ли он сказать нет? Для оцениваемых элементов спросите, кто решает, что происходит. Ищите автоматические действия без переопределения. Обсудите, как ошибки сообщаются и исправляются. В продолжение запишите правило переопределения.
Четыре точки зрения
Продуктовые команды и команды поставки
Прогнозируйте по собственной истории и давайте диапазоны. Записывайте прогнозы и сравнивайте их с фактами и отмечайте изменения, делающие историю плохим ориентиром, например новый инструмент или смену команды. Держите локальные числа планирования команды вне сравнений между командами.
Команды услуг и эксплуатации
Прогнозы спроса, ёмкости и инцидентов помогают с укомплектованием и профилактикой. Используйте их для планирования, а не для установки квот. Следите за моделями оповещений, повышающими шум, и сообщайте ложноположительные, чтобы модели можно было настроить.
Руководство и управление
Просите историю проверок за прогнозом, а не только его значение, и интервал. Избегайте превращения прогнозов в цели для людей. Для предиктивных моделей, используемых в эксплуатации, просите владельца, правило переопределения и проверку на предвзятость.
Клиенты и пользователи
Вы чувствуете эффект прогнозов как ожидания, сбои и решения, принимаемые о вас. Спрашивайте, как проверяются предсказания, затрагивающие вас, и как вы можете оспорить одно из них. Ваши сообщения о неверных исходах суть часть обратной связи, нужной модели.
На практике: пример из управления услугами
Служба поддержки ИТ региональной государственной организации прогнозирует еженедельный объём заявок для планирования персонала. Числа в этом примере иллюстративны. Инструмент поставщика предлагает прогноз машинного обучения, и менеджер хочет знать, принимать ли его.
Команда начинает журнал прогнозов. В течение десяти недель они записывают по три прогноза на каждую неделю: точечный прогноз поставщика, наивный базовый уровень (среднее последних четырёх недель) и диапазон по недавним ошибкам базового уровня. Затем вычисляют ошибку прогноза для каждого. Медианная ошибка поставщика 11 %, а базового уровня 13 %, так что мастерство относительно базового уровня составляет 15 %. 85-й перцентиль ошибки поставщика 38 %, с крупными промахами в недели с объявлениями организации, которых нет в данных, используемых инструментом.
Команда принимает прогноз поставщика как один из входов, добавляет поле для известных событий и публикует диапазон на основе прошлых ошибок. Охват интервала прогноза для заявленного 85-процентного диапазона составляет около 80 % за десять недель, при малом числе, поэтому они сообщают его с оговоркой, что десять случаев мало. Они также настраивают проверку дрейфа, сравнивающую последние восемь недель ошибки с первыми восемью.
Появляется риск манипуляции. Руководитель команды отмечает, что прогноз используется для укомплектования персонала, и предлагает добавить к прогнозу запас, чтобы команда выглядела хорошо укомплектованной. Команда сохраняет прогноз честным и записывает запас персонала как отдельное решение. Что остаётся трудным: события, которых инструмент не видит, по-прежнему вызывают крупные промахи, а десяти недель данных недостаточно для суждения о калибровке. План состоит в пересмотре через более долгий период.
Agile, ИИ, автоматизация и аналитика
Agile
Короткие циклы планирования позволяют команде часто проверять прогнозы и пересматривать их с заинтересованными сторонами. Хорошая практика есть прогнозирование диапазонами по собственной пропускной способности команды и пересмотр истории проверок на регулярном разговоре об улучшении. Осторожность в том, что прогноз, трактуемый как обещание, ведёт к накидыванию запаса, сокрытию или дроблению работы.
ИИ
Модели машинного обучения и ассистенты ИИ могут выдавать прогнозы и оценки риска с видом точности. Сравнивайте их с базовым уровнем, держите владельца, проверяйте калибровку и доли ложноположительных и ложноотрицательных выборкой и держите человека подотчётным за действия по оценке (см. тему 10.5, Метрики управления ИИ и рисков). Осторожность в том, что порождённый ИИ прогноз может давать уверенное число без интервала и заявленных допущений, поэтому просите и то, и другое.
Автоматизация
Автоматизируйте журналирование прогнозов, сбор фактов и вычисление ошибки и охвата, чтобы история проверок строилась сама. Измеряйте автоматизированные действия по предсказанию по их неверным действиям. Осторожность в том, что автоматизация, действующая по прогнозу, например масштабирование ёмкости или вызов дежурного, делает ошибки прогноза видимыми для пользователей, поэтому добавляйте пределы и пересмотр.
Аналитика
Эта тема есть аналитика прогнозов: показывайте ошибку как распределение, охват со счётами и дрейф с использованным окном. Решение, которое это информирует, состоит в том, насколько доверять прогнозу и когда заменить метод. Осторожность в том, что малые выборки дают нестабильную калибровку, поэтому указывайте число прогнозов за каждой цифрой (см. тему 10.8, Метрики аналитики и качества данных).
Отраслевой взгляд
Стартап. История коротка, а услуга меняется часто, поэтому прогнозы слабы. Используйте простые базовые уровни и широкие диапазоны и ведите короткий журнал. Избегайте покупки инструментов прогнозирования до появления данных.
Малый бизнес. Доминируют сезонность и несколько крупных клиентов. Используйте тот же период прошлого года как базовый уровень и отмечайте события, ломающие закономерность. Будьте осторожны с прогнозами поставщиков, заявляющими точность.
Крупная компания. Много прогнозов в командах требуют общего журнала и определений. Сравнивайте методы честно между командами и избегайте ранжирования команд по точности прогнозов. Пересматривайте модели на дрейф по графику.
Государство и публичный сектор. Прогнозы часто поддерживают бюджетные решения и решения об укомплектовании, являющиеся публичными. Документируйте методы и допущения и проверяйте правила автоматизированных решений, затрагивающих людей. Планируйте внешние события вроде изменений политики, ломающих данные (см. тему 8.5, Регулируемая и государственная отчётность).
Бизнес-обоснование: мотивы, ROI и TCO
Затраты суть работа с данными, журналирование прогнозов, инструменты моделирования, если они используются, время на рецензирование и мониторинг моделей на дрейф. Начало с журнала и наивного базового уровня стоит очень мало.
Отдача есть лучшее планирование: ёмкость, приходящая до нужды, укомплектование, соответствующее спросу, и меньше сюрпризов. Её трудно атрибутировать, поэтому избегайте заявления цифры. Сравнивайте цену и ошибку метода прогнозирования с базовым уровнем во времени и указывайте допущения диапазонами (см. тему 7.7, Возврат инвестиций и бизнес-обоснование). Сторона риска есть цена чрезмерной опоры на модель, которая дрейфовала, и решений на ложной точности.
Антипаттерны и ловушки
- Прогнозы одним числом, трактуемые как обещания. Они порождают накидывание запаса и обвинения. Публикуйте диапазоны с допущениями.
- Нет журнала прогнозов. Учиться нечем. Записывайте прогнозы и факты.
- Покупка модели без базового уровня. Выигрыш неизвестен. Сравнивайте с «как в прошлом периоде».
- Суждение о точности по обучающим данным. Это льстит модели. Оценивайте на более поздних данных.
- Игнорирование ложноположительных. Шумные предсказания учат людей их игнорировать. Сообщайте точность и полноту.
- Прогнозы как цели для людей. Они искажают данные. Используйте их для планирования.
- Нет проверки дрейфа. Модели тихо разлагаются. Мониторьте ошибку во времени.
- Предсказания без владельца-человека. Неверным действиям не перед кем отвечать. Назовите владельца и правило переопределения.
Модель зрелости
| Измерение | Инициирование | Развитие | Стандартизация | Управление | Оркестрация |
|---|---|---|---|---|---|
| Практика прогнозирования | Отдельные числа; нет записи | Некоторые диапазоны; неформальные заметки | Журнал прогнозов с диапазонами, допущениями и фактами | Ошибка, охват и базовый уровень сравниваются по графику | Прогнозы и методы улучшаются экспериментами и разделяются между командами |
| Предиктивные модели | Заявления поставщика принимаются | Пилот сравнивается с базовым уровнем | Владелец, оценка и правило переопределения на модель | Дрейф, точность и полнота мониторятся | Жизненный цикл модели управляется с надзором и выводом |
| Использование в решениях | Прогнозы как обязательства | Прогнозы показываются принимающим решения | Прогнозы связаны с решениями в журнале | Решения пересматриваются относительно исходов прогнозов | Решения адаптируются к неопределённости прогноза |
Контрольный список
- Журнал прогнозов записывает величину, значение или диапазон, дату, метод и допущения.
- Факты добавляются, а ошибка прогноза сообщается как распределение.
- Простой базовый уровень запускается рядом с любым сложным прогнозом.
- Охват интервала сообщается вместе с шириной интервала и числом случаев.
- Предиктивные оповещения сообщают точность и полноту по зафиксированному определению события.
- Дрейф проверяется относительно зафиксированного опорного окна.
- У каждой предиктивной модели есть владелец, правило переопределения и дата пересмотра.
- Прогнозы связаны с решениями в журнале решений.
- Прогнозы не используются как индивидуальные цели.
- У каждой метрики есть вектор манипуляции и ограждение, показанные рядом.
Промпты для ИИ
Спроектируйте журнал прогнозов и базовый уровень.
We forecast [quantity] for [purpose]. Our data is [description of history and
source]. Propose a forecast log with fields, a simple baseline method, and how to
compute error and interval coverage later. Do not invent expected accuracy.
Mark assumptions, and list questions I should answer about the data.
Оцените метод прогноза относительно базового уровня.
Below are logged forecasts and actuals for [period]: [paste data without personal
information], with a baseline forecast alongside. Compute the median and 85th
percentile of absolute percentage error for each, interval coverage if intervals
are given, and the skill against the baseline. Do not extrapolate beyond the
data. State the number of cases, say what you could not judge, and list your
assumptions.
Рецензируйте надзор за предиктивной моделью.
We use a model that [describes what it predicts and what action follows]. Draft
a review of its oversight: owner, evaluation evidence we should ask for, how
errors are reported, the override rule, drift checks, and questions about bias.
Do not make claims about legal requirements; list questions for our legal
adviser. Mark assumptions.
Проверьте риск манипуляции мерами прогнозирования.
We report these forecast measures: [paste measures and definitions]. Context:
[team size, tools, audience]. For each measure, list realistic ways it could look
better without improving forecasts, propose a guardrail, and say how that
guardrail could be gamed. Do not invent benchmark values. List your assumptions.
Навыки ИИ
- Прогнозирование спроса: используйте, чтобы построить и проверить прогноз спроса диапазонами.
- Анализ трендов: используйте, чтобы изучить тренды и изменения до прогнозирования.
- Карточка модели машинного обучения: используйте, чтобы документировать назначение, данные и пределы предиктивной модели.
- Service Management Metrics skill: используйте, чтобы найти тему, охватывающую метрику, и её парное ограждение.
Главные выводы
- Прогноз есть диапазон с историей проверок, поэтому записывайте прогнозы и сравнивайте их с фактами.
- Сравнивайте любую модель с простым базовым уровнем и оставляйте сложную, только если она явно его побеждает.
- Проверяйте охват интервала и калибровку с числом случаев за ними.
- Выбирайте точность или полноту по цене ложной тревоги и пропуска.
- Не превращайте прогнозы в цели для людей и держите человека подотчётным за действия по предсказанию.
Источники и дополнительное чтение
- Wikipedia, Прогнозирование.
- Wikipedia, Интервал предсказания.
- Wikipedia, Машинное обучение.
- Wikipedia, Дрейф концепции.
- Wikipedia, Точность и полнота.
- Wikipedia, Планирование ёмкости.
- Hyndman, R. J., and Athanasopoulos, G., Forecasting: Principles and Practice, 3rd edition, OTexts, 2021, https://otexts.com/fpp3/