Метрики ёмкости и производительности
Измеряйте, насколько заполнена услуга, насколько медленны её самые медленные запросы и сколько запаса остаётся, прежде чем пользователи заметят, затем прогнозируйте спрос диапазонами, чтобы ёмкость появлялась раньше потребности, а не после жалобы.
Обзор и мотивация
Доступность говорит, отвечает ли услуга. Ёмкость и производительность говорят, насколько хорошо она отвечает и как долго будет продолжать, пока растёт спрос. Страница оформления заказа, отвечающая за восемь секунд, «работает» по большинству определений доступности и «сломана» по определению любого клиента. База данных, заполненная на 95 %, сегодня здорова, а в следующем месяце есть сбой. Эта тема охватывает меры, закрывающие эти разрывы.
Планирование ёмкости есть практика определения ресурсов, нужных услуге для удовлетворения меняющегося спроса. В ITIL 4 это место практики управления ёмкостью и производительностью, цель которой обеспечить, чтобы услуги достигали согласованной и ожидаемой производительности и экономически эффективно удовлетворяли текущий и будущий спрос. Практика описывает это на трёх уровнях: бизнес (чего организация потребует от своих услуг), услуга (как услуга ведёт себя под нагрузкой) и компонент (как ведёт себя каждый сервер, база данных, сетевой канал или очередь). Меры этой темы в основном работают на уровнях услуги и компонента, и им нужен вход с уровня бизнеса, чтобы что-либо прогнозировать.
Инженерия надёжности сайтов (SRE) считает задержку, трафик, ошибки и насыщение четырьмя сигналами, достойными наблюдения в любой системе, обращённой к пользователям, и привязывает цели производительности к целям уровня услуги (см. тему 5.2, SLI, SLO и бюджеты ошибок). Команды Agile встречают ёмкость как вопрос поставки: сможет ли следующий релиз выдержать ожидаемую нагрузку и кто владеет ответом? Отношение к производительности как к критерию приёмки, проверяемому в конвейере, переносит разговор раньше.
В этой теме повторяются несколько терминов. Загрузка (utilization) есть доля ёмкости ресурса, используемая за интервал, например доля занятого времени процессора. Насыщение (saturation) есть объём работы, ждущей из-за того, что ресурс полностью занят, например длина очереди на выполнение или бэклог запросов. Загрузка говорит, насколько занят ресурс. Насыщение говорит, стоит ли работа в очереди за ним, а очереди есть то, что чувствуют пользователи. Задержка есть время между запросом и ответом. Пропускная способность есть скорость, с которой услуга завершает работу, например запросов в секунду. Запас (headroom) есть разрыв между текущей пиковой нагрузкой и нагрузкой, при которой услуга перестаёт выполнять свои цели. Спрос есть работа, которую пользователи и бизнес просят у услуги, а это не то же самое, что работа, которую она завершает: перегруженная услуга завершает меньше, чем просили.
Одно свойство очередей объясняет, почему эти меры ведут себя так. Теория массового обслуживания показывает, что для услуги со случайными поступлениями время ожидания растёт медленно, пока загрузка умеренна, а затем круто поднимается по мере приближения загрузки к полной. Закон Литтла связывает среднее число запросов в системе со скоростью поступления и средним временем, которое каждый там проводит. Ресурс с высокой средней загрузкой находится близко к обрыву. Точная форма кривой зависит от услуги, поэтому находите её, испытывая собственную систему нагрузочным тестированием, а не заимствуя порог из общей статьи.
Задержке нужна особая осторожность, потому что среднее прячет важный опыт. Перцентиль задаёт значение, ниже которого падает заявленная доля наблюдений: 95-й перцентиль (p95) есть задержка, которую 95 % запросов побеждают. Хвостовая задержка склонна доминировать в системах, где одно действие пользователя разворачивается во множество внутренних вызовов. Сообщайте перцентили, а не одно среднее (см. тему 1.6, Статистическая грамотность для метрик услуг, и тему 3.3, Время реагирования на инциденты и их устранения, приводящую тот же довод для времени решения).
Наконец, ёмкость зависит от прогнозирования спроса, а у спроса есть закономерности: суточные циклы, недельные циклы и сезонность, привязанная к календарю, кампаниям и запускам продуктов. Автомасштабирование меняет ощущение, поскольку облачные платформы могут добавить ресурсы за минуты, но тему не снимает. У автомасштабирования есть пределы, задержка, цена и зависимости, которые не масштабируются, такие как база данных или сторонний интерфейс. Сторона затрат принадлежит FinOps (см. тему 7.6, Метрики FinOps и затрат на облако).
Соседние темы охватывают арифметику доступности (см. тему 5.3, Метрики доступности), проектирование оповещений (см. тему 5.5, Метрики мониторинга и качества оповещений) и нагрузку ротации (см. тему 5.7, Рутинная работа и метрики дежурств). Здесь предмет есть собственные ресурсы услуги и время ответа.
Ключевые принципы
- Измеряйте насыщение так же, как загрузку. Загрузка показывает, насколько занят ресурс, а насыщение показывает, ждёт ли работа. Пользователи переживают ожидание.
- Сообщайте задержку как распределение. Используйте перцентили по каждой пользовательской операции и держите медленный хвост видимым. Среднее перекошенного распределения описывает почти никого.
- Привязывайте цели к опыту пользователей. Порог осмыслен, когда прослеживается до чего-то, что важно пользователю или бизнесу, а не до того, что инструмент случайно рисует.
- Планируйте диапазонами и пересматривайте их. Прогноз есть диапазон с заявленными допущениями. Сравнивайте его с тем, что произошло, и учитесь на ошибке.
- Знайте свои пределы по испытаниям. Ёмкость есть гипотеза, пока реалистичный нагрузочный тест её не подтвердит. Повторяйте тест после значимых изменений.
- Описывайте системы, никогда людей. Эти меры принадлежат услугам, компонентам и командам. Они никогда не система показателей для отдельных людей.
- Взвешивайте цену против риска. Запасная ёмкость стоит денег, а недостающая ёмкость стоит клиентов. Сделайте компромисс видимым, чтобы он выбирался, а не складывался сам.
Определения метрик
Таблица перечисляет семь мер. Часы и границы указаны в каждой формуле. Меры на основе перцентилей используют фиксированное окно, указанное в реестре, и вычисляются из сырых наблюдений или гистограмм, никогда как среднее средних.
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность |
|---|---|---|---|---|---|---|---|
| Загрузка ресурса | Доля ёмкости ресурса, используемая за интервал, сообщаемая как высокий перцентиль ряда интервалов | занятая ёмкость / полная ёмкость, на интервал от 1 до 5 минут; сообщайте медиану и 95-й перцентиль за окно пересмотра; окна обслуживания, когда ресурс слит, исключаются | процент | Мониторинг инфраструктуры и метрики облачной платформы | Управление ёмкостью и производительностью; мониторинг и управление событиями | Эксплуатационные критерии приёмки в определении готовности; ресурсные сигналы SRE | Раз в неделю |
| Насыщение | Объём работы, ждущей ресурс, который полностью занят | длина очереди, очередь на выполнение, ожидающие запросы или задушенные запросы, на интервал; сообщайте 95-й перцентиль и долю интервалов с любым ожиданием; интервалы без спроса исключаются | число или процент интервалов | Телеметрия приложений и инфраструктуры | Управление ёмкостью и производительностью; мониторинг и управление событиями | Сигнал насыщения SRE; ограничение работы в процессе на очереди услуги | Раз в неделю |
| Перцентиль задержки | Время ответа на запрос для одной пользовательской операции, сообщаемое на медиане, p95 и p99 | время ответа от получения запроса на краю до отправки последнего байта, на успешный запрос; неудавшиеся запросы сообщаются как ошибки, а не как быстрые ответы; измеряется по скользящему окну | миллисекунды | Логи балансировщика нагрузки или шлюза, трассировка, мониторинг реальных пользователей | Управление уровнями услуг; управление ёмкостью и производительностью | Индикатор задержки SRE и цель уровня услуги | Непрерывно, пересматривается раз в неделю |
| Запас | Оставшаяся нагрузка, которую услуга может нести, прежде чем нарушит свои цели | (испытанная или смоделированная нагрузка отказа минус текущая пиковая нагрузка) / текущая пиковая нагрузка; пик есть самый загруженный час в окне; нагрузка отказа есть нагрузка, при которой цель по задержке впервые нарушается в испытании, а не предел оборудования | процент или дни при текущем росте | Результаты нагрузочных тестов и телеметрия трафика | Управление ёмкостью и производительностью; управление уровнями услуг | Нефункциональные требования и тесты производительности в конвейере | Раз в месяц и перед крупными запусками |
| Ошибка прогноза | Разница между прогнозным и фактическим спросом за период | абсолютное (прогнозный пик минус фактический пик) / фактический пик, для заявленного горизонта; прогноз замораживается в начале горизонта и не пересматривается позже; незапланированные разовые события перечисляются, а не убираются | процент | Реестр прогнозов и телеметрия трафика | Управление ёмкостью и производительностью; связанное со спросом планирование в управлении финансами услуг | Прогнозирование релизов и дорожной карты; прогнозирование спроса SRE | Раз в квартал |
| Время выполнения ёмкости | Время, нужное, чтобы ввести новую ёмкость в работу после принятия потребности | часы запускаются, когда запрос на ёмкость одобрен, и останавливаются, когда ёмкость несёт трафик продуктива; сообщайте медиану и 85-й перцентиль; отменённые запросы исключаются | дни | Записи запросов в инструменте ITSM, записи об изменениях, логи подготовки | Управление ёмкостью и производительностью; управление запросами на обслуживание; управление изменениями (change enablement) | Время выполнения элемента бэклога платформы (см. тему 2.2, Время выполнения, время цикла и эффективность потока) | Раз в квартал |
| Охват тестами производительности | Доля критических услуг с недавним реалистичным нагрузочным тестом | критические услуги с пройденным нагрузочным тестом моложе заявленного возраста, на репрезентативной среде и нагрузке / критические услуги в реестре; предел возраста записан | процент | Хранилище результатов тестов и реестр услуг | Управление ёмкостью и производительностью; управление релизами | Нефункциональные тесты в конвейере непрерывной поставки | Раз в квартал |
Вместе они отвечают на четыре вопроса: насколько заполнено, насколько медленно, сколько осталось места и как быстро мы можем ответить, когда ответ меняется.
Рекомендации
Начинайте с пользователя, затем с ресурса
1. Выберите немногие операции, важные пользователям, и измеряйте их. У услуги сотни конечных точек и горстка путей, которые важны, например вход, поиск, оплата и скачивание выписки. Договоритесь о них с владельцами продукта и клиентами и задайте ожидание по задержке для каждой. Они естественно связываются с индикаторами уровня услуги (см. тему 5.2, SLI, SLO и бюджеты ошибок).
2. Парьте каждый график ресурса с графиком насыщения. Показ одной загрузки процессора приглашает ложное спокойствие «он достиг лишь 70 %». Добавьте рядом очередь, ожидающие запросы или счёт задушенных. Когда насыщение появляется, прежде чем загрузка выглядит тревожной, вы нашли настоящее ограничение, и оно часто не тот ресурс, за которым вы следили, а, например, пул соединений, лимит потоков или ограничение скорости на интерфейсе партнёра.
3. Предпочитайте загруженный хвост тихому среднему. Средние за сутки смешивают глухую ночь с обеденным пиком. Смотрите на самый загруженный период и записывайте дату и причину худших интервалов. Вопрос планирования в том, как услуга ведёт себя в худший ожидаемый час.
Сообщайте задержку честно
4. Публикуйте перцентили по операциям и называйте окно. Указывайте медиану, p95 и p99 по каждой важной операции за скользящее окно и говорите, какие запросы включены. Никогда не усредняйте перцентили по серверам или операциям, потому что результат не соответствует опыту никакого реального пользователя; вместо этого объединяйте гистограммы или сырые наблюдения. Если выборка мала, скажите об этом, поскольку p99 из нескольких сотен запросов есть шумное число (см. тему 1.6, Статистическая грамотность для метрик услуг).
5. Измеряйте там, где пользователь, так же как там, где сервер. Серверные замеры не учитывают сеть, браузер и устройство. Добавьте мониторинг реальных пользователей или синтетические проверки, чтобы отличать медленный бэкенд от медленной последней мили.
6. Считайте ошибки и тайм-ауты вместе с задержкой, а не вместо неё. Услуга, быстро падающая, выглядит быстрой на графике задержки, а услуга, уходящая в тайм-аут, выглядит медленной по неверной причине. Сообщайте долю ошибок вместе с перцентилем задержки, чтобы быстрый сбой не льстил результату.
Найдите пределы, затем оставьте место
7. Испытывайте точку отказа намеренно. Запускайте нагрузочные тесты, воспроизводящие реалистичную смесь операций, наращивайте нагрузку и отмечайте, где цель по задержке впервые нарушается и какой ресурс насыщается первым. Испытывайте на среде, похожей на продуктив в важных отношениях, и записывайте, в чём она не похожа. Неудавшийся тест в безопасном месте есть самый дешёвый инцидент, который у вас будет (см. тему 4.5, Метрики релизов и развёртывания, о внедрении проверок в конвейер).
8. Задайте запас как политику и пересматривайте его как компромисс. Решите, какой запас услуга держит над ожидаемым пиком и почему. Критические услуги, обращённые к клиентам, оправдывают больше, внутренние пакетные услуги меньше. Цифра есть бизнес-выбор о цене и риске, поэтому записывайте обоснование и пересматривайте его, когда меняется цена сбоя или цена ёмкости. Не копируйте число из другой организации.
Прогнозируйте спрос с теми, кто его знает
9. Спросите бизнес, что грядёт, и запишите прогноз. Маркетинговые кампании, новые клиенты, регуляторные сроки и сезонные события меняют спрос задолго до того, как это покажет трафик. Ведите короткий реестр прогнозов с датой, допущениями, диапазоном, владельцем и источником каждого входа. Прогноз в виде диапазона, например низкий, ожидаемый и высокий случаи, честнее одного числа и полезнее для решения, сколько покупать.
10. Оценивайте прогноз и используйте ошибку, чтобы улучшать его. После каждого периода сравнивайте замороженный прогноз с тем, что произошло, используя ошибку прогноза, и перечисляйте причины больших промахов. Частые причины: необъявленная кампания, изменение поведения пользователей и сместившаяся зависимость. Цель не нулевая ошибка, она недостижима, а узнать, какие входы надёжны, и расширять диапазон там, где нет.
Сделайте добавление ёмкости лёгким
11. Сократите время выполнения ёмкости, прежде чем гнаться за точностью. Если новая ёмкость приходит неделями, вам придётся прогнозировать далеко вперёд и держать больше запаса. Если за минуты, вы можете работать ближе к потребности. Посмотрите на шаги между «одобрено» и «несёт трафик», такие как закупка, одобрение, подготовка, настройка и тестирование, и уберите самые долгие ожидания первыми (см. тему 4.3, Метрики управления изменениями). В терминах ITIL это выбор стратегии ёмкости: опережать спрос, соответствовать ему или отставать; выбирайте сознательно, по услугам.
12. Относитесь к автомасштабированию как к системе, которую надо измерять. Записывайте, как часто срабатывает масштабирование, сколько времени новая ёмкость становится полезной, как часто упирается в заданный максимум и во что обходится. Автомасштабировщик, упёршийся в предел, есть план ёмкости, уже потерпевший неудачу. Пересматривайте это вместе с видом затрат, чтобы производительность и расходы обсуждались вместе (см. тему 7.5, Стоимость услуг и удельная экономика).
Векторы манипуляции и ограждения
| Метрика | Как её искажают | Парная метрика или практика-ограждение |
|---|---|---|
| Загрузка ресурса | Усреднять по длинным интервалам, чтобы спрятать пики; считать простаивающую зарезервированную ёмкость «используемой»; сообщать только самые тихие ресурсы | 95-й перцентиль в часы пик рядом со средним; мера насыщения; список ресурсов в области сверяется с картой услуг |
| Насыщение | Поднимать лимиты очередей, чтобы ничего не сообщалось как отклонённое или задушенное; переносить ожидание в другую очередь, которая не измеряется | Перцентиль задержки и доля ошибок для той же операции; сквозное время в очереди, а не одной стадии; пересмотр всех очередей на пути |
| Перцентиль задержки | Сообщать только среднее или медиану; убирать медленные или неудавшиеся запросы из выборки; измерять из быстрого внутреннего места; исключать «выбросы» | p95 и p99 всегда показаны; доля ошибок и тайм-аутов показана рядом с задержкой; мониторинг реальных пользователей сравнивается с серверными замерами; показан сырой размер выборки |
| Запас | Выбирать мягкую нагрузку теста; испытывать более крупную среду, чем продуктив; определять точку отказа как предел оборудования | Нагрузка теста сверяется с формой продуктивного трафика; письменный список отличий теста от продуктива; запас повторно проверяется после значимых изменений |
| Ошибка прогноза | Пересматривать прогноз задним числом; задавать очень широкие диапазоны, чтобы любой исход был «в диапазоне»; убирать месяцы с сюрпризами как «незапланированные события» | Прогноз заморожен и датирован в реестре; ширина диапазона сообщается с ошибкой; каждое исключённое событие перечислено и пересмотрено |
| Время выполнения ёмкости | Запускать часы позже, откладывая записи об одобрении; закрывать запросы при размещении заказа, а не когда ёмкость несёт трафик; делить запросы | Часы определены от одобрения до несения трафика; выборка закрытых запросов сравнивается с логами подготовки; число повторно открытых запросов |
| Охват тестами производительности | Запускать тривиальный тест ради заявления об охвате; сокращать список критических услуг; держать в учёте старый пройденный тест | Возраст теста и реалистичность нагрузки записаны; список критических услуг сверяется с каталогом услуг и историей инцидентов; неудавшиеся тесты сообщаются так же, как пройденные |
Здоровое чтение показывает загрузку с видимыми суточными циклами и запасом, насыщение, появляющееся редко и ненадолго, перцентили задержки, стабильные или улучшающиеся в самые загруженные часы, и ошибку прогноза, которая известна и медленно сокращается. Здоровый признак в том, что сюрпризы обсуждаются вместе с причинами. Идеальные числа должны вызывать подозрение, потому что обычно означают мягкое измерение.
Компромиссы: плюсы и минусы
| Подход | Сильная сторона | Слабая сторона |
|---|---|---|
| Работа с щедрым запасом | Поглощает сюрпризы; защищает задержку и доступность | Выше цена; прячет неэффективность и слабое прогнозирование |
| Работа впритык с быстрым автомасштабированием | Ниже цена; ёмкость следует за спросом | Зависит от скорости и пределов масштабирования; зависимости могут не масштабироваться; труднее рассуждать во время инцидента |
| Цели по перцентилям задержки | Отражают, каково медленным запросам; устойчивы к трюкам с усреднением | Нужно больше данных и крупнее выборки; шумны на высоких перцентилях для услуг с малым трафиком |
| Только средняя или медианная задержка | Проста и стабильна | Прячет хвост, который порождает жалобы и отток |
| Синтетические нагрузочные тесты | Контролируемы, воспроизводимы, безопасны | Реалистичны лишь настолько, насколько модель нагрузки и среда |
| Продуктивная телеметрия как основа | Отражает реальное поведение и реальную смесь | Выявляет пределы только после их достижения; не может зондировать за пределами текущего спроса |
| Подробные модели прогнозирования | Улавливают сезонность и рост | Требуют данных и навыка; ложное ощущение точности, когда входы слабы |
| Простые диапазоны, согласованные с бизнесом | Легко объяснить и обновить; фокус на допущениях | Грубее; зависят от честного входа от бизнеса |
Выбирайте самый лёгкий метод, поддерживающий решение. Для большинства услуг достаточно еженедельного взгляда на загрузку в часы пик, насыщение и перцентили задержки, нагрузочного теста перед крупными изменениями и ежеквартального пересмотра прогноза. Добавляйте моделирование там, где цена ошибки велика.
Вопросы для обсуждения в команде
1. Какие три пути пользователей важнее всего и какого времени ответа ждут пользователи для каждого? Попросите группу назвать пути, затем сравните с тем, что рисуют панели. Ведущему стоит добиваться ожидания, прослеживаемого до пользователя или клиента, а не инженерного предпочтения.
2. Где наша услуга близка к обрыву и откуда мы знаем? Ищите ресурсы вроде пулов соединений, лимитов потоков или ограничения скорости партнёра. Спросите, когда каждый в последний раз испытывался до точки отказа. Если никто не знает, это первая работа.
3. Как мы сообщаем задержку сегодня и что сказал бы самый медленный один процент пользователей? Покажите среднее, медиану, p95 и p99 для одной операции рядом и обсудите разрыв. Спросите, какие запросы исключены и почему и считаются ли неудавшиеся запросы.
4. Какой запас мы держим, кто его выбрал и когда мы в последний раз пересматривали выбор? Обсудите цену запаса и цену сбоя в самый загруженный день. Договоритесь о дате пересмотра и о свидетельствах, которые изменили бы запас.
5. Насколько хороши были наши последние три прогноза спроса и чему мы научились? Сравните датированные прогнозы с фактом и причинами больших промахов. Спросите, что знал бизнес, а эксплуатация не получила. Решите добавить в реестр прогнозов один вход, например маркетинговый календарь или график запусков.
6. Если бы нам понадобилась вдвое большая ёмкость в следующем месяце, что нас остановило бы? Перечислите каждый шаг от запроса до трафика продуктива и отметьте, где он ждёт. Включите закупку, одобрения, лицензирование и зависимости, которые не масштабируются. Ведущему стоит искать самое долгое ожидание, не техническое, поскольку им часто бывает одобрение или контракт. Договоритесь сократить один шаг и измерьте эффект через время выполнения ёмкости.
Четыре точки зрения
Продуктовые команды и команды поставки
Включайте ожидание производительности в критерии приёмки функций, затрагивающих загруженные пути, запускайте нагрузочный тест в конвейере, где практично, и рано сообщайте эксплуатации о запусках. Следите за привычкой считать производительность поздней задачей «закалки», превращающейся во внеплановую работу (см. тему 2.9, Операционная и внеплановая работа).
Команды услуг и эксплуатации
Команды эксплуатации владеют телеметрией, планом ёмкости и реакцией, когда достигнут предел. Им нужны насыщение и хвостовая задержка на панелях, которыми они действительно пользуются, реестр прогнозов, общий с бизнесом, и результаты тестов, которым доверяют. Им следует записывать каждый инцидент, связанный с ёмкостью, с причиной (см. тему 4.1, Метрики управления проблемами, и тему 3.4, Метрики крупных инцидентов).
Руководство и управление
Руководители решают, сколько риска и цены принимает организация, и политика запаса есть место, где это решение проявляется. Просите перцентили задержки и запас по каждой критической услуге с ошибкой прогноза рядом и относитесь к запросам на ёмкость как к инвестиционным решениям, несущим свидетельства. Органам управления следует сопротивляться единой для всей организации цели по загрузке, которая толкает каждую услугу в одну и ту же точку на обрыве.
Клиенты и пользователи
Клиенты чувствуют медлительность как ненадёжность, задолго до изменения какого-либо числа доступности. Формулируйте производительность в терминах перцентилей при заявленной нагрузке и делитесь тем, как услуга справляется с пиковыми периодами (см. тему 5.1, Метрики SLA, OLA и XLA, и тему 6.2, Соглашения об уровне опыта).
На практике: пример из управления услугами
Интернет-магазин среднего размера ведёт витрину, платёжную услугу и услугу заказов, каждую во владении продуктовой команды, а платформенная команда обеспечивает общую инфраструктуру. Все числа в этом примере иллюстративны.
Еженедельный пересмотр платформенной команды показывает поиск по витрине с медианной задержкой 180 миллисекунд и p95 420 миллисекунд, оба в пределах цели, и загрузку процессора на 95-м перцентиле часов пик 58 %. За три недели до запланированной распродажи руководитель поддержки сообщает, что клиенты говорят, что сайт «ползёт» во время вечерних кампаний. Панель зелёная.
Команда смотрит на p99 поиска в самый загруженный час предыдущей распродажи и находит 3,1 секунды при цели по p99 в 1,5 секунды. Насыщение рассказывает остальное: пул соединений к базе данных продуктов показывает ожидающие запросы в 14 % одноминутных интервалов в пик, тогда как загрузка процессора никогда не превышала 60 %. Ограничением никогда не был процессор. Им был лимит пула, заданный, когда трафик составлял треть сегодняшнего.
Владелец продукта и руководитель платформы запускают нагрузочный тест на 1,5 пика прошлого года, используя продуктивную смесь операций. Тест показывает, что цель по p99 нарушается при 1,15 пика прошлого года, так что запас составляет 15 % при политике в 40 % для услуг, обращённых к клиентам. Маркетинговый календарь предполагает спрос в 1,6 пика прошлого года в день открытия. Старый прогноз, замороженный в реестре, ставил диапазон от 1,2 до 1,4, а ошибка относительно прошлогодней распродажи составила 22 %, в основном из-за необъявленной email-кампании.
Решение, записанное в журнале решений, состоит из четырёх частей. Первое: поднять лимит пула и добавить реплики для чтения и повторно проверить. Второе: добавить контрольный список готовности к распродаже в процесс релизов, чтобы кампании попадали в реестр прогнозов не позднее чем за шесть недель. Третье: добавить p99 и насыщение пула в еженедельный пересмотр. Четвёртое: согласовать с финансами цену дополнительной ёмкости на окно распродажи, используя масштабирование по расписанию вместо круглогодичного запаса.
После изменений второй тест показывает, что цель по p99 держится до 1,8 пика прошлого года. Риск манипуляции проявился во время пересмотра. Подрядчик предложил «быструю победу»: исключить из отчёта о задержке запросы медленнее 5 секунд на том основании, что это выбросы. Команда отказалась: исключаемые запросы были как раз теми клиентами, что жаловались. Ограждением стало держать долю ошибок и тайм-аутов рядом с каждым перцентилем задержки и записывать размер выборки. Во время распродажи p99 достигает пика 1,2 секунды, насыщение пула остаётся ниже 1 % интервалов, а ошибка прогноза составляет 9 % и записана в реестре с причиной оставшегося промаха.
Agile, ИИ, автоматизация и аналитика
Agile
Планируйте ёмкость короткими циклами с продуктовыми заинтересованными сторонами, используя прогнозы как диапазоны, обновляемые данными. Осторожность в том, что избыточное выделение ради защиты главной цифры тратит деньги впустую.
ИИ
Нагрузки ИИ, такие как вывод моделей, имеют переменный и иногда дорогой спрос, а функции ИИ могут быстро менять характер использования. Отслеживайте перцентили задержки и цену на запрос для путей ИИ и парьте их с качеством ответа. Осторожность в том, что настройка на скорость может снизить качество ответа, поэтому измеряйте оба.
Автоматизация
Собирайте загрузку и задержку автоматически и автоматизируйте масштабирование в пределах. Измеряйте масштабирование по колебаниям и по цене, которую оно добавляет. Осторожность в том, что автомасштабирование прячет насыщение, пока не достигнуты пределы, поэтому отслеживайте запас, а не только текущую нагрузку.
Аналитика
Показывайте перцентильную задержку и запас с диапазонами прогноза и историей ошибки прогноза. Решение, которое это информирует, состоит в том, когда добавлять ёмкость. Осторожность в том, что прогнозы по короткой истории хрупки, поэтому указывайте интервал.
Отраслевой взгляд
Стартап. Трафик мал, а рост неопределён, поэтому дешёвые меры побеждают изощрённые. Отслеживайте перцентили задержки для двух-трёх путей, приносящих деньги, следите за насыщением на базе данных и запускайте простой нагрузочный тест перед запусками. Задайте оповещение о расходах, чтобы ошибка или всплеск трафика не превратились в счёт.
Малый бизнес. Услуги часто размещены или куплены, поэтому ёмкость есть дело поставщика. Просите у поставщика отчёты о производительности и ёмкости письменно, узнайте, что контракт говорит о пиковых периодах, и следите за видом клиента несколькими синтетическими проверками. Отслеживайте запас на единственной системе, без которой бизнес не может обойтись.
Крупная компания. Многие услуги делят инфраструктуру, поэтому проблемы ёмкости проявляются не там. Вкладывайтесь в карту услуг, связывающую услуги с используемыми компонентами, общий процесс прогнозирования с бизнес-подразделениями и общие определения перцентилей задержки между командами. Задавайте политику запаса по критичности услуги.
Государство и публичный сектор. Спрос формируется сроками, установленными законом, такими как даты подачи налоговых деклараций, заявлений на пособия и выборы, и сбой в эти даты публичен. Прогнозам следует использовать законодательный календарь, а ёмкость под пик, возможно, придётся законтрактовать за месяцы. Сроки закупок удлиняют время выполнения ёмкости, поэтому измеряйте их и планируйте вокруг них. Публичные отчёты о производительности услуг должны указывать перцентиль и условия нагрузки (см. тему 8.5, Регулируемая и государственная отчётность).
Бизнес-обоснование: мотивы, ROI и TCO
У цены четыре части. Первая: инструментирование, то есть телеметрия и её хранение. Вторая: тестирование, то есть репрезентативная среда и модели нагрузки, которые нужно поддерживать. Третья: рутина планирования, то есть ведение реестра прогнозов и ежеквартальный пересмотр ошибки. Четвёртая: сама запасная ёмкость, часто крупнейшая статья расходов и та, что больше всего стоит явного показа.
Отдача приходит от меньшего числа инцидентов, связанных с ёмкостью, лучших решений о том, когда покупать, а когда нет, и сэкономленных расходов на ёмкость, которая по данным не нужна. Не обещайте процентную экономию заранее. Вместо этого измеряйте собственную картину: число инцидентов с причиной в ёмкости за квартал, долю пиков, потребовавших срочных действий, расходы на простаивающую ёмкость относительно согласованной политики запаса и тренд ошибки прогноза. Книга Google SRE рассматривает надёжность как экономическое решение.
В общей стоимости владения доминируют люди и тестовая среда. Малая команда может начать с существующего мониторинга, еженедельного пересмотра и одного нагрузочного теста для самого важного пути.
Антипаттерны и ловушки
- Сообщение средней загрузки как всей истории ёмкости. Среднее прячет пик и обрыв. Сообщайте высокий перцентиль часов пик и меру насыщения.
- Средняя задержка на панели для руководства. Хвост порождает жалобы. Показывайте p95 и p99 с долей ошибок и размером выборки.
- Исключение «выбросов» из задержки. Самые медленные запросы суть реальные пользователи. Сохраняйте их и расследуйте причину вместо обрезки данных.
- Усреднение перцентилей по серверам. Результат описывает никого. Объединяйте гистограммы или сырые наблюдения перед вычислением перцентиля.
- Планы ёмкости, построенные только по трафику прошлого года. Спрос зависит от бизнес-событий. Включайте бизнес-календарь и пересматривайте ошибку прогноза.
- Тестирование на среде, не похожей на продуктив. Пройденный результат даёт ложную уверенность. Записывайте различия и вводите поправки либо безопасно тестируйте в продуктиве.
- Использование метрик ёмкости для ранжирования инженеров или команд. Загрузка и задержка описывают системы. Рассматривайте их в терминах проектирования услуги и спроса и держите отдельных людей вне картины.
Модель зрелости
| Измерение | 1 Инициирование | 2 Развитие | 3 Стандартизация | 4 Управление | 5 Оркестрация |
|---|---|---|---|---|---|
| Измерение загрузки, насыщения и задержки | Средние с нескольких серверов; оповещения на высокую загрузку процессора | Некоторые команды рисуют перцентили задержки и очереди | Общие определения: перцентили по ключевым операциям, насыщение рядом с загрузкой, окна записаны | Отслеживается во времени относительно целей, в паре с долей ошибок, пересматривается еженедельно | Определения пересматриваются совместно с поставщиками и клиентами; виды со стороны пользователя и сервера сверяются |
| Пределы и запас | Пределы неизвестны до сбоя | Редкие нагрузочные тесты перед крупными запусками | Нагрузочные тесты критических услуг относительно письменной политики запаса | Запас отслеживается по услугам и повторно проверяется после значимых изменений | Политика запаса корректируется по данным о цене, риске и инцидентах между командами и поставщиками |
| Прогнозирование | Разовые догадки в момент запроса | Отдельные команды держат прогнозы в головах или таблицах | Общий реестр прогнозов с диапазонами и владельцами, питаемый бизнес-календарём | Ошибка прогноза оценивается и пересматривается, с причинами промахов | Прогнозы строятся вместе с бизнесом и поставщиками; входы улучшаются регулярно |
| Поставка ёмкости | Ёмкость добавляется после инцидента | Стандартные запросы для частых случаев | Документированный путь от одобрения до трафика продуктива с измеряемым временем выполнения ёмкости | Самые долгие ожидания становятся целью финансируемого улучшения | Ёмкость добавляется автоматически в пределах политики; поведение масштабирования и цена пересматриваются вместе |
Контрольный список
- Критические пути пользователей названы, у каждого есть ожидание по задержке, согласованное с его владельцем.
- Задержка сообщается как медиана, p95 и p99 по операциям, с указанными окном и размером выборки.
- Перцентили вычисляются из гистограмм или сырых наблюдений, никогда не усредняются по серверам.
- Рядом с каждым графиком загрузки стоит график насыщения.
- Доля ошибок и тайм-аутов показана рядом с каждым перцентилем задержки.
- У каждой критической услуги есть нагрузочный тест, с записанными отличиями нагрузки и среды.
- Политика запаса существует по критичности услуги, с записанным обоснованием.
- Датированный реестр прогнозов хранит диапазоны, допущения и владельцев и питается бизнес-календарём.
- Ошибка прогноза пересматривается каждый квартал, с записанными причинами больших промахов.
- Время выполнения ёмкости измеряется от одобрения до несения трафика.
- Пределы, задержка и цена автомасштабирования пересматриваются с владельцем услуги.
- Ни одна мера ёмкости или производительности не сообщается по отдельным людям.
Промпты для ИИ
Проверьте отчёт о задержке на скрытые искажения.
Here is how we report latency for [operation or service]: [description of the
measurement point, the window, the statistics shown, and which requests are
included or excluded]. Our users care about [user journey or expectation].
Identify ways this report could understate the experience of the slowest users,
such as averaging, exclusion rules, sampling, or measurement location. Suggest
what to show instead and what additional data I would need. Do not invent
benchmark values or thresholds; ask me for the ones you need. List your
assumptions.
Составьте план нагрузочного теста для услуги.
I need a load test plan for [service name]. Its main user journeys are
[journeys], its dependencies are [dependencies], and its production traffic mix
is roughly [description of mix]. The test environment differs from production
in these ways: [differences]. Propose a workload model, a ramp pattern, the
measures to record (latency percentiles, error rate, utilization, saturation),
the stop conditions, and the questions the results should answer. Do not
assume tool features or invent target values. List your assumptions and the
risks of the test.
Структурируйте прогноз спроса вместе с бизнесом.
I am preparing a capacity forecast for [service] covering [horizon]. Known
inputs: [historical traffic description], [business events and dates], and
[planned changes]. Draft a forecast register layout with low, expected, and high
cases, the assumptions behind each, the owner of each input, and a review
routine that scores forecast error. Suggest questions to ask [business
stakeholders]. Do not invent growth rates or seasonal factors. List your
assumptions.
Найдите настоящее ограничение по симптомам.
A service shows these symptoms during peak load: [symptoms, for example slow
p99, queue growth, error types]. Utilization data: [summary of resource
utilization]. Saturation data: [summary of queues, pools, throttling].
Architecture notes: [short description]. List the resources and limits that
could be the constraint, the evidence that would distinguish between them, and
the cheapest next test for each. Do not claim a cause that the data does not
support. List your assumptions.
Навыки ИИ
- Service Management Metrics skill: используйте, чтобы найти тему, определяющую меру ёмкости или производительности, её часы и ограждение, которое должно стоять рядом.
- Service Management Metrics maintainer skill: используйте, чтобы проверить, что отредактированная тема о ёмкости или производительности сохраняет каждую метрику в паре с вектором манипуляции и ограждением.
Главные выводы
- Измеряйте насыщение вместе с загрузкой, потому что пользователи чувствуют очередь, а не процент.
- Сообщайте задержку перцентилями по операциям, с долей ошибок и размером выборки, и никогда не усредняйте перцентили.
- Находите пределы испытаниями и задавайте запас как записанную политику, взвешивающую цену против риска.
- Прогнозируйте спрос диапазонами вместе с бизнесом, замораживайте прогноз и учитесь на ошибке.
- Сокращайте время выполнения ёмкости и измеряйте автомасштабирование, чтобы ёмкость следовала потребности.
- Описывайте услуги и системы, никогда людей, и относитесь к идеально выглядящим числам как к побуждению проверить измерение.
Источники и дополнительное чтение
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Google, "Monitoring Distributed Systems," chapter in Site Reliability Engineering, 2016, https://sre.google/sre-book/monitoring-distributed-systems/
- Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018, https://sre.google/workbook/table-of-contents/
- Dean, J., and Barroso, L. A., "The Tail at Scale," Communications of the ACM, 56(2), 2013.
- Little, J. D. C., "A Proof for the Queuing Formula: L = λW," Operations Research, 9(3), 1961.
- Gregg, B., Systems Performance: Enterprise and the Cloud, 2nd edition, Addison-Wesley, 2020.
- Allspaw, J., The Art of Capacity Planning, O'Reilly Media, 2008.
- Gunther, N. J., Guerrilla Capacity Planning, Springer, 2007.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- AXELOS (now PeopleCert), ITIL 4 Foundation and the ITIL 4 practice guide for capacity and performance management, 2019 onwards.
- Wikipedia, Планирование ёмкости.
- Wikipedia, Инженерия надёжности сайтов.
- Wikipedia, Задержка (инженерия).
- Wikipedia, Пропускная способность.
- Wikipedia, Теория массового обслуживания.
- Wikipedia, Закон Литтла.
- Wikipedia, Нагрузочное тестирование.
- Wikipedia, Перцентиль.
- Wikipedia, Хвостовая задержка.
- Wikipedia, Прогнозирование.
- Wikipedia, Сезонность.
- Wikipedia, Автомасштабирование.