Метрики конвейеров и автоматизированных изменений
Конвейер поставки есть одновременно путь, которым изменения доходят до пользователей, и источник свидетельств их безопасности, поэтому измеряйте его скорость, надёжность, долю утверждения изменений, которую он берёт на себя, и убедят ли производимые им свидетельства аудитора, и читайте всё это как меры системы, а не людей, которые ею пользуются.
Обзор и мотивация
Конвейер непрерывной интеграции и непрерывной поставки ведёт изменение от работы разработчика к работающей услуге через автоматизированную сборку, тесты, проверки безопасности и развёртывание. Когда конвейеру доверяют, он может также принимать решения, которые раньше принимал совет по изменениям для рутинных изменений. ITIL называет практику управления изменениями «change enablement», и её цель в том, чтобы полезные изменения происходили безопасно и быстро. Конвейер, выполняющий проверки, записывающий свидетельства и автоматически утверждающий изменения низкого риска, есть один из способов достичь этой цели.
Поэтому конвейер есть две вещи сразу. Он есть продуктивная система со своей доступностью, скоростью и сбоями, и он есть контроль со свидетельствами о том, что было проверено, кто рецензировал и что утверждено. Оба нужно измерять. Быстрый конвейер, пропускающий проверки, есть риск. Медленный нестабильный конвейер толкает людей его обходить, а обойдённые изменения ускользают от каждого контроля, который конвейер должен был обеспечить.
Эта тема дополняет меры изменений части 4 (см. тему 4.3, Метрики управления изменениями, и тему 4.4, Сбои изменений и переделки) и меры релизов (см. тему 4.5, Метрики релизов и развёртывания), сосредотачиваясь на конвейере как системе. Она дополняет метрики DORA (см. тему 2.8, Метрики DORA), глядя на то, что происходит внутри конвейера. Она также связана с общими мерами автоматизации темы 10.6 (см. тему 10.6, Метрики автоматизации и оркестрации).
Используемые термины. Запуск конвейера есть одно выполнение конвейера для одного изменения. Стадия есть шаг конвейера, например сборка или тест. Нестабильный тест (flaky) есть тест, иногда проходящий и иногда падающий на том же коде. Обход есть изменение, попавшее в продуктив без прохождения конвейера, например через аварийное ручное развёртывание. Политика как код означает запись правил, например «нет развёртывания без пройденной проверки безопасности», как программы, которую конвейер обеспечивает. Свидетельство есть записанное доказательство того, через что прошло изменение. Стандартное изменение в ITIL есть низкорисковый, хорошо понятый, заранее утверждённый тип изменения.
Ключевые принципы
- Конвейер есть услуга. Измеряйте его надёжность, скорость и сбои, как для любой продуктивной системы, и дайте ему владельца.
- Измеряйте обход. Число изменений, обходящих конвейер, показывает, насколько конвейеру можно доверять.
- Автоматизируйте утверждение по риску, со свидетельствами. Утверждайте заранее то, что хорошо понятно, и оставляйте рецензирование человеком для непонятного.
- Свидетельство есть продукт. То, что записывает конвейер, должно отвечать на вопросы аудитора без суматохи.
- Быстрое и безопасное измеряются вместе. Меры скорости парятся со сбоями и переделками.
- Описывайте системы, а не людей. Данные конвейера о том, кто отправил изменение, не есть рейтинг результативности.
Определения метрик
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность |
|---|---|---|---|---|---|---|---|
| Доля успешных запусков конвейера | Доля запусков конвейера, завершившихся без сбоя, вызванного конвейером или его средой | запуски, прошедшие или упавшие только из-за подлинного дефекта кода / начатые запуски; запуски, отменённые пользователем, исключаются и сообщаются | процент | Логи платформы конвейера | Управление релизами; управление изменениями (change enablement) | Здоровье непрерывной интеграции | Раз в неделю |
| Длительность конвейера | Время прохождения изменения через конвейер | медиана и 85-й перцентиль (время завершения последней стадии минус время начала запуска) для запусков, доходящих до развёртывания | минуты | Логи платформы конвейера | Управление релизами | Короткие петли обратной связи | Раз в неделю |
| Доля нестабильных тестов | Доля падений тестов, проходящих при повторном запуске без изменения кода | падения, проходящие при повторном запуске / падения тестов | процент | Результаты тестов и логи повторных запусков | Управление релизами | Определение готовности; практика тестирования | Раз в месяц |
| Доля автоматического утверждения | Доля изменений, утверждённых политикой конвейера без шага утверждения человеком | изменения, утверждённые только политикой / развёрнутые изменения | процент | Записи конвейера и изменений | Управление изменениями (change enablement) | Разработка на основе магистрали с автоматизированными проверками | Раз в месяц |
| Доля обхода | Доля продуктивных изменений, не прошедших через конвейер | продуктивные изменения вне конвейера, найденные сравнением записей развёртывания с записями конвейера / все продуктивные изменения | процент | Записи развёртывания, аудит конфигурации и логи конвейера | Управление изменениями; управление конфигурацией | Рабочие соглашения | Раз в месяц |
| Полнота свидетельств | Доля развёрнутых через конвейер изменений, чья запись показывает требуемые свидетельства | изменения со всеми требуемыми элементами свидетельств (тесты, рецензирование, проверка, утверждение) / развёрнутые изменения | процент | Записи конвейера и изменений | Управление изменениями; управление | Определение готовности | Раз в месяц |
| Доля остановок политикой | Доля запусков, остановленных проверкой политики, разделённая на подлинные нарушения и ошибки политики | запуски, остановленные воротами политики / начатые запуски; причины классифицируются выборкой | процент | Логи конвейера и записи ворот | Управление изменениями; управление рисками | Критерии приёмки | Раз в месяц |
Доля успешных запусков конвейера исключает запуски, отменённые человеком, которые сообщаются отдельно, и считает сбой из-за нестабильного теста или неисправности среды сбоем конвейера. Доля обхода требует независимой записи того, что работает в продуктиве, поэтому её нельзя вычислить из одного конвейера.
Рекомендации
Относитесь к конвейеру как к услуге
1. Дайте конвейеру владельца и цели. Названная команда владеет надёжностью и скоростью конвейера, с целями уровня услуги вроде доли запусков, завершающихся за заданное время. Без владельца нестабильность растёт, пока люди не перестанут доверять.
2. Измеряйте длительность как распределение. Медиана прячет медленные запуски, которых люди ждут. Показывайте медиану и 85-й перцентиль и разбивайте длительность по стадиям, чтобы найти самое долгое ожидание, часто очередь за общим исполнителем или ручное утверждение.
3. Отслеживайте и чините нестабильные тесты. Нестабильный тест учит людей перезапускать, пока не позеленеет. Считайте нестабильные падения, назначайте каждому владельца и чините или изолируйте с датой. Конвейер, который люди перезапускают по привычке, не производит свидетельств.
Осторожно автоматизируйте утверждение
4. Классифицируйте изменения по риску. Договоритесь с владельцами изменений, какие виды изменений стандартны и могут утверждаться политикой, а каким нужен человек. Регулярно пересматривайте классификацию по данным о сбоях (см. тему 4.4, Сбои изменений и переделки).
5. Пишите политику как код и тестируйте её. Правила, обеспечиваемые конвейером, суть код и нуждаются в тестах и владельцах, как любой код. Записывайте, какая версия политики применялась к каждому запуску.
6. Держите человеческий путь для необычного. Аварийным изменениям и изменениям высокого риска нужен человек, способный решить по свидетельствам. Проверяйте, что путь работает, и измеряйте, сколько он занимает.
Производите полезные свидетельства
7. Решите, какие свидетельства вам нужны. Работайте от вопросов, задаваемых аудитором или рецензентом инцидента: что проверялось, кто рецензировал, что сканировалось, кто утвердил и что развёрнуто. Пусть конвейер записывает именно это и связывает с изменением.
8. Измеряйте полноту выборкой. Полнота свидетельств по собственному счёту конвейера может быть высокой при пустом содержании. Проверяйте выборку записей, чтобы подтвердить, что свидетельства реальны и соответствуют выполненному.
9. Делайте свидетельства защищёнными от подделки. Храните записи конвейера там, где развёртывающие люди не могут их править, и храните в течение срока, требуемого вашими правилами. Проверяйте требования к хранению у вашего юридического консультанта.
Следите за обходом и дрейфом
10. Сравнивайте продуктив с конвейером. Сверяйте то, что работает в продуктиве, с тем, что развернул конвейер. Различия суть обходы или дрейф, и каждое заслуживает короткого взгляда без обвинения на то, почему конвейер был обойдён.
11. Делайте конвейер самым лёгким путём. Люди обходят медленные и нестабильные конвейеры. Если обход растёт, сначала смотрите на скорость и надёжность и на аварийные нужды, которых конвейер не удовлетворяет.
12. Пересматривайте ворота на ценность. Ворота, никогда не останавливающие подлинный дефект и задерживающие каждый запуск, суть кандидат на удаление или перепроектирование. Ворота, останавливающие много запусков из-за ошибок политики, нуждаются в исправлении политики.
Векторы манипуляции и ограждения
| Метрика | Как её искажают | Парная метрика или практика-ограждение |
|---|---|---|
| Доля успешных запусков конвейера | Переклассифицировать сбои инфраструктуры как отменённые; перезапускать до зелёного и считать только последний запуск | Считать все попытки; сообщать повторные запуски на изменение |
| Длительность конвейера | Выносить медленные стадии за измеряемое окно; пропускать стадии | Измерять сквозно от коммита до развёрнутого; сравнивать выполненные стадии с требуемыми |
| Доля нестабильных тестов | Удалять или заглушать нестабильные тесты; помечать падения как известные | Число тестов и тренд покрытия; пересматривать изолированные тесты с датой |
| Доля автоматического утверждения | Расширять класс «стандартных», чтобы включить рискованные изменения | Доля сбоев изменений для автоматически утверждённых изменений; выборка утверждённых изменений |
| Доля обхода | Записывать аварийные ручные развёртывания как запуски конвейера; не сверять с продуктивом | Сверять состояние продуктива с записями конвейера; выборка развёртываний |
| Полнота свидетельств | Прикладывать пустые или нерелевантные свидетельства; ссылаться на общий отчёт | Выборка содержания свидетельств; проверка соответствия изменению |
| Доля остановок политикой | Ослаблять политики, чтобы сократить падения; классифицировать подлинные нарушения как ошибки политики | Выборка остановленных запусков; доля ускользнувших дефектов и находки аудита |
Здоровое чтение есть конвейер, достаточно быстрый и стабильный, чтобы люди использовали его для всего, доля обхода около нуля при понятном каждом исключении, растущая доля автоматических утверждений при стабильной доле сбоев изменений и свидетельства, выдерживающие выборку.
Компромиссы: плюсы и минусы
| Подход | Сильная сторона | Слабая сторона |
|---|---|---|
| Тяжёлые проверки конвейера | Ловит дефекты рано; сильные свидетельства | Медленные запуски; больше нестабильности; давление обходить |
| Лёгкий конвейер | Быстрая обратная связь | Слабее свидетельства; больше дефектов доходит до продуктива |
| Автоматическое утверждение стандартных изменений | Убирает ожидание; единообразные решения | Риск расширения класса; ошибки политики масштабируются |
| Утверждение человеком всех изменений | Привычно; видимая подотчётность | Ожидание; утверждения могут стать формальностью |
Вывод прост: держите конвейер быстрым и пользующимся доверием, утверждайте политикой только хорошо понятое и измеряйте обход. Тяжёлые проверки, которые люди обходят, ничего не защищают.
Вопросы для обсуждения в команде
1. Какая доля наших продуктивных изменений проходит через конвейер и как мы это знаем? Попросите способ сравнить состояние продуктива с записями конвейера. Команды часто находят аварийные исправления, изменения конфигурации и данных, идущие мимо конвейера. Ждите оборонительных ответов, поэтому относитесь к каждому обходу как к информации. В продолжение спросите, что сделало бы конвейер более лёгким путём.
2. Какие наши тесты мы перезапускаем, пока они не пройдут, и кто ими владеет? Привычки перезапуска показывают, где подорвалось доверие. Составьте список и назначьте владельцев. Обсудите, чинить или убирать каждый. Разговор часто показывает, что несколько тестов создают большую часть шума.
3. Какие изменения мы утверждаем автоматически сегодня и какие следовало бы? Перечислите типы изменений и историю сбоев каждого. Решите, какие имеют низкий риск и хорошие тесты. Спросите, что заставило бы вас прекратить автоматическое утверждение типа. В продолжение договоритесь о дате пересмотра классификации.
4. Если бы аудитор спросил о развёртывании прошлого вторника, что мы могли бы показать? Пройдите одно реальное изменение и вытяните его свидетельства. Заметьте пробелы и ручные шаги. Спросите, записаны ли свидетельства в тот момент или восстановлены позже. В продолжение выберите один пробел для закрытия.
5. Где конвейер тратит время и кто ждёт? Посмотрите разбивку по стадиям. Самое долгое ожидание часто есть очередь или ручное утверждение. Спросите, могли бы ждущие люди заняться чем-то другим и чего стоит ожидание в задержанной обратной связи. Выберите одну задержку для устранения.
6. Какие ворота никогда не останавливали ничего полезного? Посмотрите причины остановок ворот за прошлый квартал. Ворота только с ошибками политики нуждаются в исправлении, а ворота, никогда ничего не останавливающие, могут быть избыточными. Спросите, повысит ли удаление риск. Договоритесь о пробе.
Четыре точки зрения
Продуктовые команды и команды поставки
Вы зависите от конвейера каждый день. Держите тесты надёжными, изменения малыми и относитесь к нестабильному тесту как к дефекту продукта. Используйте данные конвейера, чтобы находить собственные задержки, и держите их вдали от разговоров об индивидуальной результативности.
Команды услуг и эксплуатации
Вы наследуете то, что выпускает конвейер. Просите свидетельства, нужные для инцидента, например что изменилось и когда, и быстрый откат. Отслеживайте обходы и дрейф и приносите их команде как разговор о том, почему.
Руководство и управление
Финансируйте конвейер как продуктивную услугу, с владельцем, ёмкостью и временем на исправление нестабильности. Просите долю обхода, полноту свидетельств по выборке и долю сбоев изменений для автоматических утверждений. Сопротивляйтесь давлению считать развёртывания мерой успеха.
Клиенты и пользователи
Вам выгодно, когда изменения приходят часто и безопасно, и вы страдаете, когда изменение что-то ломает. Спрашивайте, как изменения проверяются и как быстро плохое изменение отменяется. Ваши сообщения о проблемах после релиза суть часть обратной связи, которую конвейер дать не может.
На практике: пример из управления услугами
ИТ-отдел региональной больницы ведёт конвейер для клинического приложения расписаний. Числа в этом примере иллюстративны. Совет по изменениям собирается еженедельно, и рутинные изменения ждут утверждения в среднем четыре дня. Команда предлагает утверждать стандартные изменения через конвейер.
Перед началом они измеряют. Доля успешных запусков конвейера 82 %, а выборка сбоев показывает, что около трети суть нестабильные тесты. Длительность на 85-м перцентиле 47 минут, с 20-минутной очередью за общим исполнителем сборки. Сравнение записей развёртывания с записями конвейера показывает, что около 12 % продуктивных изменений обошли конвейер, в основном правки конфигурации и срочные исправления.
Команда чинит пять самых нестабильных тестов, добавляет исполнителя сборки и создаёт путь изменения конфигурации через конвейер. Через три месяца обход падает до 3 %. Затем они определяют класс стандартных изменений из малых, протестированных, обратимых изменений приложения расписаний, с проверками политики для тестов, проверки безопасности и рецензирования коллегой. Доля автоматического утверждения достигает около 40 %, а время утверждения для этих изменений падает с дней до минут.
Появляется риск манипуляции. Менеджер просит поднять долю автоматического утверждения, добавив изменения схемы базы данных в стандартный класс. Команда проверяет долю сбоев изменений для изменений схемы, которая выше, чем для других, и оставляет их у рецензента-человека. Полнота свидетельств по счёту конвейера 98 %, но выборка из 20 записей показывает, что у четырёх приложен отчёт о тестах из другой сборки. Команда исправляет правило связывания. Что остаётся трудным: обход для аварийных исправлений всё ещё требует записи постфактум, а клиническая оценка рисков для изменений, влияющих на безопасность пациентов, остаётся за людьми.
Agile, ИИ, автоматизация и аналитика
Agile
Малые частые изменения через конвейер, которому доверяют, суть ядро непрерывной поставки, а собственный бэклог конвейера заслуживает того же регулярного пересмотра с заинтересованными сторонами, что и продукт. Хорошая практика есть пересмотр нестабильных тестов и обходов на регулярном разговоре об улучшении. Осторожность в том, что празднование одной частоты развёртываний награждает дробление изменений.
ИИ
ИИ может писать код и тесты, рецензировать изменения и оценивать риск изменений внутри конвейера. Помечайте изменения с помощью ИИ в данных и сравнивайте их сбои и переделки с другими изменениями (см. тему 10.2, Измерение работы с помощью ИИ). Если ворота ИИ решают или рекомендуют, измеряйте их ложные утверждения и ложные остановки выборкой и держите человека подотчётным за изменения высокого риска. Осторожность в том, что порождённые ИИ тесты могут поднять числа покрытия, не проверяя важного поведения.
Автоматизация
Конвейер и есть автоматизация, поэтому практика состоит в том, чтобы относиться к нему как к продуктивной услуге с логами, владельцем и ручным запасным путём для аварий. Автоматизируйте сбор свидетельств и сверку продуктива с записями конвейера. Осторожность в том, что автоматические утверждения умножают эффект ошибки политики, поэтому тестируйте политики и держите средство паузы.
Аналитика
Используйте события конвейера, чтобы показать, куда уходит время и где скапливаются сбои, и связывайте запуски с инцидентами и переделками. Решение, которое это информирует, состоит в том, куда инвестировать: в скорость, надёжность или тесты. Осторожность в том, что данные конвейера не показывают качество тестов, поэтому сочетайте их с ускользнувшими дефектами и показывайте число запусков за каждой долей (см. тему 10.8, Метрики аналитики и качества данных).
Отраслевой взгляд
Стартап. Простого конвейера с быстрыми тестами и автоматическим развёртыванием в продуктив может быть достаточно. Измеряйте длительность и обход и записывайте свидетельства тестов и рецензирования в репозитории.
Малый бизнес. Конвейер может быть размещённой услугой или услугой поставщика. Спрашивайте, что и где он записывает, и сохраняйте способ восстановить, что было развёрнуто. Избегайте построения контролей, которые вы не будете поддерживать.
Крупная компания. Много конвейеров в командах требуют общих форматов свидетельств и общей политики. Держите центральный вид обхода и полноты свидетельств с владением исправлениями на уровне команд. Избегайте навязывания одного инструмента там, где у команд разные нужды.
Государство и публичный сектор. Разделение обязанностей, журналы аудита и правила хранения формируют конвейер. Проектируйте свидетельства для аудита и проверяйте юридические требования и требования закупок, включая автоматизированные решения (см. тему 8.3, Метрики соответствия и аудита, и тему 8.5, Регулируемая и государственная отчётность).
Бизнес-обоснование: мотивы, ROI и TCO
Затраты суть платформа конвейера и исполнители, работа по написанию и поддержанию тестов и политики, время на исправление нестабильности и цена хранения свидетельств. Сами меры стоят мало, когда записи конвейера и изменений связаны.
Отдача есть более короткие ожидания утверждения, меньше ручных шагов, более раннее обнаружение дефектов и свидетельства, готовые когда нужно. Они проявляются как более быстрая поставка и меньше усилий при аудите, но их легко преувеличить. Измеряйте собственные базовые уровни, такие как время утверждения и усилия на сборку свидетельств аудита, до и после и указывайте допущения диапазонами (см. тему 7.7, Возврат инвестиций и бизнес-обоснование). Сторона риска есть цена сбоев, ускользающих от конвейера, и простоя конвейера, блокирующего все изменения.
Антипаттерны и ловушки
- Считать развёртывания успехом. Это награждает дробление изменений. Парьте со сбоями и переделками.
- Перезапуск до зелёного. Это прячет нестабильные тесты и слабые свидетельства. Считайте нестабильности и чините их.
- Игнорирование обхода. Изменения, избегающие конвейера, суть те, которые он не может защитить. Сверяйте продуктив с записями конвейера.
- Расширение стандартного класса ради роста автоматизации. Доля растёт, и доля сбоев идёт за ней. Пересматривайте класс по данным о сбоях.
- Свидетельства, которые есть, но ничего не говорят. Берите выборку содержания, а не только наличия.
- Конвейер без владельца. Он разрушается. Назовите команду и дайте ей время.
- Ошибки политики, трактуемые как дефекты кода. Люди учатся игнорировать ворота. Классифицируйте остановки и чините политику.
- Нет ручного пути для аварий. Люди обходят. Обеспечьте быстрый проверяемый путь.
Модель зрелости
| Измерение | Инициирование | Развитие | Стандартизация | Управление | Оркестрация |
|---|---|---|---|---|---|
| Надёжность конвейера | Разовые сборки; частые необъяснённые сбои | Конвейер существует; успех отслеживается | Владелец, цели и работа с нестабильными тестами | Длительность и сбои пересматриваются по стадиям | Конвейеры делят шаблоны и ёмкость между командами |
| Утверждение и политика | Ручное утверждение всех изменений | Некоторые стандартные изменения определены | Политика как код для стандартных изменений, с тестами | Классы утверждения пересматриваются по данным о сбоях | Утверждение на основе риска адаптируется автоматически в согласованных пределах |
| Свидетельства и обход | Свидетельства восстанавливаются постфактум | Некоторые свидетельства записываются | Требуемые свидетельства записываются и связываются | Обход сверяется, полнота выбирается | Свидетельства и сверка полностью автоматизированы и проверяются |
Контрольный список
- У конвейера есть названный владелец и цели по надёжности и скорости.
- Доля успешных запусков конвейера и перцентили длительности сообщаются по стадиям.
- Нестабильные тесты считаются, у каждого есть владелец и дата исправления.
- Классы стандартных изменений определены с критериями риска и пересматриваются по данным о сбоях.
- Политики суть код, тестируются и версионируются, а версия записывается на запуск.
- Состояние продуктива сверяется с записями конвейера для поиска обходов.
- Требуемые свидетельства определены и записываются для каждого развёрнутого изменения.
- Полнота свидетельств проверяется выборкой содержания.
- Проверяемый аварийный путь существует и испытан.
- У каждой метрики есть вектор манипуляции и ограждение, показанные рядом.
Промпты для ИИ
Классифицируйте изменения по риску для автоматического утверждения.
Here is a list of the types of change we make and, for each, our recent history:
[paste change types with counts of changes and failures, if available]. Propose
which types might be candidates for automated approval and which should keep a
human reviewer, with the reasoning and the evidence I would need. Do not invent
failure rates. Mark each suggestion as a proposal for the change owners to
decide. List your assumptions and the data I should collect.
Определите свидетельства, которые должен записывать конвейер.
Our pipeline is [description of stages and tools]. Our change records are kept in
[tool]. We must answer these questions after any deployment: [list questions
from auditors or incident reviewers]. Propose the evidence items the pipeline
should record and link, where to store them, and how to check that they are real
and not empty. Do not state compliance claims or legal requirements. List your
assumptions and questions for our compliance team.
Проанализируйте данные о нестабильных тестах.
Below is a summary of failing tests and rerun outcomes for [period]: [paste
data without personal information]. Identify tests that fail and then pass on
rerun, group them by area, and propose an order for fixing them. Do not guess
causes that the data does not support. Say what additional data would help. List
your assumptions.
Проверьте риск манипуляции панелью конвейера.
We report these pipeline measures: [paste measures and definitions]. Context:
[team size, tools, audience]. For each measure, list realistic ways it could look
better without improving delivery or safety, propose a guardrail, and say how
that guardrail could be gamed. Do not invent benchmark values. List your
assumptions.
Навыки ИИ
- Запрос на изменение: используйте, чтобы определить, что должны содержать запись об изменении и её свидетельства.
- Примечания к релизу: используйте, чтобы превратить вывод конвейера в примечания для пользователей и эксплуатации.
- Service Management Metrics skill: используйте, чтобы найти тему, охватывающую метрику, и её парное ограждение.
Главные выводы
- Конвейер есть одновременно продуктивная услуга и контроль, поэтому измеряйте его надёжность, скорость и производимые свидетельства.
- Измеряйте обход, сверяя продуктив с записями конвейера, и делайте конвейер самым лёгким путём.
- Утверждайте автоматически только хорошо понятые изменения, с протестированной политикой и человеческим путём для остальных.
- Считайте нестабильные тесты и чините их, потому что перезапуск до зелёного разрушает доверие и свидетельства.
- Берите выборку содержания свидетельств, потому что счёты полноты можно удовлетворить пустыми записями.
Источники и дополнительное чтение
- Wikipedia, Непрерывная интеграция.
- Wikipedia, Непрерывная поставка.
- Wikipedia, Развёртывание программного обеспечения.
- Wikipedia, DevOps.
- Wikipedia, Автоматизация тестирования.
- Wikipedia, ITIL.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.