概要と動機

サービスマネジメントにおける自動化(automation)とは、人がかつて行っていた仕事をソフトウェアに行わせることです。アカウントのプロビジョニング、サービスの再起動、チケットのルーティング、標準的な変更の承認、ステータス更新の投稿。オーケストレーション(orchestration)は、しばしばツールとチームにまたがる複数の自動化されたステップを、「新入社員を受け入れる」や「このサービスを復旧する」のような一つのフローに調整します。ITILの指針となる原則「最適化し、自動化する」は、この考え方の長年の表明で、継続的デリバリーはそれに依存しています。コードとしてのインフラ(infrastructure as code)のような実践は、システムのセットアップをバージョン管理されテスト可能なファイルに変えるので、自動化は記録の一形態でもあります。

自動化は、リスクを遅く目に見えるものから、速く広いものへと移します。間違いを犯す人は、一つのチケットに影響します。同じ間違いを持つ自動化されたステップは、1分ですべてのチケットに影響しえます。だからこそ自動化には固有の測定値が必要で、「自動化の数」や「節約された時間」のような件数が弱いのです。それらは、どれだけ作られ、どれだけ主張されたかを記述するもので、誰かがより良い状態にあるかではありません。

このトピックは、サービスリクエストにおけるセルフサービスと自動化の前の測定値(トピック 3.7「セルフサービスと自動化のメトリクス」を参照)とは異なり、それはユーザー向けのリクエストのフローについてのものです。ここでの主題は、エンジニアリングと運用の資産としての自動化です。その網羅、信頼性、安全、オーナーシップ、コスト。また、変更が本番に至る経路を扱うトピック10.7のパイプラインの測定値(トピック 10.7「パイプラインと自動化された変更のメトリクス」を参照)とも異なります。

ここで使う用語。自動化とは、人がそのステップを実行せずに走る、定義されたタスクです。ランブックは運用タスクの文書化された手順で、ランブックの自動化はそれを実行します。オーケストレーションは、自動化を調整するフローです。ヒューマン・イン・ザ・ループは、行動が効力を持つ前に人がレビューまたは承認することを意味します。トイルは、サービスとともにスケールし、持続する価値のない、反復的な手作業の運用の仕事です(トピック 5.7「トイルとオンコールのメトリクス」を参照)。ここでの防護柵には二つの意味があります。この本全体で使われる組になる測定値と、自動化が行ってよいことへの技術的な制限。文章は、どちらを意味するかを述べます。

主要な原則

  • 件数ではなく、効果を測る。 自動化の数はほとんど語らない。それらが何を取り除き何を壊すかが、多くを語る。
  • すべての自動化にオーナーがいる。 オーナーのいない自動化は、年とともに増すリスクである。
  • すべての自動化された行動を、見えて取り消し可能にする。 何が、何に対して、どんな結果で走ったかを記録し、どう元に戻すかを知る。
  • 人がどこで判断するかを選ぶ。 人の役割を行動のリスクに合わせ、その役割が行使できることをテストする。
  • 自動化をサービスとして測る。 他のサービスと同様に、信頼性、変更、コスト、廃止がある。
  • 安定したものと退屈なものを最初に自動化する。 よく理解されていないものを自動化すると、問題がシステムに固定される。

メトリクスの定義

メトリクス 定義 計算式 単位 データソース ITILプラクティス アジャイルの対応物 頻度
自動化の実行の成功率 完了し、実行後の確認で確かめられた意図した結果を達成した自動化の実行の割合 実行後の確認に成功した実行 ÷ その期間に開始された実行。実行後の確認がない実行は除外し、別に報告する パーセント オーケストレーションと自動化プラットフォームのログ サービスリクエスト管理、リリース管理 自動化された仕事の完了の定義 毎月
タスク自動化の網羅 対象となる反復的なタスクのうち、自動化されている割合 合意した対象の一覧のうち自動で走るタスク ÷ 対象の一覧のタスク。対象の一覧は四半期ごとにレビューする パーセント タスクの棚卸しとランブックの台帳 継続的改善 自動化の候補のバックログ 四半期ごと
手作業の介入率 人が介入または修正を要した自動化の実行の割合 開始後に手作業のステップが加わった実行 ÷ 開始された実行 パーセント 自動化のログとチケットのリンク インシデント管理 自動化された仕事における流出した欠陥 毎月
自動化が原因のインシデント率 自動化された行動に帰属するインシデント。1,000回の実行あたり 自動化が原因と確認されたインシデント ÷ 自動化の実行 × 1,000 1,000回の実行あたりの件数 実行の識別子にリンクしたインシデント記録 インシデント管理、問題管理 自動化された変更の変更失敗率 毎月
ロールバックの時間 必要性が認識されてから、自動化された行動を元に戻すまでの時間 (取り消しが完了した時刻 − 取り消しを決めた時刻)の中央値と95パーセンタイル 分 自動化のログとインシデントの時系列 変更実現 完了の定義におけるロールバックの能力 四半期ごと
検証された節約時間 抽出して確認した、取り除かれた手作業の時間 自動化されたタスク × (時間の標本からの手作業のタスク時間の中央値 − 残りの手作業時間の中央値)。その期間にわたり、標本の日付を述べる 時間 時間の標本と実行回数 継続的改善 仕事のアイテムあたりに届けられる価値 四半期ごと
自動化のオーナーシップの最新性 オーナーがいて、そのオーナーが過去12か月にオーナーシップを確認し自動化をレビューした自動化の割合 12か月以内にオーナーの確認とレビューがある自動化 ÷ 台帳の自動化 パーセント 自動化の台帳 ガバナンス、資産・構成管理 チームの憲章とオーナーシップ 四半期ごと

計算式は、別に述べない限り、タスクではなく実行を数えます。「成功」には、サービスが正常である、アカウントが存在するといった、独立した実行後の確認が要ります。エラーなしで終了しただけの実行は、成功と数えません。節約時間は、自動化を築いて保守するのに費やした時間を除き、それは別にコストとして数えます(トピック 7.7「投資対効果とビジネスケース」を参照)。

推奨事項

何を自動化するかを決める

1. ツールではなく、反復的なタスクの一覧から始める。 反復的なタスクを、どれだけ頻繁に起き、どれだけ時間がかかり、どれだけエラーを起こしやすく、どれだけよく理解されているかでランク付けします。安定してよく理解されたものを最初に自動化し、まれなものとよく理解されていないものは人に任せます。

2. 自動化する前にプロセスを直す。 混乱したプロセスを自動化すると、混乱が速くなります。それを行う人々とともにステップをたどり、何も加えないステップを取り除き、それから自動化します。

3. 人の役割をリスクで選ぶ。 低リスクで取り消し可能な行動では、人は事後にログをレビューするだけでよいかもしれません。リスクの高い行動では、人が行動の前に承認します。最も高いものでは、行動は手作業のままかもしれません。規則を書き下し、承認者が判断するための情報を持っていることをテストします。

自動化を安全にする

4. オーナーと台帳を求める。 すべての自動化に、名前の挙がったオーナーと、その目的、範囲、権限、最終レビューを持つ台帳の項目があります。オーナーが去るとき、人が去る前にオーナーシップが移ります。

5. 権限と範囲を制限する。 自動化は、仕事をこなす最小のアクセスと、一回の実行で変更できる量の制限、たとえばアカウントやサーバーの最大数を持つべきです。範囲の制限は、悪い実行の損害に上限を設ける技術的な防護柵です。

6. 終了コードではなく、結果を確認する。 意図した状態を確認する実行後の確認を加え、その確認で成功を測ります。きれいに終了したスクリプトが、何もしていないかもしれません。

7. ログを取り、取り消しを計画する。 すべての実行は何を変更したかを記録し、すべての自動化に、その変更を元に戻すテスト済みの方法、あるいはできない理由の記述があります。安全な環境でロールバックを練習し、かかる時間を測ります。

誠実に測る

8. 節約時間を抽出で検証する。 節約された時間の主張は、しばしば楽観的です。自動化の前後で手作業のタスクの標本の時間を測り、標本の日付を述べ、保守と失敗のコストを差し引きます。

9. 網羅の隣に、失敗と介入を報告する。 高い網羅の数字と高い手作業の介入率は、人々が自動化が壊すものを直していることを意味します。両方を一つのページに示します。

10. もう役立たないものを廃止する。 タスクが変わった、あるいはなくなった自動化はリスクです。定期的な頻度で利用をレビューし、実行がない、あるいはオーナーがいない自動化を取り除きます。

11. 人がそれを止められるようにする。 自動化、または自動化の全区分を、素早く一時停止する明確な方法を提供し、それがどれだけ速くできるかを測ります。

悪用の手口と防護柵

メトリクス 悪用のされ方 組になる防護柵のメトリクスまたはプラクティス
自動化の実行の成功率 きれいに終了した実行を成功と数える、失敗した実行をログから削除する 独立した実行後の確認。ログを下流の記録と比較する
タスク自動化の網羅 網羅が上がるよう対象の一覧を縮める、些細なタスクを最初に自動化する 対象の一覧を別のチームとレビューする。量と時間で重み付けする
手作業の介入率 実行がきれいに見えるよう、手作業の修正を別のチケットとして記録する チケットを実行の識別子にリンクする。隠れた修正のために実行を抽出する
自動化が原因のインシデント率 自動化の失敗を人やツールに帰属させる、インシデントを実行にリンクしない インシデント記録に実行の識別子を求める。見逃したリンクのためにインシデントを抽出する
ロールバックの時間 簡単だったロールバックだけを測る、時計を遅く始める 最も難しい自動化についてロールバックを訓練で練習する。時計の開始を定義する
検証された節約時間 楽観的なタスク時間を使う、保守と失敗のコストを無視する チーム外の人による時間の標本。構築と保守のコストを含める
自動化のオーナーシップの最新性 配布リストや元従業員をオーナーとして挙げる オーナーが書面で確認する。オーナーが現役か確認する

健全な読みは、手作業の介入率とインシデント率が安定または低下する中での網羅の上昇、チームが感じることに合う検証された節約時間、そして廃止された自動化が取り除かれるために最新を保つ台帳です。

トレードオフ:長所と短所

手法 強み 弱み
広く早く自動化する トイルを取り除く。より速く一貫した仕事 速く広い失敗。保守の負担。隠れた依存関係
人の確認を伴って選択的に自動化する 低いリスク。人のスキルが保たれる 遅い。承認者が形式的に承認するかもしれない
自動化と節約時間を数える 報告と比較が簡単 量を報いる。主張がしばしば未検証
効果、失敗、ロールバックを測る 本当の価値とリスクを示す 収集により労力がかかる。記録の関連付けが要る

散文での結論は、安定してよく理解されたものを自動化し、それが何を取り除き何を壊すかを測り、人がそれを止められるようにすることです。時間を節約しても時折重大なインシデントを起こす自動化は、悪い取引かもしれず、組になる測定値だけがそれを示します。

チームで話し合う問い

1. 今日、私たちはどの自動化を運用していて、それぞれのオーナーは誰か? 一緒に一覧を築きます。チームはたいてい、誰も作ったことを覚えていない自動化を見つけるからです。目的、権限、最終レビューの日付を求めます。個々のマシン上のスクリプトや、元従業員がオーナーのスケジュールされたジョブを予期します。四半期末までに、それぞれのオーナーに合意して追跡します。

2. 自動化が最後に、人よりも問題を大きく、あるいは速くしたのはいつか? 非難なしに話を募ります。典型的な例は、間違ったリソースを取り除いた整理のジョブや、障害の最中にサービスを再起動した修復です。どんな制限が損害に上限を設けていたかを尋ねます。答えは、範囲の制限と承認の規則になります。

3. 最もリスクの高い自動化された行動について、誰が決め、うまく決められるか? 承認者が承認の瞬間に何を見るかを見ます。承認のリクエストには、判断に必要な情報が欠けていることがよくあります。承認者がノーと言えるか、言ったら何が起きるかを尋ねます。リクエストを改善するか、役割を変えて追跡します。

4. 自動化が静かに動かなくなったとき、どうやってそれを知るか? 静かな失敗は最も一般的な問題で、しばしば横ばいの数字として現れます。それに気づく確認を求めます。実行がないことと、期待に合わない結果についてのアラートを話し合います。自動化を一つ選んでテストします。

5. 節約した時間のどれを、実際により良いことに使ったか? 紙の上で節約された時間は、キャパシティにならないかもしれません。時間がどこへ行き、誰が決めたかを尋ねます。保守と失敗のコストについて誠実になります。標本で検証する主張を一つ選んで追跡します。

6. どの自動化を廃止すべきで、何が要るか? 利用と価値の証拠を求めます。廃止は失敗のように感じられるかもしれないので、日常的な保守として枠付けます。何かを取り除く前に依存関係を特定します。試行期間と、それを復元する方法に合意します。

四つの視点

プロダクトとデリバリーのチーム

自動化を、テスト、ログ、オーナー、ロールバックの方法とともに、プロダクトの一部として築きます。完了の定義に実行後の確認を含め、チームがまだ理解していないステップの自動化を避けます。メトリクスを、個々のエンジニアではなく、チームの自動化のレベルに保ちます。

サービスと運用のチーム

自動化が失敗したときにポケベルを持つのはあなたなので、可視性と簡単な停止を主張してください。手作業の介入と自動化が原因のインシデントを追跡し、それを使って修正の優先順位を付けます。自動化の台帳を、サービスの記録の一部として扱います。

リーダーシップとガバナンス

自動化の件数だけでなく、効果、失敗、ロールバックの準備を求めます。自動化の作成だけでなく保守にも資金を付け、一部の自動化が廃止されることを予期します。リスクに応じた人による監督への期待を設定し、最もリスクの高い行動の一覧をレビューします。

顧客とユーザー

自動化が機能しているときはそれに気づかず、機能しないときに頼れる人がいるべきです。人への連絡方法を尋ね、自動化された行動が間違っていたときはそう伝えてください。あなたのフィードバックは、自動化が役立ったかの確認の一部です。

実践:サービスマネジメントの例

中規模のオンライン小売業者の運用チームが、三つのタスクを自動化します。失敗しているウェブサーバーの再起動、カスタマーサービスのパスワードのリセット、未使用のクラウドストレージの整理。この例の数字は例示です。四半期後、ダッシュボードは3つの自動化、2,400回の実行、「約180時間の節約」を示します。リーダーシップは喜び、さらに求めます。

チームは測定値を適用します。自動化の実行の成功率は、終了コードでは98パーセントに見えます。実行後の確認を伴うと91パーセントに下がります。パスワードのリセットは成功を報告しますが、実行の9パーセントで、ユーザーがサインインできません。その自動化の手作業の介入率は11パーセントです。再起動の自動化は二つのインシデントを引き起こしており、一つはデータベースのフェイルオーバーの最中にサーバーを再起動したときで、誰も練習していなかったため、ロールバックの時間は約40分でした。

時間の標本は、手作業のパスワードのリセットが、元の見積もりが使った10分ではなく、約4分だったこと、そして失敗したリセットの処理が元のタスクとほぼ同じ時間かかることを示します。検証された節約時間は60時間に近い値です。ストレージの整理には、春に会社を去ったオーナーがいます。

チームは、パスワードのリセットに実行後の確認を、再起動の自動化に範囲の制限と一時停止の規則を、整理に新しいオーナーを加えることを決めます。あるマネージャーは、「構築された自動化」を数えてチームの目標にすることを提案します。チームは、同じものをより多く築くことを報いるので、断ります。残る難しさは、パスワードの実行後の確認にテスト用アカウントが要ることと、再起動の自動化のロールバックの訓練が来四半期に予定されていることです。

アジャイル、AI、自動化、アナリティクス

アジャイル

自動化を、それを使い依存する人々とともに継続的に改善されるプロダクトとして扱います。良い実践は、自動化のバックログ、失敗、介入の、ステークホルダーとの短い定期的なレビューです。注意点は、自動化への頻繁な小さな変更には、他の変更と同じテストが要り、さもなければ失敗がより速く来ることです。

AI

AIはランブックを起案し、スクリプトを書き、どの行動をとるかを決めることができ、エージェント型のAIはシステムに作用できます。行動できるAIはすべて、オーナー、権限、範囲の制限、承認の規則、ロールバックを持つ自動化として扱います。その成功率を、間違った行動の率と、人が取り消さなければならなかった割合と組にします(トピック 10.3「AIエージェントとチャットボットのメトリクス」を参照)。注意点は、AIが書いたスクリプトは権威があるように見えるため、他のコードと同様にテストすることです。

自動化

これがこのトピックの主題なので、実践は自動化のプラットフォーム自体を測ることです。多くのサービスがそれに依存しているので、その可用性、実行の失敗、キューの時間。チケットやインシデントにリンクする実行の識別子とともに、実行データを自動で集めます。注意点は、自動化のプラットフォームが単一障害点になるため、重要なタスクに手作業のフォールバックを持つことです。

アナリティクス

実行を成果にリンクします。成功した実行後の確認、チケット、インシデント。これが情報を与える判断は、どの自動化を直し、拡張し、廃止するかです。注意点は、帰属は一貫した識別子に依存するため、リンクの率を監査し、各率の背後にある実行の数を示すことです(トピック 10.8「アナリティクスとデータ品質のメトリクス」を参照)。

業種別の視点

スタートアップ。 小さなチームは速く、少ない統制で自動化します。オーナーを伴う自動化の短い一覧を保ち、顧客に触れるものすべてに実行後の確認を置き、必要になる前にオーケストレーションのプラットフォームを築くのは避けます。

中小企業。 自動化とは、しばしば少数のスケジュールされたジョブとマネージドサービスを意味します。供給者に、自分たちに代わってどの自動化が走り、ロールバックは何かを尋ねます。一覧を保ち、各項目を誰かが所有していることを確認します。

大企業。 多くのチームにまたがる多くの自動化は、依存関係と重複を生みます。中央の台帳、標準のログと実行の識別子、リスクの高い行動のためのレビューの経路を保ちます。作り直す代わりに、チーム間で自動化を共有します。

政府・公共部門。 説明責任と監査のニーズは、すべての自動化された行動が判断とオーナーに追跡できなければならないことを意味します。ログと承認を証拠として保ち、市民に影響する自動化された判断について、調達と法の規則を確認します(トピック 8.5「規制対応・行政向け報告」を参照)。

ビジネスケース:動機、ROI、TCO

コストは、自動化の構築とテスト、プラットフォームの運用、システムが変わるにつれた自動化の保守、失敗のコストです。実行が識別子とともにログに記録されていれば、測定値の収集はほとんどコストがかかりません。より大きなコストは、オーナー、レビュー、ロールバックの訓練という規律です。

見返りは、トイルの除去、より速く一貫した仕事、少ない手作業のエラーです。これらは本物ですが、誇張しやすいので、抽出で検証します。リスクの側は、自動化が原因のインシデントと、誰も保守しない自動化のコストです。公正なビジネスケースは、検証された節約時間と回避されたエラーを、保守とインシデントを含む完全なコストと比較し、前提を範囲として述べます(トピック 7.7「投資対効果とビジネスケース」を参照)。ここでは、文脈によって大きく異なるため、ベンチマークの数字は挙げません。始める前に、自分たち自身のベースラインを測ります。

アンチパターンと落とし穴

  • 構築された自動化を数える。 量を報いる。代わりに効果、失敗、ロールバックを報告する。
  • 終了コードによる成功。 きれいな終了はほとんど何も証明しない。意図した結果を確認する。
  • オーナーのいない自動化。 システムが変わるにつれ、静かに失敗する。台帳を保ち、オーナーを確認する。
  • 悪いプロセスを自動化する。 欠陥がより速く動く。最初にプロセスを直す。
  • 取り消しがない。 取り消しのない速い誤った行動は最悪の場合である。ロールバックを計画し、練習する。
  • 抽出なしに節約時間を主張する。 時間の標本で検証し、保守を差し引く。
  • 見せかけの承認。 判断する情報のない承認者は、遅れを加えて安全を加えない。リクエストを再設計する。
  • 単一障害点としての自動化。 重要なタスクに手作業の経路を保つ。

成熟度モデル

観点 開始 発展 標準化 管理 協調
オーナーシップと台帳 作者だけが知るスクリプト 主な自動化が列挙される オーナー、範囲、レビューの日付を持つ台帳 周期に沿ったレビューと廃止 チーム間の共有カタログと標準パターン
安全とロールバック 取り消しなし。終了コードの確認 一部の実行後の確認とログ 実行後の確認、範囲の制限、テスト済みのロールバック ロールバックの訓練。インシデントが実行にリンクされる 安全パターンがプラットフォームに組み込まれる
価値の証拠 件数と見積もり 節約時間が見積もられる 節約時間が抽出され検証される 効果、失敗、コストが一緒にレビューされる 自動化のポートフォリオが価値とリスクで管理される

チェックリスト

  • すべての自動化に、オーナーシップを確認したオーナーがいる。
  • 台帳に、各自動化が目的、範囲、権限とともに載っている。
  • 各自動化に、意図した結果を確認する実行後の確認がある。
  • 実行が、チケットとインシデントにリンクする識別子とともにログに記録されている。
  • 各自動化に、範囲の制限と、取り消しまたは一時停止するテスト済みの方法がある。
  • 自動化された各行動について、リスクによって人の役割が定義されている。
  • 節約時間が、日付のある標本で検証されている。
  • 手作業の介入と自動化が原因のインシデントが、網羅とともに報告されている。
  • 未使用またはオーナーのいない自動化がレビューされ、廃止されている。
  • 各メトリクスに、悪用の手口と、その隣に示された防護柵がある。

AIプロンプト

貼り付けた資料から自動化の台帳を築く。

私たちが運用しているスクリプト、スケジュールされたジョブ、自動化の一覧を貼り付けます:[メモ付きの一覧を貼り付け]。次の列を持つ表を作ってください:名前、目的、影響するシステム、オーナー(私が提供したものだけを使い、それ以外は「不明」と書く)、権限(与えられた場合のみ)、最終レビュー(与えられた場合のみ)、それについて最初に尋ねるべき質問。オーナー、日付、権限を捏造しないでください。最後に前提を列挙してください。

一つの自動化の実行後の確認とロールバックを設計する。

私たちの自動化は [名前] で、[システム] 上で [説明] を行います。[頻度] で、[権限] とともに走ります。意図した結果を確認する実行後の確認、損害に上限を設ける範囲の制限、一時停止の方法、ロールバックのアプローチを提案してください。承認のステップを加えるなら、人の承認者に必要な情報を述べてください。名前を挙げていないツールを仮定しないでください。前提と、私が答えるべき問いを列挙してください。

自動化のダッシュボードの悪用のリスクをレビューする。

私たちは次の自動化の測定値を報告しています:[測定値と定義を貼り付け]。私たちの文脈:[チームの規模、ツール、聞き手]。各測定値について、誰も助けずによく見えうる現実的な方法を列挙し、防護柵を提案し、その防護柵がどう悪用されうるかを述べてください。ベンチマークの値を捏造しないでください。前提を列挙してください。

節約時間の検証を計画する。

私たちは [タスク] を自動化して [数] 時間を節約したと主張しています。抽出によってそれを検証する短い計画を起案してください:何の時間を測るか、標本をいくつ取るか、保守と失敗の処理をどう含めるか、不確実性をどう報告するか。数字を捏造せず、私が集めるべき数字にはプレースホルダーを使ってください。前提を列挙してください。

AIスキル

要点

  • 自動化の件数と節約時間は労力と主張を記述するので、効果、失敗、ロールバックを測る。
  • すべての自動化に、オーナー、台帳の項目、実行後の確認、範囲の制限、取り消しまたは一時停止の方法が要る。
  • 人がどこで判断するかをリスクで選び、その人がうまく判断できることをテストする。
  • 節約時間を日付のある標本で検証し、保守と失敗のコストを差し引く。
  • オーナーがいない、未使用、あるいはもう不要な自動化を廃止する。

参考文献とさらなる読書

  1. Wikipedia, Automation.
  2. Wikipedia, Orchestration (computing).
  3. Wikipedia, Infrastructure as code.
  4. Wikipedia, Site reliability engineering.
  5. Wikipedia, DevOps.
  6. Wikipedia, Goodhart's law.
  7. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016.