キャパシティとパフォーマンスのメトリクス
サービスがどれだけ満杯か、最も遅いリクエストがどれだけ遅いか、ユーザーが気づくまでにどれだけの余裕が残っているかを測り、需要を範囲で予測して、キャパシティが苦情の後ではなく、必要の前に届くようにする。
概要と動機
可用性は、サービスが応答するかどうかを教えます。キャパシティとパフォーマンスは、サービスがどれだけうまく応答するか、需要が増えるにつれてどのくらいそれを続けられるかを教えます。8秒で応答するチェックアウトのページは、ほとんどの可用性の定義では「稼働中」であり、どの顧客の定義でも「壊れている」。ストレージの95パーセントを使っているデータベースは、今日は健全で、来月は停止です。このトピックは、それらのギャップを埋める測定値を扱います。
キャパシティプランニング(capacity planning)は、変化する需要を満たすためにサービスが必要とする資源を決定するプラクティスです。ITIL 4では、これはキャパシティとパフォーマンス管理のプラクティスに位置し、サービスが合意された期待されるパフォーマンスを達成し、現在と将来の需要をコスト効率よく満たすことを保証することを目指します。プラクティスはこれを三つの水準で記述します。事業(組織がサービスに何を求めるか)、サービス(サービスが負荷の下でどう振る舞うか)、コンポーネント(各サーバー、データベース、ネットワークリンク、キューがどう振る舞うか)。このトピックの測定値は主にサービスとコンポーネントの水準で働き、何かを予測するには事業の水準からの入力が必要です。
サイト信頼性エンジニアリング(SRE)は、レイテンシ、トラフィック、エラー、飽和を、ユーザー向けのどのシステムでも見る価値のある四つのシグナルとして扱い、パフォーマンスの目標をサービスレベル目標に結び付けます(トピック 5.2「SLI、SLO、エラーバジェット」を参照)。アジャイルのチームは、キャパシティをデリバリーの問いとして出会います。次のリリースは期待される負荷を運べるか、その答えは誰が所有するか。パフォーマンスを、パイプラインで確認される受け入れ基準として扱うと、対話がより早い段階に移ります。
このトピックではいくつかの用語が繰り返されます。使用率(utilization)は、ある間隔にわたって使用中の資源のキャパシティの割合で、たとえば処理装置がビジーだった時間の割合です。飽和(saturation)は、資源が完全に使われているために待っている仕事の量で、たとえば実行キューの長さやリクエストの滞留です。使用率は資源がどれだけビジーかを語ります。飽和は仕事がそれを待ってキューイングしているかを語り、ユーザーが感じるのはキューです。レイテンシ(Latency)は、リクエストとその応答の間の時間です。スループット(Throughput)は、サービスが仕事を完了する速度で、たとえば1秒あたりのリクエスト数です。余裕(Headroom)は、現在のピークの負荷と、サービスが目標を満たさなくなる負荷との間のギャップです。需要(Demand)は、ユーザーと事業がサービスに求める仕事で、完了する仕事と同じではありません。過負荷のサービスは、求められたより少なく完了します。
待ち行列の一つの性質が、これらの測定値がなぜそのように振る舞うかを説明します。待ち行列理論(queueing theory)は、到着がランダムなサービスでは、使用率が中程度の間は待ち時間はゆっくり増え、使用率が完全な使用に近づくと急に上がることを示します。リトルの法則(Little's law)は、システム内のリクエストの平均数を、到着率と各リクエストがそこで過ごす平均時間に関連付けます。平均使用率が高い資源は、崖の近くにあります。曲線の正確な形はサービスによるので、一般的な記事から閾値を借りるのではなく、負荷テスト(load testing)で自分のシステムを試して見つけます。
レイテンシは、平均が重要な体験を隠すので、特別な注意が要ります。パーセンタイル(percentile)は、観測値の与えられた割合がそれを下回る値を述べます。95パーセンタイル(p95)は、リクエストの95パーセントがそれより速いレイテンシです。テールレイテンシ(tail latency)は、ユーザーの一つの操作が多くの内部呼び出しに広がるシステムで支配的になる傾向があります。平均だけでなくパーセンタイルを報告します(トピック 1.6「サービスメトリクスのための統計リテラシー」と、解決時間について同じ議論をしているトピック 3.3「インシデントの対応時間と解決時間」を参照)。
最後に、キャパシティは需要の予測(forecasting)に依存し、需要にはパターンがあります。日次のサイクル、週次のサイクル、カレンダー、キャンペーン、プロダクトの立ち上げに結び付いた季節性(seasonality)。オートスケーリング(autoscaling)は、これの感じ方を変えます。クラウドのプラットフォームは数分で資源を追加できるからですが、トピックをなくしはしません。オートスケーリングには、限界、遅れ、コスト、データベースやサードパーティのインターフェースのようにスケールしない依存関係があります。コスト側はFinOpsに属します(トピック 7.6「FinOpsとクラウドコストのメトリクス」を参照)。
隣接するトピックは、可用性の算術(トピック 5.3「可用性のメトリクス」を参照)、アラートの設計(トピック 5.5「監視とアラート品質のメトリクス」を参照)、ローテーションの負荷(トピック 5.7「トイルとオンコールのメトリクス」を参照)を扱います。ここでの主題は、サービス自身の資源と応答時間です。
主要な原則
- 使用率に加えて飽和を測る。 使用率は資源がどれだけビジーかを示し、飽和は仕事が待っているかを示す。ユーザーが体験するのは待ちである。
- レイテンシを分布として報告する。 ユーザー向けの操作ごとにパーセンタイルを使い、遅い裾を見えるまま保つ。歪んだ分布の平均は、ほとんど誰も記述しない。
- 目標をユーザー体験に結び付ける。 閾値が意味を持つのは、ツールがたまたまグラフにするものではなく、ユーザーや事業が気にすることにたどれるときである。
- 範囲で計画し、それをレビューする。 予測は、述べた前提を伴う範囲である。何が起きたかと比較し、誤差から学ぶ。
- テストで限界を知る。 キャパシティは、現実的な負荷テストが確認するまでは仮説である。重要な変更の後にテストを繰り返す。
- システムを記述し、人は決して記述しない。 これらの測定値はサービス、コンポーネント、チームに属する。個人のスコアカードでは決してない。
- コストをリスクと比べて量る。 余剰のキャパシティはお金がかかり、足りないキャパシティは顧客を失う。トレードオフを見えるようにし、流れ込むのではなく選ばれるようにする。
メトリクスの定義
表は七つの測定値を挙げます。時計と境界は各計算式に述べています。パーセンタイルベースの測定値は、台帳に述べた固定の窓を使い、平均の平均ではなく、生の観測値またはヒストグラムから計算します。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 |
|---|---|---|---|---|---|---|---|
| 資源の使用率 | ある間隔にわたって使用中の資源のキャパシティの割合。間隔の系列の高いパーセンタイルとして報告する | 1〜5分の間隔ごとに、ビジーなキャパシティ ÷ 総キャパシティ。レビューの窓にわたって中央値と95パーセンタイルを報告する。資源がドレインされているメンテナンスの窓は除く | パーセント | インフラの監視とクラウド基盤のメトリクス | キャパシティとパフォーマンス管理、監視とイベント管理 | 完了の定義の運用受け入れ基準、SREの資源のシグナル | 毎週 |
| 飽和 | 完全に使われている資源を待っている仕事の量 | 間隔ごとの、キューの長さ、実行キュー、保留中のリクエスト、またはスロットリングされたリクエスト。95パーセンタイルと、何らかの待ちがあった間隔の割合を報告する。需要のない間隔は除く | 件数、または間隔のパーセント | アプリケーションとインフラのテレメトリ | キャパシティとパフォーマンス管理、監視とイベント管理 | SREの飽和のシグナル、サービスのキューの仕掛かり作業の制限 | 毎週 |
| レイテンシのパーセンタイル | ユーザー向けの一つの操作のリクエストに答えるのにかかる時間。中央値、p95、p99で報告する | エッジでリクエストを受け取ってから最後のバイトを送るまでの応答時間を、成功したリクエストごとに測る。失敗したリクエストは、速い応答ではなくエラーとして報告する。ローリング窓にわたって測る | ミリ秒 | ロードバランサーまたはゲートウェイのログ、トレーシング、実ユーザー監視 | サービスレベル管理、キャパシティとパフォーマンス管理 | SREのレイテンシ指標とサービスレベル目標 | 継続的、毎週レビュー |
| 余裕 | サービスが目標を破る前に運べる残りの負荷 | (テストまたはモデル化した限界負荷 − 現在のピーク負荷)÷ 現在のピーク負荷。ピークは窓の中で最も忙しい1時間。限界負荷は、ハードウェアの最大値ではなく、テストでレイテンシの目標が最初に破られる負荷 | パーセント、または現在の成長での日数 | 負荷テストの結果とトラフィックのテレメトリ | キャパシティとパフォーマンス管理、サービスレベル管理 | パイプラインの非機能要件とパフォーマンステスト | 毎月、主要な立ち上げの前 |
| 予測誤差 | ある期間の予測された需要と実際の需要の差 | 述べた期間について、絶対値(予測のピーク − 実際のピーク)÷ 実際のピーク。予測は期間の開始時に凍結し、その後は改訂しない。予測されなかった単発のイベントは、取り除かず、列挙する | パーセント | 予測台帳とトラフィックのテレメトリ | キャパシティとパフォーマンス管理、サービス財務管理の需要関連の計画 | リリースとロードマップの予測、SREの需要予測 | 四半期ごと |
| キャパシティのリードタイム | 必要が受け入れられてから、新しいキャパシティをサービスに投入するまでに要する時間 | 時計はキャパシティの依頼が承認されたときに始まり、キャパシティが本番トラフィックを運んだときに止まる。中央値と85パーセンタイルを報告する。キャンセルされた依頼は除く | 日 | ITSMツールの依頼レコード、変更レコード、プロビジョニングのログ | キャパシティとパフォーマンス管理、サービスリクエスト管理、変更実現 | プラットフォームのバックログアイテムのリードタイム(トピック 2.2「リードタイム、サイクルタイム、フロー効率」を参照) | 四半期ごと |
| パフォーマンステストの網羅率 | 最近の現実的な負荷テストを持つ重要なサービスの割合 | 代表的な環境とワークロードで、述べた年齢未満の合格した負荷テストを持つ重要なサービス ÷ 台帳の重要なサービス。年齢の上限は書き留める | パーセント | テスト結果の保管庫とサービスの台帳 | キャパシティとパフォーマンス管理、リリース管理 | 継続的デリバリーのパイプラインの非機能テスト | 四半期ごと |
これらを併せて、四つの問いに答えます。どれだけ満杯か、どれだけ遅いか、どれだけ余裕が残っているか、答えが変わったときどれだけ速く対応できるか。
推奨事項
ユーザーから始め、それから資源へ
1. ユーザーが気にする少数の操作を選び、それらを測る。 サービスには何百ものエンドポイントがあり、重要な旅路は少数です。たとえばログイン、検索、支払い、明細のダウンロード。これらをプロダクトオーナーと顧客と合意し、それぞれにレイテンシの期待を設定します。これらは、サービスレベル指標に自然に結び付きます(トピック 5.2「SLI、SLO、エラーバジェット」を参照)。
2. すべての資源のグラフを、飽和のグラフと組にする。 処理装置の使用だけを示すと、「70パーセントにしか達しなかった」という誤った安心を招きます。その隣に、キュー、待っているリクエスト、スロットリングの数を加えます。使用率が警戒すべきに見える前に飽和が現れるとき、本当の制約を見つけたことになり、その制約はしばしば、コネクションプール、スレッドの上限、パートナーのインターフェースのレート制限のように、見ていた資源ではありません。
3. 静かな平均より、忙しい裾を優先する。 一日にわたる平均は、深夜と昼食時のピークを混ぜます。最も忙しい期間を見て、最悪の間隔の日付と原因を記録します。計画の問いは、期待される最悪の時間にサービスがどう振る舞うかです。
レイテンシを誠実に報告する
4. 操作ごとにパーセンタイルを公開し、窓に名前を付ける。 各重要な操作について、ローリング窓にわたる中央値、p95、p99を述べ、どのリクエストが含まれるかを述べます。パーセンタイルをサーバー間や操作間で平均してはいけません。結果は実在するどのユーザーの体験にも対応しないからです。代わりにヒストグラムまたは生の観測値を結合します。標本が小さいなら、そう述べます。数百件のリクエストからのp99はノイズの多い数字だからです(トピック 1.6「サービスメトリクスのための統計リテラシー」を参照)。
5. サーバーがある場所だけでなく、ユーザーがいる場所で測る。 サーバー側の計時は、ネットワーク、ブラウザー、デバイスを含みません。遅いバックエンドと遅いラストワンマイルを区別できるよう、実ユーザー監視または合成チェックを加えます。
6. エラーとタイムアウトを、レイテンシの代わりにではなく、レイテンシとともに数える。 速く失敗するサービスは、レイテンシのグラフでは速く見え、タイムアウトするサービスは、間違った理由で遅く見えます。速い失敗が結果を良く見せないよう、レイテンシのパーセンタイルとともにエラー率を報告します。
限界を見つけ、それから余裕を残す
7. 限界点を意図してテストする。 操作の現実的なミックスを再生する負荷テストを実行し、負荷を上げ、レイテンシの目標が最初に破られる箇所と、最初に飽和する資源を記録します。重要な点で本番に似た環境でテストし、そうでない点を書き留めます。安全な場所での失敗したテストは、手にする最も安いインシデントです(パイプラインへのチェックの組み込みはトピック 4.5「リリースとデプロイのメトリクス」を参照)。
8. 余裕をポリシーとして設定し、トレードオフとしてレビューする。 サービスが期待されるピークに対してどれだけのマージンを保つか、そしてなぜかを決めます。重要な顧客向けサービスはより多く、社内のバッチサービスはより少なく正当化されます。この数字はコストとリスクについての事業の選択なので、理由を記録し、停止のコストやキャパシティの価格が変わったときに見直します。他の組織から数字をコピーしてはいけません。
需要を、それを知る人々と予測する
9. 何が来るかを事業に尋ね、予測を書き下す。 マーケティングキャンペーン、新規顧客、規制の期限、季節のイベントは、トラフィックがそれを示すずっと前に需要を変えます。日付、前提、範囲、オーナー、各入力の情報源を持つ短い予測台帳を保ちます。低、期待、高のケースのような範囲として与えられる予測は、単一の数字より誠実で、いくら購入するかを決めるのにより有用です。
10. 予測を採点し、誤差を使って改善する。 各期間の後、予測誤差を使って、凍結した予測を実際に起きたことと比較し、大きな外れの原因を列挙します。よくある原因は、告知されなかったキャンペーン、ユーザーの行動の変化、動いた依存関係です。狙いは、達成不可能なゼロの誤差ではなく、どの入力が信頼でき、どこで範囲を広げるべきかを学ぶことです。
キャパシティを追加しやすくする
11. 精度を追う前に、キャパシティのリードタイムを短くする。 新しいキャパシティが届くのに数週間かかるなら、遠い先を予測し、より多くの余剰を持たなければなりません。数分なら、必要により近く運用できます。「承認」から「トラフィックを運ぶ」までのステップ、たとえば調達、承認、プロビジョニング、設定、テストを見て、最も長い待ちを先に取り除きます(トピック 4.3「変更実現のメトリクス」を参照)。ITILの言葉では、これは需要に先行する、合わせる、遅れるというキャパシティ戦略の選択であり、サービスごとに意識して選びます。
12. オートスケーリングを、測るべきシステムとして扱う。 スケーリングがどのくらいの頻度で起動するか、新しいキャパシティが役立つまでどのくらいかかるか、設定された最大値にどのくらいの頻度で達するか、何にコストがかかるかを記録します。上限に張り付いたオートスケーラーは、すでに失敗したキャパシティ計画です。パフォーマンスと支出が一緒に議論されるよう、コストの見方とともにレビューします(トピック 7.5「サービスコストとユニットエコノミクス」を参照)。
悪用の手口と防護柵
| メトリクス | 悪用のされ方 | 組になる防護柵のメトリクスまたはプラクティス |
|---|---|---|
| 資源の使用率 | ピークを隠すために長い間隔にわたって平均する、アイドルの予約キャパシティを「使用中」として数える、最も静かな資源だけを報告する | 平均の隣にピーク時間帯の95パーセンタイル。飽和の測定値。サービスマップに照らしてレビューする範囲内の資源の一覧 |
| 飽和 | 何も拒否やスロットリングとして報告されないようキューの上限を上げる、待ちを測られていない別のキューに移す | 同じ操作のレイテンシのパーセンタイルとエラー率。一つの段階ではなく、エンドツーエンドのキュー時間。経路上のすべてのキューのレビュー |
| レイテンシのパーセンタイル | 平均または中央値だけを報告する、遅い、あるいは失敗したリクエストを標本から落とす、速い社内の場所から測る、「外れ値」を除外する | p95とp99を常に示す。レイテンシの隣に示すエラーとタイムアウトの率。サーバー側の計時と比較する実ユーザー監視。生の標本サイズを示す |
| 余裕 | 穏やかなテストのワークロードを選ぶ、本番より大きな環境でテストする、限界点をハードウェアの最大値と定義する | 本番のトラフィックの形に照らしてレビューするテストのワークロード。テストと本番の違いの書面の一覧。関連する変更の後に余裕を再テストする |
| 予測誤差 | 後から予測を改訂する、すべての結果が「範囲内」になるよう非常に広い範囲を設定する、驚きのあった月を「予測されなかったイベント」として取り除く | 台帳に日付とともに凍結された予測。誤差とともに報告する範囲の幅。除外されたすべてのイベントを列挙してレビューする |
| キャパシティのリードタイム | 承認の記録を遅らせることで時計を遅く始める、キャパシティがトラフィックを運んだときではなく発注したときに依頼をクローズする、依頼を分割する | 承認からトラフィックを運ぶまでと定義した時計。プロビジョニングのログと比較するクローズした依頼の抽出。再オープンされた依頼の数 |
| パフォーマンステストの網羅率 | 網羅率を主張するために些細なテストを実行する、重要なサービスの一覧を縮める、古い合格したテストを記録に残す | 記録されるテストの年齢とワークロードの現実性。サービスカタログとインシデントの履歴に照らしてレビューする重要なサービスの一覧。合格に加えて失敗したテストも報告する |
健全な読みは、目に見える日次のサイクルと余裕を持つ使用率、まれで短く現れる飽和、最も忙しい時間に安定または改善するレイテンシのパーセンタイル、既知でゆっくり縮む予測誤差を示します。健全なしるしは、驚きがその原因とともに議論されていることです。完璧な数字は、通常、測定が穏やかであることを意味するため、疑いを引き起こすべきです。
トレードオフ:長所と短所
| 手法 | 強み | 弱み |
|---|---|---|
| 十分な余裕を持って運用する | 驚きを吸収する。レイテンシと可用性を守る | コストが高い。非効率と弱い予測を隠す |
| 速いオートスケーリングで無駄なく運用する | コストが低い。キャパシティが需要に従う | スケーリングの速度と上限に依存する。依存関係がスケールしないかもしれない。インシデント時に推論しにくい |
| パーセンタイルのレイテンシ目標 | 遅いリクエストが感じることを反映する。平均のごまかしに強い | より多くのデータと大きな標本が要る。低トラフィックのサービスでは高いパーセンタイルでノイズが多い |
| 平均または中央値のレイテンシのみ | 単純で安定している | 苦情と離脱を駆動する裾を隠す |
| 合成負荷テスト | 制御され、再現可能で、安全 | ワークロードのモデルと環境と同じ程度にしか現実的でない |
| 基礎としての本番テレメトリ | 実際の振る舞いと実際のミックスを反映する | 限界に達した後にしか明らかにならない。現在の需要を超えてプローブできない |
| 詳細な予測モデル | 季節性と成長をとらえる | データと技能が要る。入力が弱いと偽の精度の感覚を生む |
| 事業と合意した単純な範囲 | 説明と更新が容易。前提に焦点を当てる | より粗い。事業からの誠実な入力に依存する |
判断を支える最も軽い方法を選んでください。ほとんどのサービスでは、ピーク時の使用率、飽和、レイテンシのパーセンタイルの毎週の確認、大きな変更の前の負荷テスト、四半期ごとの予測のレビューで十分です。間違えたときのコストが大きいところには、モデリングを加えます。
チームで話し合う問い
1. 最も重要な三つのユーザーの旅路はどれで、それぞれにユーザーはどんな応答時間を期待するか? グループに旅路の名前を挙げてもらい、ダッシュボードがグラフにしているものと比較します。ファシリテーターは、エンジニアリング上の好みではなく、ユーザーや顧客にたどれる期待を求めてください。
2. 私たちのサービスはどこで崖の近くにあり、どうやってそれを知るか? コネクションプール、スレッドの上限、パートナーのレート制限のような資源を探します。それぞれが最後に限界点までテストされたのはいつかを尋ねます。誰も知らなければ、それが最初の仕事です。
3. 現在レイテンシをどう報告しており、最も遅い1パーセントのユーザーは何と言うか? 一つの操作について、平均、中央値、p95、p99を並べて表示し、そのギャップを話し合います。どのリクエストが除外され、なぜか、失敗したリクエストが数えられているかを尋ねます。
4. どれだけの余裕を保っているか、誰が選んだか、最後にその選択を見直したのはいつか? マージンのコストと、最も忙しい日の停止のコストを話し合います。見直しの日付と、マージンを変える証拠に合意します。
5. 直近三つの需要予測はどのくらい良く、何を学んだか? 日付のある予測を実績と、大きな外れの原因と比較します。事業が知っていて運用が受け取らなかったことは何かを尋ねます。マーケティングのカレンダーや立ち上げのスケジュールのような、予測台帳に加える入力を一つ決めます。
6. 来月、倍のキャパシティが必要だったら、何が私たちを止めるか? 依頼から本番トラフィックまでのすべてのステップを列挙し、待ちの箇所に印を付けます。調達、承認、ライセンス、スケールしない依存関係を含めます。ファシリテーターは、技術的でない最も長い待ちを探してください。それはしばしば承認や契約です。短縮するステップを一つ合意し、キャパシティのリードタイムを通じて効果を測ります。
四つの視点
プロダクトとデリバリーのチーム
忙しい経路に触れる機能の受け入れ基準にパフォーマンスの期待を含め、実際的なところではパイプラインで負荷テストを実行し、立ち上げについて運用に早く伝えます。パフォーマンスを後の「強化」作業として扱う習慣に注意してください。それは計画外の仕事に変わります(トピック 2.9「運用作業と計画外作業」を参照)。
サービスと運用のチーム
運用チームは、テレメトリ、キャパシティ計画、限界に達したときの対応を所有します。実際に使うダッシュボードの飽和とテールレイテンシ、事業と共有する予測台帳、信頼されるテスト結果が必要です。キャパシティに関連する各インシデントを原因とともに記録するべきです(トピック 4.1「問題管理のメトリクス」とトピック 3.4「重大インシデントのメトリクス」を参照)。
リーダーシップとガバナンス
リーダーは、組織がどれだけのリスクとコストを受け入れるかを決め、余裕のポリシーはその判断が現れる場所です。重要なサービスごとに、隣に予測誤差を添えたレイテンシのパーセンタイルと余裕を求め、キャパシティの依頼を、証拠を伴う投資判断として扱います。ガバナンスの組織は、すべてのサービスを崖の同じ点へ押しやる、組織全体の単一の使用率の目標には抵抗するべきです。
顧客とユーザー
顧客は遅さを、可用性の数字が変わるずっと前に、信頼性の欠如として感じます。パフォーマンスを、述べた負荷でのパーセンタイルの観点で述べ、サービスがピーク期間をどう扱うかを共有します(トピック 5.1「SLA、OLA、XLAのメトリクス」とトピック 6.2「体験レベル合意」を参照)。
実践:サービスマネジメントの例
中規模のオンライン小売業者が、それぞれプロダクトチームが所有するストアフロント、決済サービス、注文サービスを運営し、プラットフォームチームが共有インフラを提供しています。この例の数字はすべて例示です。
プラットフォームチームの毎週のレビューは、ストアフロントの検索が、中央値のレイテンシ180ミリ秒、p95が420ミリ秒で、どちらも目標内にあり、処理装置の使用がピーク時間帯の95パーセンタイルで58パーセントであることを示します。予定されたセールの3週間前に、サポートリードが、顧客が夜のキャンペーンの間、サイトが「這うように遅い」と言っていると報告します。ダッシュボードは緑です。
チームは、前回のセールの最も忙しい時間の検索のp99を見て、p99の目標1.5秒に対して3.1秒を見つけます。飽和が残りを語ります。プロダクトデータベースへのコネクションプールは、ピーク中に1分間隔の14パーセントで待っているリクエストを示し、一方で処理装置の使用は60パーセントを超えませんでした。制約は決して処理装置ではありませんでした。トラフィックが今日の3分の1だったときに設定されたプールの上限だったのです。
プロダクトオーナーとプラットフォームのリードが、昨年のピークの1.5倍で、本番の操作のミックスを使って負荷テストを実行します。テストは、p99の目標が昨年のピークの1.15倍で破られることを示し、余裕は、顧客向けサービスのポリシー40パーセントに対して15パーセントです。マーケティングのカレンダーは、初日の需要が昨年のピークの1.6倍になることを示唆します。台帳に凍結された古い予測は範囲を1.2〜1.4としており、昨年のセールに対する誤差は22パーセントで、ほとんどは告知されなかったメールキャンペーンによるものでした。
判断ログに記録された決定には四つの部分があります。第一に、プールの上限を上げ、リードレプリカを追加し、再テストする。第二に、キャンペーンが少なくとも6週間前に予測台帳に届くよう、リリースのプロセスにセールの準備チェックリストを加える。第三に、毎週のレビューにp99とプールの飽和を加える。第四に、年間を通じた余剰ではなく、スケジュールされたスケーリングを使って、セールの期間の追加キャパシティのコストについて財務と合意する。
変更後、二回目のテストは、p99の目標が昨年のピークの1.8倍まで保たれることを示します。悪用のリスクはレビュー中に現れました。ある請負業者が、外れ値だという理由で、5秒より遅いリクエストをレイテンシのレポートから除外するという「手早い成果」を提案したのです。チームは拒否しました。除外されたリクエストは、まさに苦情を言った顧客でした。防護柵は、すべてのレイテンシのパーセンタイルの隣にエラーとタイムアウトの率を保ち、標本サイズを記録することでした。セールの間、p99は1.2秒でピークに達し、プールの飽和は間隔の1パーセント未満にとどまり、予測誤差は9パーセントで、残った外れの理由とともに台帳に記録されました。
アジャイル、AI、自動化、アナリティクス
アジャイル
キャパシティを、プロダクトのステークホルダーと短いサイクルで計画し、データとともに更新される範囲として予測を使います。注意点は、見出しの数字を守るための過剰なプロビジョニングは、お金を無駄にすることです。
AI
モデル推論のようなAIのワークロードは、需要が変動し、時にコストがかかり、AI機能は利用パターンを素早く変えうるものです。AIの経路について、レイテンシのパーセンタイルとリクエストあたりのコストを追跡し、答えの品質と組にします。注意点は、速度のための調整が答えの品質を下げうるため、両方を測ることです。
自動化
使用率とレイテンシを自動で集め、限度内でスケーリングを自動化します。スケーリングを、振動と、それが加えるコストで測ります。注意点は、オートスケーリングは限界に達するまで飽和を隠すため、現在の負荷だけでなく余裕を追跡することです。
アナリティクス
パーセンタイルのレイテンシと余裕を、予測の範囲と予測誤差の履歴とともに示します。これが情報を与える判断は、いつキャパシティを追加するかです。注意点は、短い履歴からの予測は脆いため、区間を述べることです。
業種別の視点
スタートアップ。 トラフィックは小さく成長は不確かなので、安価な測定値が凝ったものに勝ります。収益を生む二つか三つの旅路のレイテンシのパーセンタイルを追跡し、データベースの飽和を見て、立ち上げの前に単純な負荷テストを実行します。バグやトラフィックの急増が請求書にならないよう、支出のアラートを設定します。
中小企業。 サービスはホスト型か購入したものであることが多く、キャパシティは供給者の問題です。供給者にパフォーマンスとキャパシティのレポートを書面で求め、ピーク期間について契約が何を述べているかを学び、いくつかの合成チェックで顧客の見方を見ます。事業がなしでは済まない一つのシステムで余裕を追跡します。
大企業。 多くのサービスがインフラを共有するため、キャパシティの問題は間違った場所に現れます。サービスを、使用するコンポーネントに結び付けるサービスマップ、事業部門との共有の予測プロセス、チーム間のレイテンシのパーセンタイルの共通の定義に投資します。余裕のポリシーを、サービスの重要度で設定します。
政府・公共部門。 需要は、納税の申告日、給付の請求、選挙のような、法律で定められた期限によって形作られ、その日の失敗は公になります。予測は法定のカレンダーを使い、ピークのためのキャパシティは数か月前に契約する必要があるかもしれません。調達のリードタイムはキャパシティのリードタイムを長くするので、それを測って周りを計画します。サービスのパフォーマンスの公開レポートは、パーセンタイルと負荷の条件を述べるべきです(トピック 8.5「規制対応・行政向け報告」を参照)。
ビジネスケース:動機、ROI、TCO
コストには四つの部分があります。第一は計装:テレメトリとそのストレージ。第二はテスト:維持が必要な代表的な環境とワークロードのモデル。第三は計画のルーチン:予測台帳を保ち、四半期ごとに誤差をレビューすること。第四は余剰のキャパシティそのもので、しばしば最大のコストであり、明示する価値が最もあるものです。
見返りは、キャパシティに関連するインシデントの減少、いつ購入し、いつしないかについてのより良い判断、データが不要と示すキャパシティへの支出の回避から来ます。節約のパーセンテージを事前に約束してはいけません。代わりに自分たちのパターンを測ります。四半期あたりのキャパシティが原因のインシデントの数、緊急対応を要したピークの割合、合意した余裕のポリシーに対するアイドルのキャパシティへの支出、予測誤差の傾向。GoogleのSREの本は、信頼性を経済的な判断として扱っています。
総所有コストは、人とテスト環境に支配されます。小さなチームは、既存の監視、毎週のレビュー、最も重要な旅路のための一つの負荷テストから始められます。
アンチパターンと落とし穴
- キャパシティの物語として平均使用率を報告する。 平均はピークと崖を隠す。ピーク時間帯の高いパーセンタイルと飽和の測定値を報告する。
- 経営層向けダッシュボードの平均レイテンシ。 苦情を駆動するのは裾である。エラー率と標本サイズとともに、p95とp99を示す。
- レイテンシから「外れ値」を除外する。 最も遅いリクエストは実在のユーザーである。それらを残し、データを刈り込むのではなく、原因を調査する。
- サーバー間でパーセンタイルを平均する。 結果は誰も記述しない。パーセンタイルを計算する前に、ヒストグラムまたは生の観測値を結合する。
- 昨年のトラフィックだけから作ったキャパシティ計画。 需要は事業のイベントに依存する。事業のカレンダーを含め、予測誤差をレビューする。
- 本番に似ていない環境でテストする。 合格の結果は偽の確信を与える。違いを記録して補正するか、本番で安全にテストする。
- キャパシティの測定値でエンジニアやチームに順位を付ける。 使用率とレイテンシはシステムを記述する。サービスの設計と需要の観点でレビューし、個人を絵から外す。
成熟度モデル
| 観点 | 1 開始 | 2 発展 | 3 標準化 | 4 管理 | 5 協調 |
|---|---|---|---|---|---|
| 使用率、飽和、レイテンシの測定 | 少数のサーバーからの平均。処理装置の使用率が高いことへのアラート | 一部のチームがレイテンシのパーセンタイルとキューをグラフにする | 共有の定義:主要な操作ごとのパーセンタイル、使用率の隣の飽和、書き下された窓 | 目標に対して傾向を追い、エラー率と組にし、毎週レビューする | 定義が供給者や顧客と共同で見直される。ユーザー側とサーバー側の見方が突き合わされる |
| 限界と余裕 | 失敗するまで限界が分からない | 大きな立ち上げの前に時折負荷テストを行う | 書面の余裕のポリシーに照らした、重要なサービスの負荷テスト | サービスごとに余裕を追跡し、関連する変更の後に再テストする | コスト、リスク、インシデントのデータから、チームと供給者にまたがって余裕のポリシーが調整される |
| 予測 | 依頼の時点でのアドホックな推測 | 個々のチームが予測を頭の中かスプレッドシートに持つ | 事業のカレンダーから供給される、範囲とオーナーを持つ共有の予測台帳 | 予測誤差を採点し、外れの原因とともにレビューする | 予測が事業と供給者とともに作られ、入力が日常的に改善される |
| キャパシティの提供 | インシデントの後にキャパシティが追加される | 一般的な事例の標準的な依頼 | 承認から本番トラフィックまでの文書化された経路があり、キャパシティのリードタイムが測定される | 最も長い待ちが、資金の付いた改善の対象になる | ポリシーの範囲内でキャパシティが自動で追加される。スケーリングの振る舞いとコストが一緒にレビューされる |
チェックリスト
- 重要なユーザーの旅路が名指しされ、それぞれにオーナーと合意したレイテンシの期待がある。
- レイテンシが、操作ごとに中央値、p95、p99で報告され、窓と標本サイズが述べられている。
- パーセンタイルがヒストグラムまたは生の観測値から計算され、サーバー間で平均されていない。
- すべての使用率のグラフの隣に、飽和のグラフがある。
- 各レイテンシのパーセンタイルの隣に、エラーとタイムアウトの率が示されている。
- 各重要なサービスに負荷テストがあり、ワークロードと環境の違いが書き下されている。
- サービスの重要度ごとの余裕のポリシーがあり、理由が記録されている。
- 日付のある予測台帳が範囲、前提、オーナーを保持し、事業のカレンダーから供給されている。
- 予測誤差が四半期ごとにレビューされ、大きな外れの原因が記録されている。
- キャパシティのリードタイムが、承認からトラフィックを運ぶまでで測定されている。
- オートスケーリングの上限、遅れ、コストが、サービスオーナーとレビューされている。
- キャパシティやパフォーマンスの測定値が個人別に報告されていない。
AIプロンプト
レイテンシのレポートを、隠れた歪みについてレビューする。
[操作またはサービス] のレイテンシは次のように報告しています:[測定点、窓、示される統計、含まれるまたは除外されるリクエストの説明]。ユーザーは [ユーザーの旅路または期待] を気にします。平均、除外規則、サンプリング、測定場所など、このレポートが最も遅いユーザーの体験を過小に示しうる方法を特定してください。代わりに何を示すべきか、どんな追加データが必要かを提案してください。ベンチマークの値や閾値を捏造せず、必要なものは私に尋ねてください。前提を列挙してください。
サービスの負荷テスト計画を起案する。
[サービス名] の負荷テスト計画が必要です。主なユーザーの旅路は [旅路]、依存関係は [依存関係]、本番のトラフィックのミックスはおおよそ [ミックスの説明] です。テスト環境は本番と次の点で異なります:[違い]。ワークロードのモデル、負荷の上げ方、記録する測定値(レイテンシのパーセンタイル、エラー率、使用率、飽和)、停止条件、結果が答えるべき問いを提案してください。ツールの機能を仮定したり、目標値を捏造したりしないでください。前提とテストのリスクを列挙してください。
事業とともに需要の予測を構成する。
[期間] をカバーする [サービス] のキャパシティの予測を準備しています。既知の入力:[過去のトラフィックの説明]、[事業のイベントと日付]、[計画された変更]。低、期待、高のケース、それぞれの背後の前提、各入力のオーナー、予測誤差を採点するレビューのルーチンを備えた予測台帳のレイアウトを起案してください。[事業のステークホルダー] に尋ねる問いを提案してください。成長率や季節の係数を捏造しないでください。前提を列挙してください。
症状から本当の制約を見つける。
サービスがピーク負荷の間に次の症状を示します:[症状。例:遅いp99、キューの増加、エラーの種類]。使用率のデータ:[資源の使用率の要約]。飽和のデータ:[キュー、プール、スロットリングの要約]。アーキテクチャのメモ:[短い説明]。制約になりうる資源と限界、それらを区別する証拠、それぞれの最も安い次のテストを列挙してください。データが支持しない原因を主張しないでください。前提を列挙してください。
AIスキル
- サービスマネジメントメトリクスのスキル:キャパシティまたはパフォーマンスの測定値を定義するトピック、その時計、その隣に置くべき防護柵を探すときに使います。
- サービスマネジメントメトリクスのメンテナースキル:編集したキャパシティまたはパフォーマンスのトピックが、すべてのメトリクスを悪用の手口と防護柵と組にしたままかを確認するときに使います。
要点
- 使用率とともに飽和を測る。ユーザーが感じるのは、パーセンテージではなくキューだからである。
- レイテンシを、操作ごとのパーセンタイルとして、エラー率と標本サイズとともに報告し、パーセンタイルを決して平均しない。
- テストで限界を見つけ、コストとリスクを比べて量る、記録されたポリシーとして余裕を設定する。
- 需要を事業とともに範囲として予測し、予測を凍結し、誤差から学ぶ。
- キャパシティが必要に従うよう、キャパシティのリードタイムを短くし、オートスケーリングを測る。
- サービスとシステムを記述し、人は決して記述せず、完璧に見える数字を、測定を確認する促しとして扱う。
参考文献とさらなる読書
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Google, "Monitoring Distributed Systems," chapter in Site Reliability Engineering, 2016, https://sre.google/sre-book/monitoring-distributed-systems/
- Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018, https://sre.google/workbook/table-of-contents/
- Dean, J., and Barroso, L. A., "The Tail at Scale," Communications of the ACM, 56(2), 2013.
- Little, J. D. C., "A Proof for the Queuing Formula: L = λW," Operations Research, 9(3), 1961.
- Gregg, B., Systems Performance: Enterprise and the Cloud, 2nd edition, Addison-Wesley, 2020.
- Allspaw, J., The Art of Capacity Planning, O'Reilly Media, 2008.
- Gunther, N. J., Guerrilla Capacity Planning, Springer, 2007.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- AXELOS (now PeopleCert), ITIL 4 Foundation and the ITIL 4 practice guide for capacity and performance management, 2019 onwards.
- Wikipedia, Capacity planning.
- Wikipedia, Site reliability engineering.
- Wikipedia, Latency (engineering).
- Wikipedia, Throughput.
- Wikipedia, Queueing theory.
- Wikipedia, Little's law.
- Wikipedia, Load testing.
- Wikipedia, Percentile.
- Wikipedia, Tail latency.
- Wikipedia, Forecasting.
- Wikipedia, Seasonality.
- Wikipedia, Autoscaling.