مقاييس التوافر
التوافر هو حصة الزمن، أو حصة طلبات المستخدمين، التي أدت فيها الخدمة ما احتاجه مستخدموها، ولا يقول الحقيقة إلا حين تعرّف معنى «تعمل» من جانب المستخدم، وتعد الانقطاعات المخططة وغير المخططة على حدة، وتقرأ حساب التسعات قبل أن تعد بواحد منها.
نظرة عامة والدافع
التوافر أكثر الأرقام اقتباسًا في إدارة الخدمات وأحدها تعريفًا غير دقيق. عبارة مثل «كانت الخدمة متاحة بنسبة 99.9 في المئة الشهر الماضي» تبدو دقيقة، لكنها تخفي أربعة قرارات على الأقل: ما الذي عُد الخدمة، وما الذي عُد «متاحًا»، وأي الساعات في النطاق، وأي الانقطاعات استُثنيت. يستطيع فريقان الإبلاغ عن الخدمة نفسها في الشهر نفسه ونشر أرقام تختلف بمرتبة من الحجم دون أن يخطئ أي منهما في الحساب.
يجعل هذا الموضوع تلك القرارات صريحة. يغطي حساب زمن التشغيل والتوقف، والتوافر الموزون بالمستخدمين، والانقطاع المخطط مقابل غير المخطط، وحساب التسعات. ويبني على مؤشرات مستوى الخدمة (SLI) وأهدافها (SLO) وميزانيات الأخطاء (انظر الموضوع 5.2، مؤشرات SLI وأهداف SLO وميزانيات الأخطاء) وعلى الرؤية التعاقدية لمستويات الخدمة (انظر الموضوع 5.1، مقاييس SLA وOLA وXLA). تقول تلك المواضيع كيف تختار هدفًا. ويقول هذا كيف تحسب الرقم الذي يُقارَن به الهدف.
المصطلحات المستخدمة في هذا الموضوع
- التوافر (availability) قدرة الخدمة على فعل ما يحتاجه المستخدمون حين يحتاجونه، ويُعبَّر عنه عادة نسبةً مئوية على فترة. يوصف المفهوم العام في مقالة التوافر العالي (high availability).
- التوقف (downtime) فترة تكون فيها الخدمة غير متاحة. يستخدم هذا الموضوع الانقطاع (outage) لحلقة توقف متصلة واحدة، والتدهور (degradation) لفترة تعمل فيها الخدمة دون جودة متفق عليها.
- زمن التشغيل (uptime) مكمل التوقف داخل نافذة القياس. التوافر القائم على الزمن هو زمن التشغيل مقسومًا على إجمالي الزمن في النطاق.
- التوافر القائم على الطلبات (request-based availability) هو حصة الطلبات الصالحة التي نجحت، فإخفاق يؤثر في 5 في المئة من الطلبات لمدة ساعة يُحتسب 5 في المئة من حركة ساعة، لا ساعة توقف كاملة.
- التوافر الموزون بالمستخدمين (user-weighted availability) يمد المنظور القائم على الطلبات بوزن الإخفاقات بعدد المستخدمين المتأثرين أو أهميتهم، مثلًا بعدّ الجلسات أو الرحلات الفاشلة بدل الطلبات الخام.
- اتفاقية مستوى الخدمة (SLA) التزام لعميل، وهدف مستوى الخدمة (SLO) هدف داخلي لمؤشر. تعطي مقالتا اتفاقية مستوى الخدمة وهدف مستوى الخدمة تعريفات عامة.
- التوقف المخطط انقطاع معلن مسبقًا وموافق عليه عبر تمكين التغيير. والتوقف غير المخطط كل ما عداه. والحد بينهما من أكثر الخطوط خلافًا في الإبلاغ عن التوافر.
- متوسط الزمن بين الأعطال (mean time between failures، MTBF) هو متوسط زمن التشغيل بين الانقطاعات، ومتوسط زمن الإصلاح (mean time to repair) متوسط زمن الاستعادة. كلاهما متوسط، لذا يقرؤهما هذا الكتاب توزيعات (انظر الموضوع 1.6، الثقافة الإحصائية لمقاييس الخدمة).
- المراقبة الاصطناعية (synthetic monitoring) تستخدم مسابير مبرمجة تتصرف كمستخدم وتبلّغ بنجاح أو فشل. ومراقبة المستخدم الحقيقي (real user monitoring) تسجل تجربة مستخدمين فعليين وهم يستخدمون الخدمة.
- ITIL أشهر إطار لإدارة خدمات تقنية المعلومات. في ITIL 4 تُعنى ممارسة إدارة التوافر بالتأكد من أن الخدمات تقدم مستويات توافر متفقًا عليها، وتعمل بالقرب من المراقبة وإدارة الأحداث وإدارة الحوادث وإدارة استمرارية الخدمة.
لماذا لا يكفي رقم واحد
عشرة انقطاعات من أربع دقائق وانقطاع واحد من أربعين دقيقة ينتجان إجمالي التوقف نفسه، لكنها تبدو مختلفة للمستخدمين وتستدعي استجابات مختلفة. النمط الأول يشير إلى خدمة هشة. والثاني يشير إلى اكتشاف أو استعادة بطيئة. لذلك تأتي المقاييس هنا مجموعةً صغيرة، لكل منها حاجز حماية، ليستطيع الفريق مناقشة التوافر بصدق دون التنافس على أكبر عدد من التسعات.
كيف تختلف رؤيتا الأجايل وITIL
في ITIL، التوافر خاصية مُدارة لخدمة، متفق عليها مع العميل ومبلَّغة بإدارة مستوى الخدمة مقابل هدف معلن، بساعات خدمة واضحة واستثناءات مثل الصيانة المخططة.
وفي ممارسة الأجايل وهندسة موثوقية المواقع (SRE)، التوافر مؤشر SLI من عدة، يُقارَن بـSLO. يقول كتاب Google Site Reliability Engineering إن التوافر القائم على الزمن يناسب نظامًا واحدًا، بينما معدل نجاح الطلبات يناسب الخدمات الموزعة التي تعمل جزئيًا في كل وقت. ويقول أيضًا إن 100 في المئة نادرًا ما يكون الهدف الصحيح، لأن كلفة كل تسعة إضافية ترتفع بحدة.
استخدم انضباط ITIL في النطاق والساعات والاستثناءات المتفق عليها لتعريف المقام. واستخدم انضباط SRE في المؤشرات المتمحورة حول المستخدم وميزانيات الأخطاء لتعريف البسط وتقرير ما يُفعل بالنتيجة.
المبادئ الأساسية
- عرّف «متاح» من جانب المستخدم. خدمة تجيب عن فحوص الصحة بينما لا يستطيع المستخدمون تسجيل الدخول متوقفة لمن يهم.
- اكتب المقام. اذكر حد الخدمة والساعات في النطاق والمنطقة الزمنية ونافذة القياس قبل أن تحسب أي شيء.
- عُدّ الانقطاعات المخططة وغير المخططة على حدة. أبلِغ الاثنين، معًا، ولا تدع أحدهما يختبئ داخل الآخر.
- فضّل المقاييس القائمة على الطلبات والموزونة بالمستخدمين للخدمات الموزعة. الفشل الجزئي ليس زمن تشغيل كاملًا ولا توقفًا كاملًا.
- حوّل التسعات إلى دقائق. لا يُفهم الهدف إلا حين يستطيع الناس قول كم دقيقة فشل في الشهر يسمح بها.
- اختر عدد التسعات الذي يحتاجه المستخدمون. بعد تلك النقطة، كل تسعة إضافية تكلف أكثر مما تعود.
- صف الخدمات، لا الأشخاص أبدًا. التوافر ينتمي إلى خدمة والفرق التي تشغّلها، وليس درجة فرد.
تعريفات المقاييس
يذكر كل صف ساعاته وحدوده. يُستخدم الزمن التقويمي ما لم يقل صف غير ذلك. وحيث يستخدم مقياس توزيعًا، أبلِغ الوسيط والنسبة المئوية 95، وسمِّ النافذة.
| المقياس | التعريف | الصيغة | الوحدة | مصدر البيانات | ممارسة ITIL | المقابل في الأجايل | التكرار |
|---|---|---|---|---|---|---|---|
| التوافر القائم على الزمن | حصة الزمن في النطاق الذي استوفت فيه الخدمة التعريف المكتوب لـ«تعمل» | (دقائق النطاق في النافذة ناقص دقائق التوقف غير المخطط) / دقائق النطاق في النافذة. تبدأ الساعة عند أول مسبار فاشل يتأكد لاحقًا أنه أثر على المستخدمين، أو عند بداية الأثر المؤكدة المسجلة في مراجعة الحادثة؛ وتتوقف حين تستوفي الخدمة التعريف ثانية. يُظهر التوقف المخطط داخل ساعات الخدمة المتفق عليها على حدة، ويُستثنى الزمن خارج ساعات الخدمة المتفق عليها من المقام | نسبة مئوية | نتائج المراقبة الاصطناعية؛ سجل الحادثة بطابعي بداية الأثر والاستعادة | إدارة التوافر؛ إدارة مستوى الخدمة | SLI قائم على الزمن لنظام واحد (انظر الموضوع 5.2، مؤشرات SLI وأهداف SLO وميزانيات الأخطاء) | شهري |
| التوافر القائم على الطلبات | حصة الطلبات الصالحة التي نجحت | الطلبات الصالحة الناجحة / إجمالي الطلبات الصالحة في النافذة. تستثني الطلبات الصالحة الطلبات المشوهة وأخطاء العميل التي يسببها المتصل؛ والإخفاقات التي تسببها الخدمة، بما فيها انتهاء المهلة، تُعد إخفاقات. يُبلَّغ لكل خدمة ولكل رحلة مستخدم | نسبة مئوية | سجلات ومقاييس موزع الحمل أو البوابة أو التطبيق | إدارة التوافر؛ المراقبة وإدارة الأحداث | SLI لمعدل النجاح مع SLO وميزانية أخطاء (انظر الموضوع 5.2، مؤشرات SLI وأهداف SLO وميزانيات الأخطاء) | اتجاه يومي، تقرير شهري |
| التوافر الموزون بالمستخدمين | التوافر مرجحًا بالمستخدمين أو الرحلات المتأثرة، فيُحتسب انقطاع في الذروة أكثر من انقطاع ليلي | 1 ناقص (جلسات المستخدمين الفاشلة أو الرحلات الفاشلة / إجمالي جلسات المستخدمين أو الرحلات) في النافذة. تُعد الجلسة فاشلة إن فشلت خطوة حرجة معرَّفة؛ والنجاح الجزئي يُبلَّغ حصة تدهور منفصلة، لا يُدمج | نسبة مئوية | مراقبة المستخدم الحقيقي؛ سجلات جلسات التطبيق؛ أحداث التحليلات | إدارة التوافر؛ إدارة مستوى الخدمة | SLI قائم على الرحلة ومقاييس التجربة في الموضوع 6.2 (انظر الموضوع 6.2، اتفاقيات مستوى التجربة) | شهري |
| التوقف غير المخطط | الدقائق التي كانت الخدمة فيها غير متاحة دون إشعار مسبق موافق عليه | مجموع مدد الانقطاع في النافذة، من بداية الأثر المؤكدة إلى الاستعادة المؤكدة، للانقطاعات غير المعلنة وغير الموافق عليها عبر تمكين التغيير قبل أن تبدأ. الانقطاعات المتداخلة على الخدمة نفسها تُدمج لا تُجمع. يُبلَّغ مجموع الدقائق وعدد الانقطاعات والوسيط والنسبة المئوية 95 لمدة الانقطاع | دقائق | سجل الحادثة بطابعي بداية الأثر والاستعادة | إدارة الحوادث؛ إدارة التوافر | زمن الاستعادة مقروءًا توزيعًا (انظر الموضوع 3.3، زمن الاستجابة للحوادث وحلها) | شهري |
| حصة التوقف المخطط | نسبة كل التوقف التي أُعلنت ووُفق عليها مسبقًا | دقائق التوقف المخطط / (دقائق التوقف المخطط زائد غير المخطط) في النافذة. يُعد الانقطاع مخططًا فقط إن وُفق عليه عبر سجل تغيير قبل أن يبدأ وأُبلغ المستخدمون ببدايته ونهايته؛ والتجاوز بعد النافذة الموافق عليها يُعاد تصنيفه غير مخطط من لحظة انتهاء النافذة | نسبة مئوية | سجل التغيير بنافذة موافق عليها؛ سجل الحادثة؛ تاريخ صفحة الحالة | تمكين التغيير؛ إدارة التوافر | ممارسات الإصدار والصيانة التي تفضل النشر بلا توقف (انظر الموضوع 4.3، مقاييس تمكين التغيير) | شهري |
| تكرار الانقطاع والفاصل بينها | كم مرة تبدأ الانقطاعات وكم تعمل الخدمة بينها | عدد الانقطاعات التي تبدأ في النافذة؛ ولكل زوج من الانقطاعات المتتالية، دقائق زمن التشغيل بين استعادة الأول وبداية الثاني، مُلخَّصة وسيطًا والنسبة المئوية 5. لا يُبلَّغ متوسطًا واحدًا حين توجد أقل من عشر فواصل | عدد؛ دقائق | سجل الحادثة؛ تاريخ المراقبة | إدارة الحوادث؛ إدارة المشكلات | إشارة استقرار بجوار معدل فشل التغيير (انظر الموضوع 4.4، فشل التغيير وإعادة العمل) | شهري |
| حصة التدهور | الزمن الذي عملت فيه الخدمة دون جودة متفق عليها | الدقائق التي تجاوز فيها مؤشر الكمون أو الأخطاء أو الصحة عتبته، باستثناء الدقائق المعدودة أصلًا توقفًا / دقائق النطاق. العتبة معلنة لكل خدمة، مثلًا في SLO | نسبة مئوية | المراقبة وقياسات SLI | إدارة التوافر؛ إدارة السعة والأداء | SLI للكمون (انظر الموضوع 5.4، مقاييس السعة والأداء) | شهري |
| تغطية القياس | كم من سلوك الخدمة الموجه للمستخدم يرصده قياس التوافر فعلًا | رحلات المستخدم الحرجة التي لها مسبار نشط أو قياس مستخدم حقيقي / رحلات المستخدم الحرجة المسرودة في تعريف الخدمة | نسبة مئوية | تعريف الخدمة؛ تكوين المراقبة | المراقبة وإدارة الأحداث؛ إدارة التوافر | تغطية قابلية الرصد وجودة التنبيه (انظر الموضوع 5.5، مقاييس جودة المراقبة والتنبيهات) | ربع سنوي |
ملاحظتان عن البيانات. مسبار يفحص كل خمس دقائق لا يستطيع التقاط انقطاع من دقيقتين، فسجّل فاصل المسبار بجوار الرقم، واستخدم حقل بداية الأثر في سجل الحادثة (انظر الموضوع 1.5، مصادر البيانات وأدوات القياس). وكلما تغير تعريف «يعمل»، علّم ذلك على مخطط الاتجاه.
التوصيات
عرّف القياس
1. اكتب تعريف الخدمة قبل النسبة المئوية. اسرد حد الخدمة ورحلات المستخدم الحرجة والساعات في النطاق والمنطقة الزمنية والنافذة (الشهر التقويمي معتاد). قل أي التبعيات تُحتسب: إن فشل مزود دفع ولم يستطع المستخدمون الدفع، فهل هذا انقطاعك؟ سجّل الجواب في سجل المقاييس (انظر الموضوع 1.4، حوكمة المقاييس وملكيتها). معظم النزاعات حول التوافر نزاعات على هذه الصفحة، وتسويتها مسبقًا أرخص بكثير من تسويتها بعد انقطاع.
2. عرّف «يعمل» نتيجة للمستخدم لا حالة خادم. فحص صحة يعيد نجاحًا بينما تسجيل الدخول معطل يقيس الشيء الخطأ. اختر عددًا قليلًا من الرحلات الحرجة، مثل «ابحث واعرض بندًا» و«سجّل الدخول» و«قدّم مطالبة»، وعرّف النجاح لكل منها بمصطلحات يتعرف إليها المستخدمون. امسح الرحلة من البداية إلى النهاية، وعامل الاستجابة البطيئة فوق عتبة متفق عليها متدهورة لا عاملة.
3. استخدم المقاييس القائمة على الطلبات للخدمات الموزعة والقائمة على الزمن حيث الخدمة فعلًا تعمل أو لا تعمل. نادرًا ما تتوقف خدمة عالمية كليًا، فعدّ دقائق الفشل الكلي يتجاهل معظم الإخفاقات الحقيقية. أبلِغ الاثنين متى استطعت، وقل أيهما الرئيسي ولماذا.
4. أضف وزن المستخدمين حيث الحمل غير متساوٍ. انقطاع عشر دقائق في الرابعة صباحًا وآخر عند بدء يوم التداول لهما المدة نفسها وكلفة مختلفة جدًا. زِن بالجلسات أو المعاملات في دقيقة الفشل، أو أبلِغ دقائق انقطاع ساعات الذروة رقمًا منفصلًا.
5. قِس من خارج نطاق الفشل. مسبار داخل الشبكة أو المنطقة نفسها للخدمة يفشل معها، أو يظل يبلّغ بالنجاح بينما المسار الذي يسلكه المستخدمون معطل. شغّل مسابير اصطناعية من موقعين مستقلين على الأقل وتحقق منها مقابل بيانات المستخدم الحقيقي.
عامل الانقطاعات المخططة وغير المخططة بأمانة
6. أبلِغ التوقف المخطط وغير المخطط جنبًا إلى جنب. تستثني اتفاقيات كثيرة الصيانة المخططة، وهذا معقول. ومع ذلك يعيشها المستخدمون توقفًا، فأظهر الدقائق المستثناة والحصة المخططة بجوار الرقم الرئيسي (انظر الموضوع 4.3، مقاييس تمكين التغيير).
7. اجعل وسم «مخطط» صعب الكسب. عرّف المخطط بأنه موافق عليه عبر سجل تغيير قبل أن يبدأ الانقطاع، مع إبلاغ المستخدمين مسبقًا بالبداية والنهاية. انقطاع أُعلن بعد أن بدأ غير مخطط. وتجاوز النافذة الموافق عليها غير مخطط من لحظة انتهاء النافذة. هذه القواعد الثلاث تمنع الوسم من أن يصبح طريقة لإعادة وسم الإخفاقات.
8. اعمل على تقليص التوقف المخطط. تتيح عمليات النشر المتدرجة ومفاتيح الميزات وترحيلات المخطط دون أقفال والإصدارات الزرقاء الخضراء للفرق تغيير خدمة دون إيقافها. تتبع دقائق التوقف المخطط اتجاهًا واسأل ما الذي يلزم لجعلها تقترب من الصفر.
اقرأ الأرقام جيدًا
9. حوّل التسعات إلى دقائق وأظهرها. يعطي الجدول أدناه الحساب لشهر من 30 يومًا (43,200 دقيقة) وسنة من 365 يومًا (525,600 دقيقة). ضع الدقائق المسموحة على اللوحة بجوار الهدف، وأظهر الدقائق المستخدمة حتى الآن في النافذة. يتخذ الناس قرارات أفضل عن «43 دقيقة في الشهر» منها عن «ثلاث تسعات».
| هدف التوافر | التوقف المسموح في شهر من 30 يومًا | التوقف المسموح في سنة من 365 يومًا |
|---|---|---|
| 99 في المئة | 432 دقيقة (7.2 ساعة) | 5,256 دقيقة (87.6 ساعة) |
| 99.5 في المئة | 216 دقيقة (3.6 ساعة) | 2,628 دقيقة (43.8 ساعة) |
| 99.9 في المئة | 43.2 دقيقة | 525.6 دقيقة (8.76 ساعة) |
| 99.95 في المئة | 21.6 دقيقة | 262.8 دقيقة (4.38 ساعة) |
| 99.99 في المئة | 4.32 دقيقة | 52.56 دقيقة |
| 99.999 في المئة | نحو 26 ثانية | نحو 5.26 دقيقة |
تفترض القيم أن الساعة تجري للنافذة كلها. وإن قست ساعات الخدمة المتفق عليها فقط، تتقلص الدقائق المسموحة بالتناسب، وينبغي أن تقول ذلك.
10. احترم كلفة كل تسعة إضافية وحدود تبعياتك. يلاحظ كتاب SRE أن كلف الموثوقية ترتفع بحدة مع كل تسعة إضافية، وأن الهدف ينبغي أن يعكس ما يحتاجه المستخدمون وما ستدفعه الأعمال. نادرًا ما تكون الخدمة أكثر توافرًا من التبعيات التي تحتاجها على التوالي. إن حقق كل من ثلاثة مكونات أساسية 99.9 في المئة وكان الطلب يحتاج الثلاثة كلها، فأفضل توافر متوقع للمجموعة نحو 99.7 في المئة، لأن احتمالات الفشل تُجمع حين تكون المكونات مستقلة. أجرِ الضرب قبل أن تعد برقم.
11. انظر إلى الفاصل والشكل، لا إلى المجموع فقط. الانقطاعات القصيرة المتكررة تحتاج استجابة مختلفة عن انقطاع طويل نادر واحد. اربط الانقطاعات الطويلة بالاكتشاف والاستعادة (انظر الموضوع 3.3، زمن الاستجابة للحوادث وحلها) وبمنظور الحوادث الكبرى (انظر الموضوع 3.4، مقاييس الحوادث الكبرى).
12. أغلق الحلقة مع ميزانية الأخطاء وسجل المشكلة. هدف التوافر مفيد حين يغير ما يفعله الفريق. حين تكاد ميزانية التوقف المسموح الشهرية تنفد، أبطئ التغيير الخطر وانقل الجهد إلى عمل الموثوقية، كما تصف سياسة ميزانية الأخطاء (انظر الموضوع 5.2، مؤشرات SLI وأهداف SLO وميزانيات الأخطاء). وحين يتكرر السبب نفسه، افتح سجل مشكلة وتتبعه حتى إصلاح (انظر الموضوع 4.1، مقاييس إدارة المشكلات).
مسارات التلاعب وحواجز الحماية
| المقياس | كيف يُتلاعب به | حاجز الحماية أو الممارسة المقترنة |
|---|---|---|
| التوافر القائم على الزمن | مسح صفحة تافهة تظل تعمل بينما تفشل الرحلة الحقيقية؛ إطالة فاصل المسبار فتقع الانقطاعات القصيرة بين الفحوص؛ تقليص الساعات في النطاق؛ عدّ الانقطاعات تدهورًا | التوافر الموزون بالمستخدمين ومراقبة المستخدم الحقيقي؛ فاصل المسبار معلن بجوار الرقم؛ عينة من الحوادث مقابل سجل المراقبة |
| التوافر القائم على الطلبات | إدخال الطلبات السهلة (فحوص الصحة، الأصول المخزنة مؤقتًا) في المقام لتخفيف الإخفاقات؛ تصنيف أخطاء الخادم أخطاء عميل؛ استثناء المحاولات المعادة التي عاشها المستخدمون إخفاقات | معدل النجاح لكل رحلة حرجة لا لكل طلب؛ مراجعة قائمة الاستثناءات؛ المقارنة بالحوادث التي يبلّغ عنها المستخدمون |
| التوافر الموزون بالمستخدمين | اختيار الوزن بحيث تهم إخفاقات الذروة قليلًا؛ تعريف الجلسة «الناجحة» فضفاضًا بحيث تمر الخطوات المكسورة | انشر قاعدة الوزن وقائمة الرحلات؛ قارن بحجم الشكاوى وتواصل الدعم أثناء الانقطاعات |
| التوقف غير المخطط | إعادة تصنيف الانقطاعات مخططة بعد الواقعة؛ تأخير بداية الأثر المؤكدة؛ تقسيم انقطاع واحد إلى اثنين ليبدو أقصر | حصة التوقف المخطط، بقاعدة أن انقطاعًا أُعلن بعد أن بدأ غير مخطط؛ قارن بداية الأثر ببيانات المراقبة |
| حصة التوقف المخطط | حجز التغييرات نوافذ موافقًا عليها فتُحتسب التجاوزات والإخفاقات مخططة؛ تضخيم الحصة المخططة بجدولة صيانة غير لازمة | دقائق التجاوز تُعاد تصنيفها غير مخططة؛ معدل فشل التغيير وحصة التغيير الطارئ (انظر الموضوع 4.4، فشل التغيير وإعادة العمل) |
| تكرار الانقطاع والفاصل بينها | دمج الحوادث، أو فتح حادثة جديدة بعد فجوة طويلة فقط، للإبقاء على العدد منخفضًا؛ كبت التنبيهات فلا تُسجل الانقطاعات القصيرة | أخذ عينات من التنبيهات والحوادث مقابل أحداث المراقبة الخام؛ تغطية المراقبة وجودة التنبيه (انظر الموضوع 5.5، مقاييس جودة المراقبة والتنبيهات) |
| حصة التدهور | وضع العتبة فضفاضة بحيث لا تنتهكها الخدمة البطيئة أبدًا؛ إعلان الزمن المتدهور عاملًا | نسب الكمون المئوية والبطء الذي يبلّغ عنه المستخدمون تُراجَع بجوار الرقم (انظر الموضوع 5.4، مقاييس السعة والأداء) |
| تغطية القياس | سرد الرحلات السهلة المسح فقط فتُقرأ التغطية 100 في المئة؛ عدّ رحلة مغطاة بمسبار لا يعمل أبدًا | قائمة رحلات متفق عليها مع مالك الخدمة والمستخدمين؛ تاريخ تشغيل المسابير يؤخذ منه عينات كل ربع |
القراءة السليمة تُظهر أرقامًا تتحرك لأسباب يستطيع الفريق شرحها، مع التوقف المخطط وغير المخطط كلاهما مرئيين، ورقم موزون بالمستخدمين قريب من الرقم الرئيسي. كن مرتابًا من شهر مثالي تصحبه شكاوى. وهبوط صادق عرضي يُظهر أن نظام التسجيل يعمل.
المفاضلات: الإيجابيات والسلبيات
| النهج | نقطة القوة | نقطة الضعف |
|---|---|---|
| التوافر القائم على الزمن | بسيط ومفهوم على نطاق واسع وسهل المقارنة بالعقود | يعامل الفشل الجزئي كل شيء أو لا شيء؛ يتجاهل متى ومن |
| التوافر القائم على الطلبات | يعكس الفشل الجزئي؛ يتسع للخدمات الموزعة | يعتمد على تعريف سليم للطلب الصالح؛ قد تخففه الحركة السهلة |
| التوافر الموزون بالمستخدمين | قريب مما عاشه المستخدمون؛ يُظهر كلفة فشل وقت الذروة | يحتاج بيانات جلسات أو رحلات؛ جهد أكثر في الشرح |
| استثناء التوقف المخطط | يطابق اتفاقيات كثيرة؛ يكافئ الإشعار المسبق | قد يخفي أثرًا حقيقيًا؛ يدعو إلى إعادة الوسم |
| أهداف معتدلة مع ميزانيات أخطاء | توازن بين الموثوقية وسرعة التسليم | تحتاج انضباطًا للعمل حين تُنفق الميزانية |
الجواب العملي أن تختار أبسط مقياس يناسب الخدمة، وتضيف وزن المستخدمين حيث الحمل غير متساوٍ، وتكون صريحًا بشأن كل استثناء. مقياس أقل أناقة قليلًا يفهمه الجميع يفعل خيرًا أكثر من مقياس متطور لا يثق به أحد.
أسئلة للنقاش مع فريقك
1. ماذا يعني «متاح» لأهم خدماتنا، وهل سيوافق مستخدم؟ اطلب من كل شخص وصف، في جملة واحدة، ما يجب أن يستطيع المستخدم فعله لتُعد الخدمة تعمل. قارن الإجابات بالتعريف المكتوب وبالمسبار الذي يغذي اللوحة. على الميسّر أن يصغي إلى فجوات مثل تسجيل الدخول أو البحث أو الدفع يعمل في المسبار لكنه يفشل عمليًا. اختم بالاتفاق على أي رحلات مستخدم يجب أن يسميها التعريف.
2. أي انقطاعات الربع الأخير كان حسابنا سيستثنيها، وهل كان ذلك منصفًا؟ اسرد الانقطاعات وعلّم كلًا مخططًا أو غير مخطط أو مستثنى. اسأل من اتخذ كل قرار ومتى. على الميسّر تدوين الحالات التي كان المستخدمون سيختلفون فيها مع الوسم، واستخدامها لتشديد القواعد.
3. كم دقيقة توقف يسمح بها هدفنا، وكم استخدمنا في هذه النافذة؟ حوّل الهدف إلى دقائق للشهر والسنة على سبورة. قارن بالدقائق المستخدمة حتى الآن. اسأل ماذا سيفعل الفريق بشكل مختلف لو بقي 20 في المئة فقط من الميزانية. يجعل هذا الهدف المجرد ملموسًا ويربط الرقم بسياسة ميزانية الأخطاء.
4. أين قد يفوت قياسنا فشلًا سيشعر به المستخدمون؟ مرّوا على مواقع المسابير والفاصل والرحلات المغطاة والتبعيات. اسأل أي فشل سيمر بكل المسابير ويكسر الخدمة للمستخدمين. اتفقوا على مسبار جديد واحد أو قياس مستخدم حقيقي واحد يُضاف.
5. هل نخطط لانقطاعات يمكننا تجنبها؟ انظر إلى التوقف المخطط على ستة أشهر واسأل ما الذي فرض كل انقطاع. بعضها لا مفر منه، مثل متطلب مورد. وأخرى تأتي من نهج إصدار أو ترحيل يمكن تغييره. اسأل ما الذي يلزم لإزالة أكبر مصدر، ومن يملك ذلك العمل.
6. إن بدا الرقم الرئيسي مثاليًا، فما الذي سيجعلنا نشك فيه؟ سمِّ الإشارات التي ستناقض اللوحة: حجم الشكاوى أو تواصل الدعم أو ذاكرة فريق الاستدعاء. افحص هل أي منها موجود الآن. اتفقوا على مقارنة واحدة تُوضع على اللوحة.
أربعة منظورات
فرق المنتج والتسليم
تؤثر فرق التسليم في التوافر في كل مرة تغير فيها خدمة. تستطيع التصميم لنشر بلا توقف، واستخدام مفاتيح الميزات للحد من نطاق الضرر، ومعاملة ميزانية الأخطاء مدخلًا لقرارات الإصدار، وقراءة التوافر بجوار مقاييس النشر (انظر الموضوع 2.8، مقاييس DORA).
فرق الخدمة والعمليات
تملك فرق العمليات المسابير وسجلات الحوادث والمناوبات التي تنتج البيانات. وعليها إبقاء التعريف وقائمة الاستثناءات حديثين، وتسجيل بداية الأثر بأمانة، ومراجعة المراقبة مقابل الحوادث الحقيقية. والتوافر ينتمي إلى الخدمة ومناوبتها، لا إلى مهندس استدعاء واحد (انظر الموضوع 5.7، مقاييس العمل الروتيني المرهق والمناوبة).
القيادة والحوكمة
يضع القادة الحوافز التي تقرر هل بيانات التوافر صريحة. مراجعة تسأل «لماذا فقدتم تسعة؟» تعلّم الفرق إخفاء الانقطاعات في الاستثناءات. اسألوا ماذا تعلم الفريق وأي استثمار سيقلل الانقطاعات، ولا تطلبوا تسعات أكثر مما سيلاحظ المستخدمون (انظر الموضوع 8.4، مقاييس الموردين والعقود، لالتزامات الموردين).
العملاء والمستخدمون
يحكم المستخدمون على التوافر بهل استطاعوا فعل ما جاؤوا لأجله. هم يتحملون نافذة صيانة معلَنة أفضل بكثير من مفاجأة. أعطهم صفحة حالة بأوقات بداية ونهاية صادقة، واقرأ ملاحظاتهم بجوار الأرقام (انظر الموضوع 6.2، اتفاقيات مستوى التجربة).
في الممارسة: مثال من إدارة الخدمات
يدير متجر تجزئة إلكتروني متوسط الحجم واجهة متجر وخدمة دفع وخدمة تتبع طلبات. الأرقام في هذا المثال توضيحية.
يبلّغ فريق الدفع عن توافر قائم على الزمن 99.95 في المئة للشهر، وهو ما يسمح بـ21.6 دقيقة توقف غير مخطط، وتُظهر اللوحة 99.96 في المئة. رئيسة دعم العملاء غير مرتاحة، لأن تواصل الدعم عن إخفاقات الدفع ارتفع في الشهر نفسه. تطلب من الفريق مراجعة القياس.
يجد الفريق ثلاث مشكلات. يفحص المسبار صفحة «الدفع قابل للوصول» كل خمس دقائق، لا رحلة الدفع كاملة. وتُظهر بيانات الطلبات أنه في مساءين تسبب انتهاء مهلة مزود دفع في فشل نحو 4 في المئة من محاولات الدفع نحو 50 دقيقة في كل مرة، ولم يلاحظ المسبار لأن الصفحة نفسها حُمّلت. وترحيل قاعدة بيانات تجاوز نافذته الموافق عليها بـ18 دقيقة كان مسجلًا كله صيانة مخططة.
يجري الفريق أربعة تغييرات. يضيف مسبارًا اصطناعيًا لرحلة الدفع كاملة من موقعين بفاصل دقيقة. ويضيف أرقامًا قائمة على الطلبات وموزونة بالمستخدمين، باستخدام الجلسات التي بلغت خطوة الدفع. ويعيد تصنيف دقائق التجاوز غير مخططة. ويضيف حصة التوقف المخطط وتغطية القياس إلى التقرير.
على الأساس المصحح، يُظهر الشهر توافرًا قائمًا على الزمن 99.93 في المئة، وتوافرًا قائمًا على الطلبات 99.90 في المئة، وتوافرًا موزونًا بالمستخدمين 99.84 في المئة، لأن الإخفاقات وقعت في ذروة المساء. وتفوّت الثلاثة هدف 99.95 في المئة، وهذا مزعج. يتفق الفريق ورئيسة الدعم على أن الرقم السابق كان سخيًا جدًا. يكتبون التعريف المصحح في سجل المقاييس ويضعون سياسة ميزانية الأخطاء موضع التنفيذ: في الشهر القادم، تنتظر التغييرات الخطرة على الدفع حتى تتعافى الميزانية، ويفتح الفريق سجل مشكلة لانتهاءات مهلة مزود الدفع (انظر الموضوع 4.1، مقاييس إدارة المشكلات).
وخطر التلاعب الذي يلتقطونه إعادة الوسم. اقترح مدير تسمية التجاوز «صيانة ممتدة» لحماية الهدف. جعلت حصة التوقف المخطط، بقاعدتها أن التجاوزات تصبح غير مخططة، إعادة التصنيف مرئية، وأبقى الفريق الرقم الصادق.
الأجايل والذكاء الاصطناعي والأتمتة والتحليلات
الأجايل
عرّف التوافر من جانب المستخدم وراجع التعريف مع أصحاب المصلحة حين تتغير الخدمة. والتحذير أن عددًا عاليًا من التسعات على مكوّن يقول القليل عن الرحلة التي يسلكها المستخدم.
الذكاء الاصطناعي
قد تفشل مكونات الذكاء الاصطناعي فشلًا ناعمًا، ببطء أو خطأ أو عدم توافر لمدخلات معينة فقط، وهو ما يفوته زمن التشغيل البسيط. أضف منظورًا معدلًا بالجودة، مثل حصة الطلبات ذات الجواب الصحيح في الوقت المناسب، واقرنه بمشكلات يبلّغ عنها المستخدمون. والتحذير أن عدّ جواب ذكاء اصطناعي متدهور عاملًا يجامل الرقم.
الأتمتة
اجمع نتائج الطلبات من الحركة الحقيقية والمسابير الاصطناعية تلقائيًا، وقِس المسابير بالتغطية. والتحذير أن مسبارًا يفحص صفحة صحة قد يقول إن الخدمة تعمل بينما لا يستطيع المستخدمون تسجيل الدخول.
التحليلات
أبلِغ التوافر القائم على الزمن والقائم على الطلبات مع حصة التدهور، واذكر نافذة القياس. والقرار الذي يفيد فيه هو أين سيساعد عمل الموثوقية المستخدمين. والتحذير أن الانقطاعات النادرة تجعل النسب السنوية غير مستقرة، فأظهر الأحداث لا النسب فقط.
منظور القطاعات
الشركات الناشئة. لدى الفريق الصغير عادة خدمة واحدة ومراقبة قليلة. ابدأ بمسبار واحد على أهم رحلة وتعريف من فقرة واحدة لـ«يعمل». اختر هدفًا معتدلًا، وحوّله إلى دقائق، وتجنب وعد تسعات لا يستطيع الفريق قياسها بعد.
الأعمال الصغيرة. الخدمة كثيرًا أدوات مستضافة وبضعة أنظمة مخصصة، والتوافر يعتمد على الموردين. سجّل انقطاعات الموردين كما تؤثر في مستخدميك، وقارن بما يبلّغ عنه المورد، وأبقِ المجموعة على رقمين أو ثلاثة.
المؤسسات الكبرى. كثرة الخدمات والفرق والموردين تضاعف التعريفات المستخدمة. انشر تعريفًا قياسيًا واحدًا للتوافر مع قائمة قصيرة بالتنويعات المسموحة، وأبقِ سجل المقاييس حديثًا، وتأكد من أن قواعد المخطط وغير المخطط واحدة عبر الفرق قبل مقارنتها. فضّل الإبلاغ على مستوى الخدمة على جداول ترتيب الفرق، لأن الخدمات تختلف في الحمل والحرجية.
الحكومة والقطاع العام. كثيرًا ما تكون للخدمات العامة ساعات خدمة نظامية والتزامات منشورة وعقود بأرصدة رسمية. أبلِغ مقابلها كما كُتبت، وأظهر المنظور الموزون بالمستخدمين بجوارها، وكن منفتحًا بشأن الاستثناءات (انظر الموضوع 8.5، التقارير التنظيمية والحكومية).
مبررات الأعمال: الدوافع والعائد على الاستثمار والتكلفة الإجمالية للملكية
الكلف الرئيسية وقت كتابة تعريف الخدمة والسجل، والمراقبة التي تمسح الرحلات الحرجة من خارج نطاق الفشل، وجهد ضم بيانات الحوادث والتغيير والمراقبة ليمكن فصل التوقف المخطط عن غير المخطط. وتضيف مراقبة المستخدم الحقيقي كلف الأدوات والتخزين. تملك معظم المؤسسات بعض البيانات أصلًا، فأول استثمار عادة في التعريفات.
يأتي العائد من قرارات أفضل ونزاعات أقل. الفرق التي تقيس من جانب المستخدم تجد إخفاقات تفوتها فحوص الصحة، وإدارة الاتفاقيات أسهل بتعريف واحد، ويمكن مقابلة كلفة تسعة إضافية بقيمتها للمستخدمين. صف الفائدة نمطًا، مثل مفاجآت أقل في مراجعات الاتفاقيات، وقِس خطوط أساسك الخاصة، مثل الفجوة بين الرقم الرئيسي والرقم الموزون بالمستخدمين. لا تستعر أرقامًا من مؤسسات أخرى.
الأنماط المضادة والمزالق
- اقتباس التسعات بلا الدقائق. هدف لا يستطيع أحد ترجمته إلى توقف مسموح لا يوجه القرارات. أظهر الدقائق المسموحة والمستخدمة بجوار كل هدف.
- قياس الخادم بدل الرحلة. فحص صحة أخضر قد يجلس بجوار تسجيل دخول مكسور. امسح الرحلات الحرجة من البداية إلى النهاية وقارن ببيانات المستخدم الحقيقي.
- ترك وسم «مخطط» يمتص الإخفاقات. فئة مخططة سهلة الادعاء تفرغ رقم غير المخطط. اشترط الموافقة قبل الانقطاع وأبلغ عنه وأعد تصنيف التجاوزات.
- المتوسط عبر الخدمات والساعات. رقم ممزوج يخفي الخدمة الحرجة وساعة الذروة. أبلِغ لكل خدمة وأضف منظورًا موزونًا بالمستخدمين.
- وعد تسعات أكثر مما تسمح التبعيات. المكونات على التوالي لا تتجاوز توافرها المشترك. اضرب قبل أن تعد، واطلب من الموردين أرقامهم المقيسة.
- معاملة 100 في المئة غاية. ترتفع الكلفة بحدة ويبطؤ التغيير. اختر الهدف من حاجة المستخدم واستخدم ميزانية الأخطاء.
- ترتيب الفرق أو الأشخاص بتسعاتهم. تختلف الخدمات في الحمل والحرجية، وجدول الترتيب يعلّم الفرق إخفاء الانقطاعات. أرِ كل خدمة اتجاهها الخاص وقارنه بهدفها.
نموذج النضج
| البُعد | 1 البدء | 2 التطوير | 3 التوحيد | 4 الإدارة | 5 التنسيق |
|---|---|---|---|---|---|
| التعريف والساعات | «يعمل» يعني ما تُظهره أداة المراقبة؛ أوقات الانقطاع تُقدَّر بعد الواقعة | مكتوب لبعض الخدمات؛ أوقات المسبار والحادثة تختلف | تعريف مكتوب واحد لكل خدمة بالرحلات والساعات والاستثناءات وقواعد الساعة | تُراجَع التعريفات بإيقاع؛ تُسجَّل التغييرات وتُعلَّم على المخططات | تتوافق التعريفات مع الموردين والعملاء وتُنقَّح حين تكف عن الإفادة في القرارات |
| جودة القياس | تقارير يدوية أو فحص صحة واحد | مسابير لبعض الخدمات؛ بيانات الطلبات في بعض السجلات | مسابير من الخارج إلى الداخل على الرحلات الحرجة مع أرقام قائمة على الطلبات من مصدر قياسي | أرقام موزونة بالمستخدمين من بيانات المستخدم الحقيقي؛ التغطية متتبَّعة ويؤخذ منها عينات | تُشارَك القياسات عبر الفرق والموردين وتُوفَّق آليًا |
| معالجة المخطط وغير المخطط | لا تمييز؛ الصيانة تُعد عشوائيًا | وسم «مخطط» تستخدمه بعض الفرق، والقواعد تختلف | قاعدة واحدة: موافق عليه قبل الانقطاع ومبلَّغ، والتجاوزات تُعاد تصنيفها | الحصة المخططة يُتتبَّع اتجاهها بهدف تقليلها | التغيير بلا توقف هو الافتراضي، والتوقف المخطط نادر ومتفاوض عليه |
| الاستخدام في القرارات | يُبلَّغ بعد شكوى | تراجعه العمليات شهريًا | الأهداف تُعرض بالدقائق | سياسة ميزانية الأخطاء تغير العمل، بتمويل | التوافر والكلفة والتجربة تُوازن معًا |
قائمة التحقق
- لكل خدمة تعريف مكتوب لـ«متاح» يسمي رحلات المستخدم الحرجة.
- نافذة القياس والساعات في النطاق والمنطقة الزمنية معلنة لكل رقم.
- قائمة الاستثناءات مكتوبة ومراجَعة ومعروضة بجوار الرقم الرئيسي.
- التوقف المخطط يتطلب تغييرًا موافقًا عليه وإشعارًا مسبقًا؛ والتجاوزات تُعد غير مخططة.
- المسابير تعمل من خارج نطاق الفشل، بفاصل معلن، على الرحلات الحرجة.
- رقم قائم على الطلبات أو موزون بالمستخدمين يجلس بجوار الرقم القائم على الزمن.
- كل هدف يُظهر دقائق مسموحة ودقائق مستخدمة في النافذة الحالية.
- يُبلَّغ عدد الانقطاعات والنسب المئوية للمدد، لا المجموع فقط.
- يُضرب توافر التبعيات قبل وعد هدف.
- تغييرات التعريف مسجلة ومعلَّمة على مخطط الاتجاه.
- يُبلَّغ التوافر لكل خدمة، لا لكل شخص أبدًا.
موجِّهات الذكاء الاصطناعي
صغ تعريف توافر خدمة.
I am writing an availability definition for [service name], a [type of service]
used by [user groups]. Its critical user journeys are [list journeys]. Agreed
service hours are [hours and time zone]. Known dependencies are [list]. Our
monitoring consists of [probes, logs, real user data].
Draft a one-page definition covering: what counts as up for each journey, the
measurement window, the in-scope hours, the exclusions, the rule for planned
versus unplanned downtime, the clock start and stop for an outage, and the
metrics to report. Do not invent targets or benchmark values. List your
assumptions and the questions I should answer to finish the definition.
حوّل هدفًا إلى توقف مسموح واختبره.
Our target for [service name] is [availability percentage] over [window, for
example a 30-day month]. In-scope time is [hours]. Our essential dependencies
and their stated or measured availability are [list, or "unknown"].
Calculate the downtime this target allows in minutes for the window and for a
year, using the in-scope hours. Then estimate the best combined availability if
the dependencies are needed in series and fail independently, and explain the
formula you used. Flag where my inputs are too uncertain to conclude anything.
Do not supply availability figures for any dependency that I did not give you.
List your assumptions.
راجع شهرًا من الانقطاعات بحثًا عن مشكلات تصنيف.
Here are the outage records for [service name] for [month]: [paste records with
impact start, restore time, planned or unplanned label, approval time, and
notes, with personal data removed].
For each outage, check whether the planned or unplanned label follows this
rule: [paste your rule]. Identify records where the impact start looks late,
where one outage appears to be split or merged, and where an overrun should have
been reclassified. Summarize patterns by service and cause, never by person.
Tell me what you could not judge from the data. List your assumptions.
مهارات الذكاء الاصطناعي
- Service Management Metrics skill: استخدمها لإيجاد المواضيع ذات الصلة وحاجز الحماية المقترن بمقياس توافر أنت على وشك إبلاغه.
- Service Management Metrics maintainer skill: استخدمها للتحقق من أن مراجعة هذا الموضوع تُبقي كل مقياس مقترنًا بمسار تلاعب وحاجز حماية.
أهم الخلاصات
- لا معنى للتوافر إلا بعد كتابة «يعمل» وحد الخدمة والساعات والاستثناءات من جانب المستخدم.
- المقاييس القائمة على الطلبات والموزونة بالمستخدمين تصف الخدمات الموزعة والحمل غير المتساوي أفضل من دقائق الفشل الكلي.
- أبلِغ التوقف المخطط وغير المخطط معًا، واجعل وسم «مخطط» صعب الكسب.
- حوّل كل هدف إلى دقائق، واضرب التبعيات على التوالي قبل وعد عدد من التسعات.
- كل تسعة إضافية تكلف أكثر من سابقتها، فاختر الهدف مما يحتاجه المستخدمون واستخدم ميزانية الأخطاء للعمل به.
- صف الخدمات والمناوبات، لا الأشخاص أبدًا، واختبر كل رقم رئيسي مقابل تجربة المستخدمين.
المراجع والقراءات الإضافية
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, chapter "Embracing Risk", https://sre.google/sre-book/embracing-risk/.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, chapter "Service Level Objectives", https://sre.google/sre-book/service-level-objectives/.
- Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SLOs, O'Reilly Media, 2018, chapter "Implementing SLOs", https://sre.google/workbook/implementing-slos/.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, High availability.
- Wikipedia, Downtime.
- Wikipedia, Service-level agreement.
- Wikipedia, Service-level objective.
- Wikipedia, Mean time between failures.
- Wikipedia, Mean time to repair.
- Wikipedia, Synthetic monitoring.
- Wikipedia, Real user monitoring.
- Wikipedia, ITIL.