مقاييس الحوادث الكبرى
قِس الحوادث الكبرى بوصفها أحداثًا نادرة ومكلفة يُتعلم منها لا جدول ترتيب: عُدّها، وقِس زمنها بأمانة، وقدّر أثرها في العملاء، وتحقق من إخبار الناس، وأثبت أن إجراءات المتابعة أُنجزت.
نظرة عامة والدافع
الحادثة الكبرى حادثة خطيرة بما يكفي لتحتاج استجابة تتجاوز الروتين المعتاد. يصف ITIL، أشهر إطار لإدارة خدمات تقنية المعلومات، إدارة الحوادث (incident management) بأنها استعادة التشغيل العادي للخدمة بأسرع ما يمكن، ويتوقع من المؤسسات معالجة أخطر حوادثها عبر مسار متميز أكثر تنسيقًا. وكيف ترسم المؤسسة ذلك الخط قرارها الخاص. اختيار شائع أن تكون الحادثة التي تؤثر في كثير من المستخدمين أو خدمة حرجة وتحتاج إلى عدة فرق تعمل معًا تحت منسق واحد. اكتب تعريفك بنفسك، لأن كل مقياس في هذا الموضوع يعتمد عليه.
الحوادث الكبرى قليلة. قد يرى فريق عشرات الحوادث العادية في الأسبوع وحادثتين أو ثلاثًا كبرى في الربع. وهذا يغير طريقة القياس. إحصاءات حجم الحوادث وزمن الحل المعتادة (انظر الموضوع 3.2، حجم الحوادث وأولويتها، والموضوع 3.3، زمن الاستجابة للحوادث وحلها) تفترض أحداثًا كثيرة وتكافئ المتوسطات. وبحفنة من الحوادث الكبرى في الفترة، يهيمن على المتوسط ليلة سيئة واحدة، وخط الاتجاه ضجيج في معظمه، والنسبة المئوية (percentile) بلا معنى على خمس نقاط بيانات (انظر الموضوع 1.6، الثقافة الإحصائية لمقاييس الخدمة). النهج الصادق إظهار كل حادثة كبرى صفًا قائمًا بذاته، بخطها الزمني، وتلخيص ما فوق نوافذ أطول فقط.
تلتقي رؤيتا الأجايل وITIL هنا بصورة أكثر مباشرة من أي موضع آخر في الكتاب. تسهم ITIL بالبنية: حادثة كبرى معلنة، ومنسق مسمى، واتصال محدد بالأطراف المتأثرة، ومراجعة بعدها. وتسهم تقاليد الأجايل (agile) وهندسة موثوقية المواقع (SRE) بالعادات: قائد حادثة (incident commander) يدير الاستجابة، ومراجعة بلا لوم لما حدث، وتركيز على التعلم يغذي التحسين المستمر. يصف كتاب Google Site Reliability Engineering نمط قيادة الحوادث وممارسة مراجعة ما بعد الحادثة (انظر المراجع). وتحليل ما بعد الحادثة (postmortem) بهذا المعنى سرد مكتوب لحادثة وأسبابها والإجراءات التي تتبعها، ويُستخدم المصطلح هنا بالتبادل مع «مراجعة ما بعد الحادثة».
يغطي هذا الموضوع خمسة أسئلة. كم مرة تحدث حوادث كبرى؟ كم تدوم، وكم من ذلك الزمن يُقضى قبل أن يعلن أحد حادثة؟ كم مستخدمًا، وأي مستخدمين، شعروا بها؟ هل سمع الناس منا في الوقت المناسب وبإيقاع ثابت؟ وهل حدثت المتابعة الموعودة؟ وتغطي المواضيع ذات الصلة ما حولها: التوافر (انظر الموضوع 5.3، مقاييس التوافر)، وجودة المراجعة المكتوبة (انظر الموضوع 4.2، مقاييس مراجعات ما بعد الحادثة والتعلم)، والأسباب الكامنة (انظر الموضوع 4.1، مقاييس إدارة المشكلات)، والتغيير الذي كثيرًا ما يطلقها (انظر الموضوع 4.4، فشل التغيير وإعادة العمل).
المصطلحات المستخدمة في هذا الموضوع:
- الحادثة الكبرى: حادثة تستوفي معايير إعلانها المكتوبة وتطلق عملية الحادثة الكبرى.
- الإعلان: اللحظة التي يستدعي فيها شخص ذو سلطة رسميًا عملية الحادثة الكبرى.
- زمن الاستعادة: الزمن من بدء أثر العملاء حتى لحظة استعادة الخدمة للمستخدمين. لحظة استعادة الخدمة ليست لحظة إيجاد السبب الجذري (root cause).
- قائد الحادثة: الدور الذي ينسق الاستجابة ويسند المهام ويقرر. دور طوال مدة الحادثة، لا مسمى وظيفي.
- مراجعة ما بعد الحادثة: الفحص المنظم بلا لوم لحادثة بعد استعادة الخدمة.
- بند إجراء: تغيير محدد له مالك وتاريخ ينتج عن مراجعة.
المبادئ الأساسية
- أظهر الأحداث، ثم لخّص. الأحداث النادرة تستحق خطوطًا زمنية فردية. أبلِغ كل حادثة كبرى على حدة، واستخدم الإحصاءات الملخِّصة فوق نافذة طويلة فقط، مع العدد بجوارها.
- ابدأ الساعة عند الأثر لا عند العلم. المدة التي تبدأ حين يلاحظ أحد تخفي فجوة الاكتشاف، وهي كثيرًا أكبر جزء من القصة.
- قِس تجربة المستخدم لا جهد الفريق. أثر العملاء سبب وجود العملية. ساعات جهد المستجيبين كلفة تُتتبع، ولا تُعد درجة أبدًا.
- التواصل جزء من الاستعادة. خدمة استُعيدت بينما المستخدمون ما زالوا يخمنون لم تُصلح إلا نصف إصلاح. عامل توقيت التحديثات مقياسًا للاستجابة.
- المراجعة لم تنتهِ حتى تنتهي الإجراءات. وثيقة مكتملة بإجراءات مفتوحة لم تغير شيئًا. قِس المتابعة، لا وجود المراجعة فقط.
- لا ترتّب الأشخاص أبدًا، ولا تعاقب الإعلان أبدًا. إن آذى إعلان حادثة كبرى فريق المعلِن في تقرير، فستُعلن حوادث أقل وستتحسن المقاييس بينما تسوء الخدمة.
- أبقِ معايير الإعلان مستقرة. تحريك العتبة يغير كل مقياس في هذا الموضوع. سجّل كل تغيير بسببه وتاريخه.
تعريفات المقاييس
| المقياس | التعريف | الصيغة | الوحدة | مصدر البيانات | ممارسة ITIL | المقابل في الأجايل | التكرار |
|---|---|---|---|---|---|---|---|
| عدد الحوادث الكبرى | الحوادث الكبرى المعلنة في فترة، بحسب الخدمة | عدد الحوادث التي استوفت معايير الإعلان وأُعلنت في الفترة، بحسب وقت الإعلان؛ الحوادث التي خُفضت في الساعة الأولى تُسرد على حدة وتُستثنى | عدد لكل ربع | سجلات حوادث أداة ITSM بعلم الحادثة الكبرى | إدارة الحوادث | مراجعة صحة الفريق أو الخدمة | تقرير شهري، اتجاه ربع سنوي |
| مدة الحادثة الكبرى | الزمن الذي تأثر فيه العملاء | وقت استعادة الخدمة ناقص وقت بداية الأثر، لكل حادثة. بداية الأثر أبكر دليل في المراقبة أو أول بلاغ مستخدم أيهما أبكر. تُسجل الاستعادة الجزئية حدثًا قائمًا بذاته، وتوقف الاستعادة الكاملة الساعة | دقائق، لكل حادثة | الخط الزمني للمراقبة، والخط الزمني للحادثة في أداة ITSM | إدارة الحوادث؛ إدارة مستوى الخدمة | زمن التعافي في مقاييس التسليم (انظر الموضوع 2.8، مقاييس DORA) | لكل حادثة؛ وسيط وحد أقصى لنافذة طويلة كل ربع |
| زمن الإعلان | التأخير بين بداية الأثر وإعلان حادثة كبرى | وقت الإعلان ناقص وقت بداية الأثر، لكل حادثة. الحوادث التي لم تُعلن أبدًا تُكتشف بمراجعة ربع سنوية للحوادث العادية عالية الأثر وتُضم بزمن إعلان «غير متاح (لم تُعلن)» | دقائق، لكل حادثة | الخط الزمني للمراقبة، سجل تدقيق أداة ITSM | إدارة الحوادث؛ المراقبة وإدارة الأحداث | تعريف الجاهزية للتصعيد في اتفاقيات عمل الفرق | لكل حادثة |
| أثر العملاء | كم مستخدمًا وكم استخدامًا تأثر | المستخدمون المتأثرون (أو الطلبات الفاشلة) مضروبين في الدقائق المتأثرة، لكل حادثة. عدّ المستخدمين الذين حاولوا استخدام الخدمة في نافذة الأثر فقط. تُستثنى الصيانة المخططة | دقائق مستخدم، أو طلبات فاشلة | قياس الخدمة عن بعد، سجلات تواصل الدعم | إدارة مستوى الخدمة؛ إدارة الحوادث | مؤشرات مستوى الخدمة الموجهة للمستخدم (انظر الموضوع 5.2، مؤشرات SLI وأهداف SLO وميزانيات الأخطاء) | لكل حادثة |
| توقيت التواصل | هل أُخبرت الأطراف المتأثرة في الوقت المناسب | حصة الحوادث الكبرى التي خرج فيها أول إشعار موجه للعملاء ضمن الهدف بعد الإعلان، وحصة التحديثات المجدولة المرسلة ضمن الفاصل المتفق عليه. تبدأ الساعة عند الإعلان. تُستثنى الرسائل الداخلية فقط | نسبة مئوية من الحوادث؛ نسبة مئوية من التحديثات | سجل صفحة الحالة، سجل الاتصالات في أداة ITSM | إدارة الحوادث؛ إدارة مستوى الخدمة | تواصل أصحاب المصلحة في اتفاقية عمل الفريق | لكل حادثة؛ ملخص ربع سنوي |
| توقيت إكمال المراجعة | هل جرت المراجعة قريبًا بما يكفي لتكون مفيدة | حصة الحوادث الكبرى التي لها مراجعة منشورة ضمن العدد المتفق عليه من أيام العمل بعد الاستعادة. تتوقف الساعة عند النشر لا عند المسودة الأولى. تُستثنى الحوادث التي ما زالت داخل النافذة | نسبة مئوية | مستودع المراجعات، أداة ITSM | التحسين المستمر؛ إدارة المشكلات | متابعة التحسين | ربع سنوي |
| متابعة بنود الإجراءات | هل تُنجز إجراءات المراجعة | إجراءات المراجعة المنجزة بحلول موعدها / إجراءات المراجعة المستحقة في الفترة. الإجراءات المغلقة بـ«لن تُنفذ» تُعد على حدة بسبب، ولا تُخفى | نسبة مئوية؛ عدد المتأخر | متتبع القضايا المرتبط بالمراجعة | التحسين المستمر؛ إدارة المشكلات | بنود القائمة المتراكمة من اجتماعات المراجعة | شهري |
| معدل الحوادث الكبرى المتكررة | تكرار السبب نفسه | الحوادث الكبرى في الفترة التي يطابق سببها المسجل سبب حادثة كبرى سابقة في الاثني عشر شهرًا السابقة / الحوادث الكبرى في الفترة. تتم المطابقة بحقل السبب، ويُراجع يدويًا | نسبة مئوية، مع إظهار العدد | سجلات المراجعة، سجلات المشكلات | إدارة المشكلات | عمل الوقاية في القائمة المتراكمة | ربع سنوي |
كل صف يحتاج قاعدة ساعة مكتوبة قبل أن يُوثق به. النزاعات حول بداية الأثر ووقت الاستعادة شائعة وأفضل ما تُسوى مسبقًا (انظر الموضوع 1.5، مصادر البيانات وأدوات القياس).
التوصيات
اكتب ما يجعل الحادثة كبرى
انشر معايير إعلان يستطيع أي مناوب تطبيقها. تجمع المعايير عادة بين الأثر (المستخدمون المتأثرون، خدمة حرجة متدهورة، خطر على السلامة أو قانوني) والحاجة إلى التنسيق (أكثر من فريق مطلوب). قائمة قصيرة بأمثلة أفضل من مصفوفة طويلة. اذكر من يحق له الإعلان، وأوضح أن الإعلان بحسن نية ليس خطأ أبدًا، حتى حين تتبين الحادثة صغيرة.
سجّل نسخة المعايير في كل سجل حادثة. حين تتحرك العتبة تتحرك الاتجاهات معها. رقم نسخة أو تاريخ على كل سجل يتيح لك مقارنة المتماثل بالمتماثل وتفسير قفزة في العدد جاءت من تغيير قاعدة.
عُدّ وصنّف دون أن تحول العدد هدفًا
أبلِغ العدد مع سياقه. أظهر عدد الحوادث الكبرى في الربع بجوار الخدمة والمحرك (تغيير، سعة، تبعية، أمن، غير ذلك) ونسخة المعايير. العدد بلا سياق يدعو إلى أهداف مثل «أقل من ثلاث في الربع»، وهي تعلّم الناس ألا يعلنوا. عامل انخفاض العدد خبرًا جيدًا فقط حين يكون زمن الإعلان وأثر العملاء مستقرين.
افصل المعلنة عن المخفضة عن الفائتة. تتبع الحوادث التي أُعلنت ثم خُفضت، لأنها تُظهر هل المعايير معقولة. راجع عينة من الحوادث العادية كل ربع بحثًا عما كان ينبغي إعلانه. الفائتة أكثرها إفادة.
قِس زمن الحادثة من جانب المستخدم
ابدأ الساعة حين يتأثر العملاء. استخدم أبكر دليل موثوق، وهو كثيرًا إشارة مراقبة تسبق أول تذكرة. حين تكون البداية غير مؤكدة، سجّل التقدير ومصدره بدل وقت أن لاحظ أحد. الفجوة بين بداية الأثر والإعلان مقياس بحد ذاته وعادة أرخص ما يُحسّن.
قسّم الخط الزمني إلى مراحل. الاكتشاف والإعلان والتشخيص والتخفيف والاستعادة الكاملة لكل منها أسباب تأخير ومالكون مختلفون. تفصيل المراحل لكل حادثة يُظهر أين ذهب الوقت دون الحاجة إلى متوسط. استعادة الخدمة بحل بديل وإصلاح السبب حدثان منفصلان، والثاني ينتمي إلى إدارة المشكلات.
استخدم الوسيط وأسوأ حالة فوق نوافذ طويلة، مع العدد. لسنة من البيانات، أبلِغ الوسيط وأطول مدة، وقل من كم حادثة جاءا. تجنب متوسط زمن استعادة منفرد للحوادث الكبرى. مع أحداث قليلة هو غير مستقر، ويشوهه انقطاع طويل واحد (انظر الموضوع 1.6، الثقافة الإحصائية لمقاييس الخدمة).
قدّر أثر العملاء بمصطلحات يعرفها المستخدمون
فضّل الأثر القائم على المستخدم على الأثر القائم على الخادم. الطلبات الفاشلة أو المستخدمون المتأثرون أو المعاملات المتأثرة تصف ما حدث للناس. ودقائق الخدمة المتدهورة على مكوّن تصف ما حدث لآلة. وحيث لديك مؤشرات مستوى خدمة فاستخدمها (انظر الموضوع 5.2، مؤشرات SLI وأهداف SLO وميزانيات الأخطاء) واربط الحادثة بصورة التوافر (انظر الموضوع 5.3، مقاييس التوافر).
أضف بيان أثر بلغة واضحة إلى كل سجل. جملة أو اثنتان تسميان من تأثر وما لم يستطع فعله. تواصل الدعم والإشارات في وسائل التواصل وتصعيدات العملاء أدلة للبيان، لا مقاييس تُعظَّم.
قِس التواصل جزءًا من الاستجابة
ضع أهداف التواصل بحسب الجمهور. العملاء المتأثرون وأصحاب المصلحة الداخليون والتنفيذيون يحتاجون رسائل مختلفة في أوقات مختلفة. اتفق على هدف لأول إشعار بعد الإعلان وإيقاع ثابت للتحديثات، وقِس الالتزام لكل حادثة. الإيقاع أهم من المحتوى: تحديث يقول «لا تغيير، التحديث التالي بعد ثلاثين دقيقة» ويصل في وقته يبني ثقة أكثر من الصمت.
أبقِ الاستجابة والتواصل في أيدٍ منفصلة. مسؤول تواصل يحرر قائد الحادثة ليركز على التشخيص. يستطيع فريق صغير استخدام قائمة تحقق وقالب مكتوب مسبقًا بدلًا من ذلك.
أغلق حلقة التعلم
أجرِ المراجعة قريبًا، وانشرها. الذاكرة تتلاشى، فضع نافذة للمراجعة وقِس هل تحققت. إكمال المراجعة أقل أهمية مما تغيره المراجعة، فاقرنه بالمتابعة. يدافع كتاب Google Site Reliability Engineering عن المراجعة بلا لوم وعن كتابتها (انظر المراجع)، ويغطي الموضوع 4.2 (مقاييس مراجعات ما بعد الحادثة والتعلم) جودة المراجعة.
تتبع الإجراءات حتى النهاية، واسمح بـ«لن تُنفذ» الصادقة. ضع كل إجراء في القائمة المتراكمة التي يستخدمها الفريق المالك أصلًا، بمالك وتاريخ. سجّل الإجراءات المرفوضة بسببها بدل تركها تتعفن. راجع الإجراءات المتأخرة في مراجعة العمليات أو الخدمة، واسأل عما يعيقها. حدّد عدد الإجراءات في كل مراجعة ليبقى ما يهم.
ابحث عن الأنماط عبر الحوادث، وأرسلها إلى إدارة المشكلات. الأسباب المتكررة والمحركات المشتركة وفجوات الاكتشاف المتكررة إشارات تفوتها المراجعات الفردية. غذِّ بها عملية المشكلات والأخطاء المعروفة (انظر الموضوع 4.1، مقاييس إدارة المشكلات) وتخطيط الفرق التي تملك الخدمات. عامل ارتفاع معدل التكرار دعوة للتحقيق لا حكمًا.
مسارات التلاعب وحواجز الحماية
| المقياس | كيف يُتلاعب به | حاجز الحماية أو الممارسة المقترنة |
|---|---|---|
| عدد الحوادث الكبرى | رفع عتبة الإعلان، أو إبقاء الحوادث عند أولوية «عالية» فلا تُعلن أبدًا، أو تقسيم حدث واحد إلى عدة سجلات، أو دمج عدة في واحد | معايير ثابتة بنسخ؛ عينة ربع سنوية من الحوادث العادية عالية الأثر؛ تتبع أثر العملاء وزمن الإعلان بجوار العدد |
| مدة الحادثة الكبرى | إعادة الساعة إلى بداية أثر أحدث، أو إعلان «استُعيدت» بينما المستخدمون ما زالوا يفشلون، أو إغلاق السجل وفتح جديد | بداية الأثر مأخوذة من المراقبة؛ الاستعادة مؤكدة بمؤشر موجه للمستخدم؛ السجلات المعاد فتحها والمرتبطة تُعد حادثة واحدة |
| زمن الإعلان | الإعلان المبكر عن كل شيء ليبدو سريعًا، أو تأريخ الإعلان رجعيًا إلى بداية الأثر | حصة الحوادث المعلنة التي خُفضت لاحقًا؛ مسار تدقيق لوقت الإعلان؛ عينة من الخطوط الزمنية مقابل المراقبة الخام |
| أثر العملاء | تضييق تعريف «متأثر»، أو عدّ المستخدمين الذين رفعوا تذكرة فقط، أو قياس تبعية ظلت تعمل | الأثر مشتق من القياس عن بعد وجهات التواصل معًا؛ بيان أثر بلغة واضحة يُراجع في مراجعة الحادثة |
| توقيت التواصل | نشر إشعار غامض لبدء الساعة، أو إرسال تحديثات بلا محتوى، أو عدّ الرسائل الداخلية | فحص محتوى عينة من التحديثات؛ ملاحظات العملاء عن الوضوح؛ عدّ الإشعارات الموجهة للعملاء فقط |
| توقيت إكمال المراجعة | نشر وثيقة هزيلة للوفاء بالتاريخ، أو إعلان مراجعة «غير لازمة» | جودة المراجعة يقرؤها نظير على عينة (انظر الموضوع 4.2، مقاييس مراجعات ما بعد الحادثة والتعلم)؛ تُظهر حصة المراجعات المعفاة |
| متابعة بنود الإجراءات | كتابة إجراءات غامضة أو تافهة سهلة الإغلاق، أو إغلاق الإجراءات دون عمل، أو إعادة الوسم بـ«لن تُنفذ» | عينة من جودة الإجراءات؛ الإجراءات المغلقة تُتحقق مقابل تغيير النظام؛ تُراجع حصة «لن تُنفذ» وأسبابها |
| معدل الحوادث الكبرى المتكررة | تسجيل كل سبب جديدًا باختيار صياغة مختلفة، أو إسناد كل شيء إلى «خطأ بشري» | تصنيف أسباب قصير بتعريفات؛ حقول الأسباب يراجعها شخص من خارج الحادثة؛ لا يُقبل «الخطأ البشري» سببًا دون تفسير للنظام |
القراءة السليمة عدد معتدل ومستقر نسبيًا من الحوادث المعلنة، مع تخفيض عرضي وفائتة عرضية تُكتشف في المراجعة. زمن الإعلان قصير ومتناقص، وأثر العملاء لكل حادثة مفهوم وينخفض حيث نُفذ عمل وقاية، وتقريبًا كل تحديثات العملاء في موعدها. المراجعات تُنشر في وقتها وإجراءاتها في معظمها مُنجزة، مع مجموعة صغيرة وصادقة من الإجراءات المرفوضة. إن بدا كل شيء مثاليًا، فاسأل هل انجرفت المعايير أو توقف الناس عن الإعلان (انظر الموضوع 1.2، قانون غودهارت وسيكولوجية المقاييس). والقانون المسمى باسم تشارلز غودهارت (Goodhart's law) أسهل ما يُرى هنا، لأن كلفة رقم سيئ هي انخفاض الاستعداد لإطلاق إنذار.
المفاضلات: الإيجابيات والسلبيات
| الخيار | نقطة القوة | نقطة الضعف |
|---|---|---|
| إظهار كل حادثة صفًا | يحفظ السياق، ويتجنب المتوسطات المضللة على أعداد صغيرة | أصعب تلخيصًا للقادة؛ يحتاج سردًا قصيرًا لكل حادثة |
| إبلاغ عدد الحوادث الكبرى | بسيط ومألوف ومرئي للقيادة | سهل التحول هدفًا؛ يتفاعل مع تغييرات المعايير |
| الزمن من بداية الأثر | يعكس تجربة المستخدم، ويكشف فجوة الاكتشاف | بداية الأثر غير مؤكدة أحيانًا وتحتاج حكمًا |
| الزمن من الإعلان | سهل الالتقاط والمقارنة | يخفي الاكتشاف البطيء والإعلان البطيء |
| دقائق المستخدم من الأثر | قابل للمقارنة عبر الحوادث والخدمات | يحتاج قياسًا عن بعد؛ يعامل كل المستخدمين والدقائق سواء |
| معدل إكمال المراجعة | سهل الجمع، يحفز العادة | يكافئ الوثيقة لا التعلم |
| معدل متابعة الإجراءات | يربط المراجعة بالتغيير | يمكن التلاعب به بإجراءات تافهة؛ يحتاج مالكًا وقائمة متراكمة |
استخدم مجموعة صغيرة من المقاييس تغطي الدورة كلها (أعلن، استعد، أخبر، تعلم، أنهِ) بدل تحسين واحد منها. أضف مقاييس الأثر فقط حين يتوفر القياس عن بعد. وحيث يغيب، يخدم بيان أثر مكتوب بعناية أفضل من رقم مخترع.
أسئلة للنقاش مع فريقك
1. ما الذي يجعل الحادثة كبرى هنا بالضبط، وهل يتفق كل المناوبين؟ التعريف أساس كل رقم آخر. اطلب من ثلاثة أشخاص تصنيف الحادثة الحديثة نفسها وقارن الإجابات. يُظهر الخلاف حيث المعايير غامضة. على الميسّر تدوين أمثلة لإضافتها إلى المعايير المكتوبة والاتفاق على من يحق له الإعلان. اختم بتأكيد أن الإعلان بحسن نية مقبول دائمًا، حتى لو خُفضت الحادثة لاحقًا.
2. في آخر حادثة كبرى، كم كان بين بداية الأثر والإعلان؟ أعد بناء الخط الزمني من المراقبة لا من الذاكرة. الفجوة كثيرًا أكبر من المتوقع وهي أحيانًا أطول مرحلة. اسأل ما الإشارة التي وُجدت ومن رآها، وهل جاءت الفجوة من معايير غير واضحة أو تنبيه مفقود أو تردد في الإعلان. اختر تغييرًا واحدًا يقصرها، وقرر كيف ستعرف.
3. من تأثر، وكيف نعرف؟ قارن ما اعتقده الفريق حينها بما يُظهره القياس عن بعد وجهات تواصل الدعم لاحقًا. اسأل أي عملاء، إن وجدوا، تأثروا أكثر من غيرهم، وهل كانوا الأهم للأعمال أو الأقل قدرة على التحمل. ناقشوا هل بيان الأثر شيء سيعرفه عميل. اتفقوا على مقياس أثر واحد تستطيعون جمعه بموثوقية المرة القادمة.
4. هل سمع الناس منا حين احتاجوا، وهل كانت الرسالة مفيدة؟ افحص الإشعار الأول وكل تحديث مقابل الإيقاع المتفق عليه. اقرأ الرسائل الفعلية كما يقرؤها عميل. اسأل هل قالت ما هو معروف وما هو غير معروف ومتى التحديث التالي. ناقشوا من يملك التواصل أثناء الحادثة وهل هو حر في فعله.
5. ماذا حدث لإجراءات آخر ثلاث مراجعات؟ اجمع الإجراءات في قائمة واحدة وعلّم كلًا منجزًا أو جاريًا أو متأخرًا أو مرفوضًا. للمتأخرة، اسأل عما يعيقها: السعة أو الملكية أو الأولوية أو نطاق غير واضح. قرروا كيف ستُرفع الإجراءات المتأخرة في اجتماع العمليات أو التخطيط التالي.
6. لو قِسنا بعدد الحوادث الكبرى، فماذا سنفعل بشكل مختلف، وهل سيكون العملاء أفضل حالًا؟ يُظهر هذا السؤال مسارات التلاعب قبل أن تحدث. اطلب من المجموعة الصراحة بشأن ما قد تغيره: العتبات أو الوسوم أو من يعلن. ثم اسأل ما الهدف الأفضل. الجواب الجيد يتجه نحو أثر العملاء وزمن الإعلان والمتابعة، وهي أصعب تلاعبًا دون مساعدة المستخدمين. سجّل الجواب حاجز حماية.
أربعة منظورات
فرق المنتج والتسليم
تلتقي فرق المنتج الحوادث الكبرى مقاطعاتٍ للعمل المخطط وتغذيةً راجعة على تغييراتها. وتستفيد أكثر من أرقام أثر واضحة، ووصول سريع إلى خطوطها الزمنية للحوادث، وإجراءات مراجعة تصل قائمتها المتراكمة مع مجال لتنفيذها. احجز سعة لمتابعة الحوادث، وعامل الإجراءات عملًا بمكانة الميزات نفسها. شارك فئات الأسباب ليؤدي محرك متكرر إلى تغيير في الممارسة (انظر الموضوع 2.9، العمل التشغيلي والعمل غير المخطط).
فرق الخدمة والعمليات
تدير فرق العمليات الاستجابة وتتحمل كلفة العمل في الليل المتأخر. وتحتاج معايير تستطيع تطبيقها في الثالثة فجرًا، ودور قائد وتواصل تستطيع تزويدهما بالأفراد، وأدوات تلتقط الخط الزمني مع حدوث الأحداث لا من الذاكرة بعدها. وعليها مراقبة الحمل الذي تضعه الحوادث الكبرى على مجموعة صغيرة من الناس (انظر الموضوع 5.7، مقاييس العمل الروتيني المرهق والمناوبة) واستخدام مقاييس هذا الموضوع لطلب عمل وقاية، لا لمقارنة المستجيبين.
القيادة والحوكمة
يضع القادة المناخ الذي يقرر هل يعلن الناس بسرعة ويبلغون بصدق. وعليهم أن يطلبوا قصة كل حادثة كبرى والاتجاه على سنة، وأن يتجنبوا أهدافًا على العدد، وأن يسألوا عن أثر العملاء وفجوات الاكتشاف والإجراءات المنتهية. موّلوا عمل الوقاية الذي توصي به المراجعات، وراجعوه في المنتدى نفسه مع خطط التسليم. وتستطيع الحوكمة حينها أن ترى هل تتحول الدروس إلى تغيير (انظر الموضوع 5.2، مؤشرات SLI وأهداف SLO وميزانيات الأخطاء، لطريقة ربط الموثوقية بالاستثمار).
العملاء والمستخدمون
يحكم العملاء على الحادثة الكبرى بمدة تأثرهم وهل أُخبروا وهل تتكرر. يخدمهم إشعار صادق مبكر أكثر من إشعار منمق متأخر. أعطهم قناة حالة وإيقاعًا يعتمدون عليه وسردًا واضحًا بعدها لما حدث وما سيتغير. وحيث تنطبق العقود، أبلِغ بالمصطلحات المتفق عليها في اتفاقية مستوى الخدمة (انظر الموضوع 5.1، مقاييس SLA وOLA وXLA). والسؤال عن الرضا بعد حادثة يستحق ذلك (انظر الموضوع 6.1، مقاييس رضا العملاء).
في الممارسة: مثال من إدارة الخدمات
يدير متجر تجزئة إلكتروني متوسط الحجم واجهة متجر وخدمة مدفوعات وخدمة إدارة طلبات، يملك كلًا منها فريق منتج، مع فريق منصة مشترك في الاستدعاء. وتدير مجموعة صغيرة لإدارة الخدمات عملية الحادثة الكبرى. جميع الأرقام في هذا المثال توضيحية.
في الربعين الأخيرين أعلن المتجر خمس حوادث كبرى (توضيحي). تُظهر مجموعة إدارة الخدمات كلًا منها صفًا ببداية الأثر ووقت الإعلان ووقت الاستعادة وعدد الطلبات الفاشلة المقدر ووقت أول إشعار للعملاء وحالة المراجعة. يلاحظون أن الوسيط للفجوة بين بداية الأثر والإعلان 38 دقيقة (توضيحي)، قريبًا من وسيط الزمن من الإعلان إلى الاستعادة وهو 52 دقيقة (توضيحي). مع خمس حوادث يعاملون الرقمين تقريبيين ويقرؤون الخطوط الزمنية بدلًا منهما. تُظهر ثلاث من الخمس تنبيه مراقبة أُطلق مبكرًا وبقي بلا إقرار في قناة مشتركة.
يقرر الفريق توجيه فئة هذا التنبيه إلى جهاز النداء للمناوب، وإضافة سطر إلى المعايير يقول إن إشارة فشل دفع مستمر كافية للإعلان دون انتظار التذاكر. ويضعون أيضًا هدفًا لأول إشعار للعملاء خلال 20 دقيقة من الإعلان (توضيحي)، ويفحصونه لكل حادثة. حققته اثنتان من خمس. ويضيف فريق النشر قالب صفحة حالة يستطيع مسؤول التواصل ملأه تحت الضغط.
أثناء المراجعة نفسها يجدون خطر تلاعب. كان مدير أحد فرق المنتج قد اقترح هدفًا ربع سنويًا بـ«لا أكثر من حادثتين كبيرتين». تشير مجموعة إدارة الخدمات إلى أن الربع السابق شهد حادثة بقيت عند أولوية عالية أربع ساعات والعملاء يفشلون عند الدفع، ولم تُعلن أبدًا لأن الفريق كان قرب الحد. يستبدلون الهدف بثلاثة مقاييس: زمن الإعلان، والطلبات الفاشلة لكل حادثة، وحصة إجراءات المراجعة المنجزة في وقتها. ويضيفون حاجز حماية هو عينة ربع سنوية من الحوادث عالية الأولوية يقرؤها شخص من خارج الفريق المالك. في الربع التالي يرتفع العدد المعلن إلى أربع (توضيحي)، وينخفض وسيط زمن الإعلان، ولا تجد المراجعة بالعينة إعلانات فائتة.
الأجايل والذكاء الاصطناعي والأتمتة والتحليلات
الأجايل
أجرِ مراجعة بلا لوم مع أصحاب المصلحة بعد كل حادثة كبرى وتابع الإجراءات بإيقاع منتظم. والتحذير أن هدفًا لحوادث كبرى أقل يشجع على إعلان أقل، فقِس زمن الإعلان وأثر العملاء أيضًا.
الذكاء الاصطناعي
يستطيع الذكاء الاصطناعي المساعدة في الاكتشاف والتلخيص والتواصل أثناء حادثة كبرى، وصياغة النسخة الأولى من مراجعة. اقرن توقيت التواصل بدقة ما جرى إبلاغه، وعلّم أي أجزاء من مراجعة صاغها الذكاء الاصطناعي وراجعها شخص. والتحذير أن ملخص ذكاء اصطناعي واثقًا لحادثة قد يكون خاطئًا، فيملك إنسان السرد النهائي.
الأتمتة
أتمت التقاط الخط الزمني من المحادثة والنداء والمراقبة لتبدأ المراجعة من حقائق، وقِس أدوات الحوادث نفسها، مثل إخفاقات النداء. والتحذير أن منشورات الحالة الآلية قد تبدو تواصلًا دون أن تصل إلى من يحتاجونها.
التحليلات
الحوادث الكبرى نادرة، فاستخدم الأعداد والخطوط الزمنية وأثر العملاء، لا المعدلات والمتوسطات. والقرار الذي يفيد فيه هو ما يُصلح وما يُتدرب عليه. والتحذير أن الأعداد الصغيرة تدعو إلى فرط التفسير، فتجنب ادعاءات الاتجاه من حفنة أحداث.
منظور القطاعات
الشركات الناشئة. قد لا تكون لدى شركة ناشئة عملية حادثة كبرى رسمية، سوى من هو مستيقظ. ابدأ بتعريف من فقرة واحدة، ومنسق مسمى لكل حدث، ووثيقة مشتركة تسجل الخط الزمني. عُدّ الحوادث ودوّن الأثر في جملة. يمكن أن تكون المراجعة ملاحظة نصف صفحة، والمتابعة بندًا في القائمة المتراكمة للفريق.
الأعمال الصغيرة. كثيرًا ما تعتمد الأعمال الصغيرة على موردين لجزء كبير من خدمتها، فيشمل الخط الزمني انتظار مورد. سجّل أزمنة اتصال المورد واستجابته في الخط الزمني للحادثة، لأنها تفسر كثيرًا من المدة وتعطي دليلًا لحوارات العقد. أبقِ تواصل العملاء بسيطًا: قناة واحدة، شخص واحد، وفاصل تحديث معلن.
المؤسسات الكبرى. تدير المؤسسات الكبرى خدمات كثيرة ولديها حوادث كثيرة في كل فترة، فالعدد لكل خدمة والتجميع كلاهما مفيد. المخاطر معايير غير متسقة بين الأقسام وعملية ثقيلة بما يبطئ الإعلان. وحّد التعريفات، وأبقِ العملية خفيفة في الدقائق الخمس عشرة الأولى، واستخدم صيغة سجل مشتركة لتقارن الأثر والتواصل.
الحكومة والقطاع العام. كثيرًا ما تكون على الهيئات العامة واجبات نظامية، مثل إخطار جهة تنظيمية أو الجمهور، وكلفة فشل أعلى على مواطنين ليس لديهم بديل. أضف مقاييس للامتثال لواجبات الإخطار ولأثر المجموعات الضعيفة، واحتفظ بسجلات تصمد أمام التدقيق وطلبات المعلومات العامة. قد تؤخر دورات المشتريات بنود الإجراءات، فتتبع الإجراءات المعطلة وصعّدها.
مبررات الأعمال: الدوافع والعائد على الاستثمار والتكلفة الإجمالية للملكية
الدافع خفض كلفة الحوادث الأشد إيلامًا: خسارة الإيراد أو الخدمة، وتضرر الثقة، وإرهاق الموظفين، والتعرض التنظيمي. مجموعة صغيرة متسقة من مقاييس الحوادث الكبرى تُظهر من أين تأتي تلك الكلفة، وهل يتحسن الاكتشاف والتواصل، وهل يؤتي الاستثمار في الوقاية ثماره. والمقاييس التي لا تُظهر غير عدد تدفع الكلفة نحو إخفاء الحوادث.
كلف الجمع متواضعة إن كانت البيانات تعيش أصلًا في أداة ITSM ونظام المراقبة ومتتبع القضايا. الكلف الرئيسية الاتفاق على التعريفات، وربط سجل الحادثة بالمراقبة وقائمة الإجراءات المتراكمة، والوقت لكتابة كل مراجعة. والمقاييس تكلف قليلًا بعد جعل السجل متسقًا.
يظهر العائد في زمن إعلان أقصر وتواصل أوضح وحوادث متكررة أقل وإعادة عمل أقل. لا رقم عالميًا ينطبق، فقدّر رقمك: خذ آخر سنة من حوادثك الكبرى، وقدّر مع المالية كلفة ساعة الأثر لكل خدمة، وقارنها بكلفة عمل المتابعة الذي ستحتاجه لمنع الأسباب المتكررة. وتشمل التكلفة الإجمالية للملكية وقت المراجعين، وأدوات الخطوط الزمنية وصفحات الحالة، والسعة المخصصة لإجراءات المتابعة، وهنا يقصّر معظم البرامج.
الأنماط المضادة والمزالق
- هدف لعدد الحوادث الكبرى. يعلّم الناس تجنب الإعلان. بدلًا من ذلك، تتبع زمن الإعلان والأثر والمتابعة، وخذ عينات بحثًا عن إعلانات فائتة.
- متوسط زمن استعادة منفرد للحوادث الكبرى. مع أحداث قليلة يهيمن انقطاع طويل واحد. بدلًا من ذلك، أظهر كل حادثة، ثم الوسيط وأطول مدة على سنة مع العدد.
- بدء الساعة عند الإعلان. يخفي تأخر الاكتشاف والإعلان. بدلًا من ذلك، ابدأ عند أبكر دليل على أثر العملاء، وأبلِغ الفجوة على حدة.
- ترتيب المستجيبين أو الفرق بمقاييس الحوادث. يدمر الصراحة ويكسر المراجعة. بدلًا من ذلك، أبلِغ بحسب الخدمة والنظام، وأبقِ الأسماء خارج البيانات.
- معاملة المراجعة منتهية بنشر الوثيقة. التغيير هو الغاية. بدلًا من ذلك، قِس متابعة الإجراءات وانظر في الإجراءات المتأخرة كل شهر.
- تغييرات عتبة صامتة. تصبح الاتجاهات بلا معنى. بدلًا من ذلك، أصدِر نسخًا للمعايير ودوّن التغييرات في التقرير.
- عدّ التذاكر فقط أثرًا. كثير من المستخدمين المتأثرين لا يتصلون أبدًا. بدلًا من ذلك، استخدم القياس عن بعد وأضف بيان أثر بلغة واضحة.
- استخدام المقاييس لإسناد اللوم. يخفي الناس الحقائق حينها. بدلًا من ذلك، أبقِ المراجعات بلا لوم، وركز على الظروف والقرارات، وابحث عن أسباب النظام.
نموذج النضج
| البُعد | 1 البدء | 2 التطوير | 3 التوحيد | 4 الإدارة | 5 التنسيق |
|---|---|---|---|---|---|
| التعريف والساعات | «كبرى» تعني ما يقوله أعلى صوت؛ الأزمنة من الذاكرة | بعض الفرق لديها معايير وتكتب أوقات البداية والنهاية | تعريف مكتوب واحد بنسخ، مع قواعد ساعة لبداية الأثر والإعلان والاستعادة | يُدقق التعريف والساعات مقابل المراقبة؛ تُسجَّل التغييرات بأسبابها | تُتفق المعايير والساعات مع الموردين والعملاء وتُنقَّح حين تكف عن الإفادة في القرارات |
| الأثر والتواصل | الأثر يُوصف بالحكايات؛ تُرسل التحديثات حين يتذكر أحد | الأثر مقدّر لبعض الحوادث؛ بعض الفرق تستخدم صفحة حالة | الأثر مقيس من القياس عن بعد للخدمات الرئيسية؛ أهداف التحديثات موضوعة ومتتبَّعة | الأثر والتواصل يُتتبَّع اتجاههما ويرتبطان بملاحظات العملاء | الأثر مشترك مع العملاء والموردين بصيغة مشتركة، مع إجراءات تحسين مشتركة |
| المراجعة والمتابعة | المراجعات نادرة وغير مكتوبة؛ الإجراءات منسية | المراجعات يكتبها بعض الفرق؛ الإجراءات مسجلة لكن غير متتبَّعة | كل حادثة كبرى تُراجَع في وقتها؛ الإجراءات متتبَّعة في قائمة الفريق المتراكمة | تُراجَع الإجراءات المتأخرة والأسباب المتكررة بإيقاع، مع عمل وقاية ممول | تُشارَك الأنماط عبر الفرق والموردين؛ التعلم يغير التصميم والتخطيط بانتظام |
| الاستخدام في القرارات | أرقام تُستشهد بها بعد الواقعة | عدد يُعرض للقادة بلا سياق | خطوط زمنية واتجاهات تُعرض للفرق التي تملك الخدمات | مقاييس مقترنة بحواجز حماية وتُستخدم لترتيب أولويات عمل الموثوقية | استثمار الموثوقية يُقرَّر بالاشتراك باستخدام أدلة الأثر والتكرار عبر الخدمات |
قائمة التحقق
- معايير الإعلان مكتوبة ومنسَّخة ومعروفة لكل مناوب.
- الإعلان بحسن نية آمن صراحةً، ولا هدف على العدد.
- أوقات بداية الأثر والإعلان والاستعادة معرَّفة ومأخوذة من المراقبة أو مسار تدقيق.
- تظهر كل حادثة كبرى صفًا قائمًا بذاته بخط زمني بالمراحل.
- أثر العملاء مشتق من القياس عن بعد حيث يوجد ومُوصَّف في بيان بلغة واضحة.
- أهداف الإشعار الأول وإيقاع التحديثات موضوعة ومفحوصة لكل حادثة.
- تُنشر المراجعة ضمن النافذة المتفق عليها وإجراءاتها في القائمة المتراكمة للفريق المالك.
- تُراجَع الإجراءات المتأخرة والأسباب المتكررة بجدول.
- عينة ربع سنوية من الحوادث العادية عالية الأثر تتحقق من الإعلانات الفائتة.
- لكل مقياس حاجز حماية مسمى، ولا مقياس يُستخدم لترتيب الأفراد.
موجِّهات الذكاء الاصطناعي
صغ معايير إعلان للمراجعة.
I am drafting criteria for declaring a major incident in [organization type].
Our services are [list of services] and our teams are [list of teams]. Users
are [description of users]. Propose a short set of declaration criteria with
two or three examples for each, a list of ambiguities a team might argue about,
and questions I should settle with [stakeholders]. Do not invent thresholds or
benchmark values; use [placeholders] where a number is needed. List your
assumptions.
أعد بناء خط زمني لحادثة وانقده.
Here is the timeline of a major incident: [paste timeline with timestamps and
sources]. Identify the impact start, the declaration, mitigation, and full
restoration, and say which timestamps are uncertain and why. Split the duration
into phases and note where the largest delays occurred. Suggest questions to ask
the responders and monitoring evidence to look for. Do not invent facts that are
not in the timeline. List your assumptions.
راجع مجموعة إجراءات ما بعد الحادثة.
Below are the actions from [number] post-incident reviews for [service]:
[paste actions with owner, due date, and status]. Group them by theme, flag any
that are vague, trivial, or unowned, and identify patterns that suggest a
problem record or a backlog item for [owning team]. Do not rank individuals or
teams by performance. Do not invent causes. List your assumptions and the
information you would need to improve the analysis.
اختبر مقياسًا مقترحًا للتلاعب.
We plan to track [metric name], defined as [definition] and measured from
[data source]. Describe how this metric could be gamed by [role], what honest
behavior it might discourage, and which paired guardrail metric or practice
would catch each case. Keep the suggestions practical for a team of
[team size]. Do not invent benchmark values or sources. List your assumptions.
مهارات الذكاء الاصطناعي
- Service Management Metrics skill: استخدمها لإيجاد المواضيع ذات الصلة وحاجز الحماية الذي ينبغي أن يجلس بجوار كل مقياس حادثة كبرى.
- Service Management Metrics maintainer skill: استخدمها للتحقق من أن نسخة معدلة من هذا الموضوع ما زالت تتبع القالب والأعراف.
أهم الخلاصات
- الحوادث الكبرى نادرة، فأظهر كلًا منها بخطها الزمني ولخّص فقط فوق نوافذ طويلة مع العدد بجوار الرقم.
- ابدأ الساعة عند أثر العملاء، وأبلِغ الفجوة قبل الإعلان مقياسًا قائمًا بذاته.
- قِس الأثر بالمستخدمين والاستخدام، وأضف بيانًا بلغة واضحة لما تفوته الأرقام.
- عامل توقيت التواصل جزءًا من الاستجابة، بأهداف بحسب الجمهور وإيقاع تحديث ثابت.
- المراجعة تنتهي حين تنتهي إجراءاتها، فتتبع المتابعة والأسباب المتكررة.
- لا تضع هدفًا على العدد، ولا ترتّب الأشخاص، وأبقِ الإعلان آمنًا.
المراجع والقراءات الإضافية
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Lunney, L., and Lueder, S., "Postmortem Culture: Learning from Failure," in Site Reliability Engineering, O'Reilly Media, 2016, https://sre.google/sre-book/postmortem-culture/
- Beyer, B., et al. (eds.), "Managing Incidents," in Site Reliability Engineering, O'Reilly Media, 2016, https://sre.google/sre-book/managing-incidents/
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- AXELOS (now PeopleCert), ITIL Foundation: ITIL 4 Edition, TSO, 2019.
- Wikipedia, ITIL.
- Wikipedia, Incident management (ITSM).
- Wikipedia, Percentile.
- Wikipedia, Agile software development.
- Wikipedia, Site reliability engineering.
- Wikipedia, Incident commander.
- Wikipedia, Postmortem documentation.
- Wikipedia, Root cause analysis.
- Wikipedia, Goodhart's law.