مقاييس جودة المراقبة والتنبيهات
التنبيه طلب لانتباه شخص، لذا قِس المراقبة بكم مرة كان ذلك الطلب يستحق، وكم من المتاعب الحقيقية التقطت، وكم من النوم والثقة كلفت.
نظرة عامة والدافع
المراقبة هي جمع بيانات آنية عن نظام ومعالجتها وعرضها. تجيب مراقبة النظام (system monitoring) عن سؤال «هل تعمل الخدمة بالطريقة التي يحتاجها المستخدمون؟». والتنبيه هو النقطة التي تطلب فيها تلك البيانات من إنسان أن يفعل شيئًا. تقيس معظم الفرق النشاط الأول قياسًا سيئًا أو لا تقيسه أبدًا، وتقيس الثاني من خلال الشكاوى فقط. يعطيك هذا الموضوع مجموعة صغيرة من المقاييس للاثنين: هل ترى المراقبة الإخفاقات المهمة، وهل تستحق التنبيهات التي ترفعها الانتباه الذي تطلبه.
بعض المصطلحات أولًا. في مفردات ITIL 4، الحدث تغير في الحالة له دلالة لإدارة خدمة، وإدارة الأحداث هي ممارسة اكتشاف الأحداث وتقرير أيها يهم واختيار الاستجابة. والتنبيه إشعار لإنسان، يُسلَّم نداءً أو رسالة أو تذكرة. والنداء تنبيه يقاطع شخصًا فورًا. والإيجابية الكاذبة (false positive) تنبيه أُطلق حين لم يكن شيء يحتاج انتباهًا، والسلبية الكاذبة (false negative) إخفاق لم يبلّغ عنه أي تنبيه؛ كلا المصطلحين من لغة الإيجابيات والسلبيات الكاذبة. والتنبيه القابل للتنفيذ (actionable alert) هو الذي كان لدى شخص فيه إجراء مفيد يفعله، وفعله أو اختار عمدًا ألا يفعل لسبب مسجل.
يتجاذب جانبا المراقبة. إضافة تنبيهات بعد كل حادثة تبني جدارًا من الضجيج؛ وتقليلها لإسكاته يخاطر بالصمت أثناء الإخفاق الذي يهم. وتناسب لغة الدقة والاستدعاء (precision and recall) هنا جيدًا. تسأل الدقة أي حصة من التنبيهات المرفوعة كانت تستحق الرفع. ويسأل الاستدعاء أي حصة من المشكلات الحقيقية التقطتها التنبيهات. وجودة التنبيه هي التوازن بين الاثنين، والمقياس الذي يراقب أحدهما فقط يدعو الفريق إلى التضحية بالآخر. وتلتقط نسبة الإشارة إلى الضجيج (signal-to-noise ratio) التوتر نفسه.
الكلفة البشرية سبب انتماء هذا إلى كتاب مقاييس الخدمة. إرهاق الإنذار (alarm fatigue) ميل موثق جيدًا لدى الناس المعرضين لإنذارات كثيرة، معظمها غير مهم، إلى فقدان الحساسية والبطء في الاستجابة لما يهم. درس أولًا في المواقع السريرية وينطبق على أي مناوبة استدعاء (on-call) يُنادى عليها كثيرًا بتنبيهات لا تقود إلى شيء. المستجيبون المرهقون يفوتون الحوادث الحقيقية وفي النهاية يغادرون المناوبة.
تختلف الرؤى عبر التقليدين اللذين يصلهما هذا الكتاب. تضع ITIL 4 هذا العمل في ممارسة المراقبة وإدارة الأحداث، بصلات إلى إدارة الحوادث وإدارة مستوى الخدمة. همها أن تُكتشف الأحداث وتُصنَّف وتُوجَّه بحيث تُوجد الحوادث مبكرًا وتُعالج باتساق. وتقترب هندسة موثوقية المواقع (SRE) من الطرف الآخر: يحاجج كتاب Google Site Reliability Engineering بأن النداءات ينبغي أن تكون عاجلة ومهمة وقابلة للتنفيذ وحقيقية، وأن كل ما عدا ذلك ينتمي إلى تذكرة أو لوحة. وتلقاها فرق الأجايل اتفاقية عمل: من يُوقَظ، ولأي سبب، ومن يصلح تنبيهًا خاطئًا. تستعير المقاييس أدناه من الثلاثة وتحتفظ بقاعدة واحدة: يصف المقياس مناوبة أو خدمة أو قاعدة تنبيه، لا فردًا أبدًا.
لا يكرر هذا الموضوع جيرانه. أزمنة الحوادث تنتمي إلى الموضوع 3.3، زمن الاستجابة للحوادث وحلها، والحوادث الكبرى إلى الموضوع 3.4، مقاييس الحوادث الكبرى، والأهداف وميزانيات الأخطاء إلى الموضوع 5.2، مؤشرات SLI وأهداف SLO وميزانيات الأخطاء، والحمل البشري إلى الموضوع 5.7، مقاييس العمل الروتيني المرهق والمناوبة. الموضوع هنا جودة الإشارة التي تبدأ كل هذه. والقياس يُغطى في الموضوع 1.5، مصادر البيانات وأدوات القياس.
المبادئ الأساسية
- نادِ على الأعراض التي يشعر بها المستخدمون؛ وخصص تذكرة أو لوحة للباقي. تنبيه على ما يعيشه المستخدمون (أخطاء، بطء، عدم توافر) يظل مفيدًا مع تغير النظام. وتنبيه على سبب (قرص ممتلئ، معالج مشغول) مفيد فقط حين يتنبأ بعرض ويستطيع شخص التصرف قبل وصوله.
- يجب أن يقود كل تنبيه إلى إجراء. إن كانت الاستجابة الصحيحة لتنبيه ألا تفعل شيئًا، فينبغي تغيير التنبيه أو تخفيضه إلى تذكرة أو حذفه. قِس الحصة التي تقود إلى إجراء، وعامل الباقي عيوبًا في المراقبة.
- قِس الدقة والاستدعاء معًا. عدّ الضجيج فقط يكافئ الصمت، وعدّ التغطية فقط يكافئ الحجم. الاثنان معًا يصفان الجودة، وكل منهما حاجز حماية للآخر.
- عامل كل قاعدة تنبيه منتجًا بمالك. للقاعدة غرض وعتبة ودليل تشغيل وتاريخ مراجعة. القواعد بلا مالك تتراكم، والضجيج الذي تنتجه لا يخص أحدًا.
- أبلِغ عن المناوبات والخدمات، لا الأشخاص أبدًا. حمل التنبيه خاصية لكيفية تصميم النظام والمناوبة. تسمية الأفراد تحول مشكلة تصميم إلى مشكلة لوم وتخفي الإصلاح الحقيقي.
تعريفات المقاييس
المقاييس أدناه مختارة مجموعةً. الحجم وحده بلا معنى، والقابلية للتنفيذ تخبرك هل الحجم مشكلة، والتغطية وزمن الاكتشاف يخبرانك ما يخفيه الهدوء. تُحسب كلها لكل خدمة أو مناوبة، وتستخدم جميعها سجل التنبيه من أداتي المراقبة والنداء مضمومًا إلى سجلات الحوادث والتذاكر.
| المقياس | التعريف | الصيغة | الوحدة | مصدر البيانات | ممارسة ITIL | المقابل في الأجايل | التكرار |
|---|---|---|---|---|---|---|---|
| حجم التنبيهات | عدد التنبيهات التي أبلغت إنسانًا، مقسومة إلى نداءات وتذاكر | عدد الإشعارات المتميزة المسلَّمة إلى مناوبة أو طابور في الفترة؛ تكرارات التنبيه المفتوح نفسه تُجمع في واحد؛ التنبيهات التي تعالجها الأتمتة كلها بلا إشعار بشري تُستثنى؛ أبلِغ لكل مناوبة في الأسبوع، وحصة خارج ساعات العمل على حدة | تنبيهات لكل مناوبة-أسبوع | أداة النداء وتوجيه التنبيه | المراقبة وإدارة الأحداث | اتفاقية عمل الفريق عن الاستدعاء | أسبوعي |
| معدل التنبيهات القابلة للتنفيذ | حصة التنبيهات التي اتخذ شخص بعدها إجراءً مفيدًا | التنبيهات التي لها إجراء مسجل (إصلاح أو تخفيف أو تصعيد أو تغيير لقاعدة التنبيه) / التنبيهات المراجَعة في الفترة؛ التنبيهات التي حُلت آليًا قبل أي إقرار تُعد غير قابلة للتنفيذ؛ التنبيهات غير المراجَعة تُبلَّغ عددًا منفصلًا ولا تُسقط | نسبة مئوية | سجل التنبيه مضمومًا إلى وسم المراجعة أو التذكرة أو الحادثة | المراقبة وإدارة الأحداث؛ إدارة الحوادث | إجراء تحسين الفريق على العمليات | مراجعة أسبوعية، اتجاه شهري |
| معدل الإيجابيات الكاذبة | حصة التنبيهات التي أُطلقت حين لم توجد مشكلة | التنبيهات الموسومة إيجابية كاذبة في المراجعة / التنبيهات المراجَعة في الفترة؛ «إيجابية كاذبة» تعني أن الحالة لم تكن عطلًا ولا أحد يريد أن يُخبَر؛ مشكلة حقيقية صغيرة جدًا لا يُتصرف بها ليست إيجابية كاذبة | نسبة مئوية | وسوم مراجعة التنبيه | المراقبة وإدارة الأحداث | مراجعة ضجيج في اجتماع المراجعة | شهري |
| تغطية الاكتشاف | حصة الخدمات في النطاق التي لها تنبيه مختبر واحد على الأقل على عرض موجه للمستخدم | الخدمات التي لها تنبيه عرض مارسه اختبار أو حدث حقيقي في آخر 12 شهرًا / الخدمات في نطاق كتالوج الخدمات؛ قائمة الخدمات في النطاق تثبت عند بداية الفترة | نسبة مئوية | كتالوج الخدمات وجرد قواعد التنبيه وسجلات الاختبار | إدارة تكوين الخدمة؛ المراقبة وإدارة الأحداث | تعريف الإنجاز لخدمة جديدة | ربع سنوي |
| حصة الاكتشاف بالمراقبة | حصة الحوادث التي اكتشفتها المراقبة قبل أن يبلّغ عنها مستخدم أو زميل | الحوادث التي كانت أولى إشاراتها تنبيهًا / الحوادث في الفترة؛ الساعة وقت فتح الحادثة، والحوادث بلا إشارة أولى مسجلة تُبلَّغ «مجهولة» لا «مكتشفة» | نسبة مئوية | سجل الحادثة بحقل الإشارة الأولى، الخط الزمني للتنبيه | إدارة الحوادث | مراجعة الحادثة (التعلم بعد الحادثة) | شهري |
| زمن الاكتشاف (TTD) | الزمن المنقضي بين بداية أثر المستخدم وأول تنبيه أبلغ إنسانًا | وقت أول تنبيه مبلغ لإنسان ناقص وقت بداية الأثر، حيث بداية الأثر أبكر وقت انتهك فيه مؤشر مستوى الخدمة، كما يتحدد في مراجعة الحادثة؛ أبلِغ الوسيط والنسبة المئوية 95؛ الحوادث بلا تنبيه تُستثنى وتُعد على حدة | دقائق | مراجعة الحادثة والخط الزمني للتنبيه وتاريخ مؤشر مستوى الخدمة | إدارة الحوادث؛ المراقبة وإدارة الأحداث | مراجعة ما بعد الحادثة | شهري، لكل حادثة |
| تركز التنبيهات | حصة حجم التنبيهات التي تنتجها أكثر قواعد التنبيه ضجيجًا | التنبيهات من القواعد الخمس الأكثر تنبيهًا / جميع التنبيهات في الفترة؛ التنبيه نفسه يُجمع مرة واحدة؛ عدد خمس قواعد اصطلاح يستطيع الفريق تغييره إن ذكر لماذا | نسبة مئوية | جرد قواعد التنبيه وسجل النداء | التحسين المستمر؛ المراقبة وإدارة الأحداث | قائمة التحسين المتراكمة في اجتماع المراجعة | شهري |
| حداثة قاعدة التنبيه | حصة قواعد النداء التي لها مالك ورابط دليل تشغيل ومراجعة ضمن الفاصل المتفق عليه | قواعد النداء المستوفية للشروط الثلاثة / جميع قواعد النداء؛ القواعد المعطلة في الفترة تُستثنى | نسبة مئوية | جرد قواعد التنبيه | إدارة المعرفة؛ المراقبة وإدارة الأحداث | اتفاقية العمل عن الجاهزية التشغيلية | ربع سنوي |
يحتاج حجم التنبيهات إلى سياق، فاقرأه بجوار معدل التنبيهات القابلة للتنفيذ. يستخدم زمن الاكتشاف بداية أثر المستخدم لا التذكرة، لأن ساعة التذكرة تبدأ بعد الاكتشاف؛ وبداية الأثر تقدير من مراجعة الحادثة وينبغي وسمها كذلك. ومعدل الإيجابيات الكاذبة ومعدل التنبيهات القابلة للتنفيذ ليسا متكاملين، لأن تنبيهًا قد يكون صحيحًا ومع ذلك لا يستحق وقت شخص.
التوصيات
قرر ما يستحق نداءً
1. اكتب سياسة نداء وأبقها قصيرة. اذكر في فقرة ما يستحق نداءً (عرض يشعر به المستخدمون الآن أو قريبًا ويستطيع شخص التصرف حياله) وما لا يستحق. كل ما عدا ذلك يذهب إلى طابور تذاكر أو لوحة. فصل كتاب Google SRE عن مراقبة الأنظمة الموزعة نقطة بداية جيدة (انظر الموضوع 5.2، مؤشرات SLI وأهداف SLO وميزانيات الأخطاء).
2. نبّه على الأعراض، وأبقِ الأسباب للتشخيص. نداء على «معدل الخطأ فوق العتبة المتفق عليها» نداء عن المستخدمين. ونداء على «المعالج مرتفع» نداء عن تخمين. أبقِ إشارات مستوى السبب على لوحات حيث سينظر المستجيب بعد إطلاق تنبيه العرض، ورقِّ إحداها إلى نداء فقط حين تتنبأ بعرض بموثوقية وبإنذار يكفي للتصرف.
3. اربط عتبات النداء بهدف مستوى الخدمة. حيث لخدمة هدف مستوى الخدمة (SLO)، نبّه على معدل استهلاك ميزانية الأخطاء بدل العتبات الخام. يصف فصل SRE Workbook عن التنبيه على SLO تنبيهات معدل الاستهلاك والمفاضلات بين الدقة والاستدعاء وزمن الاكتشاف وزمن إعادة الضبط. وهذا النهج ينادي على ما يهدد الهدف ويصمت عن ومضات وجيزة لا تهدده.
راجع كل تنبيه بإيقاع
4. صنّف كل تنبيه في مراجعة قصيرة منتظمة. خصص خمس عشرة دقيقة كل أسبوع لكل مناوبة لتنظر فيما أُطلق. لكل تنبيه، سجّل وسمًا واحدًا: قابل للتنفيذ، أو إيجابي كاذب، أو حقيقي لكنه لا يستحق نداءً، أو مكرر. الوسوم هي بيانات معدل التنبيهات القابلة للتنفيذ ومعدل الإيجابيات الكاذبة، والمراجعة المكان الذي تُصلح فيه القواعد الضجيجية في اليوم التالي لا الربع التالي.
5. اجعل المراجعة تنتج تغييرًا. كل أسبوع، اختر قاعدة واحدة على الأقل لتُضبط أو تُخفَّض أو تُدمج أو تُحذف، وسجّل التغيير في قائمة الفريق المتراكمة عملًا عاديًا.
6. احذف بلا خوف. تحتفظ الفرق بتنبيهات لأن حذف واحد يبدو خطرًا ولا يتذكر أحد لماذا يوجد. اشترط أن تحمل كل قاعدة نداء غرضًا ومالكًا، واتفقوا على أن قاعدة لم تقد قط إلى إجراء خلال فترة معلنة تُحذف أو تُخفَّض، مع تسجيل التغيير ليمكن عكسه. يجعل مقياس حداثة القاعدة الانضباط مرئيًا.
قِس ما تفوته المراقبة
7. تتبع حصة الحوادث التي وجدها المستخدمون أولًا. بعد كل حادثة، سجّل كيف لوحظت أول مرة: تنبيه أو زميل أو عميل أو تذكرة دعم أو فحص روتيني. الحصة التي وجدتها المراقبة أقرب مقياس عملي للاستدعاء. وهي ليست كاملة، لأن الحوادث التي لم يلحظها أحد لا تدخل العينة، فاقرنها باختبارات دورية للتنبيهات نفسها.
8. قدّر زمن الاكتشاف بأمانة. حدد بداية أثر المستخدم في مراجعة الحادثة من تاريخ مؤشر مستوى الخدمة، لا من وقت أن كتب أحد التذكرة. أبلِغ الوسيط ونسبة مئوية عالية، وأظهر الحوادث التي لم يكن لها تنبيه أصلًا عددًا منفصلًا. متوسط واحد يخفي الحالة النموذجية والذيل السيئ (انظر الموضوع 1.6، الثقافة الإحصائية لمقاييس الخدمة، والموضوع 3.3، زمن الاستجابة للحوادث وحلها).
9. اختبر التنبيهات التي تعتمد عليها. لا تكون تغطية الاكتشاف موثوقة إلا إن رُئي التنبيه يعمل. ضمّن فحصًا في أيام المحاكاة أو بروفات الإصدار يسبب عمدًا عرضًا ويؤكد أن التنبيه الصحيح يُطلق ويصل إلى المناوبة الصحيحة ويرتبط بدليل تشغيل قابل للاستخدام. تنبيه لم يُمارس أبدًا أمل لا ضابط (انظر الموضوع 5.6، مقاييس استمرارية الخدمة).
أبقِ مسار الإشارة سليمًا
10. راقب المراقبة. فشل صامت لنظام المراقبة يبدو تمامًا كخدمة سليمة. أضف فحص نبض ينادي إن توقف خط التنبيه عن التسليم، وسجّل كم مرة يفشل الخط نفسه.
11. جمّع وأزل التكرار واربط قبل أن تعد. اجمع التنبيهات ذات الصلة في واحد، واكبت تكرارات تنبيه مفتوح أصلًا، ووجّه كلًا إلى المناوبة المالكة. اربط كل تنبيه بدليل تشغيله وبالحادثة أو التذكرة التي أنشأها، لأن ذلك الضم هو ما يتيح حساب معدل التنبيهات القابلة للتنفيذ وحصة الاكتشاف بالمراقبة دون عدّ يدوي (انظر الموضوع 1.5، مصادر البيانات وأدوات القياس).
مسارات التلاعب وحواجز الحماية
| المقياس | كيف يُتلاعب به | حاجز الحماية أو الممارسة المقترنة |
|---|---|---|
| حجم التنبيهات | رفع العتبات أو إضافة تأخيرات طويلة أو نقل التنبيهات من نداءات إلى طابور صامت فينخفض العدد وتمر المشكلات دون أن تُرى؛ تقسيم التنبيهات أو دمجها لتغيير العدد | حصة الاكتشاف بالمراقبة وزمن الاكتشاف؛ قاعدة أن كل تخفيض يُسجَّل بسببه ويُراجَع بعد ربع |
| معدل التنبيهات القابلة للتنفيذ | وسم التنبيهات قابلة للتنفيذ بعد الواقعة، أو اتخاذ إجراء تافه (تعليق، إقرار) للتأهل؛ ترك التنبيهات الضجيجية غير مراجَعة فلا تدخل المقام | عدد التنبيهات غير المراجَعة معروض بجوار المعدل؛ فحص عينة من شخص خارج المناوبة؛ تعريف مكتوب لـ«إجراء مفيد» |
| معدل الإيجابيات الكاذبة | تعريف الإيجابيات الكاذبة ضيقًا بحيث تُعد التنبيهات «الحقيقية لكن بلا جدوى» صحيحة؛ إغلاق التنبيهات الضجيجية دون وسم | معدل التنبيهات القابلة للتنفيذ ووسم «حقيقي لكنه لا يستحق نداءً» يُتتبعان على حدة؛ أخذ عينات دورية من التنبيهات المغلقة |
| تغطية الاكتشاف | إضافة تنبيه تافه (فحص اتصال) لكل خدمة لادعاء التغطية؛ عدّ تنبيهات لم تُختبر أبدًا | اشتراط أن يراقب التنبيه عرضًا موجهًا للمستخدم وقد مورس في آخر 12 شهرًا؛ حصة الاكتشاف بالمراقبة |
| حصة الاكتشاف بالمراقبة | تسجيل كل حادثة «اكتشفتها المراقبة» حتى لو بلّغ مستخدم أولًا؛ إنشاء تنبيه بعد الواقعة ثم الاستشهاد به؛ ترك حقل الإشارة الأولى فارغًا لتجنب رقم سيئ | عدد «المجهولة» معروض بجوار الحصة؛ دليل الإشارة الأولى مأخوذ من الخط الزمني للتنبيه لا من الذاكرة؛ الحوادث التي يبلّغ عنها العملاء مرتبطة من سجل الدعم |
| زمن الاكتشاف (TTD) | إعلان بداية الأثر متأخرة عما كانت؛ استثناء الحوادث بلا تنبيه؛ إبلاغ المتوسط لإخفاء الذيل | بداية الأثر مأخوذة من تاريخ مؤشر مستوى الخدمة؛ الحوادث بلا تنبيه تُعد وتُظهر؛ الوسيط والنسبة المئوية 95 يُبلَّغان معًا |
| تركز التنبيهات | تقسيم قاعدة ضجيجية واحدة إلى عدة فلا تكون أيٌّ منها في الخمس الأولى؛ إعادة تسمية القواعد | أبلِغ التركز بحسب العطل أو الخدمة الكامنة كما بحسب القاعدة؛ تتبع الحجم الكلي ومعدل التنبيهات القابلة للتنفيذ بجواره |
| حداثة قاعدة التنبيه | إضافة مالكين صوريين أو روابط دليل تشغيل فارغة أو مراجعة بالختم لاستيفاء الشرط | فحص عينة بأن رابط دليل التشغيل يعمل واستُخدم في استجابة حقيقية؛ ممارسة اختبار دليل التشغيل في أيام المحاكاة |
القراءة السليمة تُظهر عدة أشياء معًا. حجم التنبيهات لكل مناوبة مستقر أو متناقص وضمن مستوى اختاره الفريق مستدامًا. ومعدل التنبيهات القابلة للتنفيذ يرتفع على مدى أشهر مع ضبط أكثر القواعد ضجيجًا. وحصة الاكتشاف بالمراقبة عالية وزمن الاكتشاف قصير ولا يزداد طولًا مع انخفاض الحجم، مما يثبت أن الهدوء كُسب لا اشتُري. وتغطية الاكتشاف تنمو لأن الخدمات تُختبر، لا لأن تنبيهات تافهة أُضيفت. أما إن انخفض الحجم بينما ساءت حصة الاكتشاف أو زمنه، فقد بادل الفريق الاستدعاء بالسلام، وحواجز الحماية هي ما يكشف ذلك.
المفاضلات: الإيجابيات والسلبيات
| النهج | الإيجابيات | السلبيات |
|---|---|---|
| نداءات قليلة قائمة على الأعراض | ليالٍ هادئة وثقة عالية بكل نداء وسهولة إبقائها حديثة | خطر الاكتشاف المتأخر للمشكلات بطيئة النمو؛ تحتاج عادات تذاكر ولوحات جيدة للباقي |
| تنبيهات حساسة كثيرة | إنذار مبكر بمتاعب مستوى السبب؛ حوادث فائتة أقل | إرهاق الإنذار وإقرار أبطأ وتسرب من مناوبات الاستدعاء |
| تنبيهات معدل استهلاك SLO | نداءات مرتبطة بما يهدد الهدف؛ ومضات أقل | تحتاج مؤشرات جيدة وهدفًا متفقًا عليه؛ تأخذ ضبطًا لموازنة زمن الاكتشاف والدقة |
| مراجعة تنبيهات أسبوعية | تغذية راجعة سريعة؛ القواعد الضجيجية تُصلح سريعًا | تكلف وقتًا كل أسبوع؛ تصبح مسرحية إن لم يتبعها تغيير |
| الوسم البشري | تلتقط حكمًا لا تملكه أي أداة | ذاتي؛ تنجرف الوسوم بين المراجعين والمناوبات ما لم تُكتب التعريفات |
| الكبت والتجميع الآلي | يقطع الضجيج على نطاق واسع؛ يقلل النداءات المتكررة | قد يخفي إشارات حقيقية إن كانت القواعد خاطئة؛ يحتاج مراقبة ومراجعة خاصة به |
كل خيار يبادل الدقة بالاستدعاء، وينبغي أن تُجرى المبادلة عن قصد وتُكتب لكل خدمة، لأنها السياق الذي يتيح لأي أحد قراءة الأرقام بإنصاف. قد تقبل خدمة ذات عواقب جسيمة لإخفاق فائت معدلًا قابلًا للتنفيذ أقل مقابل إنذار أبكر، مع طبقة فرز ترسل التنبيهات الإضافية إلى طابور تذاكر ليلًا.
أسئلة للنقاش مع فريقك
1. ماذا نريد أن نُوقَظ لأجله، وأي نداءات الشهر الماضي استوفت ذلك المعيار؟ اكتب سياسة النداء في جملة أو اثنتين، ثم خذ نداءات الشهر الماضي واختبر كلًا منها مقابلها. التمرين أقيم من النسبة المئوية التي ينتجها، لأن الخلافات تكشف أين تختلف توقعات الفريق. دوّن غير الضرورية مرشحة للتخفيض.
2. لو اختفت أكثر قواعد التنبيه ضجيجًا غدًا، فماذا سنخسر؟ اطرح السؤال لكل من القواعد الخمس الأولى بالحجم. كثيرًا لا يستطيع أحد تسمية إخفاق محدد التقطته القاعدة قط، وتلك علامة على أنها تُضبط أو تُحذف. وحيث يستطيع أحد، اسأل هل كان الإخفاق سيطلق تنبيه عرض أيضًا.
3. كيف نكتشف ما فاتته المراقبة؟ انظر إلى آخر عدة حوادث واسأل من لاحظ أولًا وكم دام الأثر قبل ذلك. يعطيك الجواب حصة الاكتشاف بالمراقبة وزمن اكتشاف تقريبيًا دون أدوات جديدة. ناقشوا أي إشارة كانت ستلتقط كلًا منها أبكر.
4. هل حمل الاستدعاء عندنا مستدام، وكيف سنعرف؟ اتفقوا على معنى المستدام لمناوبة، مثل حد للنداءات خارج ساعات العمل في الأسبوع، وراجعوا الاتجاه لكل مناوبة لا لكل شخص. إن كان الحمل فوق المستوى المتفق عليه، فعامله عيب خدمة وخطط عملًا لتقليله. أبقِ المقاييس متسقة مع الموضوع 5.7، مقاييس العمل الروتيني المرهق والمناوبة.
5. أي تنبيهاتنا لم نختبرها قط، وكيف نختبرها بأمان؟ اسرد الخدمات التي تعتمد على تنبيه عرض واحد واسأل هل رآه أحد يُطلق فعلًا أو في بروفة. خطط اختبارًا واحدًا وافحص المسار كاملًا: الاكتشاف والتوجيه والإشعار ودليل التشغيل. فكّر هل سيكون خط تنبيه فاشل مرئيًا أصلًا.
6. كيف قد تُتلاعب هذه الأرقام هنا، وماذا سنلاحظ؟ اطلب من الفريق وصف، بصدق، كيف يمكنهم جعل كل رقم يبدو أفضل دون تحسين شيء. ثم اتفقوا على أي حاجز حماية سيُظهره ومن ينظر فيه. تسمية الحيل مسبقًا تجعلها أقل إغراءً (انظر الموضوع 1.2، قانون غودهارت وسيكولوجية المقاييس).
أربعة منظورات
فرق المنتج والتسليم
تقرر الفرق التي تبني خدمة وتشغّلها ما تبلّغه عن نفسها، فتبدأ جودة التنبيه في تعريف الإنجاز. ميزة جديدة تُشحن بمؤشرها وتنبيهها المختبرين تتجنب مراقبة تُضاف بعد أول حادثة. عامل ضبط التنبيه عمل قائمة متراكمة عاديًا.
فرق الخدمة والعمليات
تحمل فرق العمليات جهاز النداء وتشعر بالكلفة أولًا، فهي تملك إيقاع المراجعة والوسم ونبض الخط. حين يكون تنبيه خاطئًا، يعود الإصلاح إلى مالك القاعدة لا إلى من تلقى النداء.
القيادة والحوكمة
يستطيع القادة طلب أرقام الاكتشاف والقابلية للتنفيذ بحسب الخدمة، وتمويل وقت الضبط، ومقاومة هدف على حجم التنبيهات يكافئ الصمت. الحجم المتناقص خبر جيد فقط إن ثبتت حصة الاكتشاف وزمنه. وحدود الاستدعاء المستدامة قرار توظيف وتصميم، لا تحفيز.
العملاء والمستخدمون
لا يرى العملاء تنبيهًا أبدًا؛ يرون هل فشلت الخدمة وكم استغرق إصلاحها. تظهر المراقبة الجيدة حوادث تُصلح قبل أن يلاحظوا، وحالات أقل يبلّغ فيها عميل أولًا. وحيث تستخدم المؤسسة مقاييس التجربة (انظر الموضوع 5.1، مقاييس SLA وOLA وXLA)، فحصة الحوادث التي بلّغ عنها المستخدمون أولًا مؤشر مباشر لفجوة التجربة.
في الممارسة: مثال من إدارة الخدمات
يدير متجر تجزئة إلكتروني متوسط الحجم منصة طلبات بأربعة فرق منتج وفريق منصة واحد يدعم مناوبة الاستدعاء. جميع الأرقام في هذا المثال توضيحية. على مدى أربعة أسابيع (توضيحي) تلقت المناوبة 240 نداءً، 70 منها بين 22:00 و07:00. يراجع الفريق كل نداء بأربعة وسوم: قابل للتنفيذ، وإيجابي كاذب، وحقيقي لكنه لا يستحق نداءً، ومكرر.
تُظهر المراجعة معدل تنبيهات قابلة للتنفيذ 31 في المئة (توضيحي) ومعدل إيجابيات كاذبة 22 في المئة (توضيحي). أنتجت خمس قواعد 58 في المئة من النداءات (توضيحي)، وأكبرها عتبة قرص على خادم دفعات كان يتعافى دائمًا من تلقاء نفسه. وكانت حصة الاكتشاف بالمراقبة للربع السابق 62 في المئة (توضيحي)، ووسيط زمن الاكتشاف 14 دقيقة (توضيحي) بنسبة مئوية 95 قدرها 51 دقيقة (توضيحي).
يخفّض الفريق ثلاث قواعد ضجيجية إلى طابور تذاكر، ويدمج النسخ المكررة بحيث يعطي عطل واحد نداءً واحدًا، ويستبدل تنبيه عدد الأخطاء الخام على الدفع بتنبيه معدل استهلاك ميزانية أخطاء (انظر الموضوع 5.2، مؤشرات SLI وأهداف SLO وميزانيات الأخطاء)، ويضيف تنبيه عرض لرسائل تأكيد الطلبات الإلكترونية، فجوة وراء حادثتين بلّغ عنهما عملاء. كل تغيير بند قائمة متراكمة بمالك. بعد أربعة أسابيع تنخفض النداءات إلى 96 (توضيحي) ويرتفع المعدل القابل للتنفيذ إلى 64 في المئة (توضيحي)، بينما ترتفع حصة الاكتشاف إلى 71 في المئة (توضيحي) ويبقى وسيط زمن الاكتشاف عند 14 دقيقة. يبدو الهدوء مكسوبًا.
يظهر خطر التلاعب في الشهر الثالث. يضع مدير جديد هدفًا غير رسمي بأقل من 60 نداءً في أربعة أسابيع، وتبلغه إحدى المناوبات بإطالة تأخير تنبيه خطأ الدفع. تنخفض حصة اكتشافها إلى 55 في المئة (توضيحي) ويرتفع زمن الاكتشاف عند النسبة المئوية 95 إلى 80 دقيقة (توضيحي). ولأن حواجز الحماية تجلس بجوار الحجم، تلتقط المراجعة ذلك. يسحب الفريق هدف الحجم، ويستعيد التنبيه، ويسجل الحالة في سجل المقاييس (انظر الموضوع 1.4، حوكمة المقاييس وملكيتها).
الأجايل والذكاء الاصطناعي والأتمتة والتحليلات
الأجايل
راجع التنبيهات بإيقاع منتظم منتجًا يستخدمه أصحاب الاستدعاء، واسحب الضجيجية أو اضبطها مع أصحاب المصلحة. والتحذير أن هدفًا لتقليل حجم التنبيهات قد يزيل تنبيهات مفيدة.
الذكاء الاصطناعي
يستطيع الذكاء الاصطناعي تجميع التنبيهات وتلخيصها وترتيبها واقتراح الأسباب. اقرن تقليل الضجيج بمعدل الفوات للحوادث الحقيقية، وتتبع حصة تجميعات الذكاء الاصطناعي التي قسمها أو دمجها شخص. والتحذير أن الكبت بنموذج قد يخفي تنبيهًا نادرًا لكن خطيرًا.
الأتمتة
عُدّ التنبيهات تلقائيًا بالقاعدة وبالنتيجة، وقِس أتمتة التنبيه بأخطاء الكبت. والتحذير أن التنبيهات المحلولة آليًا قد تبدو أنظمة سليمة حين تكون القاعدة مجرد تذبذب.
التحليلات
أبلِغ معدل التنبيهات القابلة للتنفيذ وتغطية الاكتشاف، مع الحوادث التي لاحظها المستخدمون أولًا. والقرار الذي يفيد فيه هو أي التنبيهات تُصلح أو تُزال. والتحذير أن التغطية المقيسة مقابل حوادث معروفة تتجاهل أنماط فشل لم يرها أحد بعد.
منظور القطاعات
الشركات الناشئة. مع حفنة من المهندسين كلهم في الاستدعاء، الأولوية لسياسة نداء قصيرة وبضعة تنبيهات أعراض على المسارات التي تدر مالًا. نظرة عشر دقائق يوم الاثنين على ما أيقظ الناس تكفي. الخطر الرئيسي ألا توجد تنبيهات أصلًا، فيكون العملاء هم المراقبة؛ عُدّ كم مرة أخبرك عميل أولًا.
الأعمال الصغيرة. تعتمد المؤسسات الصغيرة كثيرًا على مراقبة مورد. المقاييس المفيدة تغطية الاكتشاف للأنظمة القليلة التي توقف العمل وحصة الحوادث التي وجدها المستخدمون. اطلب من الموردين بيانات التنبيه التي يخولك بها عقدك.
المؤسسات الكبرى. للمؤسسات الكبرى أدوات ومناوبات كثيرة، وقد يعرّف كل فريق «قابل للتنفيذ» بشكل مختلف. وحّد التعريفات والوسوم، وراجع على مستوى الفريق، وجمّع بحسب الخدمة لا الأداة. تقلل منصات ربط الأحداث الحجم على نطاق واسع لكنها تحتاج فحوص استدعاء خاصة بها.
الحكومة والقطاع العام. بعض الخدمات تعمل ساعات المكاتب وأخرى، مثل أنظمة الطوارئ أو المزايا، تعمل باستمرار. تهم تغطية الاكتشاف والتنبيهات المختبرة أكثر حيث يحمل الفشل عواقب قانونية أو سلامة، ويمكن لسجلات الاختبار دعم التدقيق. أبلِغ التغطية والاكتشاف للهيئات الرقابية، لا أعداد التنبيه الخام التي يسهل سوء قراءتها (انظر الموضوع 8.5، التقارير التنظيمية والحكومية).
مبررات الأعمال: الدوافع والعائد على الاستثمار والتكلفة الإجمالية للملكية
أسباب الاستثمار عملية. الاكتشاف الأفضل يقصّر الزمن الذي يتأثر فيه المستخدمون. والنداءات التافهة الأقل تحمي النوم وتقلل التسرب من المناوبة وتحفظ الانتباه للتنبيهات المهمة. وكلفة جودة التنبيه الرديئة صعبة الرؤية لأنها موزعة على نوم مقاطَع واستجابات بطيئة ومغادرة مهندسين ذوي خبرة.
كلفة جمع هذه المقاييس صغيرة إن أمكن ضم أدوات التنبيه والنداء والحوادث، ومتوسطة إن أُضيفت الوسوم يدويًا. الكلف الرئيسية وقت المراجعة الأسبوعية وعمل الضبط والحذف واختبارات الاكتشاف العرضية. وتقليم القواعد غير المستخدمة يقلص أيضًا كلف ترخيص المراقبة والتخزين، وينبغي أن تشمل التكلفة الإجمالية للملكية وقت الأشخاص.
يظهر العائد خلال أشهر قليلة مناوبات أهدأ وحصة اكتشاف بالمراقبة ترتفع وزمن اكتشاف لا يسوء. ولتحويل هذا إلى مال، قارن كلفة ساعات الحوادث ودوران المناوبة بكلفة المراجعة، باستخدام أرقامك. لا تستخدم متوسطات صناعية ما لم تستطع الاستشهاد بمصدر موثق.
الأنماط المضادة والمزالق
- استهداف حجم التنبيهات. هدف على العدد يكافئ الصمت ويدعو إلى إخفاء التنبيهات. ضع الأهداف على معدل التنبيهات القابلة للتنفيذ وحصة الاكتشاف، واستخدم الحجم رقم سياق بحد استدامة يختاره الفريق.
- التنبيه على كل سبب. عشرات نداءات مستوى السبب تنتج ضجيجًا وتفوتها مع ذلك العرض الذي لم يفكر فيه أحد. نبّه على الأعراض الموجهة للمستخدم بدلًا من ذلك.
- إضافة تنبيه بعد كل حادثة وعدم إزالة أي منها. اقرن كل تنبيه جديد بمراجعة التنبيهات التي يجعلها زائدة.
- عدّ التنبيهات دون وسمها. عدد بلا حكم عن الفائدة لا يميز مناوبة ضجيجية من مشغولة. صنّف عينة كل أسبوع، ولو بدقائق قليلة.
- معاملة التغطية عدد تنبيهات. خدمة بخمسين تنبيه سبب ولا تنبيه عرض مغطاة سيئًا. عرّف التغطية بأنها اكتشاف أعراض مختبَر.
- ترتيب الأشخاص بالنداءات المعالجة أو المقر بها. يعاقب أعضاء المناوبة الذين يأخذون الورديات الصعبة ويشجع تجنب جهاز النداء. أبلِغ بحسب المناوبة والخدمة وابحث عن إصلاحات التصميم.
- عدم اختبار مسار التنبيه أبدًا. تنبيه لم يُر يعمل افتراض. ضمّن اختبارات التنبيه في أيام المحاكاة وراقب الخط نفسه.
نموذج النضج
| البُعد | البدء | التطوير | التوحيد | الإدارة | التنسيق |
|---|---|---|---|---|---|
| سياسة النداء وملكية القواعد | تنبيهات تُضاف عشوائيًا؛ لا أحد يعرف لماذا يوجد كثير منها | بعض الفرق لها سياسة ومالكون لقواعدها | سياسة نداء قصيرة واحدة؛ لكل قاعدة نداء مالك ودليل تشغيل | حداثة القواعد متتبَّعة ومراجَعة؛ القواعد غير المستخدمة تُزال بجدول | تتكيف السياسة والملكية عبر الفرق والموردين مع تغير الخدمات |
| قياس جودة التنبيه | شكاوى من الضجيج؛ لا أعداد | الحجم تعده بعض الفرق؛ لا وسم | مراجعة أسبوعية بوسوم مشتركة؛ معدل التنبيهات القابلة للتنفيذ ومعدل الإيجابيات الكاذبة مبلَّغان بحسب الخدمة | تُتتبَّع المعدلات وتُقرن بمقاييس الاكتشاف؛ تحسين ممول | الجودة مرتبطة عبر الخدمات والموردين؛ تُنقَّح التعريفات حين تكف عن الإفادة في القرارات |
| الاكتشاف والتغطية | العملاء والزملاء يبلّغون معظم المشكلات | تنبيهات أعراض على بضع خدمات رئيسية | تغطية الاكتشاف متتبَّعة بتنبيهات مختبرة؛ الإشارة الأولى مسجلة لكل حادثة | زمن الاكتشاف وحصة الاكتشاف بالمراقبة يُراجَعان بحاجز حماية؛ الفجوات تصبح عملًا مخططًا | الاكتشاف يُختبر بانتظام عبر التبعيات والموردين، بما فيه خط التنبيه |
| الاستخدام في التحسين | إصلاحات التنبيه تتبع أسوأ ليلة | الإصلاحات تتبع الحوادث | كل مراجعة تنتج تغييرًا واحدًا على الأقل | التغييرات يُتتبَّع أثرها على الحجم والقابلية للتنفيذ والاكتشاف | حمل المناوبة والاكتشاف وميزانيات الأخطاء تُراجَع معًا لتوجيه الاستثمار |
قائمة التحقق
- لدينا سياسة نداء مكتوبة من بضع جمل تقول ما يستحق نداءً.
- لكل قاعدة نداء مالك وغرض ورابط دليل تشغيل.
- تراجع كل مناوبة ما أُطلق أسبوعيًا على الأقل وتصنّف كل تنبيه.
- تنتج كل مراجعة تغييرًا مسجلًا واحدًا على الأقل لقاعدة.
- نبلّغ حجم التنبيهات ومعدل التنبيهات القابلة للتنفيذ ومعدل الإيجابيات الكاذبة بحسب المناوبة والخدمة، لا الشخص أبدًا.
- تسجل كل حادثة كيف اكتُشفت أول مرة، مع خيار «مجهول».
- نقدّر بداية الأثر من تاريخ مؤشر مستوى الخدمة ونبلّغ الوسيط والنسبة المئوية 95 لزمن الاكتشاف.
- لكل خدمة في النطاق تنبيه عرض اختُبر في آخر 12 شهرًا.
- فحص نبض ينادينا إن توقف خط التنبيه.
- اتفقنا على حمل مستدام خارج ساعات العمل لكل مناوبة ونراجعه.
- لا هدف موضوعًا على حجم التنبيهات وحده.
موجِّهات الذكاء الاصطناعي
الغرض: صغ سياسة نداء لخدمة من مؤشراتها وعواقبها.
Help me draft a paging policy for the service [service name].
Context: users are [user group]; the user-facing symptoms we care about are [symptoms, for example errors, latency, unavailability]; the consequences of a missed failure are [consequences]; the on-call rotation is [rotation description, for example hours and team size].
Write a short policy (under 200 words) that says what earns a page, what goes to a ticket queue, and what stays on a dashboard.
Do not invent thresholds or benchmark values; leave [threshold] placeholders for us to set from our own data.
List the questions you would ask us before finalizing it, and list your assumptions.
الغرض: حلّل مراجعة تنبيهات مصدَّرة بحثًا عن أنماط الضجيج.
I will paste a table of alerts from [period] for the rotation [rotation name] with columns: [column names, for example rule, time, label, action taken, service].
Calculate the actionable alert rate, the false positive rate, the out-of-hours share, and the share of alerts from the five noisiest rules, using only the data I paste.
Suggest which rules to tune, merge, demote, or delete, with a reason for each, and mark each suggestion as a hypothesis to check.
Report by rule, service, and rotation, never by person. Do not invent benchmark values.
List your assumptions and any rows you excluded.
الغرض: افحص مجموعة مقاييس تنبيه بحثًا عن خطر التلاعب قبل النشر.
Here are the alert quality metrics we plan to publish: [list of metrics with definitions and formulas].
For each metric, describe two ways it could be gamed or misread in our context of [organization type and service], and suggest a paired guardrail from the same list or a practice we can adopt.
Point out any metric that is shown without its guardrail.
Do not invent sources or benchmark values.
List your assumptions about how our tools record alerts and incidents.
الغرض: خطط اختبار اكتشاف للخدمات ذات التغطية الضعيفة.
Our services are [list of services], and the symptom alerts we believe exist are [list of alerts].
Propose a safe test plan for the next [game day or rehearsal] that checks, for each service, that a deliberate symptom triggers the alert, reaches [rotation], and links to a runbook.
Say who should be told beforehand and how to record results for detection coverage.
Do not invent tool features; ask me how [monitoring tool] works.
List your assumptions.
مهارات الذكاء الاصطناعي
- Service Management Metrics skill: استخدمها لإيجاد الموضوع الذي يعرّف مقياسًا ذا صلة وحاجز الحماية الذي ينبغي أن يجلس بجوار مقياس جودة تنبيه.
- Service Management Metrics maintainer skill: استخدمها للتحقق من أن تعديلات هذا الموضوع تُبقي القالب وجدول التلاعب والإحالات متسقة.
أهم الخلاصات
- احكم على التنبيهات بهل قادت إلى إجراء، واحكم على المراقبة بكم من المتاعب الحقيقية التقطت؛ الدقة والاستدعاء يحرس كل منهما الآخر.
- نادِ على الأعراض التي يشعر بها المستخدمون، واربط العتبات بهدف مستوى الخدمة حيث وُجد، وأبقِ الأسباب للتشخيص.
- راجع ما أُطلق كل أسبوع، وصنّفه، وأجرِ تغييرًا واحدًا على الأقل كل مرة.
- لا تضع هدفًا على حجم التنبيهات وحده أبدًا؛ اقرأه بجوار معدل التنبيهات القابلة للتنفيذ وحصة الاكتشاف بالمراقبة وزمن الاكتشاف.
- اختبر التنبيهات وخط التنبيه، لأن تنبيهًا لم يُختبر افتراض.
- أبلِغ بحسب المناوبة والخدمة، لا الشخص أبدًا، وعامل حمل الاستدعاء المستدام هدف تصميم.
المراجع والقراءات الإضافية
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, "Monitoring Distributed Systems," https://sre.google/sre-book/monitoring-distributed-systems/
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, "Practical Alerting from Time-Series Data," https://sre.google/sre-book/practical-alerting/
- Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018, "Alerting on SLOs," https://sre.google/workbook/alerting-on-slos/
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, System monitoring.
- Wikipedia, False positives and false negatives.
- Wikipedia, Precision and recall.
- Wikipedia, Signal-to-noise ratio.
- Wikipedia, Alarm fatigue.
- Wikipedia, On-call.
- Wikipedia, Site reliability engineering.
- Wikipedia, Service-level objective.