نظرة عامة والدافع

كثيرًا ما توصف الموثوقية بمصطلحات النظام: التوافر والكمون ومعدلات الخطأ. وخلف كل خدمة لها مستخدمون في منتصف الليل نظام بشري يستجيب حين يفشل النظام. لذلك النظام البشري حدود. مناوبة يُنادى عليها كثيرًا، أو توقظ أشخاصًا كثيرين، أو تقضي معظم أسبوعها في مهام يدوية متكررة، ستبطؤ وترتكب أخطاء أكثر وتفقد الناس في النهاية. قد تبدو مقاييس الجزء 5 الأخرى صحية تمامًا حتى النقطة التي يغادر فيها الناس الذين يحافظون عليها.

فكرتان تنظمان هذا الموضوع. الأولى عمل الاستدعاء (on-call): مناوبة من أشخاص يمكن الوصول إليهم وجاهزين للاستجابة للتنبيهات خارج أنماط العمل العادية. النداء (page) تنبيه يقاطع مستجيبًا، عادة عبر جهاز نداء أو مكالمة هاتفية أو إشعار فوري. والوردية (shift) فترة واحدة من واجب الاستدعاء، مثل يوم أو أسبوع أو ليلة. والمناوبة (rotation) مجموعة الأشخاص الذين يتناوبون الورديات. والفكرة الثانية العمل الروتيني المرهق (toil)، مصطلح من هندسة موثوقية المواقع (site reliability engineering) (SRE)، وهي تخصص تشغيل الخدمات بأساليب هندسة البرمجيات. في كتاب Google Site Reliability Engineering، العمل الروتيني المرهق عمل تشغيلي مرتبط بتشغيل خدمة إنتاج يميل إلى أن يكون يدويًا ومتكررًا وقابلًا للأتمتة وتكتيكيًا وبلا قيمة دائمة وينمو بوتيرة نمو الخدمة. وهو ليس كالعبء الإداري مثل الاجتماعات، وليس ببساطة عملًا لا يحبه أحد.

ليس في ITIL 4 ممارسة تسمى «إدارة العمل الروتيني المرهق». المادة موزعة على عدة ممارسات. تنتج إدارة الحوادث (incident management) والمراقبة وإدارة الأحداث النداءات. وتزيل إدارة المشكلات الأسباب التي تواصل إنتاجها. وتنتج إدارة طلبات الخدمة وإدارة النشر جزءًا كبيرًا من العمل اليدوي المتكرر. وتملك إدارة القوى العاملة والمواهب والتحسين المستمر جانب الأشخاص. والنظير الأجايلي اتفاقية عمل الفريق عن العمل غير المخطط والوتيرة المستدامة، وعادة DevOps بأن الفريق الذي يبني خدمة يحمل جزءًا من جهاز النداء لها.

المقاييس هنا عن الحمل والاستدامة. معالجة الحوادث تنتمي إلى مواضيع أخرى (انظر الموضوع 3.3، زمن الاستجابة للحوادث وحلها، والموضوع 3.4، مقاييس الحوادث الكبرى)، وكذلك جودة التنبيهات الفردية (انظر الموضوع 5.5، مقاييس جودة المراقبة والتنبيهات). يسأل هذا الموضوع كم يكلف أشخاص المناوبة إبقاء الخدمة عاملة، وهل تلك الكلفة مستدامة.

لماذا ينتمي هذا إلى الموثوقية

للإرهاق عواقب تشغيلية. الحرمان من النوم (sleep deprivation) يضعف الحكم وزمن رد الفعل، والمستجيبون المتعبون في بداية حادثة يستغرقون وقتًا أطول لتشخيصها وأكثر احتمالًا لارتكاب خطأ ثانٍ أثناء إصلاح الأول. وإرهاق الإنذار (alarm fatigue) الأثر ذو الصلة لتنبيهات كثيرة جدًا: يتوقف الناس عن معاملة كل منها عاجلًا. والاحتراق الوظيفي (occupational burnout) النتيجة الأطول أمدًا لحمل زائد مستمر، ويظهر تسربًا ومرضًا وانسحابًا، وهي بطيئة ومكلفة ويصعب عكسها. فريق يقيس موثوقية الخدمة دون قياس استدامة مناوبته يراقب الأثر فقط ويتجاهل جزءًا من السبب.

يصف هذا الموضوع المناوبات والورديات والخدمات، ولا يرتّب الأفراد أبدًا. تبدأ رؤية ITIL من الحادثة والخدمة، ورؤية SRE من كلفة الشخص-الوقت، ورؤية الأجايل من السعة للعمل المخطط.

المبادئ الأساسية

  • قِس المناوبة، لا الشخص. أبلِغ الحمل بحسب الخدمة والوردية وموضع المناوبة. يعتمد عدد نداءات شخص على الوردية التي أُسندت إليه، وجدول الترتيب يعلّم الناس إخفاء المقاطعات.
  • عُدّ متى تحدث المقاطعات كما كم تدوم. نداء من خمس دقائق عند الثالثة صباحًا قد يكلف ليلة نوم.
  • عرّف العمل الروتيني المرهق ضيقًا ودع الفريق يصنفه. العمل الروتيني المرهق نوع محدد من العمل، لا مرادف لعمل لا يحبه الناس.
  • عامل الحمل إشارة للاستثمار. حجم نداءات عالٍ أو حصة عمل روتيني مرهق عالية دليل على أن خدمة أو أداة أو مستوى توظيف يحتاج عملًا.
  • اقرن كل مقياس حمل بمقياس جودة. النداءات الأقل خبر جيد فقط إن ظلت الحوادث تُكتشف.
  • أظهر التوزيعات وشارك البيانات مع المناوبة أولًا. الوردية المتوسطة تخفي حفنة ليالٍ فظيعة، وأصحاب الاستدعاء أفضل الحكام على هل تطابق الأرقام تجربتهم.

تعريفات المقاييس

يعطي الجدول المجموعة الأساسية. كل مقياس زمن أو عدد يذكر أين يبدأ ويتوقف وما يُستثنى. يجب تعريف «خارج ساعات العمل» مرة لكل مناوبة نافذةً مكتوبة بالتوقيت المحلي، تشمل عطلات نهاية الأسبوع والعطلات الرسمية، لأن أشخاص مناوبة موزعة قد تكون ساعاتهم المحلية مختلفة.

المقياس التعريف الصيغة الوحدة مصدر البيانات ممارسة ITIL المقابل في الأجايل التكرار
النداءات لكل وردية عدد النداءات المسلَّمة إلى مناوبة خلال وردية واحدة عدد النداءات المسلَّمة بين بداية الوردية ونهايتها، عدّ واحد لكل وردية، بعد دمج النداءات المكررة لمجموعة التنبيه نفسها خلال 5 دقائق (نافذة الدمج إعداد للفريق). تُستثنى نداءات الاختبار والنداءات المرسلة بالخطأ. أبلِغ الوسيط والنسبة المئوية 90 عبر الورديات، وأشغل وردية نداءات لكل وردية أداة النداء؛ جدول الاستدعاء إدارة الحوادث؛ المراقبة وإدارة الأحداث سياسة العمل غير المخطط؛ الوتيرة المستدامة مراجعة أسبوعية، اتجاه شهري
حصة النداءات خارج ساعات العمل حصة النداءات التي تصل خارج نافذة العمل المكتوبة النداءات المسلَّمة خارج نافذة العمل / جميع النداءات المسلَّمة، على الفترة. تُحدد النافذة لكل مناوبة بالتوقيت المحلي؛ العطلات تُعد خارج النافذة نسبة مئوية أداة النداء؛ تقويم المناوبة إدارة الحوادث؛ المراقبة وإدارة الأحداث اتفاقية العمل عن التوفر شهري
معدل المقاطعة الليلية كم مرة تشمل وردية نداءً واحدًا على الأقل في نافذة النوم المحمية الورديات التي فيها نداء واحد على الأقل في نافذة النوم المحمية (مثل 22:00 إلى 07:00 محليًا، يحددها الفريق) / جميع الورديات في الفترة. النداء المقر به آليًا دون استجابة بشرية يُستثنى نسبة مئوية من الورديات أداة النداء؛ سجل الإقرار إدارة الحوادث؛ إدارة القوى العاملة والمواهب الوتيرة المستدامة؛ فحص صحة الفريق شهري
حصة الوقت من العمل الروتيني المرهق حصة وقت عمل المناوبة المقضية في عمل روتيني مرهق الساعات التي تسجلها المناوبة على عمل مصنف روتينيًا مرهقًا / إجمالي ساعات العمل المسجلة من المناوبة، على شهر. الاجتماعات والتدريب والإجازات تُستثنى من البسط والمقام معًا. يتبع التصنيف الخصائص الست للعمل الروتيني المرهق، يطبقها الفريق نسبة مئوية من الوقت أخذ عينات الوقت أو وسوم المهام في متتبع العمل؛ مراجعة تصنيف الفريق التحسين المستمر؛ إدارة النشر؛ إدارة طلبات الخدمة حصة العمل غير المخطط؛ توزيع السعة في العمل المخطط شهري، مع مراجعة ربع سنوية للتصنيف
العمل الروتيني المرهق بحسب المصدر توزيع ساعات العمل الروتيني المرهق عبر مصادر مسماة مثل إعادات التشغيل اليدوية وطلبات الوصول وتجديدات الشهادات وفرز التذاكر ساعات العمل الروتيني المرهق لكل مصدر / مجموع ساعات العمل الروتيني المرهق، مع سرد أعلى خمسة مصادر ومجموعة «أخرى». الاستثناءات نفسها لحصة الوقت من العمل الروتيني المرهق نسبة مئوية من ساعات العمل الروتيني المرهق بحسب المصدر أخذ عينات الوقت أو وسوم المهام في متتبع العمل إدارة المشكلات؛ إدارة طلبات الخدمة قائمة بنود التحسين المتراكمة ربع سنوي
معدل النداءات المتكررة حصة النداءات التي سببتها حالة نادت على المناوبة من قبل ضمن نافذة معلنة النداءات التي تطابق مجموعة تنبيهها أو رمز سببها نداءً سابقًا خلال 30 يومًا / جميع النداءات في الفترة. يضع المستجيب رمز السبب عند الإغلاق؛ الرموز غير المضبوطة تُبلَّغ على حدة نسبة مئوية أداة النداء؛ رموز أسباب سجل الحادثة إدارة المشكلات؛ إدارة الحوادث إجراءات اجتماعات المراجعة؛ قائمة الدين التقني المتراكمة شهري
عمق المناوبة كم مستجيبًا مؤهلًا يتقاسمون جهاز النداء مقارنة بعدد الأدوار المطلوب ملؤها عدد الأشخاص الذين أكملوا جاهزية الاستدعاء ومتاحين للورديات / عدد مواضع الورديات في دورة المناوبة. الإجازة والإعارة تقللان التوفر. يُبلَّغ نسبةً لكل مناوبة، لا لكل شخص أبدًا نسبة جدول المناوبة؛ قائمة الجاهزية إدارة القوى العاملة والمواهب فريق متعدد الوظائف؛ مصفوفة المهارات ربع سنوي
العمل الروتيني المرهق المزال ساعات العمل الروتيني المرهق المتكرر المنتزعة من عمل المناوبة بأتمتة أو تغيير تصميم ساعات العمل الروتيني المرهق الشهرية المقدرة لمصدر قبل التغيير ناقص الساعات نفسها بعده، مقيسة على دورتين على الأقل بعد التسليم. الساعات الموفَّرة بتنظيف لمرة واحدة تُستثنى ساعات في الشهر أخذ عينات الوقت قبل وبعد؛ تذكرة التحسين التحسين المستمر؛ إدارة المشكلات بند تحسين مسلَّم ربع سنوي

عدد النداءات عدد مقاطعات لا حوادث: حادثة واحدة قد تولد عشرات النداءات. وتعتمد حصة الوقت من العمل الروتيني المرهق على تسجيل صادق، فعاملها تقديرًا متفقًا عليه.

التوصيات

عرّف المصطلحات قبل أن تعد

1. اكتب ما يُعد نداءً ووردية وخارج ساعات العمل. تعد الفرق أشياء مختلفة تحت الكلمة نفسها. قد يكون النداء أي إشعار، أو فقط ما يصل إلى إنسان، أو فقط ما يتطلب إجراءً. اختر تعريفًا واحدًا، واذكر نافذة الدمج للنسخ المكررة، وسجّل نافذة العمل بالتوقيت المحلي. بدون هذا، ستتغير الأرقام حين تُعاد تهيئة أداة، وسيضلل الاتجاه.

2. اتفق على ما هو عمل روتيني مرهق، بأمثلة من خدمتك. ابدأ من الخصائص الست في كتاب SRE. اكتب قائمة قصيرة بأمثلة وغير أمثلة، مثل إعادة تشغيل مهمة عالقة (روتيني مرهق)، وتصميم أداة تعافٍ جديدة (هندسة)، واجتماع تخطيط (عبء إداري). راجع القائمة حين تظهر خلافات.

3. اختر كيف ستقيس حصة العمل الروتيني المرهق، وقبل حدودها. الخيارات الرخيصة أخذ عينات الوقت ووسوم المهام في متتبع العمل وتقدير قصير كل أسبوعين. لا شيء منها دقيق، فاختر الأقل عبئًا، وشغّله ربعًا، واحكم على الاتجاه أكثر من القيمة المطلقة.

قِس الحمل على المناوبة

4. أبلِغ النداءات لكل وردية توزيعًا. الوردية المتوسطة تخفي ما تشعر به المناوبة. أظهر الوسيط والنسبة المئوية 90 وأشغل وردية، وأضف ملاحظة عما حدث في تلك الوردية. وسيط هادئ مع ذيل فظيع يعني بضع ليالٍ سيئة، وهي مشكلة مختلفة عن مناوبة مشغولة باطراد. انظر الموضوع 1.6، الثقافة الإحصائية لمقاييس الخدمة، لقراءة النسب المئوية.

5. ضع التوقيت بجوار الحجم. تُظهر حصة النداءات خارج ساعات العمل ومعدل المقاطعة الليلية متى يقع الحمل. خمسة نداءات في ساعات المكتب إزعاج؛ وخمسة بين منتصف الليل والخامسة صباحًا كلفة مختلفة. أظهر الاثنين في الصفحة نفسها.

6. انظر إلى التوزيع عبر الورديات، لا عبر الأشخاص. مناوبة تجمع فيها وردية متكررة واحدة (مثل نهاية الأسبوع أو تسليم الاثنين) معظم النداءات تحتاج إصلاحًا مختلفًا عن مناوبة الحمل فيها متساوٍ. أبلِغ حصة النداءات بحسب موضع الوردية واليوم. وحين تُبلَّغ البيانات بحسب فرد مسمى، توقع أن تُقرأ ترتيبًا، فلا تنتج ذلك العرض.

7. عُدّ حمل الحوادث الكبرى على حدة. قد تولد حادثة كبرى مقاطعات في ليلة واحدة أكثر من شهر عادي. أبلِغها سطرًا قائمًا بذاته حتى لا يشوه حدث واحد الاتجاه (انظر الموضوع 3.4، مقاييس الحوادث الكبرى).

اربط الحمل بالأسباب والإصلاحات

8. اربط النداءات بالمشكلات، وتتبع التكرارات. يُظهر معدل النداءات المتكررة كم من الحمل يأتي من أسباب معروفة أصلًا. معدل تكرار عالٍ حجة لإدارة المشكلات، لا لاستجابة أسرع. غذِّ قائمة المشكلات المتراكمة بأعلى الأسباب المتكررة وسجّل الرابط (انظر الموضوع 4.1، مقاييس إدارة المشكلات، والموضوع 4.6، الدين التقني والأخطاء المعروفة).

9. رتّب مصادر العمل الروتيني المرهق وهاجم أكبرها. يُظهر مخطط باريتو (Pareto chart) لساعات العمل الروتيني المرهق بحسب المصدر عادة أن مصادر قليلة مسؤولة عن معظم الوقت. اختر الأكبر، وقرر هل يمكن تصميمه بعيدًا أو أتمتته أو تسليمه إلى الفريق الذي يملك السبب، وجدوله كعمل ميزات. فضّل إزالة الحاجة على أتمتة الخطوة، لأن الخطوة المؤتمتة ما زالت تحتاج صيانة.

10. قِس العمل الروتيني المرهق المزال، لا الأتمتات المكتوبة. أتمتة لا يستخدمها أحد لا تزيل شيئًا. قِس ساعات العمل الروتيني المرهق قبل وبعد، على دورتين على الأقل، وسجّل جهد بناء الأتمتة وصيانتها. هذا العائد الصادق، ويمنع برنامج «أتمتة» يضيف نصوصًا برمجية دون إزالة عمل. انظر الموضوع 3.7، مقاييس الخدمة الذاتية والأتمتة، لاعتماد المستخدمين للأتمتة.

أبقِ النظام مستدامًا

11. ضع حدود المناوبة في اتفاقية فريق، ثم راقب عمق المناوبة. اتفق كم مرة يستطيع شخص أن يكون في الاستدعاء، وكم ليلة متتالية مقبولة، وأي راحة تتبع ليلة سيئة. يُظهر عمق المناوبة هل لدى المناوبة أشخاص مؤهلون كفاية للحد المتفق عليه. مناوبة بثمانية اسمًا وثلاثة فعليًا، لأن الآخرين لم يجهزوا بعد أو في إجازة، لا تفي بالحد، أيًّا كان ما يقوله الجدول.

12. استخدم الأرقام لتطلب شيئًا محددًا. يدعم رقم الحمل طلبًا: تغيير توظيف، أو وقتًا يُقتطع من عمل الميزات لسداد العمل الروتيني المرهق، أو تغيير عتبات تنبيه، أو سحبًا. اذكر الطلب بجوار الرقم، وإلا توقف الناس عن التسجيل (انظر الموضوع 1.4، حوكمة المقاييس وملكيتها).

مسارات التلاعب وحواجز الحماية

المقياس كيف يُتلاعب به حاجز الحماية أو الممارسة المقترنة
النداءات لكل وردية رفع عتبات التنبيه أو كتم التنبيهات فيهبط العدد؛ دمج تنبيهات غير متصلة في نداء واحد؛ نقل النداءات إلى طابور تذاكر لا يراقبه أحد تغطية الاكتشاف والحوادث التي يبلّغ عنها العملاء وفاتتها المراقبة (انظر الموضوع 5.5، مقاييس جودة المراقبة والتنبيهات)؛ زمن الاكتشاف (انظر الموضوع 3.3، زمن الاستجابة للحوادث وحلها)
حصة النداءات خارج ساعات العمل إعادة تعريف نافذة العمل أوسع؛ إعادة جدولة المهام وعمليات النشر فتنتقل النداءات إلى ساعات المكتب دون تقليلها؛ إعادة تصنيف النداءات «منخفضة الإلحاح» حجم النداءات الكلي بجوار الحصة؛ نافذة العمل المكتوبة تحت ضبط التغيير؛ مراجعة ما تحرك
معدل المقاطعة الليلية تأخير الإقرار حتى الصباح؛ الإقرار الآلي بالنداءات؛ عدّ النداءات التي وصلت إلى إنسان فقط زمن الإقرار بحسب الساعة (انظر الموضوع 3.3، زمن الاستجابة للحوادث وحلها)؛ النداءات بلا استجابة بشرية تُبلَّغ على حدة؛ أثر العملاء ليلًا
حصة الوقت من العمل الروتيني المرهق إعادة تصنيف العمل الروتيني المرهق «هندسة» أو «عمل مشروع»؛ تسجيل أقل مما أُنفق؛ وسم ما هو سهل الوصف فقط تدقيق دوري للبنود المصنفة من شخص خارج المناوبة؛ رأي الفريق نفسه عن كيف بدا الأسبوع؛ حصة الوقت المنفق على عمل التحسين المخطط
العمل الروتيني المرهق بحسب المصدر تقسيم مصدر كبير إلى عدة صغيرة فلا يبرز أحدها؛ ترك مصدر بلا اسم في «أخرى» سقف لمجموعة «أخرى» (مثل أقل من خُمس ساعات العمل الروتيني المرهق، إعداد للفريق)؛ أخذ عينات من بنود «أخرى» كل ربع
معدل النداءات المتكررة إغلاق النداءات برمز سبب جديد كل مرة فتفوت المطابقات؛ توسيع رموز الأسباب حتى يتميز كل شيء؛ إطالة النافذة أو تقصيرها تدقيق رموز الأسباب بعينة؛ تكرار مجموعة التنبيه نفسها عبر الحوادث (انظر الموضوع 4.1، مقاييس إدارة المشكلات)
عمق المناوبة عدّ أشخاص لم يكملوا الجاهزية؛ عدّ أشخاص نادرًا ما يتوفرون؛ حشو الجدول حصة الورديات التي غطتها المجموعة الاسمية فعلًا؛ عدد الورديات الفعلي بحسب الموضع، مبلَّغ بلا أسماء؛ اكتمال قائمة الجاهزية
العمل الروتيني المرهق المزال عدّ تنظيفات لمرة واحدة وفورات متكررة؛ تجاهل جهد بناء الأتمتة وصيانتها؛ ادعاء وفورات بلا قبل وبعد ساعات قبل وبعد مقيسة على دورتين؛ جهد صيانة الأتمتة؛ حصة الوقت من العمل الروتيني المرهق على الأرباع التالية

القراءة السليمة مناوبة وردية وسيطها هادئة ونادر أسوأ ورديتها، ونداءات قليلة ليلًا، وحصة نداءات متكررة متناقصة، وحصة عمل روتيني مرهق تنخفض لأن المصادر أُزيلت لا لأنها أُعيد تصنيفها. وتُظهر أيضًا الجهد للوصول إلى ذلك: عمل تحسين يظهر في الخطة ويُموَّل ويُسلَّم. فإن انخفضت أعداد النداءات بينما يبلّغ العملاء عن حوادث أكثر لم تلتقطها المراقبة، فالأرقام تتحسن بالنظر بعيدًا.

المفاضلات: الإيجابيات والسلبيات

النهج نقطة القوة نقطة الضعف
عدّ النداءات من أداة النداء آلي ورخيص ويصعب الجدال فيه يعد المقاطعات لا كلفتها؛ ضبط التنبيهات يغير العدد دون تغيير الحمل
أخذ عينات الوقت للعمل الروتيني المرهق دقة معقولة بجهد متواضع يحتاج انضباطًا؛ العينات الصغيرة ضجيجية
الإبلاغ على مستوى المناوبة يطابق كيفية تنظيم العمل؛ آمن للمشاركة على نطاق واسع قد يخفي شخصًا يعاني؛ يحتاج قناة حوار داعمة بجانبه
سقف صارم للعمل الروتيني المرهق (مثل هدف كتاب SRE بإبقائه دون 50 في المئة من الوقت) إشارة واضحة تطلق استجابة يمكن بلوغ الرقم بإعادة التصنيف؛ يحتاج السقف دعم الإدارة

التوتر المركزي بين القبول والاستثمار. من السهل معاملة الحمل العالي ثمنًا عاديًا لخدمة مهمة وطلب امتصاصه من الناس، ومن السهل وضع سقف لا يملك أحد قوة إنفاذه. الطريق عبره اقتران كل مقياس بقرار: عتبة يتوقف عندها الفريق ويتخذ إجراءً، ومالك مسمى للإجراء، وتاريخ للنظر ثانية. أرقام مستوى المناوبة آمنة وأحيانًا خشنة جدًا. وحين يعاني أحد، فالحوار ينتمي إلى ذلك الشخص ومديره، باستخدام روايته هو للأسبوع.

أسئلة للنقاش مع فريقك

1. كيف كانت أشغل وردية لنا في الربع الأخير، وماذا تقول الأرقام عنها؟ ابدأ بالقصة قبل المخطط. اطلب ممن كانوا في الاستدعاء وصف الوردية، ثم قارنها بأرقام النداءات لكل وردية والمقاطعة الليلية. إن قللت الأرقام من التجربة، فاكتشف ما ينقص، مثل مكالمات غير مسجلة أو عمل بعد النداء. دوّن تلك القائمة تحسين القياس التالي.

2. ماذا سنقول إنه عمل روتيني مرهق في فريقنا، وماذا سنقول إنه ليس كذلك؟ ضع خمس مهام حديثة أو ست على لوحة واطلب من كل شخص تصنيفها روتينية مرهقة أو هندسة أو عبء إداري مقابل الخصائص الست. توقع الخلاف وعامله مفيدًا: الخلافات تُظهر حيث التعريف غامض. اتفقوا على تعريف عامل للربع القادم واكتبوا مثالين لكل صنف. تجنبوا الجدال حول هل العمل ممتع، لأن السؤال هل هو يدوي ومتكرر وقابل للأتمتة.

3. أي تنبيه أو مهمة سنحذفه أولًا لو استطعنا؟ اطلب التنبيه أو المهمة المتكررة التي يخشاها الجميع، ثم اسأل ما الذي يمنع إزالتها: كلفة الإصلاح أو مالك مفقود أو اعتقاد بأنها لازمة. على الميسّر أن يبحث عن عمل رخيص الإزالة ومالكه ليس في الغرفة. اختم باختيار بند واحد لجولة التخطيط التالية.

4. كم شخصًا يستطيع فعلًا أخذ وردية اليوم، وأي حدود مستعدون للالتزام بها؟ عُدّ الجاهزية بصدق: من دُرّب ومن متاح ومن عنده قيود. قارن النتيجة بحجم المناوبة الاسمي. اسأل أي تكرار للاستدعاء وأي عدد من الليالي المتتالية تعده المجموعة مقبولًا، ثم افحص هل تفي الممارسة الحالية به.

5. لو خفّضنا عدد نداءاتنا إلى النصف بحلول الربع القادم، فكيف سنعرف أننا لم نتوقف ببساطة عن الإصغاء؟ هذا السؤال عن حاجز الحماية. اطلب من المجموعة سرد طرق يمكن بها أن ينخفض عدد النداءات دون تحسن الخدمة، مثل رفع العتبات أو دمج التنبيهات أو تجاهل مصدر. ثم اسأل ماذا سنرى في تقارير العملاء وفي مقاييس الاكتشاف لو حدث ذلك. اتفقوا على حاجز الحماية وضعوه في الصفحة نفسها مع الحجم.

6. من يرى هذه الأرقام، وماذا نريده أن يفعل بها؟ تتبع مسار مقاييس الحمل من المناوبة إلى المديرين والقادة. اسأل ماذا من المرجح أن يستنتجه كل جمهور، وهل يمكن قراءة أي عرض ترتيبًا. اتفقوا على الصيغة التي تصعد: على مستوى المناوبة، بسياق، مع طلب مرفق. دوّن أي قلق من إمكانية التعرف على أفراد.

أربعة منظورات

فرق المنتج والتسليم

تولد فرق التسليم الكثير من حمل الاستدعاء عبر التغييرات التي تصدرها. تستطيع الفرق التي تشغّل ما تبنيه رؤية الرابط بين إصدار والنداءات التي تتبعه. وعليها إدراج العمل الروتيني المرهق وعمل الاستدعاء في تخطيط السعة، وجدولة إزالة العمل الروتيني المرهق عملًا عاديًا في القائمة المتراكمة، ومراقبة جودة التغيير بجوار السرعة (انظر الموضوع 2.8، مقاييس DORA).

فرق الخدمة والعمليات

تحمل فرق العمليات جهاز النداء في أغلب الأحيان وترى الكلفة البشرية أولًا. وعليها امتلاك التعريفات، وإجراء أخذ عينات الوقت أو الوسم، ونشر أرقام مستوى المناوبة، وإحضار أعلى مصادر العمل الروتيني المرهق والأسباب المتكررة إلى الفرق المالكة بالأدلة. خطرها امتصاص الحمل بهدوء من باب الاحتراف. سجل هادئ وواقعي لليالي والأسابيع طلب مساعدة أنجع من الشكوى، وينبغي ألا تتحول السجلات ترتيبًا للأشخاص الذين استجابوا.

القيادة والحوكمة

يقرر القادة التوظيف والأولويات وهل يُموَّل عمل العمل الروتيني المرهق. قائد يقرأ حصة عمل روتيني مرهق عالية أداءً ضعيفًا يعلّم الفريق خفضها بإعادة الوسم. وقائد يقرؤها فاتورة عمل اختارت المؤسسة عدم تمويله يحصل على بيانات صادقة وخطة. وعلى الحوكمة توقع حد لحمل المناوبة واستجابة مرئية حين يُتجاوز (انظر الموضوع 9.2، مقاييس الرضا والرفاهية).

العملاء والمستخدمون

لا يرى المستخدمون المناوبة، لكنهم يشعرون بآثارها: تشخيص أبطأ من مستجيبين متعبين، وحوادث متكررة من أسباب لم تُصلح، ومغادرة أشخاص كانوا يعرفون الخدمة. وحيث يمتد المستخدمون عبر مناطق زمنية كثيرة، تشكل احتياجاتهم خارج ساعات العمل المناوبة، وكلفة تغطيتها موضوع عادل لحوار مستوى الخدمة (انظر الموضوع 5.1، مقاييس SLA وOLA وXLA).

في الممارسة: مثال من إدارة الخدمات

يدير متجر تجزئة إلكتروني متوسط الحجم منصة طلبات وخدمة حسابات عملاء وتكاملًا مع المستودع. تتشارك مناوبة من ستة مهندسين من فريقي منتج ومجموعة عمليات صغيرة وردية استدعاء أسبوعية. جميع الأرقام في هذا المثال توضيحية.

تُظهر المراجعة الشهرية وسيط 9 نداءات لكل وردية ونسبة مئوية 90 قدرها 31. وأشغل وردية فيها 58 نداءً. نحو نصف النداءات يصل خارج ساعات العمل، و6 من الورديات الثماني في الربع شملت نداءً بين 22:00 و07:00. تقترح عينات الوقت أن العمل الروتيني المرهق يأخذ 55 في المئة من وقت العمل.

تزامنت أشغل وردية مع انتهاء شهادة على تكامل المستودع نادى على المناوبة 22 مرة في ليلة واحدة. وتنبيه مساحة قرص واحد على خادم دفعات يمثل ما يقارب ربع النداءات، وأُغلق معظمها بتنظيف دليل مؤقت يدويًا. ومعدل النداءات المتكررة 41 في المئة. ويُظهر عرض باريتو أن تجديدات الشهادات اليدوية وتنظيف القرص وطلبات الوصول تأخذ معظم ساعات العمل الروتيني المرهق.

يأخذ الفريق ثلاثة بنود إلى الأسابيع الأربعة القادمة: أتمتة تجديد الشهادات، وإصلاح سبب امتلاء الدليل المؤقت، ونقل طلبات الوصول إلى نموذج خدمة ذاتية يملكه فريق الهوية. وتضع اتفاقية عمل حدًا بوردية واحدة من أربع لكل شخص ويوم راحة بعد ليلة بثلاثة نداءات أو أكثر. وعمق المناوبة 6 أشخاص لحاجة متفق عليها 8، فيبدأ مهندسان من فريق ثالث تدريب الجاهزية.

يظهر خطر تلاعب في المراجعة التالية. هبطت النداءات لكل وردية إلى وسيط 4 ونسبة مئوية 90 قدرها 12. أحد المديرين مسرور. يشير عضو فريق إلى أن عتبة تنبيه القرص رُفعت 20 نقطة وأن خادم الدفعات امتلأ مرتين بلا نداء. وارتفعت حوادث يبلّغ عنها العملاء عن تأخر طلبات الدفعات. حاجز الحماية، الحوادث التي يبلّغ عنها العملاء وفاتتها المراقبة، التقط ذلك. يُعكس تغيير العتبة، ويُجدول تنظيف الدليل إصلاحًا، ويضيف الفريق قاعدة بأن أي تغيير عتبة يُسجَّل بسببه ويُراجَع بعد شهر. حصة العمل الروتيني المرهق في الربع التالي 38 في المئة (توضيحي) وتُبلَّغ مع طريقة أخذ العينات بجوارها.

الأجايل والذكاء الاصطناعي والأتمتة والتحليلات

الأجايل

الوتيرة المستدامة تشمل مناوبة الاستدعاء، فراجع حملها مع الفريق بإيقاع منتظم وموّل الوقاية. والتحذير أن هدفًا لنداءات أقل قد يؤدي إلى كتم التنبيهات.

الذكاء الاصطناعي

يستطيع الذكاء الاصطناعي تلخيص النداءات واقتراح خطوات دليل التشغيل وفرز التنبيهات، مما قد يخفض العمل الروتيني المرهق، وقد يضيف عملًا روتينيًا مرهقًا جديدًا في فحص مخرجاته وتصحيحها. أدرج الوقت المقضي في الإشراف على الذكاء الاصطناعي في العمل الروتيني المرهق، واقرن أعداد النداءات بإشارات النوم والرفاهية. والتحذير أن الاستجابة الأولى الآلية قد تخفي نداءات عن أناس ما زالوا يحملون المخاطرة.

الأتمتة

أتمت إزالة العمل الروتيني المرهق حيث العمل متكرر، وقِس العمل الروتيني المرهق المزال والحوادث التي سببتها الأتمتة. والتحذير أن أتمتة مبنية بلا ملكية تصبح مصدر عمل استدعاء جديدًا.

التحليلات

أبلِغ الحمل بحسب المناوبة، لا الشخص أبدًا، مع عدد النداءات خلف كل رقم. والقرار الذي يفيد فيه هو أين يُستثمر في الوقاية. والتحذير أن بيانات النداء تغفل المقاطعات غير الرسمية، فادمجها باستبيان قصير.

منظور القطاعات

الشركات الناشئة. كثيرًا ما لا تكون لفريق صغير مناوبة رسمية، فالجميع في الاستدعاء طوال الوقت والكلفة غير مرئية. عُدّ النداءات والاستيقاظات الليلية في جدول بيانات واكتب أكبر ثلاث مهام متكررة. المؤسسون الذين يحملون جهاز النداء بأنفسهم خطر أعمال لا وسام التزام.

الأعمال الصغيرة. قد يدير شخص أو اثنان كل تقنية المعلومات. قِس ما لا يحتاج أدوات: المكالمات خارج الساعات والمهام التي تتكرر والإجازات التي لا يمكن أخذها. يستطيع مزود خدمة مُدارة أخذ جزء من المناوبة إن ذكر العقد أزمنة الاستجابة والساعات. وعمق المناوبة كثيرًا واحد، وهو الخطر الرئيسي.

المؤسسات الكبرى. يجلب الحجم مناوبات تتبع الشمس ومنصات مشتركة وعدة موردين. عرّف المقاييس مرة واحدة، وضع نوافذ عمل محلية لكل منطقة، وتجنب المتوسط عبر مناوبات لخدمات مختلفة جدًا. تقيد قواعد التوظيف في بعض البلدان واجب الاستدعاء وتشترط فترات راحة، وتنتمي هذه إلى حدود المناوبة.

الحكومة والقطاع العام. قد تحتاج الخدمات تغطية على مدار الساعة بحكم القانون أو العقد، والتوظيف مقيد بالمشتريات والتدرج الوظيفي. كثيرًا ما تحكم اتفاقيات التوظيف حدود المناوبة وقواعد الراحة، فقِس مقابلها وأبلِغ حين تُتجاوز. تجعل المساءلة العامة الإبلاغ الصريح أقيم وأصعب: ابنِ قناة آمنة لبيانات الحمل، وكن صريحًا بأنها تصف النظام والتوظيف لا الأفراد (انظر الموضوع 8.5، التقارير التنظيمية والحكومية).

مبررات الأعمال: الدوافع والعائد على الاستثمار والتكلفة الإجمالية للملكية

الدافع حماية جودة الخدمة والحفاظ على الأشخاص المهرة. المستجيبون المتعبون يشخصون أبطأ، وحين يغادر ذوو الخبرة تذهب المعرفة معهم. لاستبدال شخص كلف حقيقية في التوظيف والتأهيل وإنتاج منخفض خلال فترة التعلم، ويستطيع مؤسسة تقدير تلك الكلف من سجلاتها. والعمل الروتيني المرهق يأخذ السعة بعيدًا عن التحسين أيضًا. فريق يقضي معظم وقته في العمليات اليدوية لا يستطيع تقليل الحوادث التي تسببها.

كلفة المقاييس متواضعة. أداة النداء تعد النداءات أصلًا، وأخذ عينات الوقت يكلف بضع دقائق لكل شخص كل أسبوعين. والكلفة الأكبر العمل بالنتائج: وقت هندسي لإزالة العمل الروتيني المرهق، وتوظيف لمناوبة مستدامة، ووقت مراجعة. احسب صيانة الأتمتة كلفة، لأن خطوة مؤتمتة غير مصانة تصبح حادثة الغد.

يظهر العائد نداءات أقل من أسباب معروفة، ومقاطعات ليلية أقل، وساعات عمل روتيني مرهق تُعاد إلى عمل التحسين، وتسربًا أقل من المناوبة، وتشخيصًا أسرع. لا رقم عالميًا ينطبق، فقدّر رقمك. لمصدر عمل روتيني مرهق، اضرب الساعات الشهرية في كلفة ساعة كاملة متفق عليها مع المالية، وقارنها بجهد إزالته، وراجع بعد دورتين. ولاستدامة المناوبة، سجّل المغادرات والغيابات الطويلة من المناوبة وقارنها بمقاييس الحمل عبر الزمن، معاملًا الرابط فرضية للاختبار لا سببًا مثبتًا. وحيث يلزم رقم، اذكره تقديرًا وأظهر مدخلاته (انظر الموضوع 7.7، العائد على الاستثمار ومبررات الأعمال).

الأنماط المضادة والمزالق

  • ترتيب الأشخاص بالنداءات. يحول مقياس نظام إلى درجة أداء ويعلّم المستجيبين تجنب الورديات وإخفاء المقاطعات. أبلِغ بحسب المناوبة وموضع الوردية والخدمة.
  • خفض النداءات بكتم التنبيهات. يهبط العدد ويضعف الاكتشاف. اقرن الحجم بالاكتشاف والحوادث التي يبلّغ عنها العملاء، وراجع كل تغيير عتبة.
  • تسمية كل شيء عملًا روتينيًا مرهقًا. تعريف واسع يشمل الاجتماعات والمشكلات الصعبة يدمر الإشارة. استخدم الخصائص الست وأبقِ قائمة أمثلة.
  • هدف للعمل الروتيني المرهق بلا سلطة خلفه. سقف لا يستطيع إطلاق قرار يصبح رقمًا يجادل حوله الناس. اتفق مسبقًا على ما يحدث حين يُتجاوز ومن يقرر.
  • الأتمتة قبل الفهم. قد تخبز الأتمتة عملية رديئة وتضيف صيانة. اسأل أولًا هل يمكن تصميم الحاجة بعيدًا، وقِس العمل الروتيني المرهق المزال بعدها.
  • المتوسط عبر خدمات غير متشابهة. متوسط عبر خدمة مستقرة وأخرى هشة لا يصف أيًّا منهما. أظهر كل خدمة ومناوبة على حدة.
  • القياس وعدم العمل. أرقام حمل بلا استجابة تعلّم الناس أن البيانات لا تهم. اربط بكل نتيجة قرارًا ومالكًا وتاريخ مراجعة.

نموذج النضج

البُعد 1 البدء 2 التطوير 3 التوحيد 4 الإدارة 5 التنسيق
التعريفات والبيانات النداءات والعمل الروتيني المرهق يوصفان بالإحساس؛ لا تعريف مشترك بعض المناوبات تعد النداءات؛ العمل الروتيني المرهق يُناقش ولا يُقاس تعريف مكتوب واحد للنداء والوردية وخارج ساعات العمل والعمل الروتيني المرهق؛ بيانات النداء تُجمع بأداة التوزيعات والتوقيت يُتتبَّع اتجاههما؛ العمل الروتيني المرهق يؤخذ منه عينات كل شهر ويُدقق تُراجَع التعريفات عبر الفرق والموردين؛ جهد أخذ العينات يُعدَّل بحسب قيمة الإجابات
استدامة المناوبة غير رسمية؛ القلة أنفسهم يمتصون جهاز النداء توجد جداول؛ الحدود تُناقش ولا تُكتب حدود مكتوبة للتكرار والراحة؛ عمق المناوبة معروف تُراقَب الحدود وتُراجَع الانتهاكات بإجراء المناوبات مشتركة عبر الفرق والموردين والحمل متوازن مع تغير الخدمات
استخدام الأرقام تُستخدم للوم أو تُتجاهل تُعرض على المديرين تُعرض على المناوبة أولًا، مع القرارات التي تدعمها مقترنة بحواجز حماية ومراجَعة بإيقاع يقود إلى تغيير ممول تُشارَك مع القادة والشركاء لتخطيط التوظيف ونطاق الخدمة

قائمة التحقق

  • النداء والوردية ونافذة خارج ساعات العمل ونافذة الدمج معرَّفة كتابةً.
  • للعمل الروتيني المرهق تعريف مكتوب بأمثلة وغير أمثلة من خدمتنا نفسها.
  • تُبلَّغ النداءات لكل وردية وسيطًا ونسبة مئوية عالية وأشغل وردية.
  • تُبلَّغ حصة النداءات خارج ساعات العمل ومعدل المقاطعة الليلية بجوار الحجم.
  • يُبلَّغ الحمل بحسب المناوبة وموضع الوردية والخدمة، لا بحسب شخص مسمى أبدًا.
  • تؤخذ عينات حصة الوقت من العمل الروتيني المرهق بجدول، مع كتابة الطريقة.
  • أعلى خمسة مصادر عمل روتيني مرهق وأعلى أسباب النداءات المتكررة على قائمة التحسين المتراكمة.
  • حدود المناوبة وقواعد الراحة في اتفاقية فريق، ويُفحص عمق المناوبة كل ربع.
  • لكل مقياس حمل حاجز حماية في الصفحة نفسها، بما فيه الاكتشاف والحوادث التي يبلّغ عنها العملاء.
  • تنتهي كل مراجعة بقرار ومالك وتاريخ.
  • تغييرات العتبات والتنبيهات تُسجَّل بسبب وتُراجَع بعد شهر.

موجِّهات الذكاء الاصطناعي

راجع حمل مناوبة وابحث عن أنماط.

I help run the on-call rotation for [service or group of services]. The rotation
has [number] people and a shift length of [length]. Our working window is
[hours and time zone], and our protected sleep window is [hours]. Below is
anonymized paging data for [period], with columns [list columns]:

[paste data with names removed]

Describe the distribution of pages per shift, the share of pages out of hours,
and the share of shifts with a night interruption. Point out the busiest shifts,
repeating alert groups, and any pattern by day or shift position. Report at
rotation and service level only, never by person. Do not invent benchmark values
or targets. List your assumptions and what you could not determine from the data.

صنّف المهام عملًا روتينيًا مرهقًا أو هندسة أو عبئًا إداريًا.

Our team runs [service]. We define toil as work that is manual, repetitive,
automatable, tactical, without enduring value, and growing with the service.
Here is a list of recent tasks with approximate hours: [paste list].

For each task, say whether it fits toil, engineering, or overhead, and name which
of the six characteristics it meets or misses. Flag tasks that are borderline and
say what extra information would settle them. Suggest how each toil source might
be removed by design, automated, or handed to an owning team, without inventing
savings. List your assumptions and questions for the team.

صغ مسارات تلاعب وحواجز حماية لمقاييس حملنا.

We report these on-call and toil metrics for [rotation name]: [list metrics with
definitions]. They are shown to [audience] to support [decision]. Our data comes
from [paging tool, work tracker, survey].

For each metric, list realistic ways it could improve without the rotation being
better off, and propose a guardrail metric or practice that would reveal each one.
Then say how the guardrail itself could be gamed. Do not invent benchmark values.
List your assumptions and any definitions I should tighten.

مهارات الذكاء الاصطناعي

  • Service Management Metrics skill: استخدمها لإيجاد المواضيع وحواجز الحماية ذات الصلة حين تضيف مقياس استدعاء أو عمل روتيني مرهق إلى لوحة.
  • Service Management Metrics maintainer skill: استخدمها للتحقق من أن تعديلات هذا الموضوع تُبقي كل مقياس مقترنًا بمسار تلاعب وحاجز حماية.

أهم الخلاصات

  • قِس الحمل على المناوبة، بحسب الوردية والخدمة ووقت اليوم، ولا ترتّب من فيها أبدًا.
  • عُدّ متى تحدث المقاطعات كما كم، لأن نداءات الليل تكلف أكثر من نداءات ساعات المكتب.
  • عرّف العمل الروتيني المرهق ضيقًا باستخدام خصائصه الست، وقدّر حصته من الوقت بطريقة بسيطة، واحكم على الاتجاه.
  • اربط النداءات ومصادر العمل الروتيني المرهق بعمل المشكلات وبتغييرات الأتمتة أو التصميم، وقِس العمل الروتيني المرهق المزال فعلًا.
  • اقرن كل مقياس حمل بحاجز حماية مثل الاكتشاف والحوادث التي يبلّغ عنها العملاء، حتى لا تُشترى الأرقام الأقل بالنظر بعيدًا.
  • عامل الحمل الثقيل طلب استثمار، بقرار ومالك وتاريخ مراجعة.

المراجع والقراءات الإضافية

  1. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016. Chapter "Eliminating Toil", https://sre.google/sre-book/eliminating-toil/
  2. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016. Chapter "Being On-Call", https://sre.google/sre-book/being-on-call/
  3. Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018. Chapter "Eliminating Toil", https://sre.google/workbook/eliminating-toil/
  4. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  5. Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 19(1), 2021.
  6. Wikipedia, On-call.
  7. Wikipedia, Site reliability engineering.
  8. Wikipedia, Incident management.
  9. Wikipedia, Sleep deprivation.
  10. Wikipedia, Alarm fatigue.
  11. Wikipedia, Occupational burnout.
  12. Wikipedia, Pareto chart.