نظرة عامة والدافع

كل تغيير في خدمة حية يحمل بعض احتمال جعل الأمور أسوأ. الأسئلة العملية كم مرة يحدث ذلك، وكم عملًا غير مخطط يخلقه، وكم بسرعة يتعافى الفريق. يغطي هذا الموضوع المقاييس التي تجيب عنها: حصة التغييرات التي تفشل، وحصة التي تحتاج مسار طوارئ، ومعدلا التراجع والإصلاح العاجل، وإعادة العمل التي تتبع تغييرًا سيئًا. ويغطي أيضًا أقل أجزاء الموضوع بريقًا، وهو الاتفاق على ما يُعد فشلًا أصلًا.

بعض المصطلحات أولًا. في ITIL 4، تغطي الممارسة المسماة تمكين التغيير إضافة أي شيء قد يؤثر في خدمة أو تعديله أو إزالته. فـالتغيير (change) أوسع إذن من نشر شيفرة: يشمل تعديل تكوين أو تجديد شهادة أو قاعدة جدار ناري أو ترحيل قاعدة بيانات. والتغيير القياسي مصرح به مسبقًا ومنخفض المخاطر، والتغيير العادي يمر بتقييم، والتغيير الطارئ يُجرى على وجه السرعة، عادة لاستعادة خدمة أو إغلاق ثغرة خطيرة. والنشر (deployment) فعل وضع نسخة من البرمجيات في بيئة، بينما الإصدار (release) يتيح قدرة للمستخدمين. تستطيع الفرق التي تستخدم مفتاح ميزة (feature toggle) نشر الشيفرة دون إصدارها (انظر الموضوع 4.5، مقاييس الإصدار والنشر).

فشل التغيير (change failure) هو تغيير يؤدي إلى خدمة متدهورة أو يحتاج معالجة. للمعالجة أشكال عدة. التراجع (rollback) يعيد النظام إلى حالته السابقة. والإصلاح العاجل (hotfix) رقعة عاجلة تُطبق خارج إيقاع الإصدار العادي. والإصلاح إلى الأمام (roll-forward fix) يشحن تغييرًا جديدًا فوق المكسور. وإعادة العمل (rework) هي الجهد غير المخطط المبذول في إعادة أو إصلاح ما كان يُفترض أنه منتهٍ. وفي بيئة التسليم المستمر (continuous delivery)، حيث تتدفق تغييرات صغيرة إلى الإنتاج كثيرًا، هذه المقاييس الدليل الرئيسي على هل تكلف السرعة الاستقرار.

ينظر التقليدان إلى الحدث نفسه بطريقة مختلفة. تنتظم رؤية ITIL حول سجل التغيير: هل فُوّض التغيير، وهل نجح، وهل سُجلت النتيجة؟ تغيير ينجح على الورق قد يسبب حادثة بعد ساعة. وتنتظم رؤية الأجايل حول بند العمل والنشر: هل صمد تعريف الإنجاز للفريق، وهل سبب التغيير عملًا غير مخطط قريبًا؟ ولا رؤية كاملة وحدها. يعامل البحث خلف برنامج DORA معدل فشل التغيير ومعدل إعادة عمل النشر مقياسي «عدم الاستقرار» بجوار مقاييس الإنتاجية (انظر الموضوع 2.8، مقاييس DORA، الذي يعرّفهما على مستوى البرنامج). يتعمق هذا الموضوع في الآليات: كيف يُعرَّف الفشل، وكيف تُربط الحوادث بالتغييرات، وكيف يُعد عمل الطوارئ، وكيف تُتلاعب الأرقام.

ينطبق تحذير من البداية. هذه المقاييس تصف فريقًا أو خدمة أو خط أنابيب. ولا تصف شخصًا أبدًا. معدل فشل تغيير ملحق بمهندس فرد يعلّم الناس تجنب العمل الخطر والقيّم، وتقسيم التغييرات حتى تبدو الأعداد جيدة، والتوقف عن الإبلاغ عن المشكلات (انظر الموضوع 1.2، قانون غودهارت وسيكولوجية المقاييس). وقانون غودهارت (Goodhart's law) يعض بشدة هنا، لأن «فشل أقل» سهل التحقيق بتسجيل فشل أقل.

توقيت الحوادث ينتمي إلى الموضوع 3.3، زمن الاستجابة للحوادث وحلها، وأسوأ الحوادث إلى الموضوع 3.4، مقاييس الحوادث الكبرى، وتدفق الموافقة وحصة التغيير القياسي إلى الموضوع 4.3، مقاييس تمكين التغيير، والأسباب الجذرية إلى الموضوع 4.1، مقاييس إدارة المشكلات، والمراجعة المكتوبة إلى الموضوع 4.2، مقاييس مراجعات ما بعد الحادثة والتعلم.

المبادئ الأساسية

  • يحتاج الفشل تعريفًا مكتوبًا واحدًا. الفرق التي تقرر حالة بحالة تنتج أرقامًا لا يمكن تتبع اتجاهها أو مقارنتها، والجدال حول التعريف يحل محل الجدال حول العمل.
  • يجب أن يكون الفشل قابلًا للتتبع إلى تغييره. بدون رابط مسجل بين حادثة أو تراجع أو إصلاح عاجل والتغيير الذي سببه، يصبح معدل الفشل تخمينًا.
  • عُدّ كل مسار معالجة. التراجع والإصلاح العاجل والإصلاح إلى الأمام والحل البديل اليدوي أربعة طرق إلى الحدث نفسه. مقياس يعد واحدًا منها يكافئ الفرق على اختيار آخر.
  • اقرأ الفشل بجوار السرعة والتعافي. يمكن تحسين معدل فشل التغيير منفردًا بتغيير أقل تكرارًا، وهو نادرًا الغاية. اقرنه بزمن الانتظار الكلي وتكرار النشر وزمن التعافي.
  • العينات الصغيرة تحتاج أعدادًا لا نسبًا فقط. فريق بثمانية تغييرات في الشهر وفشل واحد له معدل 12.5 في المئة لا يقول شيئًا تقريبًا، فأظهر الأعداد واستخدم نافذة أطول (انظر الموضوع 1.6، الثقافة الإحصائية لمقاييس الخدمة).
  • الطوارئ إشارة لا خطيئة. حصة ثابتة مفسَّرة من التغييرات الطارئة طبيعية. والحصة المرتفعة تشير عادة إلى مشكلات جودة أو تخطيط أو اكتشاف في المنبع.

تعريفات المقاييس

تعتمد مقاييس الفشل وإعادة العمل على ضم سجل التغيير وسجل النشر وأداة الحوادث. يذكر كل تعريف أدناه ما يُعد وما يُستثنى وأين تبدأ الساعة وتتوقف. ينبغي للفرق نسخ التعريفات إلى سجل مقاييسها وتعديلها بسبب معلن.

المقياس التعريف الصيغة الوحدة مصدر البيانات ممارسة ITIL المقابل في الأجايل التكرار
معدل فشل التغيير حصة التغييرات في الإنتاج التي تسبب خدمة متدهورة أو تحتاج معالجة التغييرات التي تطلبت تراجعًا أو إصلاحًا عاجلًا أو إصلاحًا إلى الأمام أو حادثة مرتبطة ضمن نافذة الفشل / جميع التغييرات في الإنتاج المنجزة في الفترة؛ تبدأ النافذة عند اكتمال التغيير وتتوقف بعد عدد ثابت من الأيام (مثل 7)، مكتوب في سجل المقاييس؛ التغييرات التي ما زالت داخل النافذة تُبلَّغ على حدة وتُستثنى من المعدل حتى تُغلق النافذة نسبة مئوية سجلات التغيير أو سجل النشر مضمومة إلى أداة الحوادث وقائمة الإصلاحات العاجلة تمكين التغيير؛ إدارة الحوادث تعريف الإنجاز؛ العيوب المتسربة شهري، على نافذة متحركة من 90 يومًا
حصة التغيير الطارئ حصة التغييرات المجراة عبر مسار الطوارئ التغييرات المسجلة طارئة / جميع التغييرات المنجزة في الفترة؛ الطارئ يعني أن التقييم العادي تُجوز أو اختُصر للاستعجال، وتُستثنى التغييرات القياسية المصرح بها مسبقًا من العدّين نسبة مئوية حقل نوع سجل التغيير تمكين التغيير العمل غير المخطط وفئة خدمة التعجيل شهري
معدل التراجع حصة التغييرات التي عُكست إلى نسخة سابقة التغييرات المعكوسة بعد بلوغها الإنتاج / جميع التغييرات في الإنتاج في الفترة؛ التراجع الذي يجري قبل وصول التغيير إلى أي مستخدمين (مثل إصدار كناري توقف عند خطوته الأولى) يُعد على حدة نسبة مئوية سجل النشر وأداة الإصدار إدارة الإصدارات؛ إدارة النشر ممارسات خط الأنابيب والإصدار شهري
معدل الإصلاح العاجل حصة التغييرات التي هي رقع عاجلة مطبقة خارج تدفق الإصدار العادي التغييرات الموسومة أو المتفرعة إصلاحًا عاجلًا / جميع التغييرات في الإنتاج في الفترة؛ يشمل المقام الإصلاحات العاجلة نفسها نسبة مئوية فروع التحكم في الإصدارات أو وسومه وسجل النشر تمكين التغيير؛ إدارة الحوادث العمل غير المخطط؛ التعجيل شهري
معدل إعادة عمل النشر حصة عمليات النشر التي كانت إصلاحات غير مخططة لمشكلة في نشر سابق عمليات النشر في الإنتاج التي تصلح عيبًا أو فشلًا في نشر سابق حديث، ضمن نافذة الفشل نفسها / جميع عمليات نشر الإنتاج في الفترة؛ تُستثنى متابعة العمل المخطط من خارطة الطريق نسبة مئوية سجل النشر برابط أو وسم «يصلح»، ومتتبع العمل تمكين التغيير؛ التحسين المستمر إعادة العمل؛ العيوب المتسربة؛ طلب الفشل شهري
معدل ربط التغيير بالحادثة حصة الحوادث المحلولة التي تسجل هل سببها تغيير، وأي تغيير الحوادث التي لها حقل «سببها تغيير» مكتمل (نعم أو لا، مع معرّف التغيير عند نعم) / الحوادث المحلولة في الفترة؛ تتوقف الساعة عند إغلاق الحادثة نسبة مئوية أداة الحوادث وسجلات التغيير إدارة الحوادث؛ تمكين التغيير مراجعة ما بعد الحادثة؛ تعريف الإنجاز شهري
اتفاق تعريف الفشل الاتفاق بين مراجعين حول هل فشلت عينة من التغييرات التغييرات المأخوذ منها عينات التي يصل فيها مراجعان مستقلان إلى حكم الفشل نفسه باستخدام التعريف المكتوب / التغييرات المأخوذ منها عينات؛ عينة من 20 تغييرًا على الأقل تُسحب عشوائيًا كل ربع نسبة مئوية ورقة مراجعة العينة محفوظة مع سجل المقاييس التحسين المستمر؛ القياس والإبلاغ اجتماع المراجعة ربع سنوي

ملاحظتان على الجدول. يتداخل معدل الفشل ومعدل إعادة العمل لكنهما مختلفان: فشل يُعكس بلا نشر جديد يُحتسب في معدل الفشل لا في معدل إعادة العمل. والوحدة هي التغيير أو النشر لا الحادثة، لأن تغييرًا واحدًا قد يسبب ثلاث حوادث وحادثة واحدة قد تأتي من ثلاثة تغييرات.

التوصيات

اكتب تعريف الفشل قبل جمع أي بيانات

اتفقوا على ما يعنيه «فشل» وضعوه في سجل المقاييس. تعريف عملي أن التغيير فشل إن، ضمن نافذة معلنة بعد الاكتمال، تُراجع عنه أو احتاج إصلاحًا عاجلًا أو إصلاحًا إلى الأمام أو ارتبط بحادثة بدرجة خطورة معلنة أو أعلى. اذكر النافذة (7 أيام شائعة، والقيمة الصحيحة تعتمد على سرعة ظهور المشكلات في خدماتك)، وعتبة خطورة الحادثة، ومن يقرر في حالة متنازع عليها. اكتب خمسة أمثلة محلولة على الأقل، بما فيها محرجة مثل تغيير أضعف الأداء دون أي انقطاع. أعد النظر في التعريف سنويًا وسجّل التغييرات بأسبابها، ليمكن إعادة صياغة خط الاتجاه إن تحركت القاعدة.

اربط الفشل بالتغييرات في سجل الحادثة

أضف حقلًا مطلوبًا إلى سجل الحادثة: سببها تغيير، نعم أو لا، ومعرّف التغيير عند نعم. ينبغي ملء الحقل أثناء الحل وفحصه في مراجعة ما بعد الحادثة (انظر الموضوع 4.2، مقاييس مراجعات ما بعد الحادثة والتعلم). تتبع معدل الربط مقياسًا قائمًا بذاته. إن حمل نصف الحوادث فقط الحقل، فمعدل الفشل يقلل الحقيقة بمقدار مجهول، وينبغي أن تقول ذلك بجوار الرقم. أتمت التخمين الأول حيث تستطيع، مثلًا بسرد التغييرات المنجزة على الخدمة المتأثرة في الساعات قبل بدء الحادثة، ودع إنسانًا يؤكده.

عُدّ كل مسارات المعالجة لا واحدًا فقط

عرّف فشلًا واحدًا من عدة إشارات. اسحب التراجعات من أداة النشر والإصلاحات العاجلة من التحكم في الإصدارات أو سجل الإصدار والإصلاحات إلى الأمام من رابط «يصلح» والحوادث من أداة الحوادث، ثم أزل التكرار بحسب التغيير. فريق يعد التراجعات فقط سيرى الفشل يختفي يوم يتحول إلى الإصلاح إلى الأمام. وأبقِ كل مسار تفصيلًا منفصلًا أيضًا، لأن المزيج يحكي قصة: إصلاحات عاجلة كثيرة وتراجعات قليلة توحي بأن التراجع صعب، وهذا يستحق الإصلاح بحد ذاته.

عامل حصة التغيير الطارئ سؤالًا لا درجة

راجع التغييرات الطارئة مجموعةً لا هدفًا. كل ربع، اقرأها كلها ورتب الأسباب: استعادة خدمة، أو إغلاق ثغرة، أو طلب أعمال متأخر، أو خطوة تخطيط فائتة، أو مسار موافقة بطيء جدًا للعمل العادي. الأخيران مشكلتا نظام ينبغي إصلاحهما بتحسين المسار القياسي، حتى لا يحتاج الناس إلى تجاوزه (انظر الموضوع 4.3، مقاييس تمكين التغيير). الحصة صفر مريبة، لأن الطوارئ الحقيقية تحدث. والحصة التي ترتفع باطراد تستحق سجل مشكلة (انظر الموضوع 4.1، مقاييس إدارة المشكلات).

قِس إعادة العمل طلب فشل

تتبع إعادة العمل بوصفها العمل الذي خلقه فشل سابق. تأتي فكرة طلب الفشل من تصميم الخدمة: طلب موجود لأن شيئًا لم يُنجز صحيحًا من المرة الأولى. بمصطلحات التسليم، عُدّ عمليات النشر وبنود العمل التي غايتها الوحيدة تصحيح تغيير حديث. يرتبط هذا مباشرة بالتقسيم بين المخطط وغير المخطط (انظر الموضوع 2.9، العمل التشغيلي والعمل غير المخطط). استخدم حصة السعة المنفقة على إعادة العمل بداية حوار مع مالك المنتج، لأنها تحول معدلًا مجردًا إلى مفاضلة عما يُعمل عليه تاليًا.

أبلِغ المعدلات مع الأعداد والتوزيعات ونافذة

أظهر الأعداد بجوار النسب، واستخدم نافذة متحركة. معدل فشل شهري لفريق ينشر عشر مرات ضجيجي. استخدم نافذة متحركة من 90 يومًا، وأظهر عدد التغييرات والإخفاقات خلف المعدل، وأعطِ إشارة تقريبية لعدم اليقين (انظر الموضوع 1.6، الثقافة الإحصائية لمقاييس الخدمة). وللتعافي، أظهر الوسيط والنسبة المئوية 85 للزمن من الفشل إلى الاستعادة لا المتوسط. وحين تكون لخدمة تغييرات قليلة جدًا، احكِ القصة بقائمة الإخفاقات الفعلية بدل معدل.

اقرن الفشل بالسرعة بحيث لا يختبئ التحسن في أي منهما

اعرض دائمًا معدل فشل التغيير بجوار زمن الانتظار الكلي وتكرار النشر. إن انخفض معدل الفشل بينما انخفض تكرار النشر بحدة وزاد زمن الانتظار، فقد يكون الفريق يجمّع التغييرات، مما يرفع مخاطر كل منها. وإن ارتفعت السرعة وثبت معدل الفشل، فالنظام يتحسن في التغيير. الاقتران الدفاع الرئيسي ضد التلاعب وضد الاعتقاد المريح بأن عمليات نشر أقل تعني أأمن (انظر الموضوع 2.8، مقاييس DORA).

استخدم الأرقام لتحسين التغيير نفسه

حوّل بيانات الفشل إلى تجارب هندسية. انظر إلى السمات المشتركة للتغييرات الفاشلة: الحجم ووقت اليوم والنوع وعدد المشاركين وهل لمست مكونات مشتركة وهل كانت تغطية الاختبار رقيقة. ثم جرّب تجربة صغيرة قابلة للعكس مثل دفعات أصغر أو اختبار انحدار (regression testing) آلي لمنطقة خطرة أو إصدار كناري (canary release) للتغيير الخطر التالي أو مفتاح ميزة يفصل النشر عن الإصدار. أعد القياس بعد نافذة كاملة. الغاية تغيير أفضل، والمقياس المحسَّن مجرد دليل.

راجع المقاييس معًا في منتدى بلا لوم

أجرِ مراجعة شهرية للتغييرات الفاشلة مع من أجروها. لجدول الأعمال ثلاثة بنود: الأعداد والاتجاه، وتغييران أو ثلاثة فاشلة مختارة للدراسة، وإجراء تحسين واحد بمالك. استخدم ممارسة المراجعة بلا لوم، ليصف الناس ما كانوا يعرفونه حينها. انشر ملاحظات المراجعة مع المقاييس. وإن تردد الناس في الإبلاغ عن الإخفاقات بسبب كيفية استخدام الأرقام، فأصلح ذلك قبل تغيير أي شيء آخر (انظر الموضوع 11.3، إطلاق المقاييس دون إثارة الخوف).

مسارات التلاعب وحواجز الحماية

المقياس كيف يُتلاعب به حاجز الحماية أو الممارسة المقترنة
معدل فشل التغيير تضييق نافذة الفشل؛ عدم ربط الحوادث بالتغييرات؛ تصنيف تغيير سيئ «طلب خدمة» أو «صيانة»؛ الإصلاح إلى الأمام وتسميته تغييرًا جديدًا؛ تجميع تعديلات كثيرة في تغيير واحد فيغطيها فشل واحد معدل ربط التغيير بالحادثة؛ تدقيق عينة ربع سنوي مقابل قائمة الحوادث؛ اتفاق تعريف الفشل؛ زمن الانتظار الكلي وتكرار النشر بجواره
حصة التغيير الطارئ تمرير العمل العاجل عبر المسار القياسي بتقييم مخاطر كاذب؛ تمرير العمل العادي طارئًا لتجنب الموافقة؛ تقسيم طارئ إلى عدة تغييرات عادية قراءة ربع سنوية لكل التغييرات الطارئة؛ الأسباب مرتبة ومراجَعة؛ حصة التغيير القياسي وزمن انتظار الموافقة (انظر الموضوع 4.3، مقاييس تمكين التغيير)
معدل التراجع الإصلاح إلى الأمام لتجنب تسجيل تراجع؛ إبقاء نسخة مكسورة حية؛ حجب التغييرات عن الإنتاج فلا شيء يُعكس معدل الإصلاح العاجل ومعدل إعادة العمل بجواره؛ توزيع زمن التعافي؛ عينة من الحوادث مقابل سجل النشر
معدل الإصلاح العاجل عدم وسم الإصلاحات العاجلة؛ تمريرها عبر الفرع العادي؛ تسمية إصلاح عاجل «تحسينًا صغيرًا» معدل إعادة عمل النشر؛ تدقيق الفروع والوسوم؛ حصة العمل غير المخطط (انظر الموضوع 2.9، العمل التشغيلي والعمل غير المخطط)
معدل إعادة عمل النشر عدم ربط الإصلاحات بالنشر الأصلي؛ وسم إصلاح «مخططًا»؛ تجميع الإصلاح مع ميزات جديدة رابط «يصلح» مطلوب على عمليات النشر التصحيحية؛ مراجعة عينة من عمليات النشر الموسومة مخططة؛ معدل فشل التغيير بجواره
معدل ربط التغيير بالحادثة ملء الحقل بـ«لا» دون فحص؛ ترك الحقل يفترض «لا»؛ إغلاق الحوادث بالجملة لرفع النسبة فحص عينة من إجابات «لا» في مراجعة ما بعد الحادثة؛ لا قيمة افتراضية؛ تعليقات المراجعين على عينة
اتفاق تعريف الفشل اختيار أمثلة سهلة للعينة؛ مراجعون هم الأشخاص المقيسون؛ إرخاء التعريف فيتفق الجميع عينة عشوائية يسحبها شخص من خارج الفريق؛ ضم الحالات الحدية عمدًا؛ نشر الخلافات وإصلاح التعريف

القراءة السليمة تبدو هكذا: معدل الفشل في نطاق يفهمه الفريق ويفسره، ومعدل الربط عالٍ بما يكفي ليوثق بمعدل الفشل، والتغييرات الطارئة قليلة ومفسَّرة، والتراجعات والإصلاحات العاجلة قصيرة ومتدرَّب عليها. تُبلَّغ الإخفاقات بسرعة وتُناقش بلا لوم. ومعدل فشل منخفض على نحو غير طبيعي مع معدل ربط منخفض وتكرار نشر متناقص وأحجام دفعات متنامية تحذير لا نجاح. وعامل أي تحسن مفاجئ مطالبة بفحص الأداة أولًا (انظر الموضوع 1.5، مصادر البيانات وأدوات القياس).

المفاضلات: الإيجابيات والسلبيات

النهج نقطة القوة نقطة الضعف
تعريف فشل صارم وآلي متسق ورخيص التكرار وسهل التتبع يفوته التدهور الدقيق؛ قد يعد التراجعات الحميدة إخفاقات
مراجعة قائمة على الحكم لكل تغيير تلتقط السياق والخطورة بطيئة وذاتية ومفتوحة للضغط والانجراف
نافذة فشل طويلة (أسابيع) تلتقط الإخفاقات المتأخرة تطمس السبب والنتيجة؛ لا يمكن بعد إبلاغ التغييرات الحديثة
عدّ كل مسارات المعالجة يصعب التلاعب به بتبديل المسار يحتاج ضم عدة مصادر بيانات بعناية

استخدم تعريفًا آليًا أساسًا، وأضف مراجعة بشرية بعينات، وحسّن الضم بين التغييرات والحوادث قبل بناء أي شيء آخر.

أسئلة للنقاش مع فريقك

1. ما الذي يُعد تغييرًا فاشلًا هنا بالضبط، وهل يمكن أن يختلف اثنان منا على التغيير نفسه؟ خذ خمسة تغييرات حديثة واطلب من كل شخص التصويت على هل فشلت. قارن الأصوات والأسباب. تُظهر الخلافات حيث التعريف المكتوب رقيق. اتفقوا على قاعدة للحالات المحرجة، مثل انخفاض الأداء دون انقطاع، واكتبوها بمثال.

2. كيف نعرف أي الحوادث سببها تغيير؟ اسأل كيف يُسجَّل الرابط اليوم ومن يملؤه. راجع عشر حوادث حديثة وانظر كم منها له تغيير مرتبط وكم ينبغي. ناقشوا هل الحقل اختياري وهل يفترض «لا» ومن يفحصه. على الميسّر أن يستهدف تحسينًا ملموسًا في السجل، مثل حقل مطلوب بلا قيمة افتراضية.

3. أي مسارات معالجة نستخدم، وهل تُعد كلها؟ اسرد التراجع والإصلاح العاجل والإصلاح إلى الأمام والحل البديل اليدوي وإيقاف مفتاح الميزة. لكل منها، اسأل أين يُسجَّل الحدث وهل يغذي معدل الفشل. لاحظ المسارات التي لا تترك أثرًا. كثيرًا ما يكشف النقاش أن المسار المفضل للفريق هو المسار الذي لا يراه المقياس.

4. متى كان آخر تغيير طارئ لنا، وهل كان يمكن تجنبه؟ مرّوا على آخر ثلاثة أو أربعة. اسأل ما الذي جعل كلًا منها عاجلًا وما الذي كان معروفًا مبكرًا وكيف كان سيبدو مسار قياسي أفضل. افصل الطوارئ الحقيقية عن الاكتشافات المتأخرة والموافقات البطيئة. اتفقوا على إصلاح واحد للمسار العادي يزيل سببًا متكررًا للطوارئ.

5. كم من أسبوعنا يذهب في إصلاح تغييرات حديثة؟ قدّر حصة السعة المنفقة على إعادة العمل خلال الأسابيع الأربعة الأخيرة، باستخدام المتتبع لا الذاكرة. قارن التقدير بالمتتبع. تحدثوا عما يكلفه الرقم من عمل مخطط وكيف سيستخدمه مالك المنتج. اختر نمط فشل واحدًا وتجربة واحدة لتقليله.

6. لو انخفض معدل فشلنا إلى النصف الربع القادم، فهل سنصدق ذلك؟ تخيل العنوان واسأل ماذا يجب أن يكون صحيحًا أيضًا: معدل ربط ثابت، وتكرار نشر مستقر، وتعافٍ سريع، ولا فئات «صيانة» جديدة. ناقشوا أي من هذه الفحوص يجريها الفريق أصلًا وأيها مفقود. اتفقوا على كيف سيُحقَّق في تحسن مفاجئ قبل أن يُحتفى به.

أربعة منظورات

فرق المنتج والتسليم

تملك فرق التسليم التغييرات، فهي تملك تعريف الفشل والإصلاحات. ابدأ من العمل: انظر إلى التغييرات الفاشلة في المراجعة، وابحث عن السمات المشتركة، وجرّب دفعات أصغر أو اختبارات أفضل أو مفاتيح. تتبع إعادة العمل جزءًا من اللوحة، لتظهر الإصلاحات غير المخططة بجوار العمل المخطط. أبقِ الأرقام لتعلم الفريق نفسه، وقاوم مشاركة بيانات مستوى الأفراد. وإن عُرض مقياس على القادة، فينبغي أن يستطيع الفريق شرح كل تغيير فيه.

فرق الخدمة والعمليات

ترى فرق العمليات عواقب التغيير في طابور الحوادث وهي الأنسب لصيانة الرابط بين الحوادث والتغييرات. تستطيع إضافة الحقل المطلوب وفحصه في خطوة الحل وإعادة النتائج إلى فريق التسليم بلا لوم. وتملك العمليات أيضًا مسار الطوارئ وينبغي أن تراجع استخدامه. شاركوا معلومات مسارات التعافي ودرِّبوا على التراجعات مع فرق التسليم، لأن أفضل طريقة لخفض كلفة الفشل عادة مشتركة بجعل التغيير قابلًا للعكس (انظر الموضوع 3.3، زمن الاستجابة للحوادث وحلها).

القيادة والحوكمة

على القادة أن يطلبوا الاتجاهات بحسب الخدمة، ونوعي مقاييس عدم الاستقرار مع السرعة، وتجارب التحسين خلفها. تجنبوا أهدافًا ثابتة مثل «معدل فشل أقل من 5 في المئة»، التي تدعو إلى إعادة التعريف، وتجنبوا استخدام الأرقام في المراجعات الفردية. تستطيع هيئات الحوكمة استخدام البيانات دليلًا على هل مسار موافقة أخف آمن، بالتحقق من أن الفشل والتعافي ثبتا مع إرخاء الضوابط. والاتجاه المتصاعد في التغييرات الطارئة إشارة للنظر في التخطيط وتصميم الموافقة، لا للوم مهندسي الاستدعاء.

العملاء والمستخدمون

لا يهتم العملاء بمعدل الفشل. يهتمون هل تنكسر الخدمة بعد تحديث وكم بسرعة تعود. تدعم بيانات الفشل التواصل الصادق: إشعار مسبق بالتغييرات الخطرة، ورسائل حالة واضحة حين يسبب تغيير متاعب، والتزام مرئي بالتعلم. وحيث يعتمد المستخدمون على خدمة لمهام حرجة، اتفق معهم مسبقًا على نوافذ الصيانة وتوقعات التراجع (انظر الموضوع 3.4، مقاييس الحوادث الكبرى).

في الممارسة: مثال من إدارة الخدمات

تدير إدارة تقنية المعلومات في مزود رعاية صحية إقليمي خدمة جدولة مرضى. يصدر فريق منتج من سبعة أشخاص تغييرات عدة مرات في الأسبوع، ويعالج فريق عمليات من خمسة الحوادث وعملية التغيير. جميع الأرقام في هذا المثال توضيحية.

على مدى ربع، يُظهر التقرير الشهري معدل فشل تغيير 4 في المئة، انخفاضًا من 11 في المئة في الربع السابق. رئيس المعلومات مسرور. قائدة المنصة غير مقتنعة، لأن فريق الاستدعاء يقول إن لياليه لم تتحسن. تطلب من الفريق إجراء تدقيق العينة من سجل المقاييس.

يأخذ التدقيق 30 تغييرًا عشوائيًا ويطبق مراجعان التعريف المكتوب. يتفقان في 24 من 30 حكمًا، فاتفاق تعريف الفشل 80 في المئة (توضيحي). ثم يقارنان العينة بقائمة الحوادث. من 22 حادثة محلولة في الربع، 9 فقط تحمل حقل «سببها تغيير»، معدل ربط 41 في المئة. وعند قراءة الـ13 الأخرى يدويًا، يجد المراجعان 5 بدأت خلال يوم من تغيير. العدد المصحح يرفع معدل الفشل إلى نحو 9 في المئة، ويجد التدقيق لماذا بدا الرقم جيدًا: عادة جديدة في نشر الإصلاحات تحت وسم «صيانة»، استثناه التقرير من المقام والبسط معًا.

خطر التلاعب هو الوسم، ولم يخطط له أحد. كان الفريق قد أُخبر أن الإخفاقات مصدر قلق، و«الصيانة» تجنبت حوارًا. يتخذ الفريق ثلاثة قرارات. يصبح حقل «سببها تغيير» مطلوبًا بلا قيمة افتراضية، وتفحصه مراجعة ما بعد الحادثة. ويُسحب وسم «الصيانة»، ويجب أن تحمل عمليات النشر التصحيحية رابطًا بالتغيير الذي تصلحه، مما يغذي معدل إعادة العمل. ويُعاد كتابة تعريف الفشل بستة أمثلة محلولة، بما فيها انحدار استعلام بطيء لم يسبب انقطاعًا أبدًا.

يُظهر الربع التالي معدل فشل معاد صياغته 8 في المئة ومعدل ربط 90 في المئة (توضيحي). يُظهر تقرير القيادة الآن الأعداد ومعدل الربط ومعدل إعادة العمل بجوار زمن الانتظار الكلي، ويتوقف رئيس المعلومات عن اقتباس نسبة واحدة.

الأجايل والذكاء الاصطناعي والأتمتة والتحليلات

الأجايل

التغييرات الصغيرة المتكررة تجعل الفشل أرخص وأسهل تتبعًا، ويراجعها الفريق مع أصحاب المصلحة بانتظام. والتحذير أنه إن عوقب الفشل، توقف الناس عن إعلانه.

الذكاء الاصطناعي

قد ترفع التغييرات المدعومة بالذكاء الاصطناعي الحجم وإعادة العمل بينما تبدو سريعة. أبلِغ التغييرات الفاشلة وإعادة العمل للعمل المدعوم بالذكاء الاصطناعي بالتعريف نفسه المستخدم لغيره، وعلّمها في البيانات. والتحذير أن مقارنة العمل المدعوم بالذكاء الاصطناعي بغيره تحتاج حذرًا لأن التغييرات قد تختلف في النوع.

الأتمتة

اربط التغييرات وعمليات النشر والحوادث تلقائيًا بالمعرفات، وقِس معدل الربط. وينبغي قياس التراجع الآلي بنجاحه وآثاره الجانبية. والتحذير أن الروابط المكسورة تجعل معدل الفشل يبدو أفضل مما هو.

التحليلات

اذكر تعريف الفشل مرة واحدة وخذ عينات من الروابط يدويًا. والقرار الذي يفيد فيه هو أين تحتاج ممارسة التغيير إلى تقوية. والتحذير أن المعدلات على أعداد صغيرة من التغييرات تتأرجح بشدة، فأظهر الأعداد.

منظور القطاعات

الشركات الناشئة. التغييرات صغيرة ومتكررة، وكثيرًا يعرف الفريق كل فشل عن ظهر قلب. أبقِ التعريف في فقرة واحدة، ووسم التراجعات والإصلاحات العاجلة في أداة النشر، وراجع الإخفاقات في اجتماع المراجعة الأسبوعي. معدل فشل على 20 تغييرًا ضجيجي، فاستخدم قائمة الإخفاقات دليلًا رئيسيًا. الخطر عدم الرسمية: بلا تعريف مكتوب، يتحول المعدل مع من يعدّ.

الأعمال الصغيرة. الأشخاص أنفسهم ينشرون ويشغّلون ويدعمون، فتنافس إعادة العمل العمل المخطط مباشرة. سجّل الإخفاقات في أي أداة تستخدمها، وأضف حقلًا مطلوبًا إلى سجل الحادثة، وراجع التغييرات الطارئة كل ربع. تجنب موافقة ثقيلة لمجرد تحسين الأرقام. قائمة تحقق تراجع مشتركة أنفع من مجلس تغيير.

المؤسسات الكبرى. كثرة الفرق والموردين والأدوات تعني تعريفات كثيرة. وحّد تعريف الفشل وحقل الربط عبر الفرق، وانشره في كتالوج المقاييس، واحسب المعدلات لكل خدمة قبل التجميع. استخدم تدقيقات بعينات لإيجاد التباعد، وعامل سجلات تغيير كل مورد مصدرًا آخر بجودته الخاصة (انظر الموضوع 1.5، مصادر البيانات وأدوات القياس). احرص ألا يتحول التجميع أبدًا إلى جداول ترتيب للفرق.

الحكومة والقطاع العام. تخدم سجلات التغيير التدقيق والمساءلة، وقد تقيد القوانين أو المشتريات أو المنصات المشتركة التراجعات. أبقِ السجل الرسمي وأضف رابط الفشل جزءًا منه. اشرح الأرقام بعناية للهيئات الرقابية، بالأعداد والسياق، لأن فشلًا واحدًا في خدمة حرجة قد يجتذب اهتمامًا غير متناسب. استخدم البيانات لتبرير مسارات أخف للتغيير منخفض المخاطر، بدليل أن الفشل والتعافي ظلا ثابتين.

مبررات الأعمال: الدوافع والعائد على الاستثمار والتكلفة الإجمالية للملكية

الدافع كلفة التغيير الفاشل: عمل الحوادث، وإعادة العمل، وبنود خارطة الطريق المتأخرة، وفقدان ثقة المستخدمين. لا تستطيع مؤسسات كثيرة قول كم من جهدها يذهب إلى إصلاح تغييرات حديثة، ويعطي مقياس إعادة العمل أول جواب صادق. وثمة فائدة غير مباشرة. الفرق التي تستطيع إظهار أن التغيير آمن تستطيع الدفاع عن موافقة أخف، مما يقصر زمن الانتظار الكلي. يفيد بحث DORA بارتباط بين الموافقة الخارجية الثقيلة وأداء تسليم أضعف (انظر الموضوع 4.3، مقاييس تمكين التغيير)، وبيانات الفشل هي كيف يختبر الفريق هذا الادعاء مقابل تاريخه.

الكلفة للجمع متواضعة إن وُجدت الأرضية: حقل مطلوب في سجل الحادثة، وعمليات نشر تصحيحية موسومة، وضم ثلاثة مصادر بيانات، ومراجعة شهرية. الكلفة الأكبر الانتباه، لأن على أحد أن يملك التعريف ويجري التدقيقات ويعمل بالنتائج. تجنب شراء أداة قبل أن ينجح التعريف والرابط يدويًا.

يظهر العائد فشلًا متكررًا أقل، وتعافيًا أقصر، وعملًا غير مخطط أقل، وحوارات أفضل مع الحوكمة. لا تعد بنسبة. بدلًا من ذلك، قدّر خط أساسك: عُدّ الساعات المنفقة على إعادة العمل والاستجابة للحوادث المرتبطة بالتغيير على ربع، وسعّرها بمعدلك الداخلي المعتاد، وقارن بعد التحسينات. اذكر الافتراضات، وأبلِغ النتيجة نطاقًا لا رقمًا واحدًا. وقارنها بكلفة البرنامج وكلفة فشل خطير واحد في خدمة حرجة.

الأنماط المضادة والمزالق

  • وضع هدف لمعدل الفشل. يدعو إلى إعادة التعريف والإخفاقات المخفية. ضع بدلًا منه هدفًا للتعلم، مثل إكمال كل مراجعة وإغلاق كل إجراء تصحيحي، وراقب المعدل للاتجاهات.
  • ترتيب الفرق أو الأشخاص بالفشل. يدمر الإبلاغ ويعاقب الفرق التي تتولى عملًا خطرًا وقيّمًا. قارن الفريق بماضيه وناقش السياق.
  • عدّ الحوادث فقط إخفاقات. الإخفاقات التي تُلتقط مبكرًا ويُتراجع عنها تختفي. أدرج كل مسار معالجة، واستخدم الحوادث إشارة واحدة بين عدة.
  • معاملة التغييرات الطارئة سيئة. الضغط يؤدي إلى طوارئ متنكرة. راجعها للأسباب وأصلح المسار العادي.
  • ترك رابط الحادثة يفترض «لا». الافتراض ينتج رقمًا مجاملًا وخاطئًا. اجعل الحقل مطلوبًا وخذ عينة منه.
  • إبلاغ معدل بلا أعداد. العينات الصغيرة تتأرجح بشدة. أظهر الأعداد ونافذة متحركة.

نموذج النضج

البُعد 1 البدء 2 التطوير 3 التوحيد 4 الإدارة 5 التنسيق
تعريف الفشل يُقرَّر حالة بحالة بحسب من يُسأل بعض الفرق تكتب تعريفًا؛ الفرق تختلف تعريف مكتوب واحد بأمثلة محلولة ونافذة معلنة التعريف يُختبر بتدقيقات العينات ويُقاس الاتفاق يُنقَّح التعريف مع الموردين والعملاء حين يكف عن الإفادة في القرارات
ربط التغييرات والحوادث الرابط يتذكره الناس إن تذكروه حقل اختياري تستخدمه بعض الفرق حقل مطلوب بلا قيمة افتراضية، يُفحص في مراجعة ما بعد الحادثة معدل الربط يُتتبَّع اتجاهه ويُراجَع، ويُعمل على الفجوات الروابط مشتركة عبر الفرق والموردين من خلال واجهات متفق عليها
المعالجة والتعامل مع الطوارئ التراجعات والإصلاحات العاجلة تُعالَج عشوائيًا وبلا تسجيل بعض الفرق تسم التراجعات والإصلاحات العاجلة كل مسارات المعالجة مسجلة؛ اختبار الطوارئ مكتوب تُراجَع التغييرات الطارئة كل ربع؛ يُتدرَّب على التراجعات مسارات التعافي مصممة في الخدمات ومختبرة بالاشتراك عبر الفرق
الاستخدام في التحسين أرقام تُقتبس في التقارير بلا متابعة الإخفاقات تُناقش بعد الحوادث الكبرى مراجعة شهرية بلا لوم للتغييرات الفاشلة بإجراءات الفشل وإعادة العمل مقترنان بالسرعة؛ تجارب مخططة وممولة التحسين روتيني ومشترك عبر الفرق، مع نشر التعلم

قائمة التحقق

  • يوجد تعريف مكتوب لفشل التغيير، بنافذة معلنة وخمسة أمثلة محلولة على الأقل.
  • وحدة العدّ (تغيير أو نشر أو إصدار) مسماة في سجل المقاييس.
  • لسجل الحادثة حقل «سببها تغيير» مطلوب بلا قيمة افتراضية.
  • التراجعات والإصلاحات العاجلة والإصلاحات إلى الأمام موسومة في أدوات النشر أو التحكم في الإصدارات.
  • عمليات النشر التصحيحية تحمل رابطًا بالتغيير الذي تصلحه.
  • للتغيير الطارئ اختبار مكتوب قصير، وكل تغيير طارئ يُراجَع خلال عدد محدد من الأيام.
  • المعدلات تُظهر مع الأعداد ونافذة متحركة، لا نسبة مجردة أبدًا.
  • يُعرض معدل فشل التغيير دائمًا بجوار زمن الانتظار الكلي وتكرار النشر وزمن التعافي.
  • تدقيق عينة ربع سنوي يفحص أحكام الفشل والرابط بالحادثة.
  • تجري مراجعة شهرية بلا لوم للتغييرات الفاشلة، بمالك لكل إجراء.
  • لا مقياس في هذا الموضوع يُستخدم لترتيب الأفراد أو مراجعتهم.

موجِّهات الذكاء الاصطناعي

صغ تعريفًا مكتوبًا لفشل التغيير.

We operate [service or product type] with [team size] people and release
[frequency, for example several times a week]. Our tools are [change tool,
deployment tool, incident tool]. Draft a one-page definition of "failed change"
that states the unit (change, deployment, or release), the failure window, the
remediation routes that count (rollback, hotfix, roll-forward fix, linked
incident), and the exclusions. Include [number] worked examples, including
borderline cases. Do not invent benchmark values or thresholds; ask me for any
you need. List your assumptions.

صمم الرابط بين التغيير والحادثة.

Here is our incident record template: [fields]. Here is our change record
template: [fields]. Suggest how to record which change caused which incident,
including a required field, allowed values, who completes it, and how a review
should check it. Propose a way to suggest candidate changes automatically from
[available data, for example deploy times and service names]. Do not guess how our
tools are configured. List your assumptions and the questions I should answer.

حلّل قائمة تغييرات فاشلة بحثًا عن أنماط.

Below are [number] failed changes from [period], with these fields: [list fields,
for example size, type, day and time, service, remediation route, time to
restore]. Find patterns and possible contributing factors, and suggest up to
[number] small, reversible experiments to reduce failures. Keep the analysis at
the level of teams and services, and do not rank individuals. Do not invent
statistics or benchmark values. State how confident each pattern is given the
sample size, and list your assumptions.

افحص لوحة الفشل بحثًا عن مخاطر التلاعب.

Our dashboard shows [list of metrics, for example change fail rate, emergency
share, rollback rate, hotfix rate, rework rate] with these definitions:
[definitions]. For each metric, list plausible ways the number could improve
without the service improving, and a guardrail for each. Suggest two audit checks
a team of [team size] could run each quarter. Do not invent benchmark values or
compliance claims. List your assumptions.

مهارات الذكاء الاصطناعي

  • Service Management Metrics skill: استخدمها لمعرفة أي موضوع يعرّف مقياسًا ذا صلة، مثل زمن الانتظار الكلي أو مدة الحادثة، وحاجز الحماية الذي يوضع بجوار معدل الفشل.
  • Service Management Metrics maintainer skill: استخدمها للتحقق من أن مقياس فشل جديدًا أو منقحًا يذكر ساعته ومصدره ومسار تلاعبه.

أهم الخلاصات

  • معدل فشل التغيير لا يفوق جودة تعريفه، فاكتب تعريفًا بنافذة وأمثلة محلولة ووحدة مسماة.
  • اربط كل فشل بتغييره بحقل مطلوب في سجل الحادثة، وقِس معدل الربط.
  • عُدّ التراجعات والإصلاحات العاجلة والإصلاحات إلى الأمام والحوادث المرتبطة معًا، حتى لا تتهرب الفرق من المقياس بتبديل المسار.
  • اقرأ حصة التغيير الطارئ وإعادة العمل إشارات عن التخطيط والمسار العادي لا درجات.
  • أظهر الفشل دائمًا بجوار السرعة والتعافي، مع الأعداد ونافذة متحركة، ولا ترتّب الأشخاص أبدًا.

المراجع والقراءات الإضافية

  1. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  2. DORA, DORA's software delivery performance metrics, Google Cloud, https://dora.dev/guides/dora-metrics/
  3. Humble, J., and Farley, D., Continuous Delivery: Reliable Software Releases through Build, Test, and Deployment Automation, Addison-Wesley, 2010.
  4. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
  5. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  6. Wikipedia, ITIL.
  7. Wikipedia, Feature toggle.
  8. Wikipedia, Rollback (data management).
  9. Wikipedia, Hotfix.
  10. Wikipedia, Rework.
  11. Wikipedia, Continuous delivery.
  12. Wikipedia, Goodhart's law.
  13. Wikipedia, Regression testing.
  14. Wikipedia, Canary release.