مؤشرات SLI وأهداف SLO وميزانيات الأخطاء
يحوّل هدف مستوى الخدمة عبارة «موثوقة بما يكفي» إلى رقم يراه المستخدمون وفرق المنتج وفرق العمليات جميعًا، وتحوّل ميزانية الأخطاء التي يتركها ذلك الرقم إلى قرار مشترك قابل للإنفاق عن المخاطرة بدل جدال حول اللوم.
نظرة عامة والدافع
لكل خدمة مستوى موثوقية أصلًا، سواء قاسه أحد أم لا. إن لم يذكره أحد، يفترض المستخدمون مستوى، ويفترض فريق المنتج مستوى آخر، وتدافع العمليات عن ثالث. ويُكتشف الفرق أثناء انقطاع. يغطي هذا الموضوع الأفكار الثلاث المترابطة التي تستخدمها هندسة موثوقية المواقع (SRE) لسد تلك الفجوة: مؤشر مستوى الخدمة وهدف مستوى الخدمة وميزانية الأخطاء.
مؤشر مستوى الخدمة (service level indicator، SLI) قياس لجانب واحد من الخدمة كما يعيشه المستخدمون. تشمل الجوانب النموذجية هل نجح الطلب، وكم استغرق، وهل كانت البيانات المرجعة حديثة، وهل كانت صحيحة. المؤشر الجيد يُعبَّر عنه نسبةً: عدد الأحداث الجيدة مقسومًا على عدد الأحداث الصالحة، على نافذة معرَّفة. وهدف مستوى الخدمة (service level objective، SLO) هو الهدف لتلك النسبة على فترة، مثل «99.9 في المئة من طلبات الدفع الصالحة تنجح على 28 يومًا متحركة». وميزانية الأخطاء (error budget) هي ما يسمح الهدف بأن يسوء: 100 في المئة ناقص SLO. عند 99.9 في المئة، الميزانية 0.1 في المئة من الأحداث الصالحة.
تغير ميزانية الأخطاء الحوار. إن أنفقت الخدمة قليلًا من ميزانيتها، فللفريق مجال لإصدار أسرع وتجربة تغييرات خطرة وإجراء تجارب. وإن كادت الميزانية تنفد، يبطئ الفريق نفسه عمل الميزات وينفق جهدًا على الموثوقية حتى تتعافى الميزانية. يأتي القرار من رقم متفق عليه مسبقًا، فلا يعتمد على من هو الأكبر أو الأكثر إقناعًا في الاجتماع.
معدل الاستهلاك (burn rate) هو سرعة إنفاق الميزانية نسبةً إلى المعدل الذي سينفق كلها بالضبط بنهاية النافذة. معدل استهلاك 1 يعني أن الميزانية ستنفد بالضبط في نهاية النافذة. ومعدل 10 يعني أنها ستنفد في عُشر النافذة. ومعدل الاستهلاك الجسر من SLO إلى التنبيه، لأنه يقول كم تلح مشكلة بمصطلحات ما تكلفه الهدف.
تلتقي رؤيتا الأجايل وITIL هنا، وتستخدمان مفردات مختلفة لأفكار ذات صلة. في ITIL 4، إدارة مستوى الخدمة هي الممارسة التي تضع مستويات الخدمة وتقيسها وتبلّغ عنها، واتفاقية مستوى الخدمة (SLA) هي الاتفاقية الموثقة بين مزود وعميل (انظر الموضوع 5.1، مقاييس SLA وOLA وXLA). وSLO هدف داخلي أصرم عادة من SLA ويملكه الفريق الذي يدير الخدمة. تحمل SLA عواقب، مثل أرصدة أو غرامات. ويحمل SLO قاعدة قرار. تستخدم فرق الأجايل التي تملك خدماتها («أنت تبنيها، أنت تديرها») أهداف SLO لجعل كلفة الموثوقية مرئية في القائمة المتراكمة نفسها مع الميزات. ويمكن للفرق التي تتبع ممارسة ITIL معاملة مؤشرات SLI الصيغةَ القابلة للقياس لما يقول العملاء إنهم يحتاجونه، وSLO الهدف العامل الذي يحفظ SLA آمنًا.
التوافر (availability) أشهر مؤشرات SLI ويُغطى بالتفصيل في موضع آخر (انظر الموضوع 5.3، مقاييس التوافر). والكمون والصحة والحداثة والإنتاجية مرشحة أيضًا. المهارة في اختيار المؤشرات مما يهتم به المستخدمون لا مما هو سهل الجمع. استخدام وحدة المعالجة على خادم سهل الجمع ويقول القليل عن هل استطاع عميل الدفع. أما حصة طلبات الدفع المكتملة خلال ثانيتين فتقول الكثير. وللكمون، أبلِغ نسبًا مئوية (percentiles) لا متوسطات، لأن المتوسط يخفي الذيل البطيء الذي يلاحظه المستخدمون (انظر الموضوع 1.6، الثقافة الإحصائية لمقاييس الخدمة، والموضوع 5.4، مقاييس السعة والأداء).
المبادئ الأساسية
- ابدأ من المستخدم لا من الخادم. اختر مؤشرات تصف تجربة يتعرف إليها شخص، مثل «مر دفعي»، واعمل رجوعًا إلى ما يُقاس.
- هدف دون 100 في المئة قرار لا اعتراف. الموثوقية الكاملة غير قابلة للتحقيق وغير ميسورة، ولا يستطيع المستخدمون عادة التمييز بعد نقطة. تجعل الميزانية هذه المفاضلة صريحة.
- ضع الهدف مع من يعتمدون عليه. SLO اتفاقية مُتفاوض عليها بين المنتج والعمليات والعملاء، لا رقمًا يختاره فريق وحده.
- اتفق على العواقب قبل أن تنفد الميزانية. سياسة ميزانية أخطاء تُكتب في أسبوع هادئ تُتبع في أسبوع مجهد. وسياسة تُخترع أثناء انقطاع يُجادَل فيها.
- نبّه على الاستهلاك لا على كل ومضة. نادِ شخصًا فقط حين تُستهلك الميزانية بسرعة كافية لتهديد الهدف، ووجّه الاستهلاك الأبطأ إلى تذاكر.
- تصف أهداف SLO الخدمات، لا الأشخاص أبدًا. الميزانية تنتمي إلى خدمة وفريقها. وليست درجة لمهندس.
تعريفات المقاييس
تصف المقاييس أدناه منظومة SLO لخدمة. الأربعة الأولى نواة الممارسة، والأخيران يصفان صحة الممارسة نفسها. كل ساعة وحد مذكور في عمود الصيغة. «الأحداث الصالحة» هي الأحداث التي تُحتسب في SLI بعد الاستثناءات المتفق عليها في وثيقة SLO، مثل طلبات اختبارات الحمل للفريق نفسه، التي تُستثنى.
| المقياس | التعريف | الصيغة | الوحدة | مصدر البيانات | ممارسة ITIL | المقابل في الأجايل | التكرار |
|---|---|---|---|---|---|---|---|
| تحقيق SLI | حصة الأحداث الصالحة التي كانت جيدة، لمؤشر واحد لخدمة واحدة | الأحداث الجيدة / الأحداث الصالحة، للنافذة من بداية فترة الإبلاغ إلى نهايتها؛ الأحداث المستثناة بوثيقة SLO (اختبارات الحمل، الصيانة المجدولة المعلنة مسبقًا، إن نص SLO على ذلك) تُزال من البسط والمقام معًا | نسبة مئوية | قياس موزع الحمل أو التطبيق أو المسبار الاصطناعي عن بعد؛ منصة المراقبة أو قابلية الرصد | إدارة مستوى الخدمة؛ المراقبة وإدارة الأحداث | تعريف الإنجاز لقابلية التشغيل؛ مراجعة أصحاب المصلحة لصحة الخدمة | مستمر، يُبلَّغ يوميًا وبحسب النافذة |
| الامتثال لـ SLO | هل حقق SLI الهدف على نافذة SLO، وكم نافذة حديثة | النوافذ التي كان فيها تحقيق SLI عند الهدف أو أعلى / النوافذ المقيَّمة، على آخر 12 شهرًا؛ النافذة التي ما زالت مفتوحة تُستثنى | نسبة مئوية من النوافذ | تاريخ تحقيق SLI | إدارة مستوى الخدمة؛ التحسين المستمر | هدف الفريق أو اتفاقية العمل عن الموثوقية | شهري، مع اتجاه ربع سنوي |
| ميزانية الأخطاء المتبقية | الجزء من الميزانية الذي لم يُنفق بعد في النافذة الحالية | 1 - (الأحداث السيئة حتى الآن / الأحداث السيئة المسموحة للنافذة كلها)، حيث الأحداث السيئة المسموحة = (1 - SLO) × الأحداث الصالحة المتوقعة للنافذة كلها؛ تبدأ الساعة عند بداية النافذة وتتوقف عند نهايتها | نسبة مئوية من الميزانية | تحقيق SLI وتوقع الحجم | إدارة مستوى الخدمة؛ إدارة المخاطر | فحص جاهزية الإصدار؛ مدخل العمل المخطط | يومي، يُراجع أسبوعيًا |
| معدل الاستهلاك | سرعة إنفاق الميزانية نسبةً إلى معدل الإنفاق المتساوي | (الأحداث السيئة / الأحداث الصالحة على فترة رجوع) / (1 - SLO)؛ تُذكر فترة الرجوع، مثل ساعة أو 6 ساعات | نسبة (1 تعني على الميزانية بالضبط) | قياس SLI عن بعد بدقة زمنية دقيقة | المراقبة وإدارة الأحداث؛ إدارة الحوادث | قواعد التنبيه للاستدعاء؛ محرك التكتل | مستمر، يُقيَّم في قواعد التنبيه |
| الالتزام بسياسة الميزانية | كم مرة طُبقت العاقبة المتفق عليها حين بلغ محرك في سياسة ميزانية الأخطاء | المحركات في الفترة التي اتُّخذ فيها إجراء السياسة ضمن الزمن المتفق عليه / المحركات المبلوغة في الفترة؛ المحركات التي أُعفيت رسميًا بسبب مسجل تُعد على حدة ولا تُزال | نسبة مئوية | وثيقة السياسة وسجل القرارات وتاريخ القائمة المتراكمة | إدارة مستوى الخدمة؛ تمكين التغيير | اتفاقية العمل؛ متابعة اجتماعات المراجعة | ربع سنوي |
| تغطية SLO | حصة رحلات المستخدم الحرجة، أو الخدمات في النطاق، التي لها SLO حالي وSLI عامل | الخدمات أو الرحلات في النطاق التي لها SLO واحد على الأقل وصلت بيانات SLI له في آخر 7 أيام / الخدمات أو الرحلات في النطاق؛ «في النطاق» مسرود في كتالوج الخدمات (service catalogue بمصطلحات ITIL) | نسبة مئوية | كتالوج الخدمات وسجل SLO وتكوين المراقبة | إدارة كتالوج الخدمات؛ إدارة مستوى الخدمة | قائمة ملكية الفريق للخدمات | ربع سنوي |
فترة رجوع معدل الاستهلاك ونافذة SLO خياران. نافذة متحركة من 28 يومًا تغطي أسابيع كاملة. اذكر الخيار في وثيقة SLO وأبقِه ثابتًا، وإلا ضلل الاتجاه.
التوصيات
اختر المؤشرات مما يهتم به المستخدمون
1. ابدأ برحلات المستخدم الحرجة. اسرد الأشياء الثلاثة إلى الستة التي يجب أن يقدر المستخدم على فعلها لتستحق الخدمة الاستخدام، مثل تسجيل الدخول والبحث والدفع وتنزيل كشف. اكتب كلًا جملةً من جانب المستخدم. ثم اختر SLI الذي يُظهر هل كانت تلك الجملة صحيحة. هذا يُبقي أهداف SLO قليلة ويمنع كتالوجًا من مقاييس تقنية لا يقرؤها أحد.
2. عبّر عن كل SLI أحداثًا جيدة على أحداث صالحة. النسبة سهلة الشرح والتجميع والتحويل إلى ميزانية. عرّف «الجيد» بعتبة يقبلها المستخدمون، وعرّف «الصالح» بحيث تُستثنى بطريقة موثقة الحركة التي لا تستطيع خدمتها بمعقولية، مثل الطلبات المحجوبة للإساءة. اكتب التعريفين في وثيقة SLO، لأن المقام هو حيث يختبئ معظم الخلافات.
3. قِس قريبًا من المستخدم بقدر ما هو عملي. معدل نجاح من جانب الخادم قد يكون مثاليًا بينما مشكلة شبكة أو عميل تجعل الخدمة غير قابلة للاستخدام. قِس عند موزع الحمل أو الحافة، وأضف مسبارًا اصطناعيًا أو قياسًا من جانب العميل للرحلات الأهم. لكل نقطة قياس كلفة ونقطة عمياء، فسجّل أيها يستخدمها كل SLI (انظر الموضوع 1.5، مصادر البيانات وأدوات القياس).
4. استخدم النسب المئوية للكمون، بعتبة. «95 في المئة من طلبات البحث تكتمل خلال أقل من 800 ميلي ثانية» SLI. أما «متوسط الكمون» فليس كذلك، لأن بضعة طلبات سريعة قد تعوض كثيرًا من البطيئة. وحيث يفيد، استخدم عتبتين، مثل وسيط والنسبة المئوية 99، لأن الذيل البطيء يشكل إحساس الخدمة (انظر الموضوع 5.4، مقاييس السعة والأداء).
ضع أهدافًا يستطيع الناس الدفاع عنها
5. ضع أول SLO من الأداء الحالي وحاجة المستخدم، ثم شدّد. قِس SLI بضعة أسابيع، واسأل المستخدمين وموظفي الدعم أي مستوى يلاحظون، وضع هدفًا تستطيع الخدمة تحقيقه اليوم مع بعض الفسحة. هدف موضوع أعلى بكثير من الأداء الحالي انتهاك دائم، ويتوقف الناس عن النظر إليه. وهدف أدنى بكثير مما يحصل عليه المستخدمون يترك الجودة تتدهور دون أن تُرى. أعد النظر فيه بعد ربع.
6. أبقِ SLO أصرم من SLA، وأبقهما منفصلين. إن وعدت اتفاقية عميل بـ99.5 في المئة، فقد يكون هدف الفريق 99.9 في المئة، لتنفد الميزانية قبل تجاوز الخط التعاقدي. لا تجعل SLO وSLA الرقم نفسه، ولا تبلّغ أحدهما بوصفه الآخر. الاتفاقية وثيقة تجارية وقانونية، والهدف قاعدة قرار هندسية (انظر الموضوع 5.1، مقاييس SLA وOLA وXLA).
7. احسب التبعيات. لا تستطيع خدمة أن تكون أوثق مما تعتمد عليه، ما لم تتدهور برشاقة. اسرد التبعيات الرئيسية، بما فيها الموردون، واسأل ماذا يعني أداؤها الفعلي لهدفك.
أدِر الميزانية أداة قرار
8. اكتب سياسة ميزانية أخطاء قبل أن تحتاجها. تقول السياسة ما يحدث عند مستويات استهلاك محددة. نسخة بسيطة بثلاث خطوات: تشغيل عادي ما دامت الميزانية باقية، ومراجعة إضافية للتغييرات الخطرة وأولوية لعمل الموثوقية حين تُنفق حصة معلنة، وإيقاف إصدارات الميزات غير الأساسية حين تنفد حتى تتعافى الميزانية. سمِّ من يستطيع منح استثناء وكيف يُسجَّل. وينبغي أن يوقّعها قادة المنتج والعمليات كلاهما، لتنطبق السياسة على الجانبين بالتساوي.
9. أنفق الميزانية عن قصد. ميزانية لا تُمس أبدًا توحي بأن الهدف صارم جدًا أو الفريق حذر جدًا. استخدم الميزانية الفائضة للتجارب ووتيرة إصدار أسرع وطروح كنارية ومفاتيح الميزات (feature toggles) التي تتيح الاختبار في الإنتاج بتعرض محدود، واستخدم الإصدارات الكنارية (canary releases) لالتقاط المشكلات بينما تتأثر حصة صغيرة من المستخدمين فقط. عامل الميزانية غير الممسوسة باستمرار مطالبةً بالسؤال هل يطابق الهدف ما يحتاجه المستخدمون (انظر الموضوع 4.5، مقاييس الإصدار والنشر).
10. نبّه على معدلات استهلاك متعددة. الاستهلاك السريع، مثل معدل يكفي لإنفاق حصة كبيرة من الميزانية خلال ساعة، ينادي شخصًا. والاستهلاك البطيء، مثل معدل معتدل ما زال سينفد الميزانية خلال أيام، يخلق تذكرة لساعات العمل. استخدام نافذتي رجوع أو أكثر يلتقط الإخفاقات المفاجئة والتسريبات البطيئة، ويقلل النداءات لومضات وجيزة تكلف ميزانية قليلة. يشرح فصل «التنبيه على SLO» في Site Reliability Workbook النمط، وينبغي ضبط العتبات لخدمتك لا نسخها (انظر الموضوع 5.5، مقاييس جودة المراقبة والتنبيهات).
11. اربط الحوادث والمشكلات والتعلم بالميزانية. بعد حادثة، سجّل كم ميزانية استهلكت بجوار مدتها وأثرها. استخدم هذا الرقم لترتيب سجل المشكلة وإجراءات المتابعة (انظر الموضوع 4.1، مقاييس إدارة المشكلات، والموضوع 4.2، مقاييس مراجعات ما بعد الحادثة والتعلم). وكلفة الميزانية تعطي مراجعات الحوادث الكبرى وحدة مشتركة لمقارنة إخفاقات مختلفة جدًا (انظر الموضوع 3.4، مقاييس الحوادث الكبرى).
أبقِ الممارسة صادقة وحية
12. راجع أهداف SLO مقابل الواقع كل ربع. قارن SLO بتواصل الدعم والشكاوى ونتائج الرضا. إن كان المستخدمون غير راضين بينما SLO أخضر، فـSLI خاطئ أو الهدف فضفاض جدًا. وإن كان SLO أحمر ولا يشكو أحد، فقد يكون الهدف صارمًا جدًا. سجّل كل تغيير وسببه، وأظهر التغيير على مخطط الاتجاه (انظر الموضوع 6.2، اتفاقيات مستوى التجربة).
مسارات التلاعب وحواجز الحماية
| المقياس | كيف يُتلاعب به | حاجز الحماية أو الممارسة المقترنة |
|---|---|---|
| تحقيق SLI | تضييق الأحداث «الصالحة» حتى تختفي الإخفاقات، مثل استثناء الطلبات المعاد محاولتها أو فئات خطأ كاملة؛ قياس أصح مكوّن فقط؛ المسح من موقع مواتٍ فقط | انشر تعريف SLI واستثناءاته في وثيقة SLO مع سجل تغييرات؛ قارن SLI بتواصل الدعم وشكاوى المستخدمين؛ مراجعة منتظمة للأحداث المستثناة وحجمها |
| الامتثال لـ SLO | وضع الهدف منخفضًا بما يكفي لينجح دائمًا؛ تغيير طول النافذة بعد فترة سيئة؛ إعادة تعريف انتهاك فترة صيانة | الهدف يوضع مع مدخلات المستخدمين ويُراجَع بجدول؛ النافذة ثابتة في الوثيقة؛ عدد الاستثناءات والتغييرات غير المخططة للنافذة يُبلَّغ بجوار الامتثال |
| ميزانية الأخطاء المتبقية | إعادة تصنيف الأحداث السيئة مستثناة؛ تضخيم الحجم المتوقع فيبدو العدد السيئ المسموح أكبر؛ إعادة ضبط النافذة مبكرًا | الأحداث السيئة المسموحة تُحسب من الحجم الفعلي عند نهاية النافذة؛ حجم الأحداث المستثناة يُظهر بجوار الميزانية؛ تواريخ النافذة ثابتة مسبقًا |
| معدل الاستهلاك | ضبط عتبات التنبيه بحيث لا يُطلق الاستهلاك أبدًا؛ استخدام رجوع طويل جدًا فيتلاشى الاستهلاك السريع في المتوسط | اختبار تغطية التنبيه باستخدام حوادث سابقة («هل كانت هذه القاعدة ستنادي؟»)؛ معدل التنبيهات القابلة للتنفيذ وعدد الاكتشافات الفائتة (انظر الموضوع 5.5، مقاييس جودة المراقبة والتنبيهات) |
| الالتزام بسياسة الميزانية | منح الاستثناءات بشكل روتيني؛ كتابة سياسة بمحركات لا تُبلغ أبدًا؛ عدّ تذكرة موثوقية رمزية إجراء سياسة | الاستثناءات تُعد وتُراجَع على حدة؛ حصة الاستثناءات في الفترة؛ عمل الموثوقية المنجز (انظر الموضوع 4.1، مقاييس إدارة المشكلات) |
| تغطية SLO | إضافة SLO تافه لكل خدمة لرفع النسبة؛ عدّ رحلة مغطاة حين لا تتدفق بيانات | فحص حداثة بيانات SLI (وصلت البيانات في آخر 7 أيام)؛ مراجعة هل يغطي SLO رحلة حرجة لا نقطة نهاية ثانوية |
القراءة السليمة تُظهر SLI يتتبع ما يبلّغ عنه المستخدمون، وهدفًا يُفوَّت أحيانًا ويُحقق براحة أحيانًا، وميزانية تُنفق عن قصد. تُطبق السياسة حين يُبلغ محركها، والاستثناءات نادرة ومسجلة، وكل تغيير تعريف مرئي على المخطط. أما خدمة دائمًا عند 100 في المئة من الميزانية المتبقية، أو أخرى دائمًا منتهكة، فتستحق حوارًا عن الهدف، لا مديحًا أو لومًا. وتذكر أن أي رقم منفرد مطالبة بسؤال (انظر الموضوع 1.2، قانون غودهارت وسيكولوجية المقاييس).
المفاضلات: الإيجابيات والسلبيات
| النهج | نقطة القوة | نقطة الضعف |
|---|---|---|
| مؤشرات SLI لرحلة المستخدم | تطابق ما يشعر به المستخدمون؛ قليلة العدد؛ سهلة الشرح لغير المهندسين | تحتاج جهدًا لقياسها من البداية إلى النهاية؛ قد تفوتها أعطال داخلية لم تصل بعد إلى المستخدمين |
| مؤشرات SLI للمكوّن أو المورد (وحدة المعالجة، الذاكرة، عمق الطابور) | رخيصة الجمع؛ مفيدة للتشخيص والسعة | بدائل ضعيفة لتجربة المستخدم؛ تنتج تنبيهات كثيرة لا تهم |
| نافذة متحركة | سلسة؛ لا هاوية في نهاية الشهر؛ دائمًا حالية | أصعب شرحًا للتنفيذيين من شهر تقويمي؛ اليوم السيئ يبقى في النافذة كلها |
| التنبيه بمعدل الاستهلاك | ينادي حين يكون الهدف في خطر حقيقي؛ إنذارات كاذبة أقل | أعقد إعدادًا واختبارًا؛ العتبات تحتاج ضبطًا لكل خدمة |
اختر مؤشرات قليلة، وضعها مع المستخدمين، ودع الميزانية تقرر وتيرة التغيير. الصرامة الصحيحة هي أرخى هدف يُبقي المستخدمين راضين، لأن كل تسعة إضافية تكلف أكثر من سابقتها.
أسئلة للنقاش مع فريقك
1. ماذا يحتاج مستخدم هذه الخدمة أن يستطيع فعله، وكيف سنعرف لو لم يستطع؟ اطلب من كل شخص كتابة أهم ثلاثة أشياء يفعلها مستخدم بالخدمة، دون النظر إلى أي لوحة. قارن القوائم ودوّن الفروق بين المنتج والعمليات والدعم. ثم اسأل أي رحلة منها لها SLI حاليًا. على الميسّر أن يبحث عن رحلات مهمة بلا قياس وقياسات لا تصف رحلة.
2. لو كان SLO عندنا 99.9 في المئة وحققناه، فهل سيكون المستخدمون سعداء، وكيف نعرف؟ ضع SLO الحالي بجوار الربع الأخير من تواصل الدعم والشكاوى ونتائج الرضا. اسأل هل يتفقان. إن كان SLO أخضر والمستخدمون غير راضين، فـSLI أو الهدف يحتاج عملًا. وإن كان المستخدمون راضين وSLO أحمر، فقد يكون الهدف أصرم مما يحتاجه أحد. اتفقوا على إجراء واحد يقرّب الهدف من التجربة.
3. ماذا سنفعل فعلًا بشكل مختلف لو نفدت ميزانية الأخطاء؟ اقرأ سياسة ميزانية الأخطاء الحالية بصوت عالٍ، أو صغ واحدة معًا إن لم توجد. اسأل من سيوقف ماذا، ومن لديه السلطة لمنح استثناء. على الميسّر الضغط نحو إجراءات ملموسة، مثل إيقاف الإصدارات غير الأساسية ونقل أشخاص مسمّين إلى عمل الموثوقية، بدل النوايا العامة. سياسة لا يصدق أحد أنها ستُتبع أسوأ من لا سياسة.
4. متى آخر مرة خاطرنا لأن لدينا ميزانية فائضة؟ ناقشوا هل يستخدم الفريق ميزانيته أم يحرسها فقط. انظروا إلى الربع الأخير: هل كانت فترة الميزانية فيها غير ممسوسة تقريبًا بينما الإصدارات بطيئة؟ اسأل ماذا كان الفريق سيجرب لو علم أنه آمن. يُظهر هذا السؤال فرط الحذر، وكثيرًا يشير الجواب إلى إصدار كناري أو مفتاح أو خط أنابيب أسرع يتيح للفريق استخدام ميزانيته جيدًا.
5. أي تنبيهاتنا كانت ستُطلق في الوقت المناسب لآخر حادثة سيئة، وأيها كانت ستُطلق دون سبب؟ خذ آخر حادثة مهمة وأعد تشغيل تاريخ التنبيهات مقابلها. عُدّ النداءات التي وصلت، وكم بعد بدء الأثر، وكم نداءً وصل لأحداث كلفت ميزانية قليلة جدًا. ناقشوا هل كانت تنبيهات معدل الاستهلاك ستؤدي أفضل. الغاية قائمة قصيرة بتغييرات التنبيه، لكل منها مالك، لا نقاش لوم عمن كان مناوبًا.
6. من يملك كل SLO، ومتى غيّرنا واحدًا عن قصد آخر مرة؟ اسرد أهداف SLO واكتب المالك بجانب كل منها، فريقًا أو دورًا. اسأل متى رُوجع كل منها وماذا تغير. SLO لم يلمسه أحد سنة علامة على أنه لم يعد يفيد القرارات. اتفقوا على تاريخ مراجعة لكل منها، واتفقوا على من له الحق في سحب SLO توقف عن الفائدة.
أربعة منظورات
فرق المنتج والتسليم
تكسب فرق التسليم قاعدة واضحة لكم بسرعة تتحرك. حين تبقى ميزانية، تستطيع الإصدار أكثر وتجربة تغييرات أجرأ. وحين تنخفض، تضع عمل الموثوقية على القائمة المتراكمة دون تفاوض طويل. وعليها أن تساعد في اختيار المؤشرات لأنها تعرف أي الرحلات تهم، وأن تجهز الميزات الجديدة بالقياس مع وضع SLI في الحسبان من البداية (انظر الموضوع 2.8، مقاييس DORA). الميزانية مورد فريق للتخطيط به، لا رقمًا يُخفى.
فرق الخدمة والعمليات
تستخدم فرق العمليات أهداف SLO لتقرير ما يستحق نداءً وما يستطيع الانتظار حتى الصباح. يقلل التنبيه بمعدل الاستهلاك الضجيج ويربط عمل الاستدعاء بما يشعر به المستخدمون (انظر الموضوع 5.7، مقاييس العمل الروتيني المرهق والمناوبة). وهي تُبقي تعريفات SLI صادقة، وتصون القياس خلفها، وتسجل كلفة الميزانية في سجلات الحوادث والمشكلات.
القيادة والحوكمة
على القادة طرح ثلاثة أسئلة: ما الهدف، وكم بقي من الميزانية، وماذا سنفعل إن نفدت؟ يوقّعون سياسة ميزانية الأخطاء ويدعمون الفريق حين تقول السياسة أن يبطئ. ويتجنبون تحويل الامتثال لـ SLO إلى مقياس مكافأة، فيدعو إلى تضييق التعريفات ووضع أهداف رخوة.
العملاء والمستخدمون
يستفيد العملاء حين يعكس الهدف ما يحتاجونه وحين يستطيعون رؤية أداء الخدمة مقابله. وينبغي استشارتهم حين يوضع الهدف، لأن تحملهم للبطء أو التوقف يختلف بحسب المهمة ووقت اليوم. وتتحقق مقاييس التجربة، مثل الرضا والجهد، من أن SLO يلتقط ما يشعرون به (انظر الموضوع 6.1، مقاييس رضا العملاء).
في الممارسة: مثال من إدارة الخدمات
لدى متجر تجزئة إلكتروني متوسط الحجم فريق دفع وفريق منصة ومكتب خدمة. خدمة الدفع حرجة للأعمال. جميع الأرقام في هذا المثال توضيحية.
يعرّف الفريق SLI واحدًا لرحلة «ادفع لطلب»: حصة طلبات الدفع الصالحة التي تُرجع نجاحًا خلال ثانيتين، مقيسة عند موزع الحمل. تستثني الطلبات الصالحة اختبارات الحمل للفريق نفسه والطلبات التي ترفضها خدمة الاحتيال بالتصميم. وSLO هو 99.9 في المئة على 28 يومًا متحركة. تحمل النافذة 12,000,000 طلب صالح متوقع، فالميزانية 12,000 طلب سيئ (0.1 في المئة). سياسة ميزانية الأخطاء، التي وقّعها رئيس المنتج ورئيس المنصة، لها ثلاثة مستويات: عند إنفاق 50 في المئة من الميزانية، تحتاج التغييرات الخطرة مراجعًا ثانيًا وطرحًا كناريًا؛ وعند 75 في المئة، يأخذ عمل الموثوقية الأولوية في حوار التخطيط التالي؛ وعند 100 في المئة، تتوقف إصدارات الميزات غير الأساسية حتى تتعافى الميزانية.
في اليوم العاشر من النافذة يرى الفريق 7,800 طلب سيئ من نحو 4,285,714 متوقعًا حتى الآن، مما يعطي تحقيق SLI نحو 99.82 في المئة، و65 في المئة من الميزانية مُنفقة، ونافذة انقضى منها 36 في المئة فقط. معدل الاستهلاك على الفترة نحو 1.8، فبهذه الوتيرة تنفد الميزانية نحو اليوم 15. نشر سيئ مسؤول عن 5,000 من الإخفاقات. يُظهر سجل الحادثة أن الفشل استمر 22 دقيقة، وتحدد مراجعة الحادثة الكبرى فحصًا مفقودًا في خط الأنابيب، وتُسجَّل كلفة الميزانية للحادثة في سجل المشكلة (انظر الموضوع 4.1، مقاييس إدارة المشكلات).
يتبع الفريق السياسة. يُطبق إجراء المستوى الثاني فورًا، فتحتاج التغييرات الخطرة طرحًا كناريًا، وينقل اجتماع التخطيط فحص خط الأنابيب إلى رأس طابور العمل. ويقبل مالك المنتج إيقاف ميزة ترويجية غير عاجلة. وبحلول اليوم 28، تكون الميزانية 94 في المئة مُنفقة، وينهي الفريق النافذة ضمن الهدف.
يظهر خطر التلاعب في المراجعة. أبلغ فريق آخر، يدير خدمة البحث للمتجر، عن 99.95 في المئة للربع بينما سجّل مكتب الخدمة ارتفاعًا في تواصل «البحث لا يعمل». عند التحقيق، وجد فريق المنصة أن فريق البحث أعاد تعريف «الصالح» لاستثناء الطلبات المعاد محاولتها خلال 5 ثوانٍ، مما أزال إخفاقات حقيقية كثيرة. استعادت المراجعة التعريف الأصلي وأعادت صياغة الربع وأضافت حاجزي حماية: أي تغيير في تعريف يُسجَّل في وثيقة SLO بسبب، ويُقارَن تحقيق SLI بتواصل الدعم كل شهر. لم يكذب أحد، إذ أُجري التغيير لتقليل الضجيج، فكان الإصلاح تعريفًا أوضح لا توبيخًا.
الأجايل والذكاء الاصطناعي والأتمتة والتحليلات
الأجايل
تحول ميزانية الأخطاء الموثوقية قرارًا مشتركًا مع أصحاب مصلحة المنتج، وتلائم التسليم المستمر بإظهار كم مخاطرة يستطيع الفريق إنفاقها. راجع الأهداف بإيقاع منتظم. والتحذير أن SLO لم يتفق عليه أحد مع المستخدمين تخمين.
الذكاء الاصطناعي
تحتاج ميزات الذكاء الاصطناعي مؤشراتها الخاصة، مثل الصحة والكمون، لا التوافر فقط، وينبغي أن يقول الهدف كيف تُحتسب إجابة خاطئة. اقرن توافر الذكاء الاصطناعي بمؤشر جودة مقيس بالعينات. والتحذير أن خدمة تجيب بسرعة بجواب خاطئ قد تحقق SLO للتوافر بينما تخذل المستخدمين.
الأتمتة
احسب المؤشرات ومعدل الاستهلاك تلقائيًا من القياس عن بعد، ونبّه على معدل الاستهلاك لا على كل ومضة. وقِس التنبيه نفسه بالتنبيهات الفائتة والكاذبة. والتحذير أن تجميد الميزانية الآلي قد يعطل عملًا مفيدًا، فأبقِ قرارًا بشريًا في السياسة.
التحليلات
اختر مؤشرات يشعر بها المستخدمون وأظهر النافذة وعدد الأحداث خلف كل منها. والقرار الذي يفيد فيه هو متى يُبطأ التغيير أو يُستثمر في الموثوقية. والتحذير أن النافذة القصيرة تعطي ميزانية متقلبة، فاذكر النافذة.
منظور القطاعات
الشركات الناشئة. ابدأ بـSLO واحد لأهم رحلة، مقيس عند الحافة، بسياسة بسيطة تتسع في صفحة. لا تبنِ منصة لعشرات أهداف SLO. تساعد الميزانية فريقًا صغيرًا على الجدال أقل حول هل يُشحن يوم الجمعة.
الأعمال الصغيرة. كثيرًا ما تعتمد الأعمال الصغيرة على أدوات مستضافة وموردين، فقد يأتي SLI من بيانات حالة المورد أو مسبار خارجي بسيط. اقرأ مستويات خدمة المورد كتابةً وتحقق منها مقابل احتياجاتك.
المؤسسات الكبرى. كثرة الخدمات والفرق والموردين ترفع رهان الاتساق. وفّر قالبًا مشتركًا لوثائق SLO وسجلًا مشتركًا وطريقة قياسية لحساب التحقيق والميزانية، ليستطيع القادة المقارنة والتجميع دون جدال حول التعريفات. أبقِ SLO مملوكًا لفريق الخدمة والسجل منظَّمًا مركزيًا.
الحكومة والقطاع العام. يجب غالبًا أن تحقق الخدمات أهدافًا نظامية أو منشورة، وقد يُبلَّغ عن الفشل علنًا. أبقِ الالتزام التعاقدي أو النظامي منفصلًا عن الهدف الداخلي، وتأكد من أن SLO الداخلي أصرم. وثّق تعريف SLI والاستثناءات ونسب البيانات للتدقيق، وخطط لإتاحة الوصول وللمستخدمين الذين لا يستطيعون اختيار مزود بديل (انظر الموضوع 8.5، التقارير التنظيمية والحكومية).
مبررات الأعمال: الدوافع والعائد على الاستثمار والتكلفة الإجمالية للملكية
الدافع جدالات أقل وقرارات أفضل عن الموثوقية. بدون هدف، ينافس عمل الموثوقية الميزات بقوة من يجادل أعلى صوتًا. ومع هدف وميزانية، تكون المفاضلة مرئية ومتفقًا عليها مسبقًا، ويحصل المستخدمون على خدمة بقدر الموثوقية التي يحتاجونها، دون أن يدفع الفريق ثمن موثوقية فوق ذلك.
للكلفة أربعة أجزاء. الأول التصميم: ورش لاختيار الرحلات والمؤشرات والأهداف وكتابة السياسة. والثاني القياس: قياس عن بعد في المكان الصحيح ومسابير وخط معالجة يحول الأحداث إلى تحقيق وميزانية (انظر الموضوع 1.5، مصادر البيانات وأدوات القياس). والثالث التشغيل: قواعد تنبيه ولوحة ومراجعة ربع سنوية ووقت لإبقاء التعريفات حديثة. والرابع كلفة الفرصة حين توقف السياسة عمل الميزات، وهي كلفة الوفاء بالاتفاقية وسبب الاتفاق عليها قبل أن يأتي الضغط.
يظهر العائد في أنماط يستطيع الفريق تتبعها بنفسه: نداءات أقل لم تتطلب إجراءً، ونقاشات أقصر حول الإصدار، وعمل موثوقية مجدول قبل نفاد الميزانية لا بعد حادثة كبرى، ومفاجآت أقل للعملاء. صف الفائدة بمقارنة أرقام الفريق نفسه قبل وبعد، مثل النداءات لكل مناوبة وحصة الميزانية التي استهلكتها أكبر حادثة.
الأنماط المضادة والمزالق
- أهداف SLO كثيرة جدًا. عشرات الأهداف تشتت الانتباه ولا يستطيع أحد قول أيها يهم. ابدأ برحلات المستخدم الحرجة واسحب الباقي.
- SLO يساوي SLA. إبلاغ رقم واحد بوصفه الاثنين يزيل هامش الأمان ويخلط قاعدة هندسية بوعد تجاري. أبقِ الهدف أصرم من الاتفاقية.
- سياسة لا تُنفذ أبدًا. إن نفدت الميزانية ولم يتغير شيء، تفقد الممارسة مصداقيتها. اجعل القادة يوقعون السياسة وسجّل كل استثناء بسببه.
- استخدام الميزانية بطاقة أداء للأشخاص. ترتيب المهندسين أو موظفي الاستدعاء بالميزانية المنفقة يجعل الناس يخفون الحوادث ويضيقون التعريفات. انسب الميزانية إلى الخدمة وناقش الأسباب على مستوى النظام (انظر الموضوع 1.2، قانون غودهارت وسيكولوجية المقاييس).
- التنبيه على كل هبوط. النداء على الأعراض الخام يخلق إرهاق التنبيهات ويدرّب الناس على تجاهل النداءات. نادِ على معدل الاستهلاك وأرسل الاستهلاك البطيء إلى تذاكر.
- الوضع والنسيان. SLO لا يراجعه أحد ينجرف بعيدًا عما يحتاجه المستخدمون. جدول مراجعة ربع سنوية وسجّل ما تغير ولماذا.
نموذج النضج
| البُعد | 1 البدء | 2 التطوير | 3 التوحيد | 4 الإدارة | 5 التنسيق |
|---|---|---|---|---|---|
| المؤشرات والأهداف | الموثوقية موصوفة بالكلمات؛ يُبلَّغ زمن تشغيل الخوادم | بعض الفرق تعرّف مؤشرات SLI؛ الأهداف تختلف ونادرًا ما تُراجَع | لرحلات المستخدم الحرجة مؤشرات SLI وأهداف SLO موثقة في قالب مشترك | تُتتبَّع الأهداف اتجاهًا وتُفحص مقابل ملاحظات المستخدمين وتُشد أو تُرخى بالدليل | الأهداف متفق عليها مع العملاء والموردين ومتوافقة مع الخدمات المعتمِدة والعقود |
| ميزانية الأخطاء والسياسة | لا ميزانية؛ الموثوقية مقابل الميزات تُقرَّر بالجدال | ميزانية محسوبة لبعض الخدمات؛ لا عواقب متفق عليها | سياسة مكتوبة يوقعها المنتج والعمليات، بمحركات معرَّفة | يُقاس الالتزام بالسياسة، وتُراجَع الاستثناءات، وتفيد الميزانية تخطيط الإصدار | قرارات الميزانية منسقة عبر الفرق التي تتشارك التبعيات؛ السياسة تُنقَّح مع تغير الظروف |
| التنبيه والاستجابة | تنبيهات عتبات على موارد خام؛ نداءات كثيرة | بعض تنبيهات معدل الاستهلاك؛ عتبات منسوخة من أمثلة | تنبيهات معدل استهلاك متعددة النوافذ لأهداف SLO الرئيسية، مع تذاكر للاستهلاك البطيء | تُقاس جودة التنبيه وتُضبط باستخدام حوادث سابقة | التنبيه متوافق عبر سلاسل الخدمة، والتحسين تقوده مراجعات مشتركة |
قائمة التحقق
- رحلات المستخدم الحرجة للخدمة مسرودة، كل منها مكتوب من جانب المستخدم.
- كل SLI معرَّف أحداثًا جيدة على أحداث صالحة، مع استثناءات مكتوبة.
- مؤشرات الكمون تستخدم نسبًا مئوية وعتبة معلنة، لا متوسطات.
- كل SLO يذكر هدفه ونافذته وأين يُقاس SLI.
- SLO أصرم من أي SLA، ويُبلَّغ كل منهما على حدة.
- توجد سياسة ميزانية أخطاء يوقعها قادة المنتج والعمليات وتسمي من يستطيع منح استثناءات.
- تنبيهات معدل الاستهلاك تستخدم فترتي رجوع على الأقل، والاستهلاك البطيء ينشئ تذاكر لا نداءات.
- يُظهر كل سجل حادثة الميزانية التي استهلكها.
- يُقارَن تحقيق SLI بتواصل الدعم ونتائج الرضا كل شهر.
- لكل SLO مالك (فريق أو دور) وتاريخ مراجعة، والتغييرات مسجلة بأسبابها.
- لا نتيجة SLO تُستخدم لترتيب الأفراد أو مكافأتهم.
موجِّهات الذكاء الاصطناعي
صغ مؤشرات SLI مرشحة من رحلات المستخدم.
I run [service name], used by [type of users] to do [list of critical user
journeys]. We can measure at [list of measurement points, for example load
balancer, application logs, synthetic probe]. For each journey, propose one or two
candidate SLIs written as good events over valid events, with a suggested
definition of "good," "valid," and exclusions. Note the strengths and blind spots
of each measurement point. Do not invent target values or benchmarks; ask me what
users tolerate. List your assumptions.
صغ سياسة ميزانية أخطاء.
Help me draft an error budget policy for [service name] with an SLO of [target]
over [window]. Stakeholders are [product role] and [operations role]. Propose
trigger levels, the action at each, who may grant an exception and how it is
recorded, and how the policy is reviewed. Keep it to one page and flag decisions
that need a human sponsor. Do not invent thresholds from other organizations;
present options and trade-offs. List your assumptions.
راجع SLO بحثًا عن مخاطر التلاعب.
Here is our SLO document for [service name]: [paste SLI definition, exclusions,
target, window, and change log]. Identify ways the SLI could be narrowed, the
window or target changed, or events excluded in a way that would make results look
better than the user experience. For each risk, suggest a guardrail metric or
practice. Do not assume intent. List your assumptions and the questions I should
answer.
مهارات الذكاء الاصطناعي
- Service Management Metrics skill: استخدمها لإيجاد المواضيع ذات الصلة، مثل التوافر وجودة التنبيه والحوادث الكبرى، وحاجز الحماية الذي ينبغي أن يجلس بجوار كل مقياس SLO.
- Service Management Metrics maintainer skill: استخدمها للتحقق من أن تعديلات هذا الموضوع تُبقي كل مقياس في جدول التلاعب وكل إحالة بعنوانها.
أهم الخلاصات
- اختر مؤشرات SLI قليلة مما يفعله المستخدمون، وعبّر عن كل منها أحداثًا جيدة على أحداث صالحة.
- SLO دون 100 في المئة قرار عن المخاطرة، وميزانية الأخطاء هي المجال الذي يتركه ذلك القرار للتغيير.
- اكتب سياسة ميزانية الأخطاء مسبقًا، ووقّعها على مستوى القيادة، وسجّل كل استثناء.
- نبّه على معدل الاستهلاك بأكثر من نافذة رجوع، لتعكس النداءات خطرًا حقيقيًا على الهدف.
- احرس التعريفات: سجّل كل تغيير، وقارن نتائج SLI بما يبلّغ عنه المستخدمون.
- انسب الميزانية إلى الخدمات والفرق، لا الأفراد أبدًا، وراجع كل SLO ربعيًا على الأقل.
المراجع والقراءات الإضافية
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Jones, C., Wilkes, J., Murphy, N., and Smith, C., "Service Level Objectives," chapter 4 in Site Reliability Engineering, O'Reilly Media, 2016, https://sre.google/sre-book/service-level-objectives/
- Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018, https://sre.google/workbook/table-of-contents/
- "Implementing SLOs," chapter 2 in The Site Reliability Workbook, O'Reilly Media, 2018, https://sre.google/workbook/implementing-slos/
- "Alerting on SLOs," chapter 5 in The Site Reliability Workbook, O'Reilly Media, 2018, https://sre.google/workbook/alerting-on-slos/
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, Site reliability engineering.
- Wikipedia, Service level indicator.
- Wikipedia, Service-level objective.
- Wikipedia, Service-level agreement.
- Wikipedia, Availability.
- Wikipedia, Percentile.
- Wikipedia, Feature toggle.
- Wikipedia, Canary release.