ভূমিকা ও প্রেক্ষাপট

পর্যবেক্ষণ হলো একটি ব্যবস্থা সম্পর্কে রিয়েল-টাইম তথ্যের সংগ্রহ, প্রক্রিয়াকরণ ও প্রদর্শন। সিস্টেম মনিটরিং (system monitoring) উত্তর দেয় "সেবা কি ব্যবহারকারীদের যেভাবে দরকার সেভাবে কাজ করছে?" প্রশ্নের। একটি সতর্কবার্তা হলো সেই বিন্দু যেখানে সেই তথ্য একজন মানুষকে কিছু করতে বলে। বেশিরভাগ দল প্রথম কাজ খারাপভাবে বা একেবারেই মাপে না, এবং দ্বিতীয়টি মাপে কেবল অভিযোগের মাধ্যমে। এই বিষয় দুটির জন্য পরিমাপের একটি ছোট সংগ্রহ দেয়: পর্যবেক্ষণ যে ব্যর্থতা গুরুত্বপূর্ণ তা দেখে কি না, এবং তার তোলা সতর্কবার্তা তা দাবি করা মনোযোগের যোগ্য কি না।

প্রথমে কিছু শব্দ। ITIL 4-এর শব্দভান্ডারে একটি ইভেন্ট হলো একটি সেবা পরিচালনার জন্য তাৎপর্যপূর্ণ অবস্থার পরিবর্তন, এবং ইভেন্ট ব্যবস্থাপনা হলো ইভেন্ট শনাক্ত করা, কোনটি গুরুত্বপূর্ণ ঠিক করা, এবং সাড়া বাছার চর্চা। একটি সতর্কবার্তা হলো একজন মানুষের কাছে বিজ্ঞপ্তি, একটি পেজ, বার্তা বা টিকিট হিসেবে পৌঁছানো। একটি পেজ হলো এমন সতর্কবার্তা যা সঙ্গে সঙ্গে কাউকে বিরতি দেয়। একটি মিথ্যা ইতিবাচক (false positive) হলো এমন সতর্কবার্তা যা কিছুই মনোযোগ প্রাপ্য নয় তখন বেজেছে, আর একটি মিথ্যা নেতিবাচক (false negative) হলো এমন ব্যর্থতা যা কোনো সতর্কবার্তা জানায়নি; দুটি শব্দই মিথ্যা ইতিবাচক ও মিথ্যা নেতিবাচক (false positives and false negatives)-এর ভাষা থেকে এসেছে। একটি কর্মযোগ্য সতর্কবার্তা হলো যেখানে একজন মানুষের করার মতো একটি দরকারি পদক্ষেপ ছিল এবং তিনি তা করেছেন বা লিপিবদ্ধ কারণে ইচ্ছাকৃতভাবে করেননি।

পর্যবেক্ষণের দুই দিক একে অপরের বিপরীতে টানে। প্রতিটি ইনসিডেন্টের পর সতর্কবার্তা যোগ করা কোলাহলের দেয়াল গড়ে; তা শান্ত করতে কমানো যে ব্যর্থতা গুরুত্বপূর্ণ তার সময় নীরবতার ঝুঁকি আনে। প্রিসিশন ও রিকল (precision and recall)-এর ভাষা ভালো মানায়। প্রিসিশন জিজ্ঞাসা করে তোলা সতর্কবার্তার কত অংশ তোলার যোগ্য ছিল। রিকল জিজ্ঞাসা করে প্রকৃত সমস্যার কত অংশ সতর্কবার্তা ধরেছে। সতর্কবার্তার গুণমান দুটির ভারসাম্য, এবং যে মেট্রিক কেবল একটি দেখে সে দলকে অন্যটি ত্যাগ করতে আমন্ত্রণ জানায়। সংকেত-থেকে-কোলাহল অনুপাত (signal-to-noise ratio) একই টানাপোড়েন ধরে।

মানুষের খরচই এই বিষয় একটি সেবা মেট্রিকের বইয়ে থাকার কারণ। অ্যালার্ম ক্লান্তি (alarm fatigue) হলো অনেক অ্যালার্মের, যার বেশিরভাগ গুরুত্বহীন, মুখোমুখি মানুষের অসংবেদনশীল হয়ে পড়া এবং যেগুলো গুরুত্বপূর্ণ তাতে সাড়া দিতে ধীর হওয়ার সুনথিভুক্ত প্রবণতা। এটি প্রথমে ক্লিনিক্যাল পরিবেশে অধ্যয়ন করা হয়েছিল এবং যেকোনো অন-কল (on-call) ঘূর্ণনে প্রযোজ্য যা কোথাও না নেওয়া সতর্কবার্তায় অতি ঘন ঘন পেজ হয়। ক্লান্ত সমাধানকারীরা প্রকৃত ইনসিডেন্ট ফসকায় এবং শেষ পর্যন্ত ঘূর্ণন ছেড়ে যায়।

এই বইয়ে যুক্ত দুটি ঐতিহ্যে দৃষ্টিভঙ্গি আলাদা। ITIL 4 এই কাজকে পর্যবেক্ষণ ও ইভেন্ট ব্যবস্থাপনা চর্চায় বসায়, ইনসিডেন্ট ব্যবস্থাপনা ও সেবা স্তর ব্যবস্থাপনার সঙ্গে সংযোগসহ। এর উদ্বেগ ইভেন্ট শনাক্ত, শ্রেণিবদ্ধ ও রুট করা যাতে ইনসিডেন্ট আগে পাওয়া যায় এবং সঙ্গতিপূর্ণভাবে সামলানো হয়। সাইট রিলায়েবিলিটি ইঞ্জিনিয়ারিং (SRE) অন্য প্রান্ত থেকে আসে: Google-এর Site Reliability Engineering বই যুক্তি দেয় পেজ হওয়া উচিত জরুরি, গুরুত্বপূর্ণ, কর্মযোগ্য ও বাস্তব, এবং বাকি সবকিছুর জায়গা একটি টিকিট বা ড্যাশবোর্ডে। এজাইল দল এর মুখোমুখি হয় একটি কর্মচুক্তি হিসেবে: কাকে জাগানো হবে, কীসের জন্য, এবং ভুল সতর্কবার্তা কে ঠিক করবে। নিচের মেট্রিক তিনটি থেকেই ধার করে এবং একটি নিয়ম রাখে: একটি মেট্রিক একটি ঘূর্ণন, একটি সেবা বা একটি সতর্কবার্তার নিয়ম বর্ণনা করে, কখনও একজন ব্যক্তিকে নয়।

এই বিষয় তার প্রতিবেশীর পুনরাবৃত্তি করে না। ইনসিডেন্টের সময় বিষয় 3.3-এ (ইনসিডেন্টের সাড়া ও সমাধানের সময়), বড় ইনসিডেন্ট বিষয় 3.4-এ (বড় ইনসিডেন্টের মেট্রিক), লক্ষ্য ও ত্রুটির বাজেট বিষয় 5.2-এ (SLI, SLO ও ত্রুটির বাজেট), এবং মানুষের ভার বিষয় 5.7-এ (একঘেয়ে কাজ ও অন-কলের মেট্রিক)। এখানে বিষয় সেই সংকেতের গুণমান যা এগুলোর সবকিছু শুরু করে। ইনস্ট্রুমেন্টেশন বিষয় 1.5-এ ঢাকা (তথ্যের উৎস ও ইনস্ট্রুমেন্টেশন)।

মূল নীতি

  • ব্যবহারকারীরা যে লক্ষণ অনুভব করেন তাতে পেজ করুন; বাকিটা টিকিট বা ড্যাশবোর্ডে রাখুন। ব্যবহারকারীরা যা অভিজ্ঞতা করেন (ত্রুটি, ধীরতা, অনুপলব্ধতা) তার সতর্কবার্তা ব্যবস্থা বদলালেও দরকারি থাকে। একটি কারণের সতর্কবার্তা (ভরা ডিস্ক, ব্যস্ত CPU) দরকারি কেবল যখন তা একটি লক্ষণের পূর্বাভাস দেয় এবং তা আসার আগে একজন মানুষ পদক্ষেপ নিতে পারেন।
  • প্রতিটি সতর্কবার্তা একটি পদক্ষেপে নিয়ে যেতে হবে। একটি সতর্কবার্তার সঠিক সাড়া কিছু না করা হলে সতর্কবার্তা বদলানো, টিকিটে নামানো বা মুছে ফেলা উচিত। কতটা পদক্ষেপে নিয়ে যায় মাপুন, এবং বাকিগুলোকে পর্যবেক্ষণের ত্রুটি ধরুন।
  • প্রিসিশন ও রিকল দুটিই মাপুন। শুধু কোলাহল গোনা নীরবতাকে পুরস্কৃত করে, আর শুধু আচ্ছাদন গোনা পরিমাণকে পুরস্কৃত করে। দুটি একসঙ্গে গুণমান বর্ণনা করে, এবং প্রতিটি অন্যটির রক্ষাবেষ্টনী।
  • প্রতিটি সতর্কবার্তার নিয়মকে একজন মালিকসহ পণ্য ভাবুন। একটি নিয়মের একটি উদ্দেশ্য, একটি সীমা, একটি রানবুক এবং একটি পর্যালোচনার তারিখ আছে। মালিকহীন নিয়ম জমে, এবং তারা যে কোলাহল তৈরি করে তা কারো নয়।
  • ঘূর্ণন ও সেবা নিয়ে প্রতিবেদন করুন, কখনও মানুষ নয়। সতর্কবার্তার ভার ব্যবস্থা ও ঘূর্ণন কীভাবে নকশা করা তার বৈশিষ্ট্য। ব্যক্তির নাম নেওয়া একটি নকশার সমস্যাকে দোষের সমস্যায় পরিণত করে এবং প্রকৃত সংশোধন লুকায়।

মেট্রিকের সংজ্ঞা

নিচের মেট্রিক একটি সংগ্রহ হিসেবে বাছা। শুধু পরিমাণ অর্থহীন, কর্মযোগ্যতা বলে পরিমাণ সমস্যা কি না, এবং আচ্ছাদন ও শনাক্তের সময় বলে নীরবতা কী লুকাচ্ছে। সবই প্রতি সেবা বা প্রতি ঘূর্ণনে হিসাব করা, এবং সবই পর্যবেক্ষণ ও পেজিং টুলের সতর্কবার্তার রেকর্ড ইনসিডেন্ট ও টিকিটের রেকর্ডের সঙ্গে যুক্ত করে ব্যবহার করে।

মেট্রিক সংজ্ঞা সূত্র একক তথ্যের উৎস ITIL চর্চা এজাইল সমতুল্য পর্যায়কাল
সতর্কবার্তার পরিমাণ একজন মানুষকে জানানো সতর্কবার্তার সংখ্যা, পেজ ও টিকিটে ভাগ করা সময়কালে একটি ঘূর্ণন বা সারিতে পৌঁছানো স্বতন্ত্র বিজ্ঞপ্তির গণনা; একই খোলা সতর্কবার্তার পুনরাবৃত্তি একটিতে গোষ্ঠীবদ্ধ; মানুষকে বিজ্ঞপ্তি না দিয়ে সম্পূর্ণ স্বয়ংক্রিয়করণে সামলানো সতর্কবার্তা বাদ; প্রতি ঘূর্ণন সপ্তাহে প্রতিবেদন, এবং কর্মঘণ্টার বাইরের অংশ আলাদা প্রতি ঘূর্ণন-সপ্তাহে সতর্কবার্তা পেজিং ও সতর্কবার্তা রুটিংয়ের টুল পর্যবেক্ষণ ও ইভেন্ট ব্যবস্থাপনা অন-কল নিয়ে দলের কর্মচুক্তি সাপ্তাহিক
কর্মযোগ্য সতর্কবার্তার হার যে সতর্কবার্তার পর একজন মানুষ একটি দরকারি পদক্ষেপ নিয়েছেন তার অংশ লিপিবদ্ধ পদক্ষেপ (সংশোধন, প্রশমন, এসক্যালেশন বা সতর্কবার্তার নিয়মে পরিবর্তন) সহ সতর্কবার্তা / সময়কালে পর্যালোচিত সতর্কবার্তা; কোনো স্বীকৃতির আগে স্বয়ংক্রিয়ভাবে সমাধান হওয়া সতর্কবার্তা কর্মযোগ্য নয় গোনা; অপর্যালোচিত সতর্কবার্তা বাদ নয়, আলাদা গণনা হিসেবে প্রতিবেদিত শতাংশ পর্যালোচনার লেবেল, টিকিট বা ইনসিডেন্টের সঙ্গে যুক্ত সতর্কবার্তার রেকর্ড পর্যবেক্ষণ ও ইভেন্ট ব্যবস্থাপনা; ইনসিডেন্ট ব্যবস্থাপনা পরিচালনায় দলের উন্নয়নের পদক্ষেপ সাপ্তাহিক পর্যালোচনা, মাসিক প্রবণতা
মিথ্যা ইতিবাচকের হার কোনো সমস্যা না থাকা অবস্থায় বাজা সতর্কবার্তার অংশ পর্যালোচনায় মিথ্যা ইতিবাচক লেবেল করা সতর্কবার্তা / সময়কালে পর্যালোচিত সতর্কবার্তা; "মিথ্যা ইতিবাচক" মানে অবস্থাটি ত্রুটি ছিল না এবং কেউ তা জানতে চাইবেন না; পদক্ষেপ নেওয়ার মতো গুরুত্বহীন একটি প্রকৃত সমস্যা মিথ্যা ইতিবাচক নয় শতাংশ সতর্কবার্তার পর্যালোচনার লেবেল পর্যবেক্ষণ ও ইভেন্ট ব্যবস্থাপনা রেট্রোস্পেকটিভে কোলাহলের পর্যালোচনা মাসিক
শনাক্তকরণের আচ্ছাদন যে পরিধির সেবার ব্যবহারকারী-মুখী লক্ষণে অন্তত একটি পরীক্ষিত সতর্কবার্তা আছে তার অংশ গত ১২ মাসে একটি পরীক্ষা বা প্রকৃত ঘটনায় প্রয়োগ হওয়া একটি লক্ষণের সতর্কবার্তাসহ সেবা / সেবা ক্যাটালগের পরিধির সেবা; পরিধির সেবার তালিকা সময়কালের শুরুতে স্থির শতাংশ সেবা ক্যাটালগ, সতর্কবার্তার নিয়মের মজুত, পরীক্ষার রেকর্ড সেবা কনফিগারেশন ব্যবস্থাপনা; পর্যবেক্ষণ ও ইভেন্ট ব্যবস্থাপনা নতুন সেবার জন্য সম্পন্নের সংজ্ঞা ত্রৈমাসিক
পর্যবেক্ষণ-শনাক্ত অংশ যে ইনসিডেন্ট কোনো ব্যবহারকারী বা সহকর্মী জানানোর আগে পর্যবেক্ষণ শনাক্ত করেছে তার অংশ যে ইনসিডেন্টের প্রথম সংকেত একটি সতর্কবার্তা / সময়কালে ইনসিডেন্ট; ঘড়ি হলো ইনসিডেন্ট খোলার সময়, এবং প্রথম সংকেত লিপিবদ্ধ না থাকা ইনসিডেন্ট শনাক্ত নয়, অজানা হিসেবে প্রতিবেদিত শতাংশ প্রথম-সংকেতের ঘরসহ ইনসিডেন্টের রেকর্ড, সতর্কবার্তার সময়রেখা ইনসিডেন্ট ব্যবস্থাপনা ইনসিডেন্ট পর্যালোচনা (ইনসিডেন্ট-পরবর্তী শেখা) মাসিক
শনাক্তের সময় (TTD) ব্যবহারকারীর প্রভাবের শুরু এবং একজন মানুষকে জানানো প্রথম সতর্কবার্তার মধ্যবর্তী অতিবাহিত সময় প্রথম মানুষ-জানানো সতর্কবার্তার সময় বিয়োগ প্রভাব শুরুর সময়, যেখানে প্রভাব শুরু হলো সেবা স্তর সূচক প্রথম লঙ্ঘনের প্রাচীনতম সময় যা ইনসিডেন্ট পর্যালোচনায় প্রতিষ্ঠিত; মধ্যমান ও ৯৫তম পার্সেন্টাইল প্রতিবেদন; সতর্কবার্তাহীন ইনসিডেন্ট বাদ ও আলাদাভাবে গোনা মিনিট ইনসিডেন্ট পর্যালোচনা, সতর্কবার্তার সময়রেখা, সেবা স্তর সূচকের ইতিহাস ইনসিডেন্ট ব্যবস্থাপনা; পর্যবেক্ষণ ও ইভেন্ট ব্যবস্থাপনা ইনসিডেন্ট-পরবর্তী পর্যালোচনা মাসিক, প্রতি ইনসিডেন্টে
সতর্কবার্তার কেন্দ্রীভবন সবচেয়ে কোলাহলপূর্ণ কয়েকটি সতর্কবার্তার নিয়ম যে পরিমাণ তৈরি করে তার অংশ সবচেয়ে বেশি সতর্কবার্তার পাঁচটি নিয়ম থেকে সতর্কবার্তা / সময়কালে সব সতর্কবার্তা; একই সতর্কবার্তা একবার গোষ্ঠীবদ্ধ; পাঁচটি নিয়মের গণনা একটি রীতি যা দল কারণ বলে বদলাতে পারে শতাংশ সতর্কবার্তার নিয়মের মজুত ও পেজিংয়ের রেকর্ড নিরন্তর উন্নয়ন; পর্যবেক্ষণ ও ইভেন্ট ব্যবস্থাপনা রেট্রোস্পেকটিভের উন্নয়নের ব্যাকলগ মাসিক
সতর্কবার্তার নিয়মের সাময়িকতা যে পেজিং নিয়মের একজন মালিক, একটি রানবুকের লিংক এবং সম্মত ব্যবধানের মধ্যে একটি পর্যালোচনা আছে তার অংশ তিনটি শর্তই পূরণ করা পেজিং নিয়ম / সব পেজিং নিয়ম; সময়কালে নিষ্ক্রিয় করা নিয়ম বাদ শতাংশ সতর্কবার্তার নিয়মের মজুত জ্ঞান ব্যবস্থাপনা; পর্যবেক্ষণ ও ইভেন্ট ব্যবস্থাপনা পরিচালনার প্রস্তুতি নিয়ে কর্মচুক্তি ত্রৈমাসিক

সতর্কবার্তার পরিমাণের প্রেক্ষাপট দরকার, তাই কর্মযোগ্য সতর্কবার্তার হারের পাশে পড়ুন। শনাক্তের সময় ব্যবহারকারীর প্রভাবের শুরু ব্যবহার করে, টিকিট নয়, কারণ টিকিটের ঘড়ি শনাক্তের পরে শুরু হয়; প্রভাবের শুরু ইনসিডেন্ট পর্যালোচনা থেকে একটি অনুমান এবং সেভাবেই লেবেল করা উচিত। মিথ্যা ইতিবাচকের হার ও কর্মযোগ্য সতর্কবার্তার হার পরিপূরক নয়, কারণ একটি সতর্কবার্তা সত্য হয়েও একজন মানুষের সময়ের যোগ্য নাও হতে পারে।

সুপারিশ

ঠিক করুন কী পেজ প্রাপ্য

1. একটি পেজিং নীতি লিখুন এবং ছোট রাখুন। এক অনুচ্ছেদে বলুন কী পেজ অর্জন করে (এমন একটি লক্ষণ যা ব্যবহারকারীরা এখন বা শীঘ্র অনুভব করবেন, এবং যা একজন মানুষ সামলাতে পারেন) এবং কী নয়। বাকি সবকিছু একটি টিকিটের সারি বা ড্যাশবোর্ডে যায়। Google SRE বইয়ের বিতরিত ব্যবস্থার পর্যবেক্ষণ নিয়ে অধ্যায় একটি ভালো শুরু (বিষয় 5.2, SLI, SLO ও ত্রুটির বাজেট দেখুন)।

2. লক্ষণে সতর্ক করুন, এবং কারণ রোগনির্ণয়ের জন্য রাখুন। "ত্রুটির হার সম্মত সীমার ওপরে"-র একটি পেজ ব্যবহারকারীদের নিয়ে একটি পেজ। "CPU বেশি"-র একটি পেজ একটি অনুমান নিয়ে। কারণ-স্তরের সংকেত ড্যাশবোর্ডে রাখুন যেখানে লক্ষণের সতর্কবার্তা বাজার পর সমাধানকারী দেখবেন, এবং একটিকে পেজে তুলুন কেবল যখন তা পদক্ষেপ নেওয়ার যথেষ্ট সতর্কবার্তাসহ নির্ভরযোগ্যভাবে একটি লক্ষণের পূর্বাভাস দেয়।

3. পেজিংয়ের সীমা সেবা স্তর লক্ষ্যের সঙ্গে বাঁধুন। যেখানে একটি সেবার একটি সেবা স্তর লক্ষ্য (SLO) আছে, কাঁচা সীমার বদলে ত্রুটির বাজেট যে হারে খরচ হচ্ছে সেই হারে সতর্ক করুন। SLO নিয়ে সতর্কবার্তার ওপর SRE Workbook-এর অধ্যায় বার্ন রেট সতর্কবার্তা এবং প্রিসিশন, রিকল, শনাক্তের সময় ও রিসেটের সময়ের বিনিময় বর্ণনা করে। এই পদ্ধতি লক্ষ্যকে হুমকি দেয় এমন বিষয়ে পেজ করে এবং যে সংক্ষিপ্ত কম্পন দেয় না তাতে নীরব থাকে।

একটি ছন্দে প্রতিটি সতর্কবার্তা পর্যালোচনা করুন

4. একটি সংক্ষিপ্ত, নিয়মিত পর্যালোচনায় প্রতিটি সতর্কবার্তা লেবেল করুন। প্রতিটি ঘূর্ণনের জন্য প্রতি সপ্তাহে পনেরো মিনিট আলাদা রাখুন কী বেজেছে দেখতে। প্রতিটি সতর্কবার্তার জন্য একটি লেবেল লিপিবদ্ধ করুন: কর্মযোগ্য, মিথ্যা ইতিবাচক, বাস্তব কিন্তু পেজের যোগ্য নয়, বা সদৃশ। লেবেলগুলো কর্মযোগ্য সতর্কবার্তার হার ও মিথ্যা ইতিবাচকের হারের তথ্য, এবং পর্যালোচনাই সেই জায়গা যেখানে কোলাহলপূর্ণ নিয়ম পরের ত্রৈমাসিকে নয়, পরের দিন ঠিক হয়।

5. পর্যালোচনাকে একটি পরিবর্তন তৈরি করতে দিন। প্রতি সপ্তাহে অন্তত একটি নিয়ম সুর করতে, নামাতে, মেলাতে বা মুছতে বাছুন, এবং পরিবর্তন দলের ব্যাকলগে সাধারণ কাজ হিসেবে লিপিবদ্ধ করুন।

6. ভয় ছাড়াই মুছুন। দল সতর্কবার্তা রাখে কারণ মোছা ঝুঁকিপূর্ণ মনে হয় এবং কারো মনে নেই তা কেন আছে। প্রতিটি পেজিং নিয়মকে একটি উদ্দেশ্য ও একজন মালিক বহন করতে দাবি করুন, এবং একমত হোন যে ঘোষিত সময়কালে কখনও পদক্ষেপে না নিয়ে যাওয়া একটি নিয়ম সরানো বা নামানো হবে, ফেরানো যায় এমনভাবে পরিবর্তন লিপিবদ্ধ করে। নিয়মের সাময়িকতার মেট্রিক শৃঙ্খলা দৃশ্যমান করে।

পর্যবেক্ষণ যা ফসকায় তা মাপুন

7. ব্যবহারকারীরা আগে যে ইনসিডেন্ট পেয়েছেন তার অংশ ট্র্যাক করুন। প্রতিটি ইনসিডেন্টের পর লিপিবদ্ধ করুন তা প্রথম কীভাবে লক্ষ করা হয়েছিল: একটি সতর্কবার্তা, একজন সহকর্মী, একজন গ্রাহক, একটি সহায়তার টিকিট বা একটি নিয়মিত যাচাই। পর্যবেক্ষণ যা পেয়েছে তার অংশ রিকলের সবচেয়ে কাছের ব্যবহারিক পরিমাপ। এটি সম্পূর্ণ নয়, কারণ যে ইনসিডেন্ট কেউ লক্ষ করেনি তা কখনও নমুনায় ঢোকে না, তাই সতর্কবার্তার পর্যায়ক্রমিক পরীক্ষার সঙ্গে জোড় বাঁধুন।

8. সৎভাবে শনাক্তের সময় অনুমান করুন। কেউ টিকিট টাইপ করার সময় নয়, সেবা স্তর সূচকের ইতিহাস থেকে ইনসিডেন্ট-পরবর্তী পর্যালোচনায় ব্যবহারকারীর প্রভাবের শুরু প্রতিষ্ঠা করুন। মধ্যমান ও একটি উচ্চ পার্সেন্টাইল প্রতিবেদন করুন, এবং কোনো সতর্কবার্তা না থাকা ইনসিডেন্ট একটি আলাদা গণনা হিসেবে দেখান। একক গড় সাধারণ ক্ষেত্র ও খারাপ লেজ দুটোই লুকায় (বিষয় 1.6, সেবা মেট্রিকের জন্য পরিসংখ্যান-সাক্ষরতা এবং বিষয় 3.3, ইনসিডেন্টের সাড়া ও সমাধানের সময় দেখুন)।

9. যে সতর্কবার্তার ওপর নির্ভর করেন তা পরীক্ষা করুন। শনাক্তকরণের আচ্ছাদন বিশ্বাসযোগ্য কেবল যদি সতর্কবার্তাকে কাজ করতে দেখা গেছে। গেম ডে বা রিলিজের মহড়ায় এমন একটি যাচাই রাখুন যা ইচ্ছে করে একটি লক্ষণ ঘটায় এবং নিশ্চিত করে সঠিক সতর্কবার্তা বাজে, সঠিক ঘূর্ণনে পৌঁছায় এবং একটি ব্যবহারযোগ্য রানবুকের সঙ্গে যুক্ত। যে সতর্কবার্তা কখনও পরীক্ষিত হয়নি তা একটি আশা, নিয়ন্ত্রণ নয় (বিষয় 5.6, সেবা-ধারাবাহিকতার মেট্রিক দেখুন)।

সংকেতের পথ সুস্থ রাখুন

10. পর্যবেক্ষণকে পর্যবেক্ষণ করুন। পর্যবেক্ষণ ব্যবস্থার একটি নীরব ব্যর্থতা ঠিক একটি সুস্থ সেবার মতো দেখায়। একটি হার্টবিট যাচাই যোগ করুন যা সতর্কবার্তার পাইপলাইন পৌঁছানো বন্ধ করলে পেজ করে, এবং পাইপলাইন নিজে কত ঘন ঘন ব্যর্থ হয় লিপিবদ্ধ করুন।

11. গোনার আগে গোষ্ঠীবদ্ধ, সদৃশ বাদ এবং যুক্ত করুন। সম্পর্কিত সতর্কবার্তা একটিতে গোষ্ঠীবদ্ধ করুন, ইতিমধ্যে খোলা সতর্কবার্তার পুনরাবৃত্তি দমন করুন, এবং প্রতিটি মালিক ঘূর্ণনে রুট করুন। প্রতিটি সতর্কবার্তা তার রানবুক এবং সে যে ইনসিডেন্ট বা টিকিট তৈরি করেছে তার সঙ্গে যুক্ত করুন, কারণ সেই সংযোগই আপনাকে হাতে না গুনে কর্মযোগ্য সতর্কবার্তার হার ও পর্যবেক্ষণ-শনাক্ত অংশ হিসাব করতে দেয় (বিষয় 1.5, তথ্যের উৎস ও ইনস্ট্রুমেন্টেশন দেখুন)।

কারসাজির উপায় ও রক্ষাবেষ্টনী

মেট্রিক যেভাবে কারসাজি হয় জোড়া রক্ষাবেষ্টনী মেট্রিক বা চর্চা
সতর্কবার্তার পরিমাণ সীমা বাড়ানো, দীর্ঘ বিলম্ব যোগ করা, বা সতর্কবার্তা পেজ থেকে একটি নীরব সারিতে সরানো যাতে সমস্যা অদেখা থাকলেও গণনা কমে; গণনা বদলাতে সতর্কবার্তা ভাঙা বা মেলানো পর্যবেক্ষণ-শনাক্ত অংশ ও শনাক্তের সময়; প্রতিটি নামানো কারণসহ লিপিবদ্ধ হয় এবং এক ত্রৈমাসিক পরে পর্যালোচিত হয় এই নিয়ম
কর্মযোগ্য সতর্কবার্তার হার ঘটনার পরে সতর্কবার্তা কর্মযোগ্য লেবেল করা, বা যোগ্য হতে একটি তুচ্ছ পদক্ষেপ (একটি মন্তব্য, একটি স্বীকৃতি) নেওয়া; কোলাহলপূর্ণ সতর্কবার্তা অপর্যালোচিত রাখা যাতে তা হরে না ঢোকে হারের পাশে দেখানো অপর্যালোচিত সতর্কবার্তার গণনা; ঘূর্ণনের বাইরের কারো নমুনা যাচাই; "দরকারি পদক্ষেপ"-এর লিখিত সংজ্ঞা
মিথ্যা ইতিবাচকের হার মিথ্যা ইতিবাচক সংকীর্ণভাবে সংজ্ঞায়িত করা যাতে "বাস্তব কিন্তু অর্থহীন" সতর্কবার্তা সত্য গোনা হয়; লেবেল ছাড়াই কোলাহলপূর্ণ সতর্কবার্তা বন্ধ করা আলাদাভাবে ট্র্যাক করা কর্মযোগ্য সতর্কবার্তার হার ও "বাস্তব কিন্তু পেজের যোগ্য নয়" লেবেল; বন্ধ সতর্কবার্তার পর্যায়ক্রমিক নমুনা
শনাক্তকরণের আচ্ছাদন আচ্ছাদন দাবি করতে প্রতিটি সেবায় একটি তুচ্ছ সতর্কবার্তা (একটি পিং) যোগ করা; কখনও পরীক্ষা না হওয়া সতর্কবার্তা গোনা সতর্কবার্তা একটি ব্যবহারকারী-মুখী লক্ষণ দেখে এবং গত ১২ মাসে প্রয়োগ হয়েছে এই শর্ত; পর্যবেক্ষণ-শনাক্ত অংশ
পর্যবেক্ষণ-শনাক্ত অংশ ব্যবহারকারী আগে জানালেও প্রতিটি ইনসিডেন্ট "পর্যবেক্ষণে শনাক্ত" লিপিবদ্ধ করা; ঘটনার পরে একটি সতর্কবার্তা তৈরি করে তারপর উদ্ধৃত করা; খারাপ সংখ্যা এড়াতে প্রথম-সংকেতের ঘর খালি রাখা অংশের পাশে দেখানো অজানা গণনা; স্মৃতি থেকে নয়, সতর্কবার্তার সময়রেখা থেকে নেওয়া প্রথম-সংকেতের প্রমাণ; সহায়তার রেকর্ড থেকে যুক্ত গ্রাহক-জানানো ইনসিডেন্ট
শনাক্তের সময় (TTD) প্রভাবের শুরু আসলের চেয়ে দেরিতে ঘোষণা করা; সতর্কবার্তাহীন ইনসিডেন্ট বাদ দেওয়া; লেজ লুকাতে গড় প্রতিবেদন সেবা স্তর সূচকের ইতিহাস থেকে নেওয়া প্রভাবের শুরু; সতর্কবার্তাহীন ইনসিডেন্ট গোনা ও দেখানো; মধ্যমান ও ৯৫তম পার্সেন্টাইল একসঙ্গে প্রতিবেদিত
সতর্কবার্তার কেন্দ্রীভবন একটি কোলাহলপূর্ণ নিয়ম কয়েকটিতে ভাঙা যাতে কোনোটিই শীর্ষ পাঁচে না থাকে; নিয়মের নাম বদলানো নিয়ম অনুযায়ী পাশাপাশি অন্তর্নিহিত ত্রুটি বা সেবা অনুযায়ী কেন্দ্রীভবন প্রতিবেদন; পাশে মোট পরিমাণ ও কর্মযোগ্য সতর্কবার্তার হার ট্র্যাক
সতর্কবার্তার নিয়মের সাময়িকতা শর্ত মেটাতে স্থানধারক মালিক, খালি রানবুকের লিংক বা রাবার-স্ট্যাম্প পর্যালোচনা যোগ করা রানবুকের লিংক সমাধান হয় এবং প্রকৃত সাড়ায় ব্যবহৃত হয়েছিল তার ছোট যাচাই; গেম ডেতে রানবুক পরীক্ষার চর্চা

একটি সুস্থ পাঠ কয়েকটি জিনিস একসঙ্গে দেখায়। প্রতি ঘূর্ণনে সতর্কবার্তার পরিমাণ স্থির বা কমতে থাকা এবং দলের বাছা টেকসই স্তরের মধ্যে। কোলাহলপূর্ণ নিয়ম সুর হওয়ার সঙ্গে কয়েক মাসে কর্মযোগ্য সতর্কবার্তার হার বাড়ে। পর্যবেক্ষণ-শনাক্ত অংশ বেশি এবং শনাক্তের সময় ছোট, পরিমাণ কমলেও দীর্ঘতর হচ্ছে না, যা প্রমাণ করে নীরবতা অর্জিত, কেনা নয়। শনাক্তকরণের আচ্ছাদন বাড়ে কারণ সেবা পরীক্ষিত, তুচ্ছ সতর্কবার্তা যোগ হয়েছে বলে নয়। শনাক্তকরণের অংশ বা শনাক্তের সময় খারাপ হলে পরিমাণ কমলে দল শান্তির জন্য রিকল বিনিময় করেছে, এবং রক্ষাবেষ্টনীই তা প্রকাশ করে।

ভারসাম্য: সুবিধা ও অসুবিধা

পদ্ধতি সুবিধা অসুবিধা
অল্প, লক্ষণ-ভিত্তিক পেজ শান্ত রাত, প্রতিটি পেজে উচ্চ আস্থা, হালনাগাদ রাখা সহজ ধীরে গড়ে ওঠা সমস্যায় দেরিতে শনাক্তের ঝুঁকি; বাকিগুলোর জন্য ভালো টিকিট ও ড্যাশবোর্ডের অভ্যাস লাগে
অনেক সংবেদনশীল সতর্কবার্তা কারণ-স্তরের সমস্যার আগাম সতর্কবার্তা; কম ফসকানো ইনসিডেন্ট অ্যালার্ম ক্লান্তি, ধীর স্বীকৃতি, এবং অন-কল ঘূর্ণন থেকে ছেড়ে যাওয়া
SLO বার্ন রেট সতর্কবার্তা লক্ষ্যকে হুমকি দেয় এমন বিষয়ে পেজ; কম কম্পন ভালো সূচক ও সম্মত লক্ষ্য লাগে; শনাক্তের সময় ও প্রিসিশনের ভারসাম্যে সুর লাগে
সাপ্তাহিক সতর্কবার্তা পর্যালোচনা দ্রুত প্রতিক্রিয়া; কোলাহলপূর্ণ নিয়ম দ্রুত ঠিক প্রতি সপ্তাহে সময় খরচ করে; কোনো পরিবর্তন না এলে নাটকে পরিণত হয়
মানুষের লেবেল করা যে বিচার কোনো টুলের নেই তা ধরে বিষয়ীগত; সংজ্ঞা লেখা না থাকলে পর্যালোচক ও ঘূর্ণনের মধ্যে লেবেল সরে যায়
স্বয়ংক্রিয় দমন ও গোষ্ঠীবদ্ধকরণ বড় পরিসরে কোলাহল কমায়; পুনরাবৃত্ত পেজ কমায় নিয়ম ভুল হলে প্রকৃত সংকেত লুকাতে পারে; নিজস্ব পর্যবেক্ষণ ও পর্যালোচনা লাগে

প্রতিটি বাছাই প্রিসিশন ও রিকলের মধ্যে বিনিময় করে, এবং বিনিময় উদ্দেশ্যমূলকভাবে করা উচিত এবং প্রতি সেবায় লিখে রাখা উচিত, কারণ প্রেক্ষাপটই যে কাউকে সংখ্যা ন্যায্যভাবে পড়তে দেয়। যে সেবায় একটি ফসকানো ব্যর্থতার পরিণতি গুরুতর সে আগাম সতর্কবার্তার জন্য কম কর্মযোগ্য হার মেনে নিতে পারে, রাতে বাড়তি সতর্কবার্তা একটি টিকিটের সারিতে পাঠানো একটি ট্রায়াজ স্তরসহ।

দলের সঙ্গে আলোচনার প্রশ্ন

1. আমরা কীসের জন্য জাগতে চাইব, এবং গত মাসের কোন পেজ সেই মান পূরণ করেছিল? পেজিং নীতি এক-দুই বাক্যে লিখুন, তারপর গত মাসের পেজ নিন এবং প্রতিটি তার বিপরীতে পরীক্ষা করুন। অনুশীলনটি তার দেওয়া শতাংশের চেয়ে বেশি মূল্যবান, কারণ মতভেদ প্রকাশ করে দলের প্রত্যাশা কোথায় ভিন্ন। অপ্রয়োজনীয়গুলো নামানোর প্রার্থী হিসেবে ধরুন।

2. কোলাহলপূর্ণতম সতর্কবার্তার নিয়ম আগামীকাল উধাও হলে আমরা কী হারাব? পরিমাণে শীর্ষ পাঁচটি নিয়মের প্রতিটির জন্য প্রশ্নটি করুন। প্রায়ই কেউ একটি নির্দিষ্ট ব্যর্থতার নাম বলতে পারে না যা নিয়মটি কখনও ধরেছে, এবং তা সুর করা বা সরানো যেতে পারে তার চিহ্ন। যেখানে কেউ পারেন, জিজ্ঞাসা করুন ব্যর্থতাটি কি একটি লক্ষণের সতর্কবার্তাও ট্রিগার করত।

3. পর্যবেক্ষণ কী ফসকেছে আমরা কীভাবে জানব? শেষ কয়েকটি ইনসিডেন্ট দেখুন এবং জিজ্ঞাসা করুন কে প্রথম লক্ষ করেছেন এবং তার আগে প্রভাব কতক্ষণ চলেছিল। উত্তর নতুন টুলিং ছাড়াই আপনাকে পর্যবেক্ষণ-শনাক্ত অংশ ও একটি মোটামুটি শনাক্তের সময় দেয়। আলোচনা করুন কোন সংকেত প্রতিটিকে আগে ধরত।

4. আমাদের অন-কলের ভার কি টেকসই, এবং আমরা কীভাবে জানব? একটি ঘূর্ণনের জন্য টেকসই মানে কী একমত হোন, যেমন প্রতি সপ্তাহে কর্মঘণ্টার বাইরের পেজের একটি সীমা, এবং প্রতিটি ব্যক্তি নয়, প্রতিটি ঘূর্ণন অনুযায়ী প্রবণতা পর্যালোচনা করুন। ভার সম্মত স্তরের ওপরে হলে তাকে সেবার ত্রুটি ধরুন এবং তা কমানোর কাজ পরিকল্পনা করুন। পরিমাপ বিষয় 5.7-এর (একঘেয়ে কাজ ও অন-কলের মেট্রিক) সঙ্গে সঙ্গতিপূর্ণ রাখুন।

5. আমাদের কোন সতর্কবার্তা আমরা কখনও পরীক্ষা করিনি, এবং কীভাবে নিরাপদে পরীক্ষা করতে পারি? একটি একক লক্ষণের সতর্কবার্তার ওপর নির্ভর করা সেবা তালিকা করুন এবং জিজ্ঞাসা করুন কেউ কি এটিকে রাগান্বিত বা মহড়ায় বাজতে দেখেছে। একটি পরীক্ষা পরিকল্পনা করুন এবং পুরো পথ যাচাই করুন: শনাক্তকরণ, রুটিং, বিজ্ঞপ্তি, রানবুক। বিবেচনা করুন একটি ব্যর্থ সতর্কবার্তার পাইপলাইন আদৌ দৃশ্যমান হতো কি না।

6. এখানে এই সংখ্যাগুলোতে কীভাবে কারসাজি হতে পারে, এবং আমরা কী লক্ষ করতাম? দলকে সততার সঙ্গে বর্ণনা করতে বলুন কিছু উন্নত না করেই প্রতিটি সংখ্যা ভালো দেখানোর উপায়। তারপর একমত হোন কোন রক্ষাবেষ্টনী তা দেখাবে এবং কে দেখবে। আগেই কৌশলগুলোর নাম নিলে সেগুলো কম প্রলুব্ধকর হয় (বিষয় 1.2, গুডহার্টের সূত্র ও মেট্রিকের মনস্তত্ত্ব দেখুন)।

চারটি দৃষ্টিভঙ্গি

পণ্য ও ডেলিভারি দল

যে দল একটি সেবা বানায় ও চালায় তারা ঠিক করে সেবা নিজের সম্পর্কে কী জানায়, তাই সতর্কবার্তার গুণমান সম্পন্নের সংজ্ঞায় শুরু হয়। নিজস্ব পরীক্ষিত সূচক ও সতর্কবার্তাসহ পাঠানো একটি নতুন ফিচার প্রথম ইনসিডেন্টের পর জোড়া দেওয়া পর্যবেক্ষণ এড়ায়। সতর্কবার্তা সুর করাকে সাধারণ ব্যাকলগের কাজ ধরুন।

সেবা ও পরিচালন দল

পরিচালন দল পেজার বহন করে এবং খরচ প্রথমে অনুভব করে, তাই পর্যালোচনার ছন্দ, লেবেল করা এবং পাইপলাইনের হার্টবিটের মালিক তারা। একটি সতর্কবার্তা ভুল হলে সংশোধন নিয়মের মালিকের, যিনি পেজ পেয়েছেন তাঁর নয়।

নেতৃত্ব ও গভর্ন্যান্স

নেতারা সেবা অনুযায়ী শনাক্তকরণ ও কর্মযোগ্যতার সংখ্যা চাইতে, সুর করার সময়ে অর্থায়ন করতে, এবং নীরবতাকে পুরস্কৃত করা সতর্কবার্তার পরিমাণের লক্ষ্য প্রতিরোধ করতে পারেন। কমতে থাকা পরিমাণ ভালো খবর কেবল যদি শনাক্তকরণের অংশ ও শনাক্তের সময় স্থির থাকে। টেকসই অন-কলের সীমা একটি কর্মী ও নকশার সিদ্ধান্ত, অনুপ্রেরণার নয়।

গ্রাহক ও ব্যবহারকারী

গ্রাহকেরা কখনও সতর্কবার্তা দেখেন না; তাঁরা দেখেন সেবা ব্যর্থ হয়েছে কি না এবং ঠিক হতে কত সময় লেগেছে। ভালো পর্যবেক্ষণ দেখা দেয় ইনসিডেন্ট তাঁরা লক্ষ করার আগেই ঠিক হিসেবে, এবং কম ক্ষেত্রে যেখানে একজন গ্রাহক প্রথম জানান। যেখানে সংগঠন অভিজ্ঞতার পরিমাপ ব্যবহার করে (বিষয় 5.1, SLA, OLA ও XLA মেট্রিক দেখুন), সেখানে ব্যবহারকারীদের প্রথম জানানো ইনসিডেন্টের অংশ অভিজ্ঞতার ফাঁকের সরাসরি সূচক।

বাস্তবে: সেবা ব্যবস্থাপনার একটি উদাহরণ

একটি মাঝারি আকারের অনলাইন খুচরা বিক্রেতা চারটি পণ্য দল এবং অন-কল ঘূর্ণন সমর্থনকারী একটি প্ল্যাটফর্ম দলসহ একটি অর্ডার প্ল্যাটফর্ম চালায়। এই উদাহরণের সব সংখ্যা দৃষ্টান্তমূলক। চার সপ্তাহে (দৃষ্টান্তমূলক) ঘূর্ণন ২৪০টি পেজ পেয়েছে, তার ৭০টি রাত ২২:০০ থেকে ০৭:০০-এর মধ্যে। দল চারটি লেবেলে প্রতিটি পেজ পর্যালোচনা করে: কর্মযোগ্য, মিথ্যা ইতিবাচক, বাস্তব কিন্তু পেজের যোগ্য নয়, এবং সদৃশ।

পর্যালোচনা দেখায় কর্মযোগ্য সতর্কবার্তার হার ৩১ শতাংশ (দৃষ্টান্তমূলক) এবং মিথ্যা ইতিবাচকের হার ২২ শতাংশ (দৃষ্টান্তমূলক)। পাঁচটি নিয়ম ৫৮ শতাংশ পেজ তৈরি করেছে (দৃষ্টান্তমূলক), এবং সবচেয়ে বড়টি ছিল একটি ব্যাচ সার্ভারে ডিস্কের সীমা যা সবসময় নিজেই সেরে উঠত। আগের ত্রৈমাসিকের পর্যবেক্ষণ-শনাক্ত অংশ ছিল ৬২ শতাংশ (দৃষ্টান্তমূলক), এবং শনাক্তের সময়ের মধ্যমান ১৪ মিনিট (দৃষ্টান্তমূলক) ও ৯৫তম পার্সেন্টাইল ৫১ মিনিট (দৃষ্টান্তমূলক)।

দল তিনটি কোলাহলপূর্ণ নিয়ম একটি টিকিটের সারিতে নামায়, সদৃশ মেলায় যাতে একটি ত্রুটি একটি পেজ তৈরি করে, চেকআউটে কাঁচা ত্রুটির গণনার সতর্কবার্তা একটি ত্রুটির বাজেটের বার্ন রেট সতর্কবার্তা দিয়ে প্রতিস্থাপন করে (বিষয় 5.2, SLI, SLO ও ত্রুটির বাজেট দেখুন), এবং অর্ডার নিশ্চিতকরণ ইমেলের জন্য একটি লক্ষণের সতর্কবার্তা যোগ করে, যা দুটি গ্রাহক-জানানো ইনসিডেন্টের পেছনের ফাঁক। প্রতিটি পরিবর্তন একজন মালিকসহ একটি ব্যাকলগ আইটেম। চার সপ্তাহ পরে পেজ ৯৬-এ নামে (দৃষ্টান্তমূলক) এবং কর্মযোগ্য হার ৬৪ শতাংশে ওঠে (দৃষ্টান্তমূলক), যখন শনাক্তকরণের অংশ ৭১ শতাংশে ওঠে (দৃষ্টান্তমূলক) এবং শনাক্তের সময়ের মধ্যমান ১৪ মিনিটে স্থির থাকে। নীরবতা অর্জিত মনে হয়।

তৃতীয় মাসে কারসাজির ঝুঁকি দেখা দেয়। একজন নতুন ব্যবস্থাপক চার সপ্তাহে ৬০টির কম পেজের একটি অনানুষ্ঠানিক লক্ষ্য ঠিক করেন, এবং একটি ঘূর্ণন চেকআউটের ত্রুটির সতর্কবার্তার বিলম্ব বাড়িয়ে তা পূরণ করে। তার শনাক্তকরণের অংশ ৫৫ শতাংশে নামে (দৃষ্টান্তমূলক) এবং ৯৫তম পার্সেন্টাইল শনাক্তের সময় ৮০ মিনিটে ওঠে (দৃষ্টান্তমূলক)। রক্ষাবেষ্টনী পরিমাণের পাশে থাকায় পর্যালোচনা তা ধরে। দল পরিমাণের লক্ষ্য প্রত্যাহার করে, সতর্কবার্তা ফিরিয়ে আনে এবং ঘটনাটি মেট্রিক নিবন্ধনে লিপিবদ্ধ করে (বিষয় 1.4, মেট্রিকের গভর্ন্যান্স ও মালিকানা দেখুন)।

এজাইল, এআই, অটোমেশন ও বিশ্লেষণ

এজাইল

অন-কলের মানুষদের ব্যবহৃত পণ্য হিসেবে নিয়মিত ছন্দে সতর্কবার্তা পর্যালোচনা করুন, এবং অংশীজনদের সঙ্গে কোলাহলপূর্ণগুলো অবসর বা সুর করুন। সতর্কতা হলো, সতর্কবার্তার পরিমাণ কমানোর লক্ষ্য দরকারি সতর্কবার্তা সরিয়ে দিতে পারে।

এআই

এআই সতর্কবার্তা গোষ্ঠীবদ্ধ, সংক্ষেপ ও ক্রম দিতে পারে, এবং কারণ প্রস্তাব করতে পারে। কোলাহল কমানোকে প্রকৃত ইনসিডেন্টের ফসকানোর হারের সঙ্গে জোড় বাঁধুন, এবং একজন মানুষ ভেঙেছেন বা মিলিয়েছেন এমন এআই গোষ্ঠীবদ্ধকরণের অংশ ট্র্যাক করুন। সতর্কতা হলো, একটি মডেলের দমন বিরল কিন্তু গুরুতর সতর্কবার্তা লুকাতে পারে।

অটোমেশন

নিয়ম ও ফল অনুযায়ী স্বয়ংক্রিয়ভাবে সতর্কবার্তা গুনুন, এবং সতর্কবার্তার স্বয়ংক্রিয়করণকে দমনের ত্রুটিতে মাপুন। সতর্কতা হলো, নিয়ম কেবল কাঁপছে হলে স্বয়ংক্রিয়ভাবে সমাধান হওয়া সতর্কবার্তা সুস্থ ব্যবস্থার মতো দেখাতে পারে।

বিশ্লেষণ

ব্যবহারকারীরা প্রথম লক্ষ করা ইনসিডেন্টসহ কর্মযোগ্য সতর্কবার্তার হার ও শনাক্তকরণের আচ্ছাদন প্রতিবেদন করুন। এটি যে সিদ্ধান্তে তথ্য জোগায় তা হলো কোন সতর্কবার্তা ঠিক বা সরাবেন। সতর্কতা হলো, জানা ইনসিডেন্টের বিপরীতে মাপা আচ্ছাদন সেই ব্যর্থতার ধরন উপেক্ষা করে যা কেউ এখনও দেখেনি।

খাতভিত্তিক দৃষ্টিকোণ

স্টার্টআপ। মুষ্টিমেয় প্রকৌশলী সবাই অন-কলে থাকলে অগ্রাধিকার একটি সংক্ষিপ্ত পেজিং নীতি এবং আয় করা পথে কয়েকটি লক্ষণের সতর্কবার্তা। কে জেগেছিল তার দশ মিনিটের সোমবারের পর্যালোচনা যথেষ্ট। প্রধান ঝুঁকি কোনো সতর্কবার্তা না থাকা, যাতে গ্রাহকই পর্যবেক্ষণ; কত ঘন ঘন একজন গ্রাহক আপনাকে প্রথম জানিয়েছেন গুনুন।

ছোট ব্যবসা। ছোট সংগঠন প্রায়ই একজন সরবরাহকারীর পর্যবেক্ষণের ওপর নির্ভর করে। দরকারি পরিমাপ হলো ব্যবসা থামিয়ে দেয় এমন কয়েকটি ব্যবস্থার জন্য শনাক্তকরণের আচ্ছাদন এবং ব্যবহারকারীরা পাওয়া ইনসিডেন্টের অংশ। সরবরাহকারীর কাছে আপনার চুক্তি যে সতর্কবার্তার তথ্যের অধিকার দেয় তা চান।

এন্টারপ্রাইজ। বড় সংগঠনে অনেক টুল ও ঘূর্ণন থাকে, এবং প্রতিটি দল "কর্মযোগ্য"-র ভিন্ন সংজ্ঞা দিতে পারে। সংজ্ঞা ও লেবেল আদর্শায়িত করুন, দলের স্তরে পর্যালোচনা করুন, এবং টুল অনুযায়ী নয়, সেবা অনুযায়ী সমষ্টি করুন। ইভেন্ট সম্পর্ক প্ল্যাটফর্ম বড় পরিসরে পরিমাণ কমায় কিন্তু নিজস্ব রিকল যাচাই লাগে।

সরকার ও জনসেবা খাত। কিছু সেবা অফিসের সময়ে চলে, অন্যগুলো, যেমন জরুরি বা সুবিধার ব্যবস্থা, নিরন্তর চলে। যেখানে ব্যর্থতার আইনি বা নিরাপত্তার পরিণতি আছে সেখানে শনাক্তকরণের আচ্ছাদন ও পরীক্ষিত সতর্কবার্তা সবচেয়ে গুরুত্বপূর্ণ, এবং পরীক্ষার রেকর্ড নিরীক্ষা সমর্থন করতে পারে। তদারকি সংস্থার কাছে কাঁচা সতর্কবার্তার গণনা নয়, আচ্ছাদন ও শনাক্তকরণ প্রতিবেদন করুন, যা ভুল পড়া সহজ (বিষয় 8.5, নিয়ন্ত্রক ও সরকারি প্রতিবেদন দেখুন)।

ব্যবসায়িক যুক্তি: প্রেরণা, ROI ও TCO

বিনিয়োগের কারণ ব্যবহারিক। ভালো শনাক্তকরণ ব্যবহারকারীরা প্রভাবিত থাকার সময় ছোট করে। কম অর্থহীন পেজ ঘুম রক্ষা করে, ঘূর্ণন থেকে ছেড়ে যাওয়া কমায় এবং যে সতর্কবার্তা গুরুত্বপূর্ণ তার জন্য মনোযোগ রাখে। খারাপ সতর্কবার্তার গুণমানের খরচ দেখা কঠিন কারণ তা ব্যাহত ঘুম, ধীর সাড়া এবং অভিজ্ঞ প্রকৌশলীদের প্রস্থানে ছড়ানো।

সতর্কবার্তা, পেজিং ও ইনসিডেন্টের টুল যুক্ত করা গেলে এই মেট্রিক সংগ্রহের খরচ কম, এবং হাতে লেবেল যোগ করতে হলে মাঝারি। প্রধান খরচ হলো সাপ্তাহিক পর্যালোচনার সময়, সুর করা ও মোছার কাজ, এবং মাঝেমধ্যে শনাক্তকরণের পরীক্ষা। অব্যবহৃত নিয়ম ছেঁটে ফেলাও পর্যবেক্ষণের লাইসেন্স ও সংরক্ষণের খরচ কমায়, এবং মোট মালিকানা খরচে মানুষের সময় অন্তর্ভুক্ত করা উচিত।

প্রতিদান কয়েক মাসের মধ্যে দেখা দেয় শান্ততর ঘূর্ণন, বাড়তে থাকা পর্যবেক্ষণ-শনাক্ত অংশ এবং খারাপ না হওয়া শনাক্তের সময় হিসেবে। একে অর্থে রূপান্তর করতে ইনসিডেন্টের ঘণ্টা ও ঘূর্ণনের কর্মী পরিবর্তনের খরচকে পর্যালোচনার খরচের সঙ্গে আপনার নিজের সংখ্যা দিয়ে তুলনা করুন। যাচাইকৃত উৎস উদ্ধৃত করতে না পারলে শিল্পের গড় ব্যবহার করবেন না।

অ্যান্টি-প্যাটার্ন ও ফাঁদ

  • সতর্কবার্তার পরিমাণে লক্ষ্য ঠিক করা। গণনায় লক্ষ্য নীরবতাকে পুরস্কৃত করে এবং সতর্কবার্তা লুকানোকে আমন্ত্রণ জানায়। কর্মযোগ্য সতর্কবার্তার হার ও শনাক্তকরণের অংশে লক্ষ্য ঠিক করুন, এবং পরিমাণকে দলের বাছা টেকসই সীমাসহ প্রেক্ষাপটের সংখ্যা হিসেবে ব্যবহার করুন।
  • প্রতিটি কারণে সতর্ক করা। কারণ-স্তরের ডজন ডজন পেজ কোলাহল তৈরি করে এবং তবু কেউ ভাবেনি এমন লক্ষণ ফসকায়। বদলে ব্যবহারকারী-মুখী লক্ষণে সতর্ক করুন।
  • প্রতিটি ইনসিডেন্টের পর সতর্কবার্তা যোগ করা এবং কখনও না সরানো। প্রতিটি নতুন সতর্কবার্তাকে সে যেগুলো অপ্রয়োজনীয় করে তার পর্যালোচনার সঙ্গে জোড় বাঁধুন।
  • লেবেল না করে সতর্কবার্তা গোনা। উপযোগিতার বিচার ছাড়া একটি গণনা কোলাহলপূর্ণ ঘূর্ণন ও ব্যস্ত ঘূর্ণন আলাদা করতে পারে না। কয়েক মিনিট থাকলেও প্রতি সপ্তাহে একটি নমুনা লেবেল করুন।
  • আচ্ছাদনকে সতর্কবার্তার গণনা ভাবা। পঞ্চাশটি কারণের সতর্কবার্তা ও কোনো লক্ষণের সতর্কবার্তা ছাড়া একটি সেবা দুর্বলভাবে আচ্ছাদিত। আচ্ছাদনকে পরীক্ষিত লক্ষণ শনাক্তকরণ হিসেবে সংজ্ঞায়িত করুন।
  • পেজ সামলানো বা স্বীকার করার ভিত্তিতে মানুষকে ক্রম দেওয়া। এটি কঠিন পালা নেওয়া ঘূর্ণনের সদস্যদের শাস্তি দেয় এবং পেজার এড়াতে উৎসাহিত করে। ঘূর্ণন ও সেবা অনুযায়ী প্রতিবেদন করুন এবং নকশার সংশোধন খুঁজুন।
  • সতর্কবার্তার পথ কখনও পরীক্ষা না করা। যে সতর্কবার্তা কাজ করতে দেখা যায়নি তা একটি অনুমান। গেম ডেতে সতর্কবার্তার পরীক্ষা রাখুন, এবং পাইপলাইন নিজে পর্যবেক্ষণ করুন।

পরিপক্বতার মডেল

মাত্রা 1 সূচনা 2 বিকাশ 3 মানসম্মত 4 পরিচালিত 5 সুসমন্বিত
পেজিং নীতি ও নিয়মের মালিকানা সতর্কবার্তা এলোমেলোভাবে যোগ; অনেকগুলো কেন আছে কেউ জানে না কিছু দলের নিজেদের নিয়মের জন্য একটি নীতি ও মালিক আছে একটি সংক্ষিপ্ত পেজিং নীতি; প্রতিটি পেজিং নিয়মের একজন মালিক ও একটি রানবুক নিয়মের সাময়িকতা ট্র্যাক ও পর্যালোচিত; অব্যবহৃত নিয়ম সূচি ধরে সরানো সেবা বদলালে নীতি ও মালিকানা দল ও সরবরাহকারীজুড়ে খাপ খাওয়ানো
সতর্কবার্তার গুণমান পরিমাপ কোলাহল নিয়ে অভিযোগ; কোনো গণনা নেই কিছু দল পরিমাণ গোনে; লেবেল করা নেই সাধারণ লেবেলসহ সাপ্তাহিক পর্যালোচনা; সেবা অনুযায়ী কর্মযোগ্য সতর্কবার্তার হার ও মিথ্যা ইতিবাচকের হার প্রতিবেদিত হার ট্র্যাক এবং শনাক্তকরণের পরিমাপের সঙ্গে জোড়া; উন্নয়নের কাজ অর্থায়িত সেবা ও সরবরাহকারী জুড়ে গুণমান যুক্ত; সিদ্ধান্তে তথ্য জোগানো বন্ধ হলে সংজ্ঞা সংশোধিত
শনাক্তকরণ ও আচ্ছাদন গ্রাহক ও সহকর্মীরা বেশিরভাগ সমস্যা জানান কয়েকটি মূল সেবায় লক্ষণের সতর্কবার্তা পরীক্ষিত সতর্কবার্তাসহ শনাক্তকরণের আচ্ছাদন ট্র্যাক; প্রতিটি ইনসিডেন্টের জন্য প্রথম সংকেত লিপিবদ্ধ শনাক্তের সময় ও পর্যবেক্ষণ-শনাক্ত অংশ রক্ষাবেষ্টনীসহ পর্যালোচিত; ফাঁক পরিকল্পিত কাজ হয় সতর্কবার্তার পাইপলাইনসহ নির্ভরতা ও সরবরাহকারী জুড়ে শনাক্তকরণ নিয়মিত পরীক্ষিত
উন্নয়নে ব্যবহার সতর্কবার্তার সংশোধন সবচেয়ে খারাপ রাত অনুসরণ করে সংশোধন ইনসিডেন্ট অনুসরণ করে প্রতিটি পর্যালোচনা অন্তত একটি পরিবর্তন তৈরি করে পরিমাণ, কর্মযোগ্যতা ও শনাক্তকরণের ওপর প্রভাব পর্যন্ত পরিবর্তন ট্র্যাক করা বিনিয়োগ চালাতে ঘূর্ণনের ভার, শনাক্তকরণ ও ত্রুটির বাজেট একসঙ্গে পর্যালোচিত

চেকলিস্ট

  • কী পেজ অর্জন করে বলা কয়েক বাক্যের একটি লিখিত পেজিং নীতি আছে।
  • প্রতিটি পেজিং নিয়মের একজন মালিক, একটি উদ্দেশ্য এবং একটি রানবুকের লিংক আছে।
  • প্রতিটি ঘূর্ণন অন্তত সাপ্তাহিক কী বেজেছে পর্যালোচনা করে এবং প্রতিটি সতর্কবার্তা লেবেল করে।
  • প্রতিটি পর্যালোচনা একটি নিয়মে অন্তত একটি লিপিবদ্ধ পরিবর্তন তৈরি করে।
  • আমরা সতর্কবার্তার পরিমাণ, কর্মযোগ্য সতর্কবার্তার হার ও মিথ্যা ইতিবাচকের হার ঘূর্ণন ও সেবা অনুযায়ী প্রতিবেদন করি, কখনও ব্যক্তি অনুযায়ী নয়।
  • প্রতিটি ইনসিডেন্ট একটি অজানা বিকল্পসহ লিপিবদ্ধ করে তা প্রথম কীভাবে শনাক্ত হয়েছিল।
  • আমরা সেবা স্তর সূচকের ইতিহাস থেকে প্রভাবের শুরু অনুমান করি এবং শনাক্তের সময়ের মধ্যমান ও ৯৫তম পার্সেন্টাইল প্রতিবেদন করি।
  • পরিধির প্রতিটি সেবার গত ১২ মাসে পরীক্ষিত একটি লক্ষণের সতর্কবার্তা আছে।
  • সতর্কবার্তার পাইপলাইন থামলে একটি হার্টবিট যাচাই আমাদের পেজ করে।
  • আমরা প্রতিটি ঘূর্ণনের জন্য কর্মঘণ্টার বাইরের একটি টেকসই ভারে একমত হয়েছি এবং তা পর্যালোচনা করি।
  • শুধু সতর্কবার্তার পরিমাণে কোনো লক্ষ্য ঠিক করা নেই।

এআই প্রম্পট

উদ্দেশ্য: একটি সেবার সূচক ও পরিণতি থেকে একটি পেজিং নীতির খসড়া করুন।

[সেবার নাম] সেবার জন্য একটি পেজিং নীতির খসড়া করতে সাহায্য করুন।
প্রেক্ষাপট: ব্যবহারকারীরা [ব্যবহারকারী গোষ্ঠী]; আমরা যে ব্যবহারকারী-মুখী লক্ষণ পরোয়া করি তা [লক্ষণ, যেমন ত্রুটি, বিলম্ব, অনুপলব্ধতা]; একটি ফসকানো ব্যর্থতার পরিণতি [পরিণতি]; অন-কল ঘূর্ণন [ঘূর্ণনের বর্ণনা, যেমন ঘণ্টা ও দলের আকার]।
কী পেজ অর্জন করে, কী টিকিটের সারিতে যায় এবং কী ড্যাশবোর্ডে থাকে বলা একটি সংক্ষিপ্ত নীতি (২০০ শব্দের কম) লিখুন।
সীমা বা বেঞ্চমার্ক মান বানাবেন না; আমাদের নিজস্ব তথ্য থেকে ঠিক করার জন্য [সীমা] স্থানধারক রাখুন।
চূড়ান্ত করার আগে আমাদের যে প্রশ্ন করতেন তা এবং আপনার অনুমান তালিকা করুন।

উদ্দেশ্য: কোলাহলের ধারার জন্য একটি রপ্তানি করা সতর্কবার্তার পর্যালোচনা বিশ্লেষণ করুন।

আমি [সময়কাল] থেকে [ঘূর্ণনের নাম] ঘূর্ণনের সতর্কবার্তার একটি সারণি পেস্ট করব এই কলামসহ: [কলামের নাম, যেমন নিয়ম, সময়, লেবেল, নেওয়া পদক্ষেপ, সেবা]।
শুধু আমার পেস্ট করা তথ্য ব্যবহার করে কর্মযোগ্য সতর্কবার্তার হার, মিথ্যা ইতিবাচকের হার, কর্মঘণ্টার বাইরের অংশ এবং সবচেয়ে কোলাহলপূর্ণ পাঁচটি নিয়মের সতর্কবার্তার অংশ হিসাব করুন।
কোন নিয়ম সুর, মেলানো, নামানো বা মোছা উচিত প্রস্তাব করুন, প্রতিটির কারণসহ, এবং প্রতিটি প্রস্তাব যাচাই করার একটি অনুমান হিসেবে চিহ্নিত করুন।
নিয়ম, সেবা ও ঘূর্ণন অনুযায়ী প্রতিবেদন করুন, কখনও ব্যক্তি অনুযায়ী নয়। বেঞ্চমার্ক মান বানাবেন না।
আপনার অনুমান এবং আপনি যে সারি বাদ দিয়েছেন তা তালিকা করুন।

উদ্দেশ্য: প্রকাশের আগে কারসাজির ঝুঁকির জন্য সতর্কবার্তার মেট্রিকের একটি সংগ্রহ যাচাই করুন।

এখানে আমরা প্রকাশ করার পরিকল্পনা করা সতর্কবার্তার গুণমানের মেট্রিক: [সংজ্ঞা ও সূত্রসহ মেট্রিকের তালিকা]।
প্রতিটি মেট্রিকের জন্য আমাদের [সংগঠনের ধরন ও সেবা]-র প্রেক্ষাপটে তাতে কারসাজি বা ভুল পড়া হতে পারে এমন দুটি উপায় বর্ণনা করুন, এবং একই তালিকা থেকে একটি জোড়া রক্ষাবেষ্টনী বা আমরা গ্রহণ করতে পারি এমন একটি চর্চা প্রস্তাব করুন।
রক্ষাবেষ্টনী ছাড়া দেখানো যেকোনো মেট্রিক চিহ্নিত করুন।
উৎস বা বেঞ্চমার্ক মান বানাবেন না।
আমাদের টুল কীভাবে সতর্কবার্তা ও ইনসিডেন্ট লিপিবদ্ধ করে সে সম্পর্কে আপনার অনুমান তালিকা করুন।

উদ্দেশ্য: দুর্বল আচ্ছাদনের সেবার জন্য শনাক্তকরণের একটি পরীক্ষার পরিকল্পনা করুন।

আমাদের সেবা [সেবার তালিকা], এবং যে লক্ষণের সতর্কবার্তা আছে বলে আমরা বিশ্বাস করি তা [সতর্কবার্তার তালিকা]।
পরবর্তী [গেম ডে বা মহড়া]-র জন্য একটি নিরাপদ পরীক্ষার পরিকল্পনা প্রস্তাব করুন যা প্রতিটি সেবার জন্য যাচাই করে যে একটি ইচ্ছাকৃত লক্ষণ সতর্কবার্তা ট্রিগার করে, [ঘূর্ণন]-এ পৌঁছায় এবং একটি রানবুকের সঙ্গে যুক্ত।
আগে কাকে জানাতে হবে এবং শনাক্তকরণের আচ্ছাদনের জন্য ফল কীভাবে লিপিবদ্ধ করবেন বলুন।
টুলের বৈশিষ্ট্য বানাবেন না; [পর্যবেক্ষণ টুল] কীভাবে কাজ করে আমাকে জিজ্ঞাসা করুন।
আপনার অনুমান তালিকা করুন।

এআই স্কিল

  • Service Management Metrics skill: একটি সম্পর্কিত পরিমাপ কোন বিষয় সংজ্ঞায়িত করে এবং একটি সতর্কবার্তার গুণমানের মেট্রিকের পাশে কোন রক্ষাবেষ্টনী থাকা উচিত তা খুঁজে পেতে ব্যবহার করুন।
  • Service Management Metrics maintainer skill: এই বিষয়ের সম্পাদনা টেমপ্লেট, কারসাজির সারণি ও আন্তঃসূত্র সামঞ্জস্যপূর্ণ রাখে কি না যাচাই করতে ব্যবহার করুন।

মূল শিক্ষা

  • সতর্কবার্তা বিচার করুন তা পদক্ষেপে নিয়ে গেছে কি না দিয়ে, এবং পর্যবেক্ষণ বিচার করুন কত প্রকৃত সমস্যা সে ধরেছে তা দিয়ে; প্রিসিশন ও রিকল একে অপরকে রক্ষা করে।
  • ব্যবহারকারীরা অনুভব করেন এমন লক্ষণে পেজ করুন, যেখানে একটি আছে সেখানে সীমা সেবা স্তর লক্ষ্যের সঙ্গে বাঁধুন, এবং কারণ রোগনির্ণয়ের জন্য রাখুন।
  • প্রতি সপ্তাহে কী বেজেছে পর্যালোচনা করুন, লেবেল করুন, এবং প্রতিবার অন্তত একটি পরিবর্তন করুন।
  • শুধু সতর্কবার্তার পরিমাণে কখনও লক্ষ্য ঠিক করবেন না; কর্মযোগ্য সতর্কবার্তার হার, পর্যবেক্ষণ-শনাক্ত অংশ ও শনাক্তের সময়ের পাশে পড়ুন।
  • সতর্কবার্তা ও সতর্কবার্তার পাইপলাইন পরীক্ষা করুন, কারণ একটি অপরীক্ষিত সতর্কবার্তা একটি অনুমান।
  • ঘূর্ণন ও সেবা অনুযায়ী প্রতিবেদন করুন, কখনও মানুষ নয়, এবং টেকসই অন-কলের ভারকে একটি নকশার লক্ষ্য ধরুন।

তথ্যসূত্র ও আরও পড়ার জন্য

  1. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, "Monitoring Distributed Systems," https://sre.google/sre-book/monitoring-distributed-systems/
  2. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, "Practical Alerting from Time-Series Data," https://sre.google/sre-book/practical-alerting/
  3. Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018, "Alerting on SLOs," https://sre.google/workbook/alerting-on-slos/
  4. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  5. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  6. Wikipedia, System monitoring.
  7. Wikipedia, False positives and false negatives.
  8. Wikipedia, Precision and recall.
  9. Wikipedia, Signal-to-noise ratio.
  10. Wikipedia, Alarm fatigue.
  11. Wikipedia, On-call.
  12. Wikipedia, Site reliability engineering.
  13. Wikipedia, Service-level objective.