تضخم المقاييس وتخفيف الجودة
حين يجعل الذكاء الاصطناعي الحجم والسرعة رخيصين، يتضخم كل مقياس يعد الحجم والسرعة، لذا اقرن كلًا منها بمقياس فائدة فحصه شخص، وراقب هل تغرق الإشارة في بياناتك.
نظرة عامة والدافع
يعمل المقياس لأنه يعكس شيئًا يصعب إنتاجه. البلاغات المحلولة تعكس جهدًا. والمستندات المكتوبة تعكس معرفة. والاختبارات المضافة تعكس عناية. حين تجعل أداة المخرج المرئي شبه مجاني، تنكسر الصلة بين المخرج والجهد. تواصل الأرقام الارتفاع ويتسرب المعنى. هذا هو تضخم المقاييس، ورفيقه تخفيف الجودة: تنخفض حصة المنتَج المفيد ويصبح الجزء المفيد أصعب إيجادًا.
هذه ليست مشكلة جديدة. يصف قانون غودهارت (Goodhart's law) وقريبه قانون كامبل (Campbell's law) كيف تفسد المقاييس المستخدمة للضبط. ومقياس الغرور (vanity metric) يبدو مثيرًا للإعجاب ولا يقول شيئًا عن صحة العمل. ما يغيره الذكاء الاصطناعي سرعة المخرجات وحجمها اللذان يمكن توليدهما، ومعهما سرعة هذه الإخفاقات القديمة وحجمها. فريق كان يضخم عددًا بيده يستطيع الآن فعل ذلك في دقائق، كثيرًا دون قصد.
أنماط عدة تتكرر في عمل الخدمة والتسليم.
- تضخم الحجم. يصوغ الذكاء الاصطناعي بلاغات أكثر وردودًا أكثر وتعليقات أكثر وحالات اختبار أكثر ومستندات أكثر وشيفرة أكثر. ترتفع أعدادها. ويرتفع عبء من يجب أن يقرأوها ويراجعوها ويصونوها أيضًا.
- تضخم السرعة. ينخفض الزمن حتى مسودة أولى بحدة، وينخفض الزمن حتى نتيجة منتهية مفحوصة أقل، أو لا ينخفض. لوحة تبلّغ الأول تحكي قصة مجاملة.
- الضجيج. محتوى أكثر ينافس على الانتباه. الحمل الزائد للمعلومات (information overload) حالة لا يستطيع فيها شخص معالجة حجم المعلومات المعروضة، وتنخفض نسبة الإشارة إلى الضجيج (signal-to-noise ratio) في قاعدة المعرفة أو طابور البلاغات أو تيار التنبيهات. وإرهاق التنبيهات (alert fatigue) شكله التشغيلي (انظر الموضوع 5.5، مقاييس جودة المراقبة والتنبيهات).
- محتوى مولد منخفض الجودة. المحتوى المنتَج بالجملة بمراجعة قليلة، المسمى أحيانًا حثالة الذكاء الاصطناعي (AI slop)، معقول ورقيق. قاعدة معرفة تُبذر بمقالات كهذه تصبح أقل جدارة بالثقة، ويتعلم المستخدمون عدم الوثوق بها.
- كلفة التحقق. جهد فحص ادعاء كثيرًا أكبر بكثير من جهد صنعه، نمط يُسمى أحيانًا قانون براندوليني (Brandolini's law). حين يرخص التوليد، يصبح التحقق عنق الزجاجة.
- كفاءة تزيد الاستهلاك. يصف مفارقة جيفونز (Jevons paradox) حالات تقود فيها مكاسب الكفاءة إلى استخدام أكثر لمورد لا أقل. إن رخصت صياغة تقرير، يُطلب المزيد من التقارير. الوقت الموفَّر بأداة قد يستهلكه عمل أكثر وأقل قيمة.
- حلقات التغذية الراجعة. إن غذّى المحتوى المولد جولة التوليد التالية، تتراكم الأخطاء. تصف أدبيات البحث انهيار النموذج (model collapse) في نماذج دُربت على مخرجاتها. وقد تحدث حلقة مماثلة داخل مؤسسة حين يلخص مساعد بلاغات كتبها مساعد من مقالات لخصها مساعد.
- خطوط أساسية منجرفة. إن تغير توزيع البيانات بسبب الذكاء الاصطناعي، لا تعني الاتجاهات والعتبات ما كانت تعنيه. هذا يشبه انجراف المفهوم (concept drift) في تعلم الآلة، حيث تتغير العلاقة بين المدخلات والنتائج عبر الزمن. ارتفاع حجم البلاغات قد يعكس سهولة إنشاء البلاغ لا مشكلات أكثر.
أهداف الأجايل مهمة هنا. يعتمد التسليم المستمر والتحسين المستمر والوتيرة المستدامة كلها على وضوح الإشارة. لا ينبغي أن يُطلب من الأفراد المتحمسين الخوض في ضجيج مولد آليًا أو التحقق من أكوام المخرجات بوتيرة غير مستدامة. وأصحاب المصلحة المنخرطون باستمرار أفضل دفاع أيضًا: سيخبرونك حين لا تعود التقارير تفيد.
يعطي هذا الموضوع المقاييس لملاحظة التضخم والتخفيف، والاقترانات التي تكشفهما. وهو يبني على الأسس ومقاييس العمل المدعوم (انظر الموضوع 10.1، الذكاء الاصطناعي في قياس إدارة الخدمات، والموضوع 10.2، قياس العمل المدعوم بالذكاء الاصطناعي).
المبادئ الأساسية
- اقرن كل مقياس حجم أو سرعة بفحص فائدة. يحكم شخص هل المخرج مفيد.
- قِس حتى نتيجة منتهية متحقق منها. سرعة المسودة الأولى فخ.
- راقب عبء التحقق. ينمو بهدوء ويستهلك الوقت الموفَّر.
- احمِ الإشارة. أبقِ قاعدة المعرفة والطوابير والتنبيهات نظيفة بما يكفي للوثوق بها.
- اكسر حلقات التغذية الراجعة. لا تدع المحتوى المولد يغذي التوليد بلا مراجعة.
- أعد الخط الأساسي حين تتغير البيانات. الاتجاهات عبر تحول تقني تحتاج عناية.
- فضّل مخرجات أقل وأفضل. القليل قد يكون أكثر حين يكون الانتباه المورد المحدِّد.
تعريفات المقاييس
| المقياس | التعريف | الصيغة | الوحدة | مصدر البيانات | ممارسة ITIL | المقابل في الأجايل | التكرار |
|---|---|---|---|---|---|---|---|
| نسبة المخرجات إلى النتائج | حجم المخرجات نسبة إلى النتيجة التي قُصد أن تنتجها | عدد المخرجات (بلاغات ومقالات وتغييرات) / مقياس النتيجة (مشكلات محلولة ومقالات مستخدمة وتغييرات باقية)، في الفترة نفسها، متتبَّعًا اتجاهًا | نسبة | متتبع العمل وقاعدة المعرفة ومقاييس النتائج | التحسين المستمر؛ القياس والإبلاغ | برمجيات عاملة على حجم التوثيق | شهري |
| حصة البنود المفيدة | حصة البنود المأخوذ منها عينات التي حكم مراجع مؤهل أنها مفيدة | البنود المأخوذ منها عينات المحكوم بفائدتها (صحيحة وذات صلة وغير مكررة) / البنود المأخوذ منها عينات | نسبة مئوية | مراجعة عينة عشوائية | إدارة المعرفة؛ ضمان الجودة | تعريف الإنجاز للمحتوى | شهري |
| عبء التحقق | وقت الناس المنفق في فحص العمل المولد وتصحيحه لكل وحدة مخرج | ساعات المراجعة والتصحيح / وحدات المخرج، متتبَّعًا اتجاهًا | ساعات لكل وحدة | تقديرات الوقت وبيانات أداة المراجعة | الإدارة المالية للخدمات؛ التحسين المستمر | سعة المراجعة قيدًا | شهري |
| معدل تكرار المحتوى | حصة بنود المعرفة التي تكرر بندًا آخر أو تتداخل معه جوهريًا | البنود المعلَّمة مكررة أو متداخلة في المراجعة أو بالمطابقة / البنود في قاعدة المعرفة | نسبة مئوية | مراجعة قاعدة المعرفة وتقارير المطابقة | إدارة المعرفة | مصدر حقيقة واحد | ربع سنوي |
| الحصة المراجَعة من المعرفة المولدة | حصة بنود المعرفة المولدة بالذكاء الاصطناعي التي راجعها شخص مؤهل ووافق عليها قبل النشر | البنود المولدة المنشورة بمراجعة موافق عليها / البنود المولدة المنشورة | نسبة مئوية | بيانات وصفية لقاعدة المعرفة | إدارة المعرفة؛ تمكين التغيير | مراجعة قبل الإصدار | شهري |
| تدفق القائمة المتراكمة مقابل الحل | نمو العمل الوارد نسبة إلى نمو العمل المحلول، للطوابير المتأثرة بالذكاء الاصطناعي | (التغير في البنود المنشأة) / (التغير في البنود المحلولة)، مقارنة بالخط الأساسي قبل الذكاء الاصطناعي | نسبة | سجل البلاغات والمتتبع | إدارة الحوادث؛ إدارة طلبات الخدمة | توازن التدفق | شهري |
| أعلام انجراف المقاييس | عدد المقاييس التي تغير تعريفها أو توزيعها بوضوح بعد إدخال الذكاء الاصطناعي، مراجَعة ومعلَّق عليها | المقاييس المعلَّمة في المراجعة / المقاييس في السجل | عدد؛ نسبة مئوية | مراجعة سجل المقاييس وفحوص التوزيع | القياس والإبلاغ | اجتماع مراجعة عن القياس | ربع سنوي |
عرّف «مفيد» في معيار مكتوب: صحيح وذو صلة بحاجة حقيقية وغير مكرر وحديث. يعدّ عبء التحقق وقت الناس المنفق، بما فيه وقت إعادة الصياغة، ويستثني الوقت الذي ينتظر فقط. والحصة المراجَعة ضابط: تُتتبع المعرفة المولدة غير المراجَعة على حدة وتُبقى موسومة بوضوح. وأعلام انجراف المقاييس حوارات لا عقوبات: العلم يعني أن شخصًا قرر هل يعدّل التعريف أو يعلّق على الاتجاه أو يعيد الخط الأساسي. وكل المقاييس تصف العمليات والمحتوى، لا الأفراد.
التوصيات
اقرن الحجم بالفائدة
1. ابنِ فحص فائدة في كل مقياس حجم. لكل مقياس حجم أو سرعة على لوحتك، سمِّ مقياس فائدة حكم عليه شخص. تُقرن البلاغات المنشأة بجودة الحل، والمقالات المكتوبة باستخدام المقال ودقته، والتغييرات المدموجة بالبقاء وإعادة العمل (انظر الموضوع 10.2، قياس العمل المدعوم بالذكاء الاصطناعي). أظهرها معًا، وناقش حين تتباعد.
2. خذ عينات واحكم، بانتظام. كل شهر، اسحب عينة عشوائية من بنود التيارات التي يمسها الذكاء الاصطناعي ودع شخصًا مؤهلًا يحكم عليها مقابل معيار مكتوب. سجّل حصة المفيد وأسباب فشل البنود. ناوب المراجعين وأبقهم مستقلين عن المنتجين. أخذ العينات الدفاع الرئيسي من التخفيف البطيء.
3. أبلِغ النتائج قبل المخرجات. في تقارير القيادة، ابدأ بالنتائج: مشكلات محلولة ومستخدمون راضون وعيوب متجنَّبة. ضع أعداد المخرجات بعد ذلك سياقًا. إن كان التقرير سيبقى قيّمًا مع إزالة أعداد المخرجات، فهو موجَّه جيدًا.
اضبط التحقق والضجيج
4. قِس عبء التحقق. قدّر الوقت المنفق في فحص العمل المولد وتصحيحه، وتتبعه اتجاهًا لكل وحدة مخرج. إن ارتفع مع ارتفاع المخرجات، فالمكسب الصافي أصغر مما توحي به أرقام التوليد، وقد يكون المراجعون في طريقهم إلى الحمل الزائد. أدرج العبء في الكلفة لكل مهمة (انظر الموضوع 10.1، الذكاء الاصطناعي في قياس إدارة الخدمات).
5. قيّد ما يدخل النظام. قرر أي محتوى مولد يجوز إنشاؤه ونشره آليًا وأيه يحتاج مراجعة. ضع حدودًا لحجم التغييرات المولدة وعددها في مراجعة واحدة. سهّل قول لا للحجم. طابور أصغر ببنود أوضح يخدم المستخدمين أفضل.
6. أدر قاعدة المعرفة منتجًا. اوسم المحتوى المولد، واشترط المراجعة قبل النشر، واسحب المكرر والقديم، وتتبع التكرار والاستخدام. قاعدة المعرفة مفيدة بقدر ثقة المستخدمين بها. أزل المقالات التي لا يستخدمها أحد ولا يستطيع أحد الكفالة بها (انظر الموضوع 3.6، مقاييس إدارة المعرفة).
7. أبقِ تيارات التنبيهات والبلاغات نظيفة. إن أنشأ الذكاء الاصطناعي بلاغات من تنبيهات أو ملخصات، فقِس الحصة المفيدة والمكررات. اضبط بحزم. عامل نسبة إشارة إلى ضجيج متراجعة حادثةً بذاتها، لأنها تضر الاستجابة حين تأتي المشكلة الحقيقية.
اكسر الحلقات وراقب الخط الأساسي
8. امنع المحتوى المولد من تغذية نفسه بلا فحص. حيث يستمد مساعد من قاعدة معرفة أو تاريخ بلاغات أو تقارير سابقة، تأكد أن المادة المولدة في تلك المصادر روجعت، أو موسومة وموزونة وفقًا لذلك. خذ عينات من السلسلة: اختر جوابًا وتتبعه عبر مصادره لترى من أين جاء. الحلقات غير المفحوصة تضخم الأخطاء.
9. أعد الخط الأساسي حين تتحول البيانات. بعد إدخال الذكاء الاصطناعي، علّق على رسوم الاتجاه، وحيث تغيرت طبيعة البيانات ابدأ خطًا أساسيًا جديدًا. افحص التوزيعات لا المجاميع فقط: قد يتغير طول البلاغ ومزيج الفئات وزمن الإنشاء. تحفز أعلام انجراف المقاييس هذه الحوارات (انظر الموضوع 1.6، الثقافة الإحصائية لمقاييس الخدمة).
10. ابحث عن الارتداد. حين تصبح مهمة أرخص، اسأل هل سينمو الطلب عليها. قرر مسبقًا كيف تستخدم الوقت الموفَّر، حتى لا يمتصه مخرج أكثر وأقل قيمة. فريق ينتج ضعف التقارير بالجهد نفسه قد يؤدي عملًا أقل فائدة.
أبقِ الانتباه البشري في الحلقة
11. احمِ انتباه المراجعين والمستخدمين. سعة المراجعة والانتباه نادران. قلل حجم المادة التي يجب أن يقرأها الناس، وأعطِ المراجعين أحمالًا واقعية، واسألهم ما الذي يزداد صعوبة. تشمل الوتيرة المستدامة وتيرة القراءة والحكم (انظر الموضوع 9.2، مقاييس الرضا والرفاهية).
12. اسأل المستخدمين وأصحاب المصلحة هل الإشارة واضحة. إشراك من يستخدمون المخرجات باستمرار أفضل اختبار. اسأل هل قاعدة المعرفة أسهل أو أصعب استخدامًا، وهل التقارير تخبرهم بما يحتاجون، وهل يبدو الطابور أوضح. ينبغي قراءة إجاباتهم وتعليقاتهم بجوار الأرقام.
مسارات التلاعب وحواجز الحماية
| المقياس | كيف يُتلاعب به | حاجز الحماية أو الممارسة المقترنة |
|---|---|---|
| نسبة المخرجات إلى النتائج | اختيار مقياس نتيجة يرتفع مع الحجم؛ تغيير الفترة | النتيجة ثابتة في السجل؛ قارن بالرضا ومعدل إعادة الفتح |
| حصة البنود المفيدة | أخذ عينات من بنود سهلة؛ معيار متساهل؛ مراجعون متأثرون بالمنتج | عينة عشوائية؛ معيار مكتوب؛ مراجعون مستقلون متناوبون |
| عبء التحقق | عدم تسجيل وقت المراجعة؛ نقل الفحص إلى فرق المصب | أدرج إعادة العمل في المصب؛ اسأل المراجعين عن الحمل |
| معدل تكرار المحتوى | قواعد مطابقة ضيقة تفوتها التكرارات؛ دمج بنود متمايزة | خذ عينات من التكرارات يدويًا؛ سجّل قواعد الدمج |
| الحصة المراجَعة من المعرفة المولدة | تعليم المراجعة مكتملة دون قراءة؛ المراجعة بالجملة | خذ عينات من المراجعات للجوهر؛ الزمن لكل مراجعة؛ معدل الأخطاء في البنود المنشورة |
| تدفق القائمة المتراكمة مقابل الحل | الإغلاق الآلي للبنود؛ تقسيم البنود | افحص جودة الحل؛ معدل إعادة الفتح؛ خذ عينات من البنود المغلقة |
| أعلام انجراف المقاييس | عدم التعليم لتجنب العمل؛ تعليم كل شيء | راجع كل المقاييس كل ربع؛ اشترط قرارًا لكل علم |
القراءة السليمة حصة بنود مفيدة ثابتة أو صاعدة مع نمو الحجم، وعبء تحقق معروف ومقدور عليه، وقاعدة معرفة بتكرار منخفض ومحتوى مولد مراجَع، وطوابير بإشارة واضحة، ونظرة قيادة تبدأ بالنتائج.
المفاضلات: الإيجابيات والسلبيات
| النهج | نقطة القوة | نقطة الضعف |
|---|---|---|
| عدّ المخرجات | سهل ومألوف | يتضخم؛ يكافئ الحجم |
| قياس النتائج | يعكس القيمة | أبطأ؛ أصعب في الإسناد |
| أخذ عينات والحكم | يكشف التخفيف | يحتاج مراجعين مهرة؛ جهد |
| تسجيل جودة آلي | يتوسع | رأي نموذج آخر؛ قد يشارك النقاط العمياء نفسها |
| مراجعة كل ما يُولَّد | آمن | يزيل الفائدة؛ المراجعون مثقلون |
| مراجعة عينة | عملي | تمر بعض البنود الرديئة |
| السماح بتوليد مفتوح | سريع وواسع | ضجيج؛ تآكل الثقة |
| حصر التوليد في استخدامات معتمدة | إشارة أنظف | اعتماد أبطأ؛ فوائد فائتة |
الجواب العملي قياس النتائج، وأخذ عينات والحكم على الفائدة مع الناس، وتقييد ما يدخل المخازن المشتركة بلا مراجعة، وإعادة النظر في الخطوط الأساسية. استخدم التسجيل الآلي عونًا لا حكَمًا.
أسئلة للنقاش مع فريقك
1. أي أرقامنا ارتفعت منذ بدأنا استخدام الذكاء الاصطناعي، وماذا فعلت لمن نخدمهم؟ اسرد الأرقام. لكل منها، انظر إلى النتيجة التي قُصد أن تعكسها. على الميسّر تدوين أين لم تتحرك النتيجة. اقرن تلك الأرقام بفحص فائدة.
2. كم مما نشرناه أو أنشأناه الشهر الماضي نرضى بالدفاع عنه سطرًا سطرًا؟ خذ عينة عشوائية واقرأوها معًا. علّموا المفيد والرقيق والخاطئ والمكرر. ناقشوا المعدل والأسباب. اتفقوا على معيار لما يدخل المخازن المشتركة.
3. أين يصبح الفحص عنق الزجاجة لدينا؟ اسأل المراجعين. انظر إلى طوابير المراجعات وعمقها والجهد الذي يحملونه الآن. اتفقوا على حد لحجم البنود المولدة أو عددها لكل مراجعة، وعلى طريقة لقياس العبء.
4. أي محتوى مولد يغذي محتوى مولدًا آخر هنا؟ تتبع جوابًا نموذجيًا إلى مصادره. أين بدأت السلسلة؟ ناقشوا أين ينبغي أن يفحص شخص السلسلة، أو يوسم المحتوى.
5. ماذا سيقول مستخدم عن قاعدة معرفتنا الآن مقارنة بسنة مضت؟ اقرأ التعليقات الأخيرة وانظر إلى بيانات الاستخدام. اسأل هل أصبح إيجاد جواب جدير بالثقة أسهل أو أصعب. اتفقوا على تنظيف واحد وقاعدة واحدة للمحتوى الجديد.
6. أي اتجاهاتنا ينبغي أن نعيدها بخط أساسي جديد؟ اسرد المقاييس التي تعتمد على الحجم أو على كيفية إنشاء البنود. ابحث عن تغيرات في الشكل منذ وصل الذكاء الاصطناعي. علّق على الاتجاهات، وقرروا أيها يحتاج خطًا أساسيًا جديدًا.
أربعة منظورات
فرق المنتج والتسليم
تولد فرق التسليم كثيرًا من الحجم وتحمل الصيانة. وعليها تفضيل تغييرات أصغر وأوضح، وإبقاء المادة المولدة مراجَعة وموسومة، ومراقبة البقاء وإعادة العمل. وعليها رفض المقاييس القائمة على الحجم المولد وطلب مقاييس النتائج.
فرق الخدمة والعمليات
تعيش فرق العمليات في الطوابير والتنبيهات وقاعدة المعرفة التي يضرها التخفيف. وعليها ضبط البلاغات والتنبيهات التي ينشئها الذكاء الاصطناعي للحفاظ على قوة الإشارة، ومراجعة المعرفة المولدة قبل نشرها، والإبلاغ حين يصبح التيار ضجيجًا. وهي في أفضل موضع للحكم على الفائدة.
القيادة والحوكمة
يتلقى القادة اللوحات التي يشوهها التضخم. وعليهم طلب النتائج أولًا، واشتراط فحوص الفائدة بجانب الحجم، وتمويل سعة المراجعة، وقبول أن بعض المقاييس تحتاج إعادة خط أساسي. وعلى الحوكمة التحقق من أن المحتوى المولد في المخازن المشتركة مراجَع وموسوم.
العملاء والمستخدمون
يتحمل المستخدمون كلفة التخفيف حين تكون الإجابات خاطئة والمقالات متناقضة والردود طويلة وفارغة. يريدون مساعدة قصيرة وصحيحة وذات صلة. وردة فعلهم على جودة ما يتلقونه اختبار مباشر لهل بقيت الإشارة.
في الممارسة: مثال من إدارة الخدمات
تفعّل مجموعة تقنية المعلومات في شركة أدوية عالمية مساعد ذكاء اصطناعي لصياغة مقالات المعرفة وتلخيص البلاغات وإعداد تقارير الحالة الأسبوعية. خلال ربع، تبدو اللوحة ممتازة. الأرقام أدناه توضيحية.
ترتفع مقالات المعرفة المنشأة من 140 إلى 610 في الشهر. تحمل البلاغات ملخصات مفصلة بكتابة الذكاء الاصطناعي. وتبلغ التقارير الأسبوعية اثنتي عشرة صفحة. تلاحظ مديرة جودة الخدمة أن الرضا عن الخدمة الذاتية انخفض وأن مكتب الخدمة يبلّغ عن اتصالات «المقال لم يساعد» أكثر. تأخذ عينة من 100 مقال جديد مع وكيلين ذوي خبرة. 54 فقط محكوم بفائدتها: 23 تكرر مقالات موجودة، و15 تحتوي خطوات قديمة أو خاطئة، و8 غامضة جدًا للتنفيذ. ومن المقالات الجديدة، نُشر 71 في المئة بلا مراجعة بشرية. وتحوي قاعدة المعرفة الآن نحو 3,200 مقال، بمعدل تكرار محتوى تقدره 28 في المئة مقابل 9 في المئة قبل سنة. ويبلّغ الوكلاء أن إيجاد جواب جدير بالثقة يستغرق وقتًا أطول. وعبء التحقق لمحرري مقالات مكتب الخدمة نما إلى نحو 40 ساعة في الأسبوع، ارتفاعًا من 12. وتجعل الملخصات المكتوبة بالذكاء الاصطناعي للبلاغات الردود المولدة لاحقًا تعتمد على نص لم يكتبه أحد، وفي تتبع خمسة ردود عبر مصادرها، اعتمد اثنان على ملخص أخطأ في وصف المشكلة. والتقارير الأسبوعية، حين تُقرأ، تقول القليل مما لم يكن في السابق، وتوقف أصحاب المصلحة عن القراءة بعد الصفحة الثانية.
تقترح أربعة تغييرات، تعتمدها قيادة الخدمة ومالكو المعرفة. المقالات المولدة تحتاج مراجعة محرر مسمى قبل النشر، وتُوسم حتى يُوافق عليها. وحد مقال مولد واحد لكل مجموعة موضوعات يمنع التكرارات، وحملة تنظيف تدمج أو تسحب البنود المكررة. وتُقطع قوالب التقارير إلى صفحتين تبدآن بالنتائج، ويُستخدم الذكاء الاصطناعي لصياغة الأقسام التي يحررها شخص فقط. وتُعلَّم ملخصات البلاغات مولدة، وتُفحص عينة منها كل شهر. وتبلّغ اللوحة حصة البنود المفيدة ومعدل التكرار والحصة المراجَعة وعبء التحقق بجوار أعداد المقالات.
بعد ربعين، تنخفض المقالات المنشأة شهريًا إلى 190، وترتفع حصة البنود المفيدة إلى 91 في المئة، وينخفض معدل التكرار إلى 11 في المئة، والحصة المراجَعة 100 في المئة، ويستقر عبء التحقق عند نحو 16 ساعة في الأسبوع. ويتعافى رضا الخدمة الذاتية وتنخفض اتصالات «المقال لم يساعد». ويقرأ أصحاب المصلحة تقرير الصفحتين. يطلب مدير هدف 1,000 مقال في الشهر لإظهار قيمة برنامج الذكاء الاصطناعي. تشرح مديرة جودة الخدمة أن العدد كان المشكلة، وتقترح تتبع الفائدة والاستخدام. يُسجَّل القرار.
الأجايل والذكاء الاصطناعي والأتمتة والتحليلات
الأجايل
مراجعة منتظمة هل ما زال كل عدد يعكس الفائدة تساعد الفريق على ملاحظة التضخم مبكرًا، ويستطيع أصحاب المصلحة إخبارك بما يستخدمونه فعلًا. والتحذير أن تشديد عدد بعد ملاحظة التضخم يبدأ الدورة من جديد.
الذكاء الاصطناعي
يجعل الذكاء الاصطناعي الحجم والسرعة رخيصين، فيتضخم كل عدد للحجم أو السرعة. اقرن كلًا بحصة البنود التي حكم شخص بفائدتها وعبء التحقق، وافحص المحتوى المكرر. والتحذير أن ذكاءً اصطناعيًا يُستخدم لفحص مخرجات ذكاء اصطناعي قد يشارك النقاط العمياء نفسها، فأبقِ أخذ العينات البشري.
الأتمتة
أتمت اكتشاف المكررات وشبه المكررات والمحتوى القديم، وقِس الاكتشاف بالإيجابيات الكاذبة. والتحذير أن التنظيف الآلي قد يزيل بنودًا نادرة لكن مهمة.
التحليلات
أبلِغ نسبة المخرجات إلى النتائج وحصة البنود المفيدة مع أحجام العينات. والقرار الذي يفيد فيه هو أي الأعداد يتوقف عن إبلاغها. والتحذير أن النسبة تعتمد على كيفية تعريف النتائج، فاذكرها.
منظور القطاعات
الشركات الناشئة. التوليد رخيص ووقت المراجعة نادر. أبقِ التوثيق والبلاغات قصيرة، وراجع ما سيقرؤه العملاء، واحذف بحرية. مجموعة مقالات صغيرة صحيحة أفضل من كبيرة مشكوك فيها.
الأعمال الصغيرة. سعة المراجعة قليلة، فقيّد ما تنتجه الأداة. فضّل حفنة أدلة وقوالب متحقق منها. احذر نشر مادة مولدة على صفحات عامة دون فحصها.
المؤسسات الكبرى. يضخم الحجم الضجيج. أنشئ حوكمة محتوى بمالكين ووسوم وقواعد مراجعة، وقِس الفائدة عبر قاعدة المعرفة، وأجرِ تنظيفات دورية. شارك المعايير عبر الفرق وقارن الاتجاهات لا الفرق.
الحكومة والقطاع العام. يجب أن يكون المحتوى العام دقيقًا ومتاحًا، وقد تضر الأخطاء. اشترط مراجعة المعلومات العامة المولدة، واحتفظ بسجلات كيف أُنتجت، وطبق معايير اللغة البسيطة وإتاحة الوصول. قد تنطبق قواعد الاحتفاظ والسجلات على المادة المولدة (انظر الموضوع 8.5، التقارير التنظيمية والحكومية).
مبررات الأعمال: الدوافع والعائد على الاستثمار والتكلفة الإجمالية للملكية
كلف الحماية من التضخم متواضعة: وقت المراجعة لأخذ العينات، وجهد التحرير للمحتوى المولد، وأدوات اكتشاف المكررات، وجهد إعادة الخط الأساسي للاتجاهات. وكلف عدم فعل ذلك أكبر لكنها منتشرة: مستخدمون يتوقفون عن الوثوق بالخدمة الذاتية، ومراجعون يحترقون، وقرارات تُتخذ على أرقام متضخمة، ومشاريع تنظيف.
ابنِ الحجة من بياناتك: حصة البنود المفيدة وعبء التحقق عبر الزمن، وحجم الاتصالات التي يسببها محتوى غير مفيد، وكلفة تنظيف قاعدة المعرفة. تجنب استخدام أرقام منشورة عن جودة المحتوى المولد، التي تتفاوت كثيرًا بالأداة والمهمة والطريقة. أدرج الكلفة المتجنَّبة لضرر السمعة من نشر معلومات خاطئة (انظر الموضوع 7.7، العائد على الاستثمار ومبررات الأعمال).
الأنماط المضادة والمزالق
- الاحتفاء بالحجم. يكافئ الضجيج. احتفِ بالنتائج والفائدة.
- سرعة المسودة الأولى قصة الإنتاجية. قد يختفي الوفر في الفحص. قِس الزمن حتى نتيجة متحقق منها.
- نشر محتوى مولد بلا مراجعة. تتآكل الثقة بهدوء. راجع ووسم.
- ترك المحتوى المولد يغذي التوليد. تتراكم الأخطاء. افحص السلسلة.
- خطوط أساسية لا تتغير. تضلل الاتجاهات بعد تحول تقني. علّق وأعد الخط الأساسي.
- إثقال المراجعين. تصبح المراجعة ختمًا. قيّد الحجم وقِس العبء.
- استخدام قاضٍ ذكاء اصطناعي لكل شيء. قد يشارك النقاط العمياء للمنتج. أبقِ الناس في الحلقة.
- تجاهل الارتداد. العمل الأرخص يجذب عملًا أكثر. قرر ما غرض الوقت الموفَّر.
نموذج النضج
| البُعد | 1 البدء | 2 التطوير | 3 التوحيد | 4 الإدارة | 5 التنسيق |
|---|---|---|---|---|---|
| الاقتران والعينات | الحجم مبلَّغ وحده | انطباعات جودة غير رسمية | كل مقياس حجم مقرون بفحص فائدة بالعينات | الفائدة والعبء والتكرار مُدارة بأهداف للمراجعة لا للحجم | رؤية عبر المؤسسة لجودة الإشارة؛ المعايير مشتركة مع الشركاء |
| المحتوى والحلقات | محتوى مولد مختلط | بعض الوسم | المحتوى المولد موسوم ومراجَع قبل النشر؛ السلاسل مأخوذ منها عينات | الحلقات مراقَبة؛ المخازن مُنتقاة؛ المكررات تُسحب بجدول | المصدر متتبَّع من طرف إلى طرف عبر الأدوات والموردين |
| الخطوط الأساسية والانتباه | الاتجاهات تُقرأ عبر التحول | تعليقات على بعض الرسوم | الخطوط الأساسية تُعاد حيث تغيرت البيانات؛ الارتداد مراعى | أعلام الانجراف تُراجَع ربع سنويًا؛ حمل المراجعين مُدار | تصميم المقاييس يتكيف باستمرار مع التغير التقني بالاشتراك مع أصحاب المصلحة |
قائمة التحقق
- لكل مقياس حجم أو سرعة رفيق فائدة حكم عليه شخص.
- عينة عشوائية من بنود مسّها الذكاء الاصطناعي تُراجَع شهريًا مقابل معيار مكتوب.
- عبء التحقق مقدَّر ومتتبَّع اتجاهًا.
- المعرفة المولدة موسومة ومراجَعة قبل النشر.
- التكرار في قاعدة المعرفة مقيس ومخفَّض.
- تيارات التنبيهات والبلاغات مراقَبة لحصة المفيد والمكررات.
- تؤخذ عينات من السلاسل من المخرجات المولدة إلى مصادرها.
- الاتجاهات عبر إدخال الذكاء الاصطناعي معلَّق عليها أو معاد خطها الأساسي.
- تقارير القيادة تبدأ بالنتائج.
- يُسأل المستخدمون وأصحاب المصلحة هل الإشارة أوضح أو أكثر ضجيجًا.
موجِّهات الذكاء الاصطناعي
أنشئ معيار فائدة.
Draft a short rubric (no more than six criteria) for judging whether a [knowledge
article, ticket summary, status report] is useful in [type of organization].
Include correctness, relevance to a real need, duplication, currency, and
clarity, with a three-level rating and examples of each level. Do not invent
statistics. List your assumptions and how to keep reviewers consistent.
حلّل انخفاض الإشارة.
Since introducing AI for [task], these figures changed: [paste volumes, resolution,
satisfaction, reopen rate, reviewer hours]. Describe what the pattern suggests
about inflation or dilution, which changes may be due to easier creation, what
to sample next, and which metrics may need a new baseline. Do not assume
causes the data cannot support. List your assumptions.
خطط تنظيف قاعدة معرفة.
Our knowledge base has [number] articles, of which [number] were generated in the
last [period]. Propose a clean-up plan: how to detect duplicates and stale items,
how to prioritize by use, how to review generated articles, rules to prevent
recurrence, and measures to track. Do not assume specific tools. List your
assumptions and risks.
تتبع سلسلة محتوى مولد.
Here is an AI-generated answer and the sources it drew on: [paste]. Trace each
claim to its source and mark whether the source was human-written, reviewed
generated content, or unreviewed generated content. Identify where an error
could have entered and suggest a check. Do not assume facts beyond the text. List
your assumptions.
مهارات الذكاء الاصطناعي
- Service Management Metrics skill: استخدمها لإيجاد رفيق الفائدة لمقياس حجم أو سرعة.
- Service Management Metrics maintainer skill: استخدمها للتحقق من أن مقياسًا متأثرًا بالذكاء الاصطناعي يقرن الحجم بفائدة مأخوذ منها عينات ويحمل مسار تلاعبه وحاجز حمايته.
أهم الخلاصات
- حين يجعل الذكاء الاصطناعي المخرجات رخيصة، تتضخم مقاييس الحجم والسرعة وقد تنخفض حصة المفيد.
- اقرن كل مقياس حجم أو سرعة بفحص فائدة بالعينات يحكم عليه شخص.
- قِس الزمن حتى نتيجة متحقق منها وعبء التحقق، لأن الفحص يصبح عنق الزجاجة.
- اوسم المحتوى المولد وراجعه قبل أن يدخل المخازن المشتركة، ولا تدع الحلقات تغذي نفسها بلا فحص.
- أعد الخطوط الأساسية للاتجاهات بعد تحول تقني، وابدأ التقارير بالنتائج.
- قرر مسبقًا ما غرض الوقت الموفَّر، واحمِ انتباه المراجعين والمستخدمين.
المراجع والقراءات الإضافية
- Shumailov, I., Shumaylov, Z., Zhao, Y., Papernot, N., Anderson, R., and Gal, Y., "AI models collapse when trained on recursively generated data," Nature, 631, 2024.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Campbell, D. T., "Assessing the impact of planned social change," Evaluation and Program Planning, 2(1), 1979.
- Muller, J. Z., The Tyranny of Metrics, Princeton University Press, 2018.
- Parasuraman, R., and Manzey, D. H., "Complacency and bias in human use of automation: An attentional integration," Human Factors, 52(3), 2010.
- National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, 2023.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Goodhart's law.
- Wikipedia, Campbell's law.
- Wikipedia, Vanity metric.
- Wikipedia, Information overload.
- Wikipedia, Signal-to-noise ratio.
- Wikipedia, Alert fatigue.
- Wikipedia, AI slop.
- Wikipedia, Brandolini's law.
- Wikipedia, Jevons paradox.
- Wikipedia, Model collapse.
- Wikipedia, Concept drift.