مقاييس حوكمة الذكاء الاصطناعي ومخاطره
يحتاج استخدام الذكاء الاصطناعي الانضباط نفسه كأي تغيير في خدمة حية: اعرف أين هو ومن يملكه وكم خطورته وكيف يُختبر ويُغيَّر وماذا يحدث حين يسوء، بإشراف يستطيع الناس ممارسته فعلًا.
نظرة عامة والدافع
يصل الذكاء الاصطناعي إلى المؤسسة من أبواب كثيرة. يعتمد فريق مساعد ترميز. ويضيف مورد ميزة توليدية إلى منتج قيد الاستخدام. ويلصق موظف مستندًا في أداة عامة. وتبني إدارة نموذجًا لتقييم الطلبات. لكل منها استخدام للذكاء الاصطناعي بفوائده ومخاطره، وقليل منها مرئي في مكان واحد. الحوكمة مجموعة الهياكل والسياسات والممارسات التي تجعل تلك الاستخدامات معروفة ومساءَلة وآمنة بما يكفي. وتخبرك مقاييس المخاطر هل تعمل الحوكمة.
لدى ITIL اللبنات: حوكمة نظام قيمة الخدمة وإدارة المخاطر وتمكين التغيير وإدارة أمن المعلومات وإدارة الموردين والتحسين المستمر. وتقدم طرق عمل الأجايل وDevOps عادة التغيير الصغير المضبوط القابل للعكس والفحوص الآلية في خط الأنابيب. حوكمة الذكاء الاصطناعي لا تحتاج كونًا منفصلًا. تحتاج هذه الممارسات مطبقة على أشياء تتصرف بصورة مختلفة عن البرمجيات التقليدية.
ما المختلف في الذكاء الاصطناعي؟
- السلوك إحصائي ويمكن أن يتغير دون تغيير شيفرة. قد يتصرف نموذج بصورة مختلفة بعد تحديث مورد أو تغير مدخلاته أو تغير الموجِّه. قد تنجرف البيانات التي يراها في الإنتاج عن البيانات التي اختُبر عليها، ظاهرة تُعرف في تعلم الآلة بالانجراف. ويمكن لنظام أن يتدهور بهدوء.
- المخرجات ليست متوقعة تمامًا. لا يستطيع الاختبار تغطية كل مدخل، فالتقييم بالعينات والاختبارات المستهدفة لا بالبرهان. وقد تفشل الأنظمة بطرق لم يتوقعها بناتها.
- قد تكون الأضرار منتشرة وغير متكافئة. التحيز الخوارزمي (algorithmic bias) خطأ منهجي يقود إلى نتائج غير عادلة لبعض المجموعات. يمكن أن ينشأ من البيانات أو التصميم أو الاستخدام، وقد لا يظهر في أرقام الدقة الإجمالية.
- تظهر أسطح هجوم جديدة. حقن الموجِّهات (prompt injection) هجوم تتلاعب فيه تعليمات مخفية في بيانات الإدخال بنموذج لغوي ليسلك سلوكًا غير مقصود. يمكن دفع النماذج إلى كشف بيانات أو اتخاذ أفعال لم يقصدها مالكوها.
- الاعتماد على الموردين عميق. كثير من قدرات الذكاء الاصطناعي تأتي من مزودين خارجيين، برؤية محدودة لكيفية بنائها أو تغييرها. مقاييس الموردين أهم (انظر الموضوع 8.4، مقاييس الموردين والعقود).
- القواعد ناشئة وتختلف بالمكان. تتطور القوانين والمعايير والإرشادات عن الذكاء الاصطناعي بسرعة. يتبع قانون الذكاء الاصطناعي (Artificial Intelligence Act) للاتحاد الأوروبي نهجًا قائمًا على المخاطر بالتزامات تنطبق على مراحل، وتسلك ولايات قضائية أخرى مسارات مختلفة. وتقدم معايير مثل ISO/IEC 42001 عن أنظمة إدارة الذكاء الاصطناعي وإطار NIST لإدارة مخاطر الذكاء الاصطناعي هياكل. العبارات عن قواعد محددة في هذا الموضوع مؤرخة بأكتوبر 2026 وينبغي إعادة فحصها، وينبغي أن تقود المشورة القانونية التزاماتك. ويوصف المجال الأوسع بصور مختلفة بـالذكاء الاصطناعي المسؤول (responsible AI) أو الذكاء الاصطناعي الجدير بالثقة، ومسألة كيف ينبغي أن يعامل القانون الذكاء الاصطناعي موضوع تنظيم الذكاء الاصطناعي (regulation of artificial intelligence).
قد تفشل الحوكمة بطريقتين متعاكستين. قد تكون ثقيلة بحيث تتجنبها الفرق، فيذهب استخدام الذكاء الاصطناعي تحت الأرض تقنية معلومات ظلية (shadow IT). أو قد تكون تمرينًا ورقيًا، بسياسة وسجل لا يعكسان الممارسة. وتوحي أهداف الأجايل بالطريق الوسط: إشراك مستمر لأصحاب المصلحة في وضع القواعد، وموافقات صغيرة وسريعة للاستخدامات منخفضة المخاطر، وتمحيص أعمق حيث الضرر ممكن، وتحسين مستمر للضوابط مع نمو الخبرة. الأفراد المتحمسون بحدود واضحة، المؤتمنون على استخدام الحكم داخلها، سيبلّغون المشكلات. والناس الذين يخشون العقاب لن يفعلوا.
وينطبق حاجز الحماية من قانون غودهارت (Goodhart's law) على مقاييس الحوكمة: حين تكون «نسبة استخدامات الذكاء الاصطناعي المسجلة» هدفًا، تمتلئ السجلات بإدخالات لا يقرؤها أحد، وتبقى الاستخدامات الفعلية خارج الأنظار (انظر الموضوع 1.2، قانون غودهارت وسيكولوجية المقاييس).
يبني هذا الموضوع على مواضيع المخاطر والامتثال والأمن في الجزء 8، وعلى المواضيع السابقة في هذا الجزء.
المبادئ الأساسية
- اعرف أين يُستخدم الذكاء الاصطناعي. سجل الاستخدامات، بما فيها المدمجة في المنتجات وما يعتمده الموظفون بأنفسهم، هو الأساس.
- طابق التمحيص مع المخاطر. خفيف للاستخدامات منخفضة المخاطر، وأعمق للمؤثرة.
- عامل تغييرات النموذج والموجِّه تغييرات. تحتاج اختبارًا وموافقة متناسبة مع المخاطر وقدرة على التراجع.
- قيّم قبل الاستخدام وأثناءه. اختبر على حالات واقعية، وواصل الاختبار في الإنتاج.
- أبقِ إشرافًا بشريًا ذا معنى. يجب أن يستطيع شخص الفهم والتساؤل والتجاوز، وأن يملك الوقت والصلاحية لذلك.
- تعلم من الحوادث بلا لوم. إخفاقات الذكاء الاصطناعي جديدة، والإبلاغ هو كيف تتعلم المؤسسة.
- اجعل الموافقة سريعة للحالات الآمنة. الحوكمة البطيئة تدفع الاستخدام بعيدًا عن الأنظار.
تعريفات المقاييس
| المقياس | التعريف | الصيغة | الوحدة | مصدر البيانات | ممارسة ITIL | المقابل في الأجايل | التكرار |
|---|---|---|---|---|---|---|---|
| تغطية سجل استخدامات الذكاء الاصطناعي | حصة الاستخدامات التي وُجدت بوسائل مستقلة وهي في السجل بمالك وفئة مخاطر | الاستخدامات في السجل بمالك وفئة مخاطر / الاستخدامات التي وجدها اكتشاف مستقل (مشتريات ومصروفات وهوية وشبكة وبلاغات الموظفين) | نسبة مئوية | السجل وبيانات المشتريات والمصروفات وسجلات الهوية والاستبيانات | الحوكمة؛ إدارة أصول تقنية المعلومات؛ إدارة المخاطر | عمل مرئي وملكية واضحة | ربع سنوي |
| حداثة تقييم المخاطر | حصة الاستخدامات متوسطة المخاطر وعالية المخاطر التي لها تقييم مخاطر ضمن الدورة المطلوبة | الاستخدامات المقيَّمة ضمن الدورة / الاستخدامات متوسطة وعالية المخاطر | نسبة مئوية | تقييمات المخاطر | إدارة المخاطر؛ إدارة أمن المعلومات | تأمل منتظم في المخاطر | ربع سنوي |
| تغطية ضبط التغيير | حصة التغييرات على النماذج والموجِّهات والأدوات ومصادر البيانات في الإنتاج التي مرت بضبط التغيير مع الاختبارات المطلوبة | التغييرات ذات سجل تغيير واختبارات وموافقة متناسبة مع المخاطر / التغييرات المكتشفة | نسبة مئوية | سجلات التغيير مقارنة بتاريخ الإصدارات وملاحظات إصدار المورد | تمكين التغيير؛ إدارة الإصدار والنشر | تغييرات صغيرة مضبوطة قابلة للعكس | شهري |
| حداثة التقييم | حصة استخدامات الإنتاج التي لها تقييم حالي (دقة وأمان وعدالة حيث يلزم) ونتائج ضمن التسامح | الاستخدامات ذات تقييم ضمن الدورة ونتائج مقبولة / استخدامات الإنتاج ضمن النطاق | نسبة مئوية | سجلات التقييم | ضمان الجودة؛ إدارة المخاطر | تعريف الإنجاز للسلوك | ربع سنوي |
| معدل دليل الإشراف البشري | حصة المخرجات أو القرارات المؤثرة المأخوذ منها عينات التي لها مراجعة بشرية جوهرية مسجلة | البنود المأخوذ منها عينات ذات المراجعة الموثقة التي كان يمكن أن تغير النتيجة / البنود المأخوذ منها عينات | نسبة مئوية | سجلات قرارات بالعينات | إدارة المخاطر؛ الحوكمة | مراجعة قبل الإصدار | شهري |
| معدل حوادث الذكاء الاصطناعي وزمن الاحتواء | الحوادث المتعلقة بالذكاء الاصطناعي (مخرج ضار أو انكشاف بيانات أو فعل غير آمن) لكل استخدام وزمن احتوائها | الحوادث لكل استخدام إنتاج في الربع؛ الوسيط والنسبة المئوية 85 لساعات من الاكتشاف إلى الاحتواء | حوادث؛ ساعات | سجلات الحوادث الموسومة بالذكاء الاصطناعي | إدارة الحوادث؛ إدارة أمن المعلومات | استجابة وتعلم بلا لوم | ربع سنوي |
| حداثة العناية الواجبة لذكاء الموردين الاصطناعي | حصة الموردين الذين يقدمون ميزات ذكاء اصطناعي في خدمات حرجة وتقييمهم الخاص بالذكاء الاصطناعي حالي | الموردون ذوو التقييم الحالي للذكاء الاصطناعي / الموردون الحرجون ذوو ميزات الذكاء الاصطناعي | نسبة مئوية | تقييمات الموردين | إدارة الموردين؛ إدارة المخاطر | مراجعة منتظمة للتبعيات | ربع سنوي |
عرّف «استخدام الذكاء الاصطناعي» بسعة في السجل: نماذج تبنيها وخدمات تشتريها وميزات داخل منتجات وأدوات يستخدمها الموظفون. تُحدد فئات المخاطر والدورات في السياسة. وتُقاس تغطية السجل مقابل اكتشاف مستقل لا مقابل السجل نفسه. وتتطلب تغطية ضبط التغيير طريقة لاكتشاف التغييرات: التحكم بالإصدارات وإشعارات الموردين ومراقبة الإعدادات. ويتطلب دليل الإشراف البشري أن المراجعة كان يمكن أن تغير النتيجة، لا أن زرًا نُقر. وتصف معدلات الحوادث الاستخدامات والأنظمة ولا تُستخدم لتقييم الأشخاص.
التوصيات
اعرف وصنّف
1. ابنِ السجل بالإيجاد كما بالسؤال. ابدأ باستبيان وسياسة، ثم افحص مقابل سجلات المشتريات والمصروفات وسجلات الهوية والوصول وبيانات الشبكة وفواتير السحابة وتحديثات منتجات الموردين. أدرج ميزات الذكاء الاصطناعي المدمجة في أدوات تملكها أصلًا. توقع مفاجآت: يستخدم الناس أدوات لم تعتمدها، كثيرًا لأسباب وجيهة. عاملها معلومات (انظر الموضوع 7.2، مقاييس أصول البرمجيات والتراخيص).
2. عيّن مالكًا وفئة مخاطر لكل استخدام. المالك الشخص المسؤول عن الاستخدام ونتائجه. وتعكس فئة المخاطر الضرر إن فشل النظام: من يتأثر وهل تدخل قرارات عن أشخاص وهل يتصرف بمفرده وأي بيانات يمس وكم قابلية عكس آثاره. استخدم فئات قليلة بقواعد واضحة. استفد من أطر معترف بها، مثل إطار NIST لإدارة مخاطر الذكاء الاصطناعي وISO/IEC 42001 والقانون المنطبق، وكيّفها مع سياقك.
3. اجعل الموافقة متناسبة. للاستخدامات منخفضة المخاطر، يكفي تسجيل ذاتي سريع بأسئلة قليلة. وللمؤثرة، اشترط تقييم مخاطر ونتائج تقييم وتصميم إشراف بشري محددًا وموافقة. طريق سريع للأغلبية الآمنة يُبقي الناس داخل النظام، وطريق أبطأ للقلة الخطرة يمنحها تمحيصًا ملائمًا.
اختبر واضبط التغيير
4. قيّم على حالات واقعية، قبل الاستخدام وأثناءه. ابنِ مجموعة حالات اختبار تعكس مدخلات حقيقية، بما فيها الصعبة والخصامية، وسجّل المخرجات مقابل معايير مكتوبة. أدرج فحوصًا للأمان والعدالة حيث قد يتأثر الناس. أعد التقييمات بجدول وكلما تغير النموذج أو الموجِّه أو البيانات. الفريق الأحمر، مجموعة تهاجم النظام عمدًا لإيجاد نقاط الضعف، ممارسة مفيدة للاستخدامات الأعلى مخاطرة. انظر ممارسات أخذ العينات للعمل المدعوم (انظر الموضوع 10.2، قياس العمل المدعوم بالذكاء الاصطناعي).
5. ضع النماذج والموجِّهات والأدوات تحت ضبط التغيير. أرّخ إصدارات الموجِّهات والإعدادات كالشيفرة. اشترط اختبارات وموافقة متناسبة مع المخاطر للتغييرات، وسجّلها، وأبقِ القدرة على التراجع. تتبع تحديثات النماذج التي يقودها المورد، التي قد تغير السلوك دون إشعار، واتفق مع الموردين كيف ستُخبَر. عامل ترقية النموذج تغييرًا يحتاج ضبطًا (انظر الموضوع 4.3، مقاييس تمكين التغيير).
6. راقب في الإنتاج. راقب انجراف المدخلات والمخرجات وارتفاع معدلات الخطأ والتجاوز والأنماط غير العادية. ضع عتبات تطلق المراجعة. وللأنظمة التي تتخذ أفعالًا، راقب سجلات الأفعال. المراقبة هي كيف تجد المشكلات التي فاتها الاختبار.
أبقِ الإشراف البشري حقيقيًا
7. صمم إشرافًا يستطيع العمل. شخص يراجع كل مخرج لنظام سريع لا يستطيع المواكبة، وشخص يُطلب منه الموافقة على ما لا يفهمه لا يوفر إشرافًا. عرّف ماذا يفعل الإنسان وما المعلومات التي لديه وكم الوقت وما الصلاحية للتجاوز. خذ عينات من المراجعات لتتحقق أنها جوهرية. احذر تحيز الأتمتة، ميل قبول مخرجات الآلة (انظر الموضوع 10.1، الذكاء الاصطناعي في قياس إدارة الخدمات).
8. احتفظ بمسارات تدقيق. سجّل المدخلات والمخرجات والإصدارات والقرارات والأفعال بطريقة تدعم التحقيق، رهنًا بقواعد الخصوصية وحدود الاحتفاظ. يتيح مسار التدقيق (audit trail) الإجابة عن ما حدث ولماذا. وللقرارات المؤثرة عن الأشخاص، فكّر أي تفسير تستطيع تقديمه وأي طريق استئناف موجود (انظر الموضوع 8.3، مقاييس الامتثال والتدقيق).
9. احمِ البيانات وقاوم التلاعب. اضبط أي بيانات تستطيع أنظمة الذكاء الاصطناعي رؤيتها وإرسالها. اختبر حقن الموجِّهات وتسرب البيانات، خصوصًا للأنظمة التي تقرأ محتوى خارجيًا أو لها وصول إلى أدوات. طبق مبادئ أقل صلاحية المستخدمة للوكلاء الذين يتصرفون (انظر الموضوع 10.3، مقاييس وكلاء الذكاء الاصطناعي وروبوتات المحادثة، والموضوع 8.1، مقاييس الحوادث الأمنية والثغرات). راعِ الخصوصية عند التصميم، وأشرك مختصي حماية البيانات.
استجب وتعلم
10. عامل حوادث الذكاء الاصطناعي حوادث. عرّف ما يُعدّ: مخرجات ضارة أو متحيزة وانكشاف بيانات وأفعال غير آمنة وأخطاء كبيرة تصل إلى المستخدمين. استخدم عملية الحوادث المعتادة بوسم الذكاء الاصطناعي، وراجع بلا لوم، وغذِّ الدروس في التقييمات والضوابط. سهّل الإبلاغ على الموظفين والمستخدمين. زمن الاحتواء مهم كأي حادثة (انظر الموضوع 3.4، مقاييس الحوادث الكبرى).
11. أدر ذكاء الموردين الاصطناعي. اسأل الموردين أي ميزات ذكاء اصطناعي يستخدمون وكيف تُختبر وتُغيَّر وكيف تُعالج البيانات وكيف تُبلَّغ الحوادث. أضف بنودًا خاصة بالذكاء الاصطناعي في العقود حيث يهم، بما فيها إشعار بتغييرات النموذج الجوهرية. أعد تقييم الموردين الحرجين بدورة (انظر الموضوع 8.4، مقاييس الموردين والعقود).
12. راجع الحوكمة نفسها. كل ربع، افحص ما تُظهره المقاييس: أين ذهبت استخدامات غير مسجلة، وأي الموافقات كانت بطيئة جدًا، وأي الضوابط لم تلتقط مشكلات. عدّل السياسة والمسارات. أشرك الموظفين والمستخدمين في المراجعة. أبقِ القواعد قصيرة وواضحة وحديثة، واسحب الضوابط التي لا تستحق كلفتها.
مسارات التلاعب وحواجز الحماية
| المقياس | كيف يُتلاعب به | حاجز الحماية أو الممارسة المقترنة |
|---|---|---|
| تغطية سجل استخدامات الذكاء الاصطناعي | تسجيل استخدامات تافهة لرفع النسبة؛ مقامات محصورة بما سُجل | اكتشاف مستقل للمقام؛ خذ عينات من إدخالات السجل للجودة؛ عفو للاستخدامات غير المسجلة |
| حداثة تقييم المخاطر | تقييمات خفيفة تنجح دائمًا؛ تقييم الاستخدامات منخفضة المخاطر | راجع عمق التقييم؛ افحص أن فئة المخاطر تطابق المعايير |
| تغطية ضبط التغيير | عدم اكتشاف تغييرات المورد؛ تسجيل التغييرات بعد الواقعة | الاكتشاف عبر تاريخ الإصدارات وإشعارات المورد؛ سجلات تغيير مختومة بالوقت قبل الإصدار |
| حداثة التقييم | تقييمات على حالات سهلة؛ اختيار التسامحات بعد رؤية النتائج | مجموعات اختبار يراجعها طرف مستقل؛ عتبات محددة مسبقًا |
| معدل دليل الإشراف البشري | نقر الموافقة دون قراءة؛ توثيق مراجعة لم يكن يمكن أن تغير النتيجة | خذ عينات من المراجعات للجوهر؛ أخطاء معروفة مزروعة؛ حمل المراجعين |
| معدل حوادث الذكاء الاصطناعي وزمن الاحتواء | عدم الإبلاغ عن الحوادث؛ تضييق التعريف | إبلاغ سهل بلا لوم؛ قارن بشكاوى المستخدمين ونتائج التدقيق |
| حداثة العناية الواجبة لذكاء الموردين الاصطناعي | استبيانات يجيب عنها التسويق؛ تقييمات بلا أدلة | اشتراط أدلة للموردين الحرجين؛ تحقق مستقل |
القراءة السليمة سجل يؤكده الاكتشاف المستقل، وتقييمات تطابق المخاطر، وتغييرات تمر بالضبط، وتقييمات محدثة، وإشراف يجد أخطاء حقيقية، وحوادث تُبلَّغ بسهولة وتُحتوى بسرعة، وموردون يشاركون ما يغيّرون.
المفاضلات: الإيجابيات والسلبيات
| النهج | نقطة القوة | نقطة الضعف |
|---|---|---|
| موافقة مركزية لكل استخدام للذكاء الاصطناعي | ضبط واتساق | بطيئة؛ تدفع الاستخدام تحت الأرض |
| تسجيل ذاتي بطبقات مخاطر | سريع للأغلبية الآمنة | يحتاج معايير جيدة وفحوصًا عشوائية |
| حظر الأدوات العامة | يقلل انكشاف البيانات | استخدام ظلي؛ فوائد مفقودة |
| أدوات معتمدة مع إرشاد | استخدام مرئي وقابل للإدارة | يحتاج توفيرًا ودعمًا |
| توثيق ثقيل | أدلة للتدقيق | عبء؛ قد لا يعكس الممارسة |
| تقييم آلي في خط الأنابيب | مستمر ومتسق | يحتاج مجموعات اختبار جيدة؛ قد يفوته إخفاق جديد |
| مراجعة بشرية لكل شيء | أمان | لا تتوسع؛ إرهاق |
| أخذ عينات بحسب المخاطر | عملي | تفلت بعض الإخفاقات |
الجواب العملي توفير أدوات معتمدة وطريق سريع للاستخدامات منخفضة المخاطر، وتركيز التمحيص على المؤثرة، وأتمتة التقييم والمراقبة، وإبقاء الإشراف البشري حيث يستطيع العمل فعلًا.
أسئلة للنقاش مع فريقك
1. أين نستخدم الذكاء الاصطناعي اليوم مما ليس في أي قائمة؟ اسأل الفريق بصدق، وقدّم عفوًا. انظر إلى الأدوات المستخدمة للصياغة والتلخيص والترميز والتحليل، بما فيها الداخلة في المنتجات. على الميسّر تسجيل الاستخدامات دون حكم. اتفقوا من سيسجلها وأيها يحتاج نظرة أدق.
2. لو ارتكب أكثر استخداماتنا للذكاء الاصطناعي تأثيرًا خطأً ضارًا، كيف سنعرف وماذا سنفعل؟ استعرضوا الاكتشاف والاحتواء والتواصل والتعلم. دوّن فجوات المراقبة والملكية والصلاحية لإيقافه. اتفقوا على تحسين واحد.
3. ما الذي يمكن أن يتغير تحتنا دون أن يوافق أحد؟ اسرد النماذج والموجِّهات ومصادر البيانات وتحديثات الموردين. لكل منها، اسأل كيف سنعرف أنه تغير وكيف سنختبره. اتفقوا أين تضيفون اكتشافًا أو اختبارًا.
4. هل يستطيع من يراجع مخرجات الذكاء الاصطناعي في عمليتنا فعلًا التقاط خطأ جسيم؟ انظر إلى الحجم والمعلومات والوقت والصلاحية. اختبر بخطأ مزروع. إن لم تستطع المراجعة العمل، فأعد تصميم العملية قبل إضافة المزيد من الذكاء الاصطناعي.
5. أي قواعدنا سيجدها زميل مشغول سهلة الاتباع، وأيها سيلتف حولها؟ اسرد القواعد الحالية واختبرها مقابل سير العمل الحقيقي. ناقشوا لماذا تُتجاوز القواعد. اتفقوا على تغييرات تجعل الطريق الآمن هو السهل.
6. ماذا أخبرنا مورِّدونا عن ذكائهم الاصطناعي، وماذا لم نسأل؟ افحص الاستبيانات والعقود الأخيرة. حدد الموردين الحرجين ذوي ميزات الذكاء الاصطناعي وفجوات المعلومات. اتفقوا على أسئلة للمراجعة القادمة.
أربعة منظورات
فرق المنتج والتسليم
تبني فرق التسليم ميزات الذكاء الاصطناعي وتعتمدها، وتشعر بالحوكمة احتكاكًا أو عونًا. وعليها تسجيل الاستخدامات مبكرًا، والاختبار على حالات واقعية، ووضع الموجِّهات والنماذج تحت التحكم بالإصدارات، وتصميم إشراف يعمل. وتستفيد من موافقة سريعة للاستخدامات منخفضة المخاطر.
فرق الخدمة والعمليات
تشغّل فرق العمليات الذكاء الاصطناعي في الإنتاج وتستجيب لحوادثه. وعليها مراقبة الانجراف، والاحتفاظ بسجلات الأفعال، ووسم حوادث الذكاء الاصطناعي، وامتلاك الصلاحية والوسيلة لإيقاف نظام. وهي تستخدم الذكاء الاصطناعي بنفسها أيضًا وعليها اتباع القواعد نفسها.
القيادة والحوكمة
يضع القادة شهية المخاطر ويُساءلون عن النتائج. وعليهم تمويل السجل والتقييم والمراقبة، وقبول أن بعض استخدامات الذكاء الاصطناعي لن تجتاز، وطلب اكتشاف مستقل للاستخدامات، وتتبع الحوادث وزمن الاحتواء. وعلى هيئات الحوكمة إبقاء القواعد قصيرة ومراجعتها بانتظام وضمان صوت للموظفين والمستخدمين.
العملاء والمستخدمون
يتأثر المستخدمون بقرارات الذكاء الاصطناعي ومخرجاته، كثيرًا دون أن يعرفوا. يستحقون أن يعرفوا حين يشارك الذكاء الاصطناعي في شؤون تمسهم، وأن يصلوا إلى شخص، وأن يعترضوا على القرارات. والشكاوى والاستئنافات دليل أساسي عن كيف تعمل الحوكمة عمليًا.
في الممارسة: مثال من إدارة الخدمات
تعتمد قسم التقنية والعمليات في مصرف إقليمي سياسة للذكاء الاصطناعي بعد أن لصق موظف تفاصيل عملاء في أداة عامة. ينشر فريق الامتثال سجلًا ويتوقع إدراج كل استخدام. الأرقام أدناه توضيحية.
بعد ثلاثة أشهر يسرد السجل 38 استخدامًا للذكاء الاصطناعي. تتحقق رئيسة مخاطر التقنية بوسائل مستقلة: بيانات المشتريات والمصروفات وسجلات الهوية التي تُظهر تسجيلات الدخول إلى خدمات الذكاء الاصطناعي وبيانات الشبكة واستبيان مجهول للموظفين. يجد الاكتشاف 94 استخدامًا، فتغطية السجل 40 في المئة. سبعة عشر منها ميزات داخل أدوات يرخصها المصرف أصلًا، واثنا عشر أدوات عامة يستخدمها الموظفون. ومن الاستخدامات الـ38 المسجلة، 14 فقط لها فئة مخاطر، والثلاثة الأعلى مخاطرة، نموذج يقيّم تنبيهات الاحتيال وروبوت محادثة للعملاء وأداة تلخص الشكاوى، بلا تقييم في السنة الأخيرة. وتُجرى تغييرات إعداد نموذج الاحتيال وموجِّهات روبوت المحادثة من الفرق مباشرة، وسجلات التغيير للربع الأخير تغطي 21 في المئة من التغييرات الموجودة في تاريخ الإصدارات. وتُظهر عينة من 60 تنبيه احتيال رفضها النموذج مراجعة بشرية مسجلة لـ52 منها، لكن مجموعة مزروعة من خمس حالات فائتة معروفة التقطها مراجع واحد فقط، لأن كل مراجع يعالج مئات التنبيهات في اليوم. وحادثة واحدة، أعطى فيها روبوت المحادثة العملاء مبلغ رسوم قديمًا، اكتُشفت بشكوى واستغرق احتواؤها ستة أيام لأن أحدًا لم يملك صلاحية إيقافه.
تعيد رئيسة مخاطر التقنية تصميم الحوكمة مع الفرق. يضع تسجيل ذاتي قصير بخمسة أسئلة الاستخدامات منخفضة المخاطر في السجل خلال دقائق، وتشجع فترة عفو الموظفين على إدراج الأدوات التي يستخدمونها. وتستند فئات المخاطر إلى الضرر والبيانات والاستقلالية. وتحتاج الاستخدامات الأعلى مخاطرة تقييمًا وتقييم أداء مقابل حالات واقعية وخصامية وتصميم إشراف محددًا. وتوضع النماذج والموجِّهات والأدوات تحت ضبط التغيير باختبارات متناسبة مع المخاطر، وتُؤرشف إصدارات موجِّهات روبوت المحادثة مع إمكان التراجع. وتعاد تصميم عملية تنبيهات الاحتيال بحيث يعالج المراجعون تنبيهات أقل وأفضل ترتيبًا، وتختبر أخطاء مزروعة اكتشافهم. ولكل استخدام عالي المخاطر مالك مسمى بصلاحية إيقافه، وتغطي الاستجابة للحوادث الذكاء الاصطناعي. ويُسأل موردو السحابة والذكاء الاصطناعي لدى المصرف أي ميزات ذكاء اصطناعي يستخدمون وكيف تُبلَّغ التغييرات.
بعد ربعين، تغطية السجل بالاكتشاف المستقل 88 في المئة، وكل الاستخدامات عالية المخاطر مقيَّمة ومفحوصة ضمن الدورة، وتغطية ضبط التغيير 84 في المئة، واكتشاف المراجعين للأخطاء المزروعة يرتفع إلى 4 من 5، ووسيط زمن احتواء حادثة ذكاء اصطناعي 3 ساعات. ويستخدم الموظفون أدوات معتمدة لمعظم المهام. يطلب مدير تنفيذي كبير هدف تغطية سجل 100 في المئة. تقترح رئيسة مخاطر التقنية تتبع التغطية مقابل الاكتشاف المستقل وحداثة التقييم ومعالجة الحوادث، وتشرح أن سجلًا بلا اكتشاف يستطيع بلوغ 100 في المئة ومع ذلك يفوته الخطر. يُسجَّل القرار.
الأجايل والذكاء الاصطناعي والأتمتة والتحليلات
الأجايل
احكم الذكاء الاصطناعي تغييرًا في خدمة حية، بمراجعة منتظمة خفيفة وأصحاب مصلحة على الطاولة، بدل موافقة لمرة واحدة. والتحذير أن بوابات الموافقة الثقيلة تجعل الفرق تخفي استخدام الذكاء الاصطناعي.
الذكاء الاصطناعي
احتفظ بسجل لكل استخدام للذكاء الاصطناعي بمالك وفئة مخاطر وتاريخ تقييم ونقطة إشراف بشري، وقِس التغطية مقابل الاكتشاف المستقل. اختبر أن الإشراف يمكن ممارسته. والتحذير أن هذا الكتاب لا يقدم مشورة قانونية، وتختلف الالتزامات بالمكان وعبر الزمن، فتحقق منها مع مستشارك القانوني.
الأتمتة
أتمت الاكتشاف وجمع الأدلة لتغييرات النماذج والموجِّهات والبيانات، وقِس الأتمتة بالتغييرات الفائتة. والتحذير أن مجموعات التقييم الآلية تختبر ما بُنيت لاختباره، فأضف اختبارات جديدة مع ظهور الإخفاقات.
التحليلات
أبلِغ حداثة التقييمات والتقييمات بالتواريخ والأعداد. والقرار الذي يفيد فيه هو أين الإشراف رقيق. والتحذير أن أعداد حوادث الذكاء الاصطناعي صغيرة وغير متكافئة، فاجمعها مع بلاغات الحوادث الوشيكة.
منظور القطاعات
الشركات الناشئة. السرعة مهمة والمخاطر في معظمها انكشاف البيانات ومخرجات غير موثوقة. احتفظ بقائمة قصيرة بالأدوات والاستخدامات مع المالكين، وضع بضع قواعد واضحة عن أي بيانات يجوز استخدامها أين، وأرّخ إصدارات الموجِّهات. أعد النظر مع نمو مطالب العملاء بالضمان.
الأعمال الصغيرة. سيستخدم الموظفون أدوات عامة. وفّر خيارًا معتمدًا، واكتب قاعدة من صفحة واحدة عن البيانات، وراجع كيف تُستخدم الأدوات. اسأل الموردين عن ميزات ذكائهم الاصطناعي، واحتفظ بسجل أين يتخذ الذكاء الاصطناعي قرارات عن العملاء أو الموظفين.
المؤسسات الكبرى. يحتاج الحجم نموذج تشغيل: سجل وطبقات مخاطر ومعايير تقييم وضبط تغيير وعملية حوادث، متكاملة مع وظائف المخاطر والأمن القائمة. استخدم اكتشافًا مستقلًا، وأتمت التقييم في خطوط الأنابيب، ووافق مع المعايير. أعطِ الفرق طريقًا سريعًا.
الحكومة والقطاع العام. القرارات التي تؤثر في المواطنين تجلب واجبات الشفافية والعدالة والاستئناف، وتشكل أطر المشتريات والقانون ما يُسمح به. احتفظ بسجلات عامة للاستخدامات عالية الأثر حيث يُطلب، وقيّم الأثر في الحقوق، وأبقِ البشر في الحلقة بمعنى، وافحص القانون والإرشادات الحالية (انظر الموضوع 8.5، التقارير التنظيمية والحكومية).
مبررات الأعمال: الدوافع والعائد على الاستثمار والتكلفة الإجمالية للملكية
تشمل الكلف جهد بناء السجل وصيانته، وأدوات الاكتشاف أو تحليله، وتقييمات المخاطر، ومجموعات التقييم وتشغيلاتها، وضبط التغيير للموجِّهات والنماذج، والمراقبة، والتدريب، وسعة الاستجابة للحوادث. وتضيف الحوكمة أيضًا بعض التأخير للاستخدامات الأعلى مخاطرة. تتوسع هذه الكلف مع عدد الاستخدامات ومخاطرها، وهو سبب لإبقاء موافقة الاستخدامات منخفضة المخاطر خفيفة.
تشمل العوائد ضررًا وانكشافًا متجنَّبين، ومفاجآت أقل في التدقيقات والمراجعات التنظيمية، واعتمادًا آمنًا أسرع بقواعد واضحة، وثقة العملاء والموظفين. ابنِ الحجة من بياناتك: عدد الاستخدامات الموجودة خارج السجل والبيانات التي تمسها، والحوادث وكلفتها، والوقت المنفق في الموافقات العشوائية قبل وبعد، والنتائج في التدقيقات. تجنب الاستشهاد بإحصاءات منشورة عن حوادث الذكاء الاصطناعي أو الغرامات بلا مصدر قابل للتتبع وصلة بسياقك. أدرج كلفة عدم الحوكمة، التي تشمل احتمال ضرر قانوني وسمعي كبير (انظر الموضوع 7.7، العائد على الاستثمار ومبررات الأعمال).
الأنماط المضادة والمزالق
- سجل لا يفحصه أحد. تبدو التغطية مرتفعة ويفوتها الاستخدامات الحقيقية. استخدم اكتشافًا مستقلًا.
- حظر شامل. يدفع الاستخدام تحت الأرض. وفّر أدوات معتمدة وطريقًا سريعًا.
- معاملة الموجِّهات والنماذج إعدادًا لا يملكه أحد. يتغير السلوك دون أن يلاحظ أحد. ضعها تحت ضبط التغيير.
- التقييم مرة واحدة. تنجرف الأنظمة وتتغير. أعد التشغيل بجدول وعند التغيير.
- إشراف بالاسم فقط. لا يستطيع المراجعون التقاط ما لا يرونه. اختبر بأخطاء مزروعة وأصلح الحمل.
- لا صلاحية للإيقاف. يستغرق الاحتواء أيامًا. سمِّ مالكين لهم سلطة إيقاف نظام.
- تجاهل ذكاء الموردين الاصطناعي. مخاطرتك تشمل مخاطرتهم. اسأل وتعاقد وأعد التقييم.
- قواعد لا يستطيع أحد اتباعها. تُتجاوز. أبقها قصيرة واجعل الطريق الآمن سهلًا.
نموذج النضج
| البُعد | 1 البدء | 2 التطوير | 3 التوحيد | 4 الإدارة | 5 التنسيق |
|---|---|---|---|---|---|
| المعرفة والتصنيف | لا رؤية لاستخدام الذكاء الاصطناعي | سياسة وقائمة جزئية | سجل بمالك وفئة مخاطر؛ اكتشاف مستقل يُستخدم للتغطية | التغطية وحداثة التقييم وأزمنة الموافقة مُدارة | رؤية سجل مشتركة عبر وحدات الأعمال والموردين؛ الفئات تُراجَع مع الجهات التنظيمية والمستخدمين |
| الاختبار والتغيير | عشوائي | بعض التقييم لبعض الاستخدامات | تقييم على حالات واقعية؛ الموجِّهات والنماذج تحت ضبط التغيير | تقييم مستمر ومراقبة انجراف؛ التغطية مُدارة | تقييم وتغيير آليان بحسب المخاطر في خطوط الأنابيب، مدققان باستقلال |
| الإشراف والتعلم | الاعتماد على الثقة | المراجعة موجودة مبدئيًا | إشراف مصمم ومأخوذ منه عينات؛ حوادث الذكاء الاصطناعي موسومة ومراجَعة بلا لوم | اختبارات الأخطاء المزروعة وزمن الاحتواء وتقييمات الموردين مُدارة | الإشراف وتعلم الحوادث والسياسة تُطوَّر بالاشتراك مع الموظفين والمستخدمين والشركاء |
قائمة التحقق
- سجل يسرد استخدامات الذكاء الاصطناعي بمالك وفئة مخاطر، مفحوصًا مقابل اكتشاف مستقل.
- يوجد طريق سريع للاستخدامات منخفضة المخاطر، وأعمق للمؤثرة.
- للاستخدامات الأعلى مخاطرة تقييم مخاطر حالي وتصميم إشراف محدد.
- التقييمات على حالات واقعية وخصامية حالية وتُعاد عند التغيير.
- الموجِّهات والنماذج والأدوات ومصادر البيانات مؤرشفة الإصدارات وتحت ضبط التغيير.
- مراقبة الإنتاج تراقب الانجراف والأخطاء والتجاوزات والأفعال غير العادية.
- الإشراف يُختبر بأخطاء مزروعة، وحمل المراجعين واقعي.
- مسارات التدقيق تدعم التحقيق ضمن قواعد الخصوصية والاحتفاظ.
- حوادث الذكاء الاصطناعي موسومة ومراجَعة بلا لوم، ويستطيع المالكون إيقاف الأنظمة.
- الموردون ذوو ميزات الذكاء الاصطناعي مقيَّمون وملزمون بإخطار التغييرات الجوهرية.
موجِّهات الذكاء الاصطناعي
صغ تصنيف مخاطر لاستخدامات الذكاء الاصطناعي.
Propose a simple risk classification (three or four levels) for AI uses in [type of
organization] based on harm if wrong, who is affected, involvement of decisions
about people, autonomy of actions, data sensitivity, and reversibility. For each
level, state example uses, the approvals and evidence required, and the review
cycle. Do not state legal conclusions. List your assumptions and points to confirm
with legal, risk, and security specialists.
صمم نموذج تسجيل.
Design a short self-service registration form for new AI uses, with no more than
eight questions, that assigns an initial risk class automatically and routes
higher-risk uses to review. Cover purpose, data, users affected, autonomy, vendor,
and owner. Explain how to keep it quick for low-risk cases. List your assumptions
and risks of misclassification.
خطط مجموعة تقييم.
We use AI for [task] in [process]. Help design an evaluation set: types of
realistic cases, difficult and adversarial cases, written criteria for correct
and safe outputs, checks for fairness where people are affected, how big a set is
practical, how often to rerun it, and what changes should trigger a rerun. Do not
claim a set is sufficient. List your assumptions and limits.
راجع حادثة ذكاء اصطناعي.
Here is a description of an AI-related incident: [paste, without personal data].
Draft a blameless review: timeline, how it was detected, contributing factors
(data, prompt, model, oversight, supplier, process), impact, what contained it,
and actions with owners. Suggest changes to evaluation, monitoring, and change
control. Do not assign blame to individuals. List your assumptions and open
questions.
مهارات الذكاء الاصطناعي
- Service Management Metrics skill: استخدمها لإيجاد حاجز الحماية المقترن بمقياس حوكمة أو مخاطر الذكاء الاصطناعي.
- Service Management Metrics maintainer skill: استخدمها للتحقق من أن إدخال مقياس حوكمة الذكاء الاصطناعي يستخدم أدلة مستقلة ويحمل مسار تلاعبه وحاجز حمايته.
أهم الخلاصات
- ابنِ سجل الذكاء الاصطناعي بالاكتشاف المستقل، وطابق التمحيص مع المخاطر بطريق سريع للاستخدامات الآمنة.
- عامل النماذج والموجِّهات والأدوات ومصادر البيانات تغييرات تحتاج اختبارًا وموافقة وتراجعًا.
- قيّم قبل الاستخدام وأثناءه، على حالات واقعية وخصامية.
- صمم إشرافًا بشريًا يستطيع العمل، واختبره بأخطاء مزروعة.
- عامل حوادث الذكاء الاصطناعي كغيرها من الحوادث، بمراجعة بلا لوم، وامنح المالكين سلطة إيقاف الأنظمة.
- اسأل الموردين عن ذكائهم الاصطناعي، وأبقِ القواعد قصيرة والطريق الآمن سهلًا.
المراجع والقراءات الإضافية
- National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, 2023.
- ISO/IEC 42001, Information technology: Artificial intelligence: Management system, International Organization for Standardization, 2023.
- ISO/IEC 23894, Information technology: Artificial intelligence: Guidance on risk management, International Organization for Standardization, 2023.
- European Parliament and Council, Regulation (EU) 2024/1689 laying down harmonised rules on artificial intelligence (Artificial Intelligence Act), 2024.
- Organisation for Economic Co-operation and Development, OECD AI Principles, 2019 (updated 2024).
- Mitchell, M., et al., "Model Cards for Model Reporting," Proceedings of the Conference on Fairness, Accountability, and Transparency, 2019.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Algorithmic bias.
- Wikipedia, Prompt injection.
- Wikipedia, Artificial Intelligence Act.
- Wikipedia, Responsible AI.
- Wikipedia, Regulation of artificial intelligence.
- Wikipedia, Shadow IT.
- Wikipedia, Goodhart's law.
- Wikipedia, Audit trail.