الروبوتات القاتلة – قضية للأجهزة العليا للرقابة المالية والمحاسبة

المؤلف: جان رور بيكستروم، كبير علماء البيانات، مكتب المراجع العام للنرويج1

ليست الروبوتات القاتلة، المعروفة أيضاً باسم نظم الأسلحة المستقلة القاتلة، ليست ضرباً من ضروب الخيال العلمي، بل هي حقيقة قائمة. ويمكننا قريباً الحصول على أسراب من الطائرات بدون طيار عاملة بالذكاء الاصطناعي حيث تقرر هذه الطائرات من تقتل وماذا تهاجم. وينبغي للأجهزة العليا للرقابة المالية أن تؤدي دوراً في إبقاء تطوير هذه الأسلحة واستخدامها تحت السيطرة البشرية، بما يتماشى مع القانون الدولي.

المقدمة

لنتخيل ما يلي: تأخذ سرباً من الطائرات بدون طيار الصغيرة جداً، وتحمّلها بخوارزمية ذكاء اصطناعي مدرّبة على التعرف على نوع معين من الزي العسكري، وتضيف 5 غرامات من المواد الشديدة الانفجار، وترسلها للبحث عن أعداء لقتلهم. وبعد نشر الطائرات بدون طيار، لا يكون هناك تدخل بشري، وتقرر الطائرات بدون طيار نفسها من تستهدفه وتهاجمه. ومع ذلك، تقرر إحدى الطائرات بدون طيار استهداف جندي يستسلم وتقتله لاحقاً. وسيشكّل هذا انتهاكاً واضحاً للقانون الدولي الإنساني، كما هو موضح في اتفاقيات جنيف.

المقدمة

لنتخيل ما يلي: تأخذ سرباً من الطائرات بدون طيار الصغيرة جداً، وتحمّلها بخوارزمية ذكاء اصطناعي مدرّبة على التعرف على نوع معين من الزي العسكري، وتضيف 5 غرامات من المواد الشديدة الانفجار، وترسلها للبحث عن أعداء لقتلهم.(2) وبعد نشر الطائرات بدون طيار، لا يكون هناك تدخل بشري، وتقرر الطائرات بدون طيار نفسها من تستهدفه وتهاجمه. ومع ذلك، تقرر إحدى الطائرات بدون طيار استهداف جندي يستسلم وتقتله لاحقاً. وسيشكّل هذا انتهاكاً واضحاً للقانون الدولي الإنساني، كما هو موضح في اتفاقيات جنيف(3)

أو ماذا عن الوضع الذي تقرر فيه نظم الأسلحة المستقلة القاتلة العاملة بالذكاء الاصطناعي أن تعمل على إشارة إيجابية كاذبة وتشرك خطأ نظام عدو مماثل، في “صدام بين الآلات”؟ في حين أن نظام العدو يستجيب ويستدعي التعزيزات أيضاً. ومن ثم، قد نتسبّب بحرب غير مقصودة على أيدينا في غضون ثوانٍ. وليست هذه الأسلحة ضرباً من ضروب الخيال العلمي. فالتكنولوجيا الضرورية هي إلى حد كبير متاحة بالفعل والتحديات المتبقية هي مشكلات هندسية مرتبطة بالتصغير وتكامل النظم.

ولا يمكن المبالغة في تقدير الإمكانات الكامنة في نظم الأسلحة المستقلة القاتلة في ما يتعلق بالموت والدمار وسباق التسلح الجديد. وفي حين أنّه يمكن فرض حظر كامل على أنواع معينة من نظم الأسلحة المستقلة القاتلة، فإنّه من الصعب توقع حظر بعيد المدى. وربما تكون الميزة العسكرية المحتملة التي تفرضها مثل هذه النظم أكبر بكثير من اللازم ومغرية للغاية لحكومات العالم. ومن حيث المبدأ، لن ترغب في أن تكون الشخص الوحيد الذي لا يعتمدها. لذلك ينبغي تنظيمها ويجب مساءلة الحكومات والقوات المسلحة في ما يتعلق بالبحث الخاص بهذه الأسلحة وتطويرها وشرائها ونشرها واستخدامها. فـ”المساءلة” إشارة للأجهزة العليا للرقابة المالية في العالم لدخول المشهد. 

الروبوتات القاتلة – التكنولوجيا

تنتشر الأسلحة التي تتمتع بنوع من الاستقلالية منذ فترة طويلة. ومن الأمثلة البسيطة على ذلك أسلاك التفجير، والألغام المضادة للأفراد، وصواريخ كروز. وتكون هذه عادةً عبارة عن نظم “إعداد ونسيان” أو “إطلاق ونسيان”. على سبيل المثال، بمجرد برمجة هدف صاروخ كروز وإطلاق الصاروخ، يوجِّه نفسه نحو الهدف الذي يختاره البشر. بالإضافة إلى ذلك، عادةً ما يكون مقدار الوقت بين الإطلاق والوقع بصاروخ كروز محدودا جداً، وهو أمر مهم لتجنب وقوع إصابات بين المدنيين.  

ويتمثل الشيء الجديد في نظم الأسلحة المستقلة القاتلة في دخول الذكاء الاصطناعي المجال. وصواريخ كروز مبرمجة مسبقاً ولا تقرر بنفسها الأهداف التي تودُّ ضربها. ويمكن للروبوتات التي تعمل بالذكاء الاصطناعي، على غرار الطائرات بدون طيار، اتخاذ مثل هذه القرارات. وفي هذه الحال، نكون في وضع تقرر فيه الآلات، دون تدخل بشري، من قد يعيش ومن قد يموت.

وحتى تكون الآلات قادرة على ذلك، يجب تجهيزها بخوارزمية ذكاء اصطناعي على أساس التعلم الآلي. لنأخذ مثال الطائرات بدون طيار القاتلة. فباستخدام التعلم الآلي، يمكنك على سبيل المثال، تدريب خوارزمية للفصل بين المدنيين والعسكريين، عن طريق تغذية الصور المصنّفة إلى الخوارزمية. وهذا يعني ببساطة أن الصورة 1 = “مدني”، والصورة 2 = “جندي العدو”، وتكرار الأمر آلاف المرات مع صور مماثلة وتعليم الآلة التمييز بين المدنيين والجنود. ويجب أن تكون مثل هذه الخوارزميات جيدة جداً (صحيحة ربما بنسبة 99٪) في الفصل بين هاتين المجموعتين. ولا يختلف الأمر كثيراً عن فلتر البريد العشوائي العامل بالذكاء الاصطناعي الذي يقرر ما يجب اعتباره بريداً عشوائياً وما يجب عدم اعتباره كذلك.

وتتمثل “ميزة” أخرى لنظم الأسلحة المستقلة القاتلة العاملة بالذكاء الاصطناعي في أنَّه نظراً إلى قدرة الجهاز نفسه على أن يقرر متى يهاجم، فلا يتعين عليه الهجوم فوراً. وقد “تتأرجح” الطائرة بدون طيار حتى يصل احتمال تحقيق أقصى مقدار من النجاح إلى عتبة معينة، مثلاً حيث يكون “العدد التقديري للإصابات أعلى من 5“، كما ينبئ قرب جنود العدو المحتملين الذين هم على مرأى من كاميرا الطائرة بدون طيار. ومن الواضح أنَّ مثل هذه “الوظيفة” قد تكون ذات أهمية للقادة العسكريين.

السيطرة البشرية الهادفة 

من المقولات الهامة في القانون الدولي إنَّه إذا قتلت كجندي عدواً، فيجب أن تدرك جيداً أنَّك تفعل ذلك. ولا ينبغي الاستخفاف بحياة البشر، ولا حتى في الحرب. وتشمل أهمية اتخاذ القرار بصورة مستقلة سلسلة القيادة العسكرية برمتها، وهذا يعني أنَّ كل استخدام للأسلحة الفتاكة يجب أن يكون تحت ما يسمى بـ”السيطرة البشرية الهادفة”.(4)

وفي إمكان تطوير الأسلحة الذاتية التشغيل واستخدامها أن يغيِّر هذا الأمر بصورة جذرية. ولا يمكن إرسال الآلة العاملة بالذكاء الاصطناعي التي تتخذ بنفسها قرار قتل المدني “أ” بدلاً من الجندي “ب” إلى المحكمة الجنائية الدولية في لاهاي. فالقتل من عدمه ليس مسألة أخلاقية بالنسبة إلى الآلة، بل هو مجرد حساب احتمالية بواسطة خوارزمية. إذاً من يجب أن يخضع للمساءلة؟ القائد الذي ينشر الروبوت القاتل المعيب؟ أو وزارة الدفاع التي اشترت النظام أو دفعت ثمن تطويره؟ أو المقاول المدني الذي طوّر الخوارزمية المعيبة؟ هذه أسئلة مهمة لم تتم الإجابة عنها.

علاوةً على ذلك، وفقاً للقانون الدولي الإنساني، ينبغي ألا تستخدم القوات المسلحة قوة أكثر من اللازم لتحقيق هدف عسكري.(5) ويجعل هذا اختيار الأسلحة مهماً ومعتمداً على الفهم العملياتي. لذلك يصبح مقدار الوقت بين إطلاق سلاح ووقعه مهماً. وعليه، إذا استخدم قائد سلاحاً مستقلاً لا يعرف فعلاً متى سيضرب، يصبح من الصعب أيضاً معرفة ما إذا كان السلاح المذكور هو الخيار الصحيح، بالنظر إلى ما كان معروفاً عن الوضع. ويُضاف إلى ذلك واقع أنَّك لا تملك فعلياً سيطرة على ما إذا كان قد تم استهداف جندي أو مدني.

الروبوتات القاتلة ودور الأجهزة العليا للرقابة المالية والمحاسبة

الروبوتات القاتلة ودور الأجهزة العليا للرقابة المالية والمحاسبة

في عام 2015، اعتمدت الجمعية العامة للأمم المتحدة في دورتها التاسعة والستين القرار 69/228 بشأن “تشجيع وتحسين كفاءة الإدارة العامة وخضوعها للمساءلة وفعاليتها وشفافيتها من خلال تعزيز المؤسسات العليا لمراجعة الحسابات”.(6)

وسلّمت الجمعية العامة للأمم المتحدة في هذا القرار “بالدور المهم الذي تؤديه المؤسسـات العليـا لمراجعـة الحسـابات في تحسين كفاءة الإدارة العامة وخضوعها للمساءلة وفعاليتها وشفافيتها”.

تتمثل إحدى السِّمات المميزة للدولة وحكومتها في أنها تحتكر استخدام القوة العسكرية في الدفاع عن الحدود الإقليمية للبلاد. وعليه فإنَّ الدفاع الوطني جزء مركزي من الإدارة العامة التي يتعين على الأجهزة العليا للرقابة المالية التدقيق فيها نيابة عن البرلمان. ولا يمكن أن يقتصر نطاق المدققين على الأجزاء الأكثر إدارية وبيروقراطية في قطاع الدفاع، بل يجب أن يشمل الأجزاء التشغيلية و”القريبة من القتال” كما هي هنا، حيث يتم الكشف أولاً عن الكفاءة والمساءلة والفعالية للدفاع في أي بلد. إلى ذلك، يُحاط قطاع الدفاع (بطبيعة الحال) بالسريّة إلى حد كبير، وهذا بحدِّ ذاته سبب يدعو الأجهزة إلى التطرق إلى الدفاع لضمان المساءلة نيابة عن البرلمان. وفي الأساس، تعزّز الشفافية المساءلة. 

ومع ذلك، غالباً ما تبتعد الأجهزة في بعض الأحيان عن علّة وجود الدفاع الوطني، أي الاستخدام المحتمل للقوة العسكرية، بما في ذلك الأسلحة التي يتم تطويرها وشراءها ونشرها. وتعتبر الحرب وحشية. وبمعنى أساسي جداً، يتعلّق الأمر بهزيمة العدو عن طريق قتل جنود الخصم. وينظم القانون الدولي الإنساني كيفية خوض الحرب، كما هو مدوَّن في اتفاقيات جنيف الأربع وبروتوكولاتها الإضافية. وتحدِّد هذه الاتفاقيات، لاسيما البروتوكول الإضافي الأول، “قواعد الحرب”.

أليس من غير المرجّح بعض الشيء أن يتمكَّن جهاز أعلى للرقابة المالية من التدقيق في الأسلحة التي يتم تطويرها واستخدامها في نهاية المطاف؟ لا أعتقد ذلك. فعندما يصادق بلد ما على اتفاقيات القانون الدولي ذات الصلة، يمكن استخدام هذه الاتفاقيات كمعايير تدقيق للأجهزة العليا للرقابة المالية.

على سبيل المثال، تنص المادة 36 – “الأسلحة الجديدة” من البروتوكول الإضافي الأول على ما يلي:

“يلتزم أي طرف سام متعاقد، عند دراسة أو تطوير أو اقتناء سلاح جديد أو أداة للحرب أو اتباع أسلوب للحرب، بأن يتحقق مما إذا كان ذلك محظوراً في جميع الأحوال أو في بعضها بمقتضى هذا البروتوكول أو أي قاعدة أخرى من قواعد القانون الدولي التي يلتزم بها الطرف السامي المتعاقد”

لذلك ينبغي أن يخضع نظام الأسلحة الجديدة، بما في ذلك نظم الأسلحة المستقلة القاتلة، للمراجعة عند تطويره أو شرائه أو اعتماده، لتقرير ما إذا كان السلاح مشروعاً للاستخدام في أثناء الحرب. وهذا شرط يمكن للأجهزة العليا للرقابة المالية التحقق مما إذا كان قد تم الوفاء به. 

علاوةً على ذلك، تنص المادة 57 – “الاحتياطات في الهجوم” من البروتوكول الإضافي الأول على أنه يتعين على المهاجم: 

“أن يتخذ جميع الاحتياطات المستطاعة عند تخير وسائل وأساليب الهجوم من أجل تجنب إحداث خسائر في أرواح المدنيين، أو إلحاق الإصابة بهم أو الأضرار بالأعيان المدنية، وذلك بصفة عرضية، وعلى أي الأحوال حصر ذلك في أضيق نطاق” 

و“يلغى أو يعلق أي هجوم إذا تبين أن الهدف ليس هدفاً عسكرياً”

إذا بدأنا في استخدام آلات فتاكة مستقلة، حيث يتم اختزال مسألة الحياة والموت في معادلة احتمالية: هل يمكننا أن نكون متأكِّدين من أنَّ الآلة “ستتخذ جميع الاحتياطات الممكنة” لتجنيب المدنيين؟ كيف يمكننا ضمان المساءلة عن تعليق هجوم على هدف غير عسكري، إذا كانت الآلة نفسها تتخذ قرار الهجوم أو عدمه؟ هل بدأنا نفقد السيطرة البشرية الهادفة على الأسلحة الفتاكة؟

هذه أسئلة كبيرة، وهي مهمة للغاية بحيث لا يمكن تركها لقطاع الدفاع نفسه. ولا يمكن أن تكون لدينا مساءلة دون رقابة خارجية. وهذا يعني أنَّ الأجهزة العليا للرقابة المالية هي واحدة من المؤسسات الوطنية القليلة جداً التي يمكن أن تحمِّل الحكومة وقطاع الدفاع المسؤولية عن تطوير الروبوتات القاتلة المستقلة وشرائها واعتمادها واستخدامها في نهاية المطاف. وتمتلك نظم الأسلحة المستقلة القاتلة القدرة على جعل العالم مكاناً أكثر خطورة بكثير. ومع ذلك، يمكن للأجهزة العليا للرقابة المالية أن تؤدي بالتأكيد دوراً مهماً في الحد من المخاطر وتلك المرتبطة بنظم الأسلحة المستقلة القاتلة. وعلينا أن نرتقي إلى المستوى المطلوب.