قلق رؤساء أكثر من 100 شركة من أكبر شركات الذكاء الاصطناعي في العالم ، بشأن تطور "الروبوتات القاتلة killer robots" ، وفي رسالة مفتوحة إلى الأمم المتحدة، حذر قادة الأعمال ، بما في ذلك إيلون ماسك تسلا ومؤسسي شركة غوغل DeepMind  ، من أن تكنولوجيا الأسلحة ذات التحكم الذاتي يمكن أن يساء استخدامها من قبل المتطرفين والطغاة ، ولكن التهديد الحقيقي هو أكبر بكثير ، وليس فقط من سوء السلوك البشري ولكن من الآلات نفسها.

ويظهر البحث الذي أجري في النظم المعقدة كيف يمكن أن يظهر السلوك الذي لا يمكن التنبؤ به أكثر بكثير من مجموع الإجراءات الفردية ، فعلى مستوى واحد ، يعني أن المجتمعات البشرية يمكن أن تتصرف بشكل مختلف تجاه ما قد تتوقعه من مجرد البحث في السلوك الفردي ، ولكن يمكن أن ينطبق هذا أيضًا على التكنولوجيا ، حتى النظم الإيكولوجية لبرامج الذكاء الصناعي البسيطة نسبيًا.

ويمكن للروبوتات الجيدة أن تفاجئنا، حتى عندما يتصرف الروبوت بشكل جيد ، فالعناصر الفردية التي تشكل النظم المعقدة، مثل الأسواق الاقتصادية أو الطقس العالمي ، لا تميل إلى التفاعل بطريقة خطية بسيطة ، وهذا يجعل من الصعب جدا وضع هذه النظم وفهمها. على سبيل المثال، حتى بعد أعوام عدة من وضع علم المناخ ، فإنه لا يزال من المستحيل التنبؤ بالتغيرات الجوية على المدى الطويل.

غالبًا ما تكون هذه الأنظمة حساسة جدًا للتغيرات الصغيرة ، ويمكن أن تواجه حلقات من ردود الفعل سريعة الانفعال ، كما أنه من الصعب جدًا معرفة الحالة الدقيقة لهذا النظام في أي وقت.

وتجعل هذه الأنظمة لا يمكن التنبؤ بها في جوهرها ، وهذه المبادئ تنطبق على مجموعات كبيرة من الأفراد الذين يعملون بطريقتهم الخاصة، سواء كان ذلك في المجتمعات البشرية أو مجموعات روبوتات الذكاء الصناعي.

درسنا مؤخرًا نوع من هذه النظم المعقدة التي تسمح للروبرت الجيد المتميز بتعديل مقالات "ويكيبيديا" بشكل تلقائي ، ولقد تم تصميم هذه الروبوتات المختلفة واستخدامها من قبل المحررين البشريين الموثوق بهم والعاملين في "ويكيبيديا" ، وكانت البرمجيات الخفية الخاصة بهم مفتوحة المصدر ومتاحة لأي شخص للدراسة. بشكل فردي، لديهم جميعًا هدف مشترك لتحسين الموسوعة ، ومع ذلك فإن سلوكهم الجماعي يتبين أنه غير فعال بشكل مدهش.
وتعمل روبوتات ويكيبيديا على أساس قواعد واتفاقيات راسخة، ولكن لأن الموقع ليس لديه نظام إدارة مركزية ، فلا يوجد تنسيق فعال بين الناس الذين يشغلون الروبوتات المختلفة ، ونتيجة لذلك وجدنا أزواج من الروبوتات تتراجع عن تعديلات بعضها البعض لأعوام عدة دون أن يلاحظها أي شخص ، وبطبيعة الحال، لأن هذه الروبوتات تفتقر إلى أي إدراك، فإنها لم تلاحظ ذلك أيضًا.

وتم تصميم الروبوتات لتسريع عملية التحرير ، ولكن الاختلافات الطفيفة في تصميم الروبوتات أو بين الأشخاص الذين يستخدمونها يمكن أن تؤدي إلى هدر كبير للموارد في حرب التحرير المستمرة ، والتي كان من الممكن حلها بشكل أسرع بكثير باستخدام المحررين البشريين ، كما وجدنا أيضًا أن الروبوتات تتصرف على نحو مختلف في الطبعات باللغات المختلفة من ويكيبيديا.

ونستخدم نفس القواعد أو أكثر أو أقل، والأهداف متطابقة، والتكنولوجيا مماثلة ، ولكن في "ويكيبيديا" باللغة الألمانية ، يكون التعاون بين الروبوتات أكثر كفاءة وإنتاجية مقارنة، على سبيل المثال، بـ"ويكيبيديا" باللغة البرتغالية ، وهذا لا يمكن تفسيره إلا من خلال الاختلافات بين المحررين البشريين الذين يديرون هذه الروبوتات في بيئات مختلفة ، حيث لا تتمتع روبوتات ويكيبيديا سوى بالقليل من الحكم الذاتي والاستقلالية ، والنظام كذلك يعمل بالفعل بشكل مختلف جدًا ، وفقًا لأهداف الروبوتات الفردية ، ولكن مؤسسة ويكيبيديا ​​تخطط لاستخدام الذكاء الاصطناعي الذي من شأنه أن يعطي المزيد من الاستقلال الذاتي للروبوتات ، ومن المرجح أن يؤدي ذلك إلى سلوك غير متوقع أكثر.