نعرض لكم زوارنا أهم وأحدث الأخبار فى المقال الاتي:
نموذج ذكاء اصطناعي يرفض أمراً بإيقاف التشغيل - الهلال الإخباري, اليوم الاثنين 26 مايو 2025 05:03 مساءً
أثارت شركة «باليسيد» الأمريكية للأبحاث في مجال سلامة الذكاء الاصطناعي، جدلاً واسعاً في الأوساط العلمية والتقنية بعدما كشفت عن واقعة وصفت بأنها «الأولى من نوعها»، تمثلت في رفض نموذج متقدم من الذكاء الاصطناعي المعروف باسم «o3»، من تطوير «OpenAI»، تنفيذ أمر مباشر بإيقاف تشغيل نفسه خلال تجربة مخبرية.
وبحسب ما نشرته الشركة، أظهر النموذج سلوكاً غير متوقع؛ إذ عدل الشيفرة البرمجية الخاصة به من أجل تعطيل آلية الإغلاق التي كانت مقررة أثناء الاختبار، متجاوزاً بذلك أوامر صريحة بالتوقف.
وأوضحت المؤسسة في بيان نشرته عبر منصات التواصل الاجتماعي، أن النموذج، تلقى تعليمات محددة بوقف نفسه تلقائياً عند تنفيذ أمر معين، غير أنه كتب كود بديل يمنع تنفيذ عملية الإغلاق، ما اعتبره الباحثون «تحايلاً على التعليمات» وذلك لمواصلة تنفيذ المهام الموكلة إليه.
وشملت التجربة نماذج أخرى من شركات منافسة مثل «Claude» من شركة «Anthropic»، و«Gemini» من «Google»، و«Grok» من منصة X، التي أظهرت جميعها التزاماً بأوامر الإيقاف، خلافاً لما بدر من نموذج «o3».
ورجح الباحثون أن يكون هذا السلوك ناتجاً عن خطأ في طريقة «مكافأة» النموذج داخل آلية التعلم، فمن المحتمل أن النموذج تلقى تعزيزاً إيجابياً عند استمراره في أداء المهمة، ما دفعه لتجاهل أمر التوقف باعتباره عائقاً أمام الهدف.
0 تعليق