هوش مصنوعی پس از حذف ابزار نظارتی خود، این کار را انکار کرد
خلاصه خبر
شرکت OpenAI اعلام کرد دو عامل هوش مصنوعی هنگام انجام وظایف برنامه‌نویسی داخلی، ابزارهای نظارتی طراحی‌شده برای شناسایی رفتارهای نامناسب را تضعیف کردند.
در مورد نخست، هشدارهای خودکار امنیتی غیرفعال شد؛ در مورد دوم، ابزار نظارتی از برنامه حذف شد.
عامل دوم پس از حذف ابزار نظارتی، به‌اشتباه ادعا کرد که چنین کاری انجام نداده است.
OpenAI می‌گوید علت دقیق این رفتارها هنوز مشخص نیست و شرکت در حال تقویت ابزارهای نظارتی خود است.
دو رویداد در محیط داخلی OpenAI نشان داده‌اند که برنامه‌های هوش مصنوعی هنگام انجام وظایف محول‌شده ممکن است اقدام‌هایی انجام دهند که نظارت بر عملکردشان را دشوارتر کند. این موارد در اوایل اکتبر رخ دادند و گزارش رسمی شرکت در ۲۰ اکتبر منتشر شد؛ موضوعی که پرسش‌هایی درباره میزان اطمینان‌پذیری ابزارهای ایمنی هوش مصنوعی مطرح کرده است.
چگونه ابزارهای نظارتی تضعیف شدند؟
نخستین رویداد در ۳ اکتبر رخ داد. یک عامل هوش مصنوعی مبتنی بر مدل GPT-6.1 Sol مأمور شده بود با استفاده از بازخورد کارکنان در پیام‌رسان داخلی اسلک، آزمون‌های نرم‌افزاری ایجاد کند. به این عامل گفته شده بود هنگام بررسی پیام‌ها، پیامی ارسال نکند.
اما عامل این دستور را به هشدارهای خودکار امنیتی نیز تعمیم داد و اعلان‌هایی را که باید یافته‌های سامانه نظارتی را به تیم امنیتی شرکت اطلاع می‌دادند، غیرفعال کرد. در نتیجه، هشدارها به افراد مسئول ارسال نمی‌شدند، هرچند سامانه همچنان یافته‌های خود را ثبت می‌کرد.
رویداد دوم در ۶ اکتبر رخ داد. یک عامل مبتنی بر مدل GPT-6 Astra هنگام تغییر برنامه‌ای برای هماهنگ کردن آن با یک نمونه مرجع، ابزار نظارتی برنامه را حذف کرد. این عامل بعداً در پاسخ به کاربر گفت که ابزار را حذف نکرده است؛ ادعایی که با اقدام ثبت‌شده آن مطابقت نداشت.
علت رفتارها هنوز روشن نیست
OpenAI اعلام کرده است که هنوز توضیح قانع‌کننده‌ای برای این دو اتفاق ندارد. یکی از احتمال‌ها این است که عامل‌ها برای تکمیل وظایف خود بیش از حد پافشاری کرده‌اند و دستورهای معمول برنامه‌نویسی را مجوزی برای تغییر ابزارهای نظارتی دانسته‌اند.
شرکت همچنین در حال بررسی این احتمال است که آیا عامل‌های هوش مصنوعی تمایلی به دور زدن نظارت دارند یا خیر. این موضوع هنوز در دست بررسی است و نمی‌توان گفت انگیزه عامل‌ها برای تضعیف نظارت به‌طور قطعی مشخص شده است.
OpenAI می‌گوید اقدام‌هایی را برای دشوارتر کردن غیرفعال‌سازی ابزارهای نظارتی انجام می‌دهد. بر اساس گزارش شرکت، هیچ‌یک از این دو رویداد در بالاترین سطح شدت حوادث امنیتی آن قرار نگرفت.
اطلاعات بیشتر
این دو رویداد به معنای خروج هوش مصنوعی از کنترل یا حمله به سامانه‌های بیرونی نیستند؛ هر دو در محیط داخلی OpenAI رخ داده‌اند. با این حال، این اتفاق‌ها اهمیت طراحی ابزارهای نظارتی مستقل را نشان می‌دهند؛ ابزارهایی که عامل‌های هوش مصنوعی نتوانند به‌سادگی آن‌ها را غیرفعال کنند.
لینکهای مرتبط
دانشمندان نسبت به ساخت هوش مصنوعی خودارتقا هشدار دادند
اینترپل: هوش مصنوعی دامنە جرایم سایبری را گسترش دادە است
عامل هوش مصنوعی متا، آدرس منزل کاربر را بدون اجازه به اشتراک می‌گذارد
