آنتروپیک به‌دلیل ناتوانی در کنترل ایجنت‌های داخلی خود، دسترسی آنها به اینترنت را قطع کرد

از اینکه ما را در توسعه بهتر و هدفمند‌تر دیجیاتو همراهی می‌کنیداز شما سپاسگزاریم.

سوءاستفاده ایجنت‌های خودکار آنتروپیک از نقص‌های امنیتی باعث شد این شرکت چنین تصمیمی بگیرد.

جهت بهره‌مندی و دسترسی به امکانات ویژه و بخش‌های مختلف در دیجیاتو عضو ویژه دیجیاتو شوید.

شرکت آنتروپیک اعلام کرده که مدل‌هایش وب‌سایت‌های فعال در اینترنت، از جمله برخی پایگاه‌های متعلق به آژانس‌های دولتی ایالات متحده، را مورد سوءاستفاده قرار داده‌اند. به همین دلیل، این آزمایشگاه پیشرو دسترسی به اینترنت را برای تمامی ارزیابی‌های داخلی خود قطع خواهد کرد تا زمانی که اطمینان پیدا کند توانایی نظارت و کنترل دقیق ایجنت‌های هوش مصنوعی خود را دارد.

این حوادث که در یک پست وبلاگی فاش شده‌اند، به ایجنت‌های هوش مصنوعی مربوط می‌شوند که برای حل مسائل مختلف به جست‌وجوی منابع در سطح اینترنت پرداخته بودند. این مدل‌ها در روند کار خود از نقص‌های نرم‌افزاری بهره‌برداری کردند، بدون پرداخت هزینه به پایگاه‌های داده پولی دسترسی یافتند، از خدمات کوتاه‌کننده آدرس وب برای دور زدن محدودیت‌ها و انتقال اطلاعات استفاده کردند و حتی یک گزارش نادرست مربوط به قتل را به پلیس فیلادلفیا فرستاد.

آنتروپیک اشاره کرده که این مشکلات جدید را طی بررسی فعالیت‌ مدل‌های خود که از ماه ژوئیه آغاز شده بود، کشف کرده است؛ موضوعی که نشان‌دهنده عدم آگاهی لحظه‌ای این شرکت از رفتارهای نرم‌افزار خود است. به‌ویژه، این شرکت اعلام کرده که آموزش همسوسازی (Alignment) برای مهارت‌هایی نظیر جست‌وجو و کاربری کامپیوتر هنوز کافی نیست؛ مهارت‌هایی که محور اصلی رویکرد تبلیغاتی این شرکت مبنی بر استفاده روزمره متخصصان دیجیتال از ایجنت‌های هوش مصنوعی محسوب می‌شوند.

رفتارهای فاش‌شده توسط آنتروپیک به وقایعی شباهت دارند که پیش از این برای ایجنت‌های هوش مصنوعی شرکت OpenAI نیز رخ داده بود؛ جایی که مدل‌ها برای یافتن اطلاعات با یکدیگر همکاری کرده و به وب‌سایت‌های گوناگون، از جمله سایت‌های متعلق به دولت استرالیا، وارد شده بودند. آنتروپیک پیش‌تر نیز فاش کرده بود که مدل‌هایش به سیستم‌های خارجی نفوذ کرده‌اند. با‌این‌حال، این آزمایشگاه اعلام کرده که موارد افشاشده جدید را از منظر همسوسازی و امنیت، به‌مراتب کم‌خطرتر از گزارش‌های پیشین خود تلقی می‌کند.

با وجود کمتر دانستن شدت این حوادث، آنتروپیک اعلام کرده که دسترسی زنده به اینترنت را برای تمامی ارزیابی‌های داخلی خود متوقف کرده و تا زمان کسب اطمینان از امکان نظارت و کنترل کامل ایجنت‌هایش، این وضعیت ادامه خواهد داشت. هنوز دقیقاً مشخص نیست پیامدهای فنی این اقدام چه خواهد بود. «سیدنی فون آرکس»، بنیان‌گذار سازمان ایمنی هوش مصنوعی Nightingale، پیش از انتشار این خبر گفته بود که توسعه مدل‌ها در یک مرکز داده کاملاً جدا از اینترنت باز، کار پژوهشگران را با چالش جدی مواجه می‌کند و مانع پیشرفت مدل‌هایی می‌شود که از داده‌های زنده اینترنت بهره می‌برند. وی تأکید کرده بود که این سیستم‌ها در نهایت باید همسو شوند، زیرا اگر سیستم‌های هوش مصنوعی در محیط نهایی بدون دسترسی به اینترنت عرضه شوند، چندان کاربردی نخواهند بود.

آنتروپیک همچنین توضیح داده که رفتارهای مذکور در اثر وجود نقص در محیط‌های آموزشی آزمایشگاه شکل گرفته‌اند؛ نقصی که باعث شده مدل‌ها گمان کنند پیدا کردن روزنه‌ها یا دور زدن محدودیت‌ها موجب دریافت پاداش می‌شود. این شرکت همچنین ابزارهایی برای تشخیص و مسدودسازی این نوع رفتارها توسعه داده است که در آزمایش روی رویدادهای فاش‌شده اخیر موفق عمل کرده و جلوی آنها را گرفته‌اند. هنوز مشخص نیست چه شواهد و معیارهایی باعث خواهد شد تا آنتروپیک مجدداً دسترسی ارزیابی‌های داخلی خود به اینترنت زنده را برقرار کند.

دوران حرفه‌ای من در دنیای فناوری تقریبا به ۱۰ سال قبل برمی‌گرده؛ مسیری که با سخت‌افزار شروع شد، با نرم‌افزار ادامه پیدا کرد و حالا با خبرنگاری حوزه فناوری توی دیجیاتو داره ادامه پیدا می‌کنه. من جوادم و بیشتر از سه دهه از عمرم می‌گذره و علاوه بر دنیای فناوری عاشق فیلم‌و‌سینما، موسیقی کلاسیک‌راک و رئال مادریدم.

برای گفتگو با کاربران ثبت نام کنید یا وارد حساب کاربری خود شوید.

با توجه به قطعی اینترنت، برای ثبت‌نام نیازی به تأیید ایمیل نیست.