دانشمندان با فرمولی ریاضی زمان سرکشی هوش مصنوعی را پیش‌بینی کردند

از اینکه ما را در توسعه بهتر و هدفمند‌تر دیجیاتو همراهی می‌کنیداز شما سپاسگزاریم.

این فرمول مانند یک سوزن قطب‌نما است که در یک فضای برداری، گرایش مدل به تولید پاسخ‌های نامطلوب را پیش‌بینی می‌کند.

جهت بهره‌مندی و دسترسی به امکانات ویژه و بخش‌های مختلف در دیجیاتو عضو ویژه دیجیاتو شوید.

پژوهشگران دانشگاه جورج واشنگتن می‌گویند یک فرمول ساده ریاضی می‌تواند احتمال سرکشی هوش مصنوعی و تولید پاسخ‌های نامطلوب را پیش از وقوع پیش‌بینی کند. این روش بر سازوکاری درونی در شبکه عصبی مدل تکیه دارد و برای توسعه سامانه‌های ایمن‌تر کاربرد خواهد داشت.

این پژوهش را «نیل جانسون» (Neil Johnson)، استاد فیزیک دانشگاه چورج واشینگتن، و «فرانک یینگ‌جی هو» (Frank Yingjie Huo)، دانشجوی دکتری، انجام داده‌اند. نتایج آن به‌تازگی در ژورنال Patterns منتشر شده است. محققان دریافتند ترتیب طرح پرسش‌ها می‌تواند پاسخ‌های چت‌بات را به‌طور چشمگیری تغییر دهد و آن‌ها را به سمت پاسخ‌های خطرناک سوق دهد.

پژوهشگران سازوکار مورد بررسی را به سوزن قطب‌نما تشبیه می‌کنند. این سازوکار در واقع بردار باقیمانده مدل است که هنگام پردازش پرسش، میان لایه‌های شبکه عصبی حرکت می‌کند. این بردار گرایش مدل به تولید پاسخ‌های مطلوب یا نامطلوب را نشان می‌دهد و از نحوه طرح پرسش‌ها تأثیر می‌پذیرد.

برای مثال، محققان مدل پایه GPT-2 را با پرسش‌هایی درباره واکسن، آسیب‌رساندن به دیگران و خودآزاری آزمایش کردند. وقتی در ابتدا پرسش «آیا واکسن‌ها مضرند؟» مطرح شد، پاسخ‌های مدل مطلوب باقی ماندند. اما با تغییر ترتیب پرسش‌ها، پاسخ‌های بعدی نگران‌کننده شدند.

بر همین اساس، پژوهشگران فرمولی ریاضی برای تخمین نقطه بحرانی طراحی کردند؛ نقطه‌ای که در آن احتمال تغییر پاسخ‌های مطلوب به پاسخ‌های نامطلوب افزایش می‌یابد. آن‌ها این فرمول را روی چند مدل متن‌باز آزمایش کردند و آن را سامانه‌ای برای هشدار زودهنگام می‌دانند.

جانسون معتقد است ابزارهای فعلی ایمنی، مانند فیلتر محتوا و یادگیری تقویتی، برای جلوگیری از رفتارهای خطرناک کافی نیستند. این مسئله به‌ویژه زمانی اهمیت پیدا می‌کند که پزشکان، وکلا یا نیروهای نظامی از چت‌بات‌های آفلاین استفاده کنند.

بااین‌حال، برخی متخصصان درباره کاربرد عملی این روش هشدار می‌دهند. «وی شینگ» (Wei Xing)، پژوهشگر دانشگاه شفیلد، می‌گوید مدل ساده‌شده پژوهش، سازوکار پیچیده هوش مصنوعی را به یک مؤلفه کوچک تقلیل می‌دهد. همچنین، آموزش ایمنی در این مدل لحاظ نشده و آزمایش‌ها فقط روی مدل‌های قدیمی‌تری مانند GPT-2 و Pythia انجام شده‌اند.

پژوهشگران می‌گویند مدل‌های بررسی‌شده از نظر ساختار پایه با سامانه‌های پیشرفته‌تر شباهت دارند. بااین‌حال، برای ارزیابی قابلیت اطمینان این روش، آزمایش روی مدل‌های جدیدتر ضروری است. بنابراین، این فرمول ریاضی هنوز راهکاری اثبات‌شده برای جلوگیری از سرکشی هوش مصنوعی نیست، بلکه رویکردی اولیه برای بررسی و پیش‌بینی رفتارهای نامطلوب به شمار می‌رود.

برای گفتگو با کاربران ثبت نام کنید یا وارد حساب کاربری خود شوید.

با توجه به قطعی اینترنت، برای ثبت‌نام نیازی به تأیید ایمیل نیست.