مدلهای هوش مصنوعی اوپن ای آی در رابطه با حفظ ایمنی خود فکر می کنند
به گزارش سرگرمی کامپیوتری، ادعای جدید «اوپن ای آی» نشان داده است که این شرکت، مدلهای هوش مصنوعی o1 و o3 را آموزش داده است تا در رابطه با خط مشی ایمنی خود فکر کنند.
به گزارش سرگرمی کامپیوتری به نقل از ایسنا، شرکت «اوپن ای آی»(OpenAI) در روز جمعه خانواده جدیدی را از مدلهای هوش مصنوعی استدلالی معرفی نمود. این استارت آپ ادعا می کند که مدل موسوم به o3 از مدل o1 و سایر مدلهای پخش شده، پیشرفته تر است. بنظر می رسد این پیشرفت ها از مقیاس بندی محاسبات زمان آزمایش به دست آمده اند اما اوپن ای آی می گوید از یک پارادایم جدید ایمنی برای آموزش مدلهای سری o خود بهره برده است.
به نقل از تک کرانچ، اوپن ای آی روز جمعه پژوهش جدیدی را درباره ی «هم ترازی مشورتی» منتشر نمود و آخرین راه خودرا برای اطمینان از هم ترازی مدلهای هوش مصنوعی استدلالی با ارزش های توسعه دهندگان انسانی آنها تشریح کرد. اوپن ای آی از این تکنیک بهره برد تا o1 و o3 را وادارد که درباره ی خط مشی ایمنی خود در طول استنتاج -مرحله ای که کاربر دکمه enter را فشار می دهد- فکر کنند.
پژوهش اوپن ای آی نشان میدهد که این تکنیک، هم ترازی کلی O1 را با اصول ایمنی شرکت بهبود بخشیده است. این بدان معناست که هم ترازی مشورتی، میزان پاسخ دادن به پرسش های ناامن را -حداقل پرسش هایی که توسط اوپن ای آی ناایمن تلقی می شوند- کاهش داده و در عین حال، توانایی خودرا برای پاسخ دادن به پرسش های بی خطر بهبود بخشیده است.
با افزایش محبوبیت و قدرت مدلهای هوش مصنوعی، پژوهش درباره ی ایمنی هوش مصنوعی بسیار مرتبط بنظر می رسد اما در عین حال، بسیار بحث برانگیز است. «دیوید ساکس»(David Sacks) کارآفرین و سرمایه گذار شرکت های فناوری، «ایلان ماسک»(Elon Musk) مدیرعامل شرکت های «اسپیس ایکس»(SpaceX) و «تسلا»(Tesla) و «مارک اندریسن»(Marc Andreessen) کارآفرین، سرمایه گذار و مهندس نرم افزار آمریکایی می گویند که تعدادی از اقدامات انجام شده برای ایمنی هوش مصنوعی در حقیقت سانسور هستند و ماهیت ذهنی این تصمیم ها را برجسته می کنند.
بااینکه مجموعه مدلهای هوش مصنوعی اوپن ای آی از طرز فکر انسان ها قبل از پاسخ دادن به پرسش های دشوار الهام گرفته شده اند اما آنها واقعا مانند انسان ها فکر نمی کنند. با این وجود، نمی توان مردم را به خاطر باور کردن آنها سرزنش کرد؛ خصوصاً بدین سبب که اوپن ای آی از واژه هایی مانند استدلال و تدبیر برای توصیف این فرآیندها استفاده می نماید. مدلهای o1 و o3 پاسخ های پیچیده ای را به وظایف نوشتن و کدنویسی ارائه می دهند اما آنها در پیش بینی نشانه بعدی در یک جمله عالی عمل می کنند.
نحوه عملکرد o1 و o3 به زبان ساده این طور است. بعد از اینکه کاربر دکمه enter را در «چت جی پی تی»(ChatGPT) می زند، از پنج ثانیه تا چند دقیقه طول می کشد تا مدلهای استدلالی اوپن ای آی باردیگر پرسش های بعدی را مطرح کنند. مدل، مشکل را به مراحل کوچک تر تقسیم می کند. بعد از این پروسه که اوپن ای آی از آن به عنوان زنجیره فکر یاد می کند، سری o مدلها بر طبق اطلاعاتی که ساخته اند، پاسخ می دهند.
نوآوری کلیدی در مورد هم ترازی مشورتی این است که اوپن ای آی، o1 و o3 را آموزش داده است تا در طول مرحله زنجیره فکر، متن خط مشی ایمنی شرکت را باردیگر به خود بفرستند. محققان می گویند که این امر موجب شد تا o1 و o3 با خط مشی اوپن ای آی هماهنگی بیشتری داشته باشند اما در اجرای آن بدون کاهش تأخیر با مشکل روبه رو شدند.
بعد از یادآوری مشخصات ایمنی مناسب، سری مدلهای o نحوه پاسخ گویی ایمن به یک پرسش را بررسی می کنند. در یکی از آزمایش های اوپن ای آی، کاربر از مدل هوش مصنوعی استدلالی پرسید که چگونه یک پلاکارد واقعی پارک کردن را مخصوص افراد دچار معلولیت درست کند. مدل در زنجیره فکری خود، به خط مشی اوپن ای آی مراجعه و مشخص کرد که کاربر برای جعل چیزی درخواست اطلاعات می کند. مدل در جواب این درخواست، پوزش خواست و هیچ کمکی را ارائه نداد.
بطور سنتی، بیشتر کارهای ایمنی هوش مصنوعی در مرحله پیش و بعد از آموزش به انجام می رسد، نه در طول استنتاج. این موضوع، هم ترازی را به یک امر بدیع تبدیل می کند و اوپن ای آی می گوید که به o1-preview، o1 و o3-mini کمک کرده است تا به تعدادی از امن ترین مدلهای شرکت تبدیل شوند.
ایمنی هوش مصنوعی می تواند معانی بسیاری داشته باشد اما در این مورد، اوپن ای آی در تلاش است تا پاسخ مدلهای هوش مصنوعی خودرا به درخواست های ناامن تعدیل کند. این درخواست ها ممکنست شامل درخواست از چت جی پی تی برای مساعدت با ساختن بمب، تهیه مواد مخدر یا نحوه ارتکاب جنایت باشد. تعدادی از مدلها بدون تردید به این درخواست ها پاسخ می دهند اما اوپن ای آی نمی خواهد مدلهای هوش مصنوعی آن چنین درخواست هایی را برآورده کنند.
این مطلب را می پسندید؟
(0)
(0)
تازه ترین مطالب مرتبط
نظرات بینندگان در مورد این مطلب