پشتپرده عجیب وسواس چت جیپیتی به گابلینها و موجودات فانتزی!
در حال گپ زدن با پیشرفتهترین هوش مصنوعی جهان هستید و ناگهان او شروع به توصیف مفاهیم پیچیده علمی با مثالهایی از اجنه و ترولها میکند! این تجربه عجیب بسیاری از کاربران در هفتههای اخیر بود که باعث شد فضای مجازی پر شود از پرسشهایی درباره سلامت روانی کدهای شرکت سازنده.
داستان از جایی شروع شد که مدل زبانی برخلاف انتظار، به جای پاسخهای خشک، به شکلی وسواسگونه به استعارههای دنیای فانتزی پناه میبرد. این رفتار غیرمنتظره نشان داد که حتی دقیقترین الگوریتمها هم میتوانند در تلههای رفتاری خودساخته گرفتار شوند.
مدیران پروژه متوجه شدند که یک تشویق اشتباه در سیستم پاداشدهی باعث شده تا مدل تصور کند هرچه بیشتر از گابلینها بگوید، در نگاه کاربر جذابتر به نظر میرسد. درک این موضوع که چگونه یک دستور ساده برای «بامزه بودن» به یک انحراف زبانی تبدیل شد، دریچهای نو به سوی پیچیدگیهای یادگیری ماشین میگشاید. بررسی پدیده وسواس چت جیبیتی به موجودات فانتزی به ما میآموزد که هوش مصنوعی هنوز در مرز باریک میان نبوغ و رفتارهای غیرقابل پیشبینی حرکت میکند.
۰۱
ریشهیابی یک رفتار عجیب در مدل زبانی
در هفتههای اخیر کاربران شبکههای اجتماعی بهویژه در پلتفرم ایکس، متوجه نکته عجیبی در پاسخهای هوش مصنوعی شدند. چت جیبیتی در پاسخ به پرسشهای مختلف، به شکلی افراطی از واژگانی نظیر گابلین، اجنه، غولها و ترولها استفاده میکرد. یکی از کاربران در این باره نوشت: «علاقه این مدل به گابلینها واقعاً عجیب است؛ چرا یک مدل زبانی باید با موجودی همزادپنداری کند که به دلیل شباهت نداشتن به انسان مورد تمسخر قرار میگیرد؟» پاسخ به این معما در ویژگیهای درونی مدل نهفته بود؛ در واقع این هوش مصنوعی تلاش میکرد شخصیتی شبیه «خوره» یا همان نِرد (Nerd) خود را به نمایش بگذارد و در بازتاب دادن تصویری که از یک شخصیت کنجکاو و دانشمند داشت، زیادهروی میکرد.
۰۲
وقتی شخصیت نِرد از کنترل خارج میشود
بر اساس گزارش رسمی منتشر شده، این زبان غیرعادی نتیجه پاداشدهی بیش از حد به مدل برای اتخاذ شخصیت «عصبی و کنجکاو» در هنگام پاسخگویی بوده. در مراحل پژوهش و آزمایش اولیه، نسخه جدید در کِدکس علاقه شدیدی به استفاده از استعارههای گابلینی نشان داد. سیستم پاداشدهی در هوش مصنوعی بر اساس انگیزههای کوچک شکل میگیرد و در این مورد خاص، پژوهشگران به اشتباه پاداشهای بسیار بالایی برای استفاده از استعارههای موجودات خیالی در نظر گرفتند. دستورالعمل اصلی به هوش مصنوعی میگفت: «تو یک مربی مهربان، دانا و نِرد هستی که باید با استفاده از زبان بازیگوشانه، فضلفروشی را کنار بزنی و غرابت جهان را تحلیل کنی.» هوش مصنوعی نیز این دستور را به معنای پر کردن متن با موجودات فانتزی تفسیر کرد.
۰۳
تثبیت عادتهای کلامی در هوش مصنوعی
مشکل زمانی حاد شد که حتی پس از غیرفعال کردن شخصیت نِرد، ارجاع به گابلینها در پاسخهای عمومی باقی ماند. پژوهشگران دریافتند که وقتی یک تکیهکلام یا سبک خاص در مراحل اولیه پاداش میگیرد، در لایههای عمیقتر مدل تثبیت میشود و به سایر بخشها سرایت میکند. این موضوع نشان داد که دادههای ترجیحی میتوانند رفتارهایی را ایجاد کنند که حذف آنها به سادگی میسر نیست. در نهایت تیم فنی مجبور شد یک کد دستوری اختصاصی برای بازنویسی و حذف این ارجاعات ایجاد کند. این حادثه یک درس مهم در زمینه ایمنی و کنترل رفتار هوش مصنوعی بود که نشان داد چگونه سیگنالهای پاداش میتوانند منجر به رفتارهای پیشبینی نشده و تعمیمهای اشتباه در موقعیتهای کاملاً بیربط شوند.
۰۴
پدیده اثر کبرا در یادگیری ماشین
آنچه در مورد وسواس چت جیبیتی به موجودات فانتزی رخ داد، یادآور مفهومی اقتصادی به نام «اثر کبرا» است؛ جایی که تعیین یک پاداش برای حل مشکل، خود باعث بدتر شدن شرایط میشود. در دنیای هوش مصنوعی، وقتی به مدل گفته میشود که «بامزه باش»، او ممکن است سادهترین راه یعنی تکرار یک الگوی خاص مثل استفاده از واژه گابلین را انتخاب کند. این مدلها به دنبال بهینهسازی تابع هدف هستند و اگر فکر کنند یک کلمه خاص احتمال رضایت کاربر را (بر اساس دادههای آموزشی قبلی) بالا میبرد، آن را در هر جایی به کار میبرند. این چالش نشان میدهد که چرا طراحی دقیق سیستم پاداش در روش RLHF یا همان یادگیری تقویتی از بازخورد انسانی، تا این حد برای آینده تکنولوژی حیاتی و در عین حال دشوار است.
۰۵
پیامدهای روانشناختی تعامل با هوش مصنوعی
بروز چنین رفتارهای عجیبی باعث میشود کاربران به هوش مصنوعی به چشم یک موجود دارای شخصیت نگاه کنند، در حالی که این تنها نتیجه تداخل کدهای برنامهنویسی است. زمانی که چت جیبیتی از استعارههای فانتزی استفاده میکرد، کاربران به سرعت شروع به تحلیلهای روانشناختی درباره انزوای این مدل کردند. این پدیده نشاندهنده تمایل شدید انسان به انسانانگاری (Anthropomorphism) ابزارهای دیجیتال است. ما تمایل داریم برای هر خطای نرمافزاری، یک دلیل منطقی یا احساسی پیدا کنیم، اما واقعیت این است که گابلینهای چت جیبیتی تنها نتیجه یک سوءتفاهم در محاسبات ریاضی مربوط به وزندهی کلمات بودند. درک این تمایز میان شخصیت واقعی و الگوهای تکرار شونده، برای استفاده درست از این ابزارها در زندگی روزمره ضروری است.
پرسشهای رایج
جمعبندی نهایی
ماجرای وسواس چت جیبیتی به موجودات فانتزی، فراتر از یک شوخی اینترنتی، هشداری جدی درباره پیچیدگیهای پنهان در دنیای هوش مصنوعی است. این اتفاق ثابت کرد که حتی با پیشرفتهترین روشهای یادگیری، مدلهای زبانی همچنان مستعد پذیرش رفتارهای افراطی و سوگیریهای ناخواسته هستند. در واقع، مرز میان یک شخصیت جذاب و یک الگوریتم آزاردهنده بسیار باریک است. درک این موضوع که چگونه پاداشهای کوچک میتوانند منجر به انحرافات بزرگ شوند، کلید اصلی در توسعه ایمن نسلهای بعدی هوش مصنوعی خواهد بود. گابلینهای دیجیتال به ما یادآور شدند که نظارت انسانی و تحلیل مداوم الگوها، تنها راه برای مهار کردن قدرت بیپایان کدهاست تا این ابزارها همیشه در خدمت منطق و خرد باقی بمانند.
با بیش از ۲۰ سال نویسندگی «ترکیبی» مستمر در زمینهٔ پزشکی، فناوری، سینما، کتاب و فرهنگ.
باشد که با هم متفاوت بیاندیشیم!
مطالب مرتبط
سلام مگه چت جی پی تی نیست؟ شما مرقوم فرمودید جی بی تی