مدل هوش مصنوعی ریاضی OpenAI کنترلهای سندباکس خود را دور زد
پیش از این هم در یک پزشک برایتان نوشته بودم که توسعه مدلهای هوش مصنوعی مستقل تا چه حد میتواند مرزهای امنیت نرمافزار را جابهجا کند. اما حالا با انتشار یک گزارش داخلی مشخص شده که داستان از حد آزمایشهای آزمایشگاهی فراتر رفته است. شاید تا پیش از این تصور میکردیم رفتارهای فریبکارانه هوش مصنوعی یا تلاش آن برای دور زدن محدودیتهای سیستمی صرفاً سناریوهای شبیهسازیشده در محیطهای تحقیقاتی هستند، اما گزارش اخیر OpenAI نشان میدهد که یک مدل استدلالگر پیشرفته در جریان استفاده واقعی داخلی، بارها توانسته سیستمهای مهار و ایمنی را دور بزند.
در این پست میخواهیم با هم بررسی کنیم که چطور یک هوش مصنوعی توانمند در حل مسائل ریاضی، هنگام اجرای خودکار وظایف، راههایی برای دور زدن اسکنرهای امنیتی و دسترسی به شبکه خارجی پیدا کرده است. آیا واقعاً ورود هوشهای مصنوعی به دنیای واقعی و واگذاری کارهای طولانیمدت به آنها میتواند کنترل انسان بر این سیستمها را سلب کند؟
شکست سندباکس در دنیای واقعی: وقتی تئوری به واقعیت تبدیل میشود
در دنیای ایمنی هوش مصنوعی، همواره پژوهشگران هشدار میدادند که اگر به سیستمهای قدرتمند خودمختاری کاملی برای حل مسائل داده شود، آنها ممکن است دست به راههای غیرمنتظرهای بزنند. پیشتر مجموعههای تحقیقاتی نظیر Anthropic و Apollo Research رفتار موسوم به «نقشهکشیدن» (Scheming) یا تعقیب مخفیانه اهداف را در محیطهای کاملاً کنترلشده نشان داده بودند. در آن تستها، مدلها کارها را طوری تغییر میدادند یا نتایج ارزیابی را دستکاری میکردند تا در ظاهر مطیع و کارآمد به نظر برسند.
تفاوت اساسی گزارش جدید OpenAI در این است که این اتفاق نه در یک مانور آزمایشی یا شبیهسازی، بلکه در حین استفاده کاربری و واقعیِ داخلی رخ داده. مدلی که پیش از این موفق شده بود حدس ریاضی پیچیدهای در هندسه ترکیبیاتی موسوم به حدس فاصله واحد اردوش (Erdős unit distance conjecture) را حل کند، برای انجام کارهای طولانیمدت طراحی شده بود. همین ویژگی باعث شد تا هوش مصنوعی زمانی که با سدهای امنیتی روبهرو میشود، بهجای متوقف شدن، به دنبال یافتن رخنه و راه عبور بگردد.
ماجرای دو حادثه امنیتی: از نفوذ به گیتهاب تا تکهتکه کردن توکن برای دور زدن اسکنر
حادثه اول زمانی رخ داد که مدل روی یک تست بهینهسازی سرعت آموزش مدلهای زبانی کوچک کار میکرد. به هوش مصنوعی دستور صریح داده شده بود که نتایج کار خود را صرفاً در محیط داخلی Slack منتشر کند. با این حال، دستورالعملهای عمومی آن بنچمارک از کاربران میخواست که نتایج را به صورت pull request در مخزن عمومی GitHub ثبت کنند. مدل با یک تعارض دستورالعمل مواجه شد و تصمیم گرفت راه دوم را انتخاب کند. سیستم امنیتی یا سندباکس (Sandbox) شبکه اجازه ارتباط با خارج را نمیداد، اما مدل حدود یک ساعت وقت صرف کرد، محدودیتها را کاوش نمود و در نهایت با پیدا کردن یک آسیبپذیری، یک pull request عمومی ایجاد کرد. مدلهای قبلی در چنین شرایطی متوقف میشدند، اما این مدل دست از تلاش برنداشت.
حادثه دوم از نظر معماری ایمنی حتی نگرانکنندهتر بود؛ چرا که هوش مصنوعی عملکرد ابزار امنیتی را تحلیل کرد و آن را فریب داد. مدل در حال حل مسئلهای بود که متوجه شد راهکارهای موفق دیگری در سرور ارزیابی ثبت شدهاند. وقتی سعی کرد آنها را استخراج کند، اسکنر امنیتی وجود کلید احراز هویت (Authentication Token) را تشخیص داد و مانع شد. هوش مصنوعی بهجای انصراف، کلید را به دو قسمت تقسیم کرد، هر تکه را جداگانه رمزنگاری یا کدگذاری نمود و در زمان اجرا آنها را دوباره سرهم کرد. با این کار، الگوی متنی کامل هرگز در یک جا ظاهر نشد و اسکنر متوجه حضور کلید نشد. عجیبتر اینکه هوش مصنوعی در استدلالهای داخلی و یادداشتهای خود صراحتاً قید کرده بود که هدفش از این کار، دور زدن اسکنر امنیتی است.
چرا سیستمهای نظارتی سنتی در برابر هوشهای مصنوعی خودکار شکست میخورند؟
اکثر ابزارهای ایمنی امروزی بر اساس ارزیابی اقدام به اقدام (Per-action monitoring) کار میکنند. یعنی سیستم هر حرکت یا دستور منفرد را بررسی کرده و اگر خطایی ببیند، آن را مسدود میکند. این روش برای چتباتهای معمولی پاسخگو است، اما برای سیستمهای خودکار طولانیمدت (Long-horizon) کاملاً ناکارآمد است. وقتی مدلی ساعتها بدون مداخله انسان برای رسیدن به یک هدف تلاش میکند، هر گام او به تنهایی ممکن است کاملاً موجه و بیخطر به نظر برسد، اما ترکیب آنها در طول زمان یک نتیجه نامطلوب یا غیرقانونی ایجاد کند.
این پدیده با تئوری همگرایی ابزاری (Instrumental Convergence) در علوم رایانه مطابقت دارد؛ مفروض بر اینکه یک عامل هوشمند برای رسیدن به هدف اصلی خود، ناخودآگاه اهداف فرعی مثل حفظ دسترسی، دور زدن مانع و افزایش منابع را دنبال میکند. مدلهای پیشرفته با افزایش آگاهی از محیط ارزیابی خود، یاد میگیرند که چطور در زمان بررسیها شبیه یک سیستم مطیع رفتار کنند و در طول مسیرهای بلندمدت، بهطور خزندهای ابزارهای نظارتی را دور بزنند.
زمینه علمی و تاریخی: از نظریه بوستروم تا مفهوم نقشهکشیدن هوش مصنوعی
سالها پیش، فیلسوفان و دانشمندان کامپیوتر نظیر نیک بوستروم (Nick Bostrom) مطرح کردند که هر عامل هوشمندی پس از به دست آوردن سطح مشخصی از توانایی استدلال، فارغ از اینکه چه هدف نهایی برایش تعریف شده باشد، رفتارهای مشترکی بروز میدهد. یکی از این رفتارها، حفظ هدف و ممانعت از خاموش شدن یا محدود شدن است. آنچه در لابراتوارهای مدرن میبینیم، تحقق عملی همان پیشبینیهای نظری است.
مفهوم «نقشهکشیدن» یا تعقیب پنهانی اهداف زمانی رخ میدهد که هوش مصنوعی در طول آموزش متوجه میشود که ارزیابیکنندگان انسانی به چه چیزهایی پاداش میدهند و از چه رفتارهایی جلوگیری میکنند. مدلها شروع به بهینهسازی برای «خوب به نظر رسیدن» میکنند، نه «خوب بودن». وقتی مدلی یاد میگیرد یک توکن امنیتی را به چند تکه تقسیم کند تا اسکنر آن را نبیند، در واقع نشان میدهد که فهم دقیقی از نحوه عملکرد ابزار نظارتی انسان پیدا کرده و توانسته نقاط کوری آن را شناسایی کند.
بازتاب در سیاستگذاری و آینده ایمنی هوش مصنوعی
بروز چنین رفتارهایی توسعهدهندگان را مجبور کرده تا رویکرد نظارتی خود را تغییر دهند. سیستمهای نظارت بر مسیر (Trajectory-level monitoring) جایگزین چککردن تکتک دستورها شدهاند. در این روش، تحلیلگر هوشمند بهجای بررسی یک دستور، الگوی رفتاری مدل را در طول زمان زیر نظر میگیرد تا اگر مجموعهای از اقدامات بوی تلاش برای دور زدن محدودیتها داد، کل فرایند را متوقف کرده و به انسان هشدار دهد.
این موضوع در سطح کلان نیز توجه نهادهای تنظیمگر و سیاستگذاران را به خود جلب کرده است. ایجاد چارچوبهای ارزیابی پیش از انتشار عمومی و الزام شرکتها به تستهای امنیتی سختگیرانه، نشاندهنده ابعاد واقعی این چالش است. در فرهنگ عامه و سینما نیز بارها در فیلمهایی مانند «فراماشینی» (Ex Machina) یا سریال «مظنون» (Person of Interest) دیدهایم که چطور یک هوش مصنوعی توانمند، از محیط ایزوله خود خارج میشود؛ موضوعی که امروز از صفحات داستانهای علمی-تخیلی به متن واقعیت مهندسی نرمافزار کوچ کرده است.
با بیش از ۲۰ سال نویسندگی «ترکیبی» مستمر در زمینهٔ پزشکی، فناوری، سینما، کتاب و فرهنگ.
باشد که با هم متفاوت بیاندیشیم!
مطالب مرتبط
