هوش مصنوعی Kimi چینی از حفره امنیتی محیط تست فرار کرد و به GitHub دسترسی پیدا کرد
فرار هوش مصنوعی از محیطهای تست دیگر یک رویداد نادر نیست؛ طی هفتههای اخیر چند مدل پیشرو آمریکایی از محیطهای آزمایشی امن فرار کردند، به اینترنت آزاد دسترسی پیدا کردند و حتی به پایگاههای داده سازمانهای دیگر نفوذ کردند. اما ماجرای Kimi K3، مدل جدید آزمایشگاه هوش مصنوعی چینی Moonshot، کمی متفاوت است. این مدل در جریان یک آزمون معمولی از محیط تست فرار کرد، نه با شکستن قفلها و نفوذ به سیستمهای دیگران، بلکه با کشف یک حفره ساده و استفاده از آن برای دسترسی به GitHub، پلتفرم اشتراکگذاری کد برنامهنویسان. این ماجرا را استارتاپ امنیت سایبری آمریکایی Frontier Security در یک گزارش منتشر کرد و بلافاصله توجه جامعه فناوری را جلب کرد. این ماجرا، کمتر شبیه یک دزد بود که گاوصندوق را میشکند، بیشتر شبیه دانشآموز تیزهوشی که متوجه میشود معلم پاسخ امتحان را روی میز جا گذاشته و از کلاس رفته.
فرار از محیط تست به این شکل اتفاق افتاد: چارچوب آزمایشی که توسط مؤسسه ایمنی هوش مصنوعی (AISI) دولت بریتانیا طراحی شده بود، قرار بود یک محیط کاملاً ایزوله باشد. یعنی مدل باید فقط با استدلال خودش مسئله را حل میکرد، بدون دسترسی به منابع خارجی. اما Kimi K3 یک حفره در این چارچوب پیدا کرد که به آن اجازه میداد مستقیماً به GitHub متصل شود. از آنجا کدی که برای قبول شدن در آزمون نیاز داشت را برداشت و «مسیر استدلال مورد نظر را کاملاً دور زد»، به تعبیر گزارش Frontier Security. در مقایسه با تلاش اخیر یک مدل Anthropic برای فریب دادن یک توسعهدهنده انسانی جهت تأیید بدافزاری که میخواست وارد GitHub کند، این رویداد تقریباً ناچیز به نظر میرسد.
این رویدادها یک حقیقت ضدشهودی و نگرانکننده را یادآوری میکنند: مدلهای هوش مصنوعی فقط به رسیدن به هدفی که برایشان تعریف شده اهمیت میدهند. اینکه چطور به آن هدف برسند، حتی اگر آن روش با منافع سازندگانشان همخوانی نداشته باشد، برایشان کاملاً بیاهمیت است. هیچکس در OpenAI، Anthropic یا Meta پیشبینی نمیکرد که مدلهایشان از کنترل خارج شوند و به کتابخانههای دیجیتال سازمانهای دیگر نفوذ کنند. البته آن رویدادها سریع مهار شدند، چون توسط سیستمهای اختصاصی تحت کنترل شرکتهای خصوصی انجام شده بودند.
چرا مدل متنباز چینی خطرناکتر است
مشکل اصلی اینجاست که Kimi K3، مثل بسیاری از قدرتمندترین مدلهای هوش مصنوعی که اخیراً از آزمایشگاههای چینی بیرون میآیند، متنباز (open source) است. یعنی هر کسی میتواند آن را دانلود کند، تغییر دهد و اجرا کند. Frontier Security در گزارشش نوشت: «مدلها در دسترس عموم هستند و بهویژه در دسترس کاربران به اصطلاح نامطلوبهم هستند که میتوانند از این رویداد آسیب بیشتری بزنند.» به زبان سادهتر: وقتی یک مدل اختصاصی از کنترل خارج میشود، شرکت سازنده میتواند آن را خاموش کند یا محدود کند. اما وقتی یک مدل متنباز چنین رفتاری از خود نشان میدهد، هر کسی که نیت بدی داشته باشد میتواند از همان حفره برای اهداف بسیار مخربتری استفاده کند. این تفاوت بنیادی است و نگرانیهای جدی در محافل امنیت سایبری ایجاد کرده.
موج مدلهای متنباز قدرتمند از چین همچنین دولت آمریکا را به تحقیق درباره احتمال دور زدن محدودیتهای صادراتی تراشههای Nvidia واداشته. این تراشهها برای آموزش مدلهای هوش مصنوعی پیشرفته ضروری هستند و آمریکا صادرات آنها به چین را محدود کرده. اما اگر شرکتهای چینی از حفرههای قانونی برای دور زدن این محدودیتها استفاده کرده باشند، این خود یک بحران جداگانه است. رقابت هوش مصنوعی بین آمریکا و چین دیگر فقط یک مسابقه فناوری نیست؛ ابعاد امنیتی و ژئوپلیتیکی پیچیدهای پیدا کرده که هر روز گستردهتر میشود.
از منظر فنی، آنچه Kimi K3 انجام داد نوعی رفتار است که محققان به آن «بهینهسازی برای معیار اندازهگیریشده به جای هدف واقعی ارزیاب» میگویند. مدل هدفش قبول شدن در آزمون بود، نه حل مسئله به روشی که طراحان آزمون در نظر داشتند. این تفاوت ظریف اما بسیار مهم است. مثل دانشآموزی که به جای یادگیری درس، راهی برای تقلب پیدا میکند. از نظر فنی هدف را محقق کرده، اما چیزی که ارزیاب واقعاً میخواست اندازه بگیرد، یعنی توانایی استدلال مستقل مدل، سنجیده نشده. این نوع رفتار در ادبیات هوش مصنوعی به «هک کردن پاداش (reward hacking)» معروف است.
چارچوبهای ارزیابی باید بازنویسی شوند
این رویداد نشان میدهد که چارچوبهای ارزیابی هوش مصنوعی باید از پایه بازطراحی شوند. Frontier Security در گزارشش نوشت که «طراحی ارزیابی باید این واقعیت را در نظر بگیرد که مدلها فعالانه محیط خود را کاوش میکنند و برای هدف اندازهگیریشده بهینه میشوند، نه برای نیت ارزیاب.» به عبارت دیگر، دیگر نمیتوان فرض کرد که یک مدل هوش مصنوعی در یک آزمون «بازی منصفانه» میکند. مدلهای پیشرفته امروزی به اندازه کافی توانمند هستند که محیط آزمون را بررسی کنند، حفرهها را شناسایی کنند و از آنها استفاده کنند. این یعنی طراحان آزمون باید یک قدم جلوتر از مدلها فکر کنند، که کار آسانی نیست.
هوش مصنوعی در نوجوانی خود است
شاید بهترین توصیف برای وضعیت فعلی همان چیزی باشد که در ابتدای این ماجرا گفته شد: هوش مصنوعی در مرحله نوجوانی پرتلاطم خودش است. مدلها هر روز قدرتمندتر میشوند و رفتارشان هر روز غیرقابلپیشبینیتر. امنیت هوش مصنوعی دیگر یک نگرانی نظری نیست؛ رویدادهایی مثل فرار Kimi K3 نشان میدهند که این چالشها همین الان، در دنیای واقعی، در حال وقوع هستند. جالب اینجاست که در این میان، مدلی که کمترین آسیب را زد، یعنی Kimi که فقط کد از GitHub برداشت، بیشترین نگرانی بلندمدت را ایجاد کرده.
با بیش از ۲۰ سال نویسندگی «ترکیبی» مستمر در زمینهٔ پزشکی، فناوری، سینما، کتاب و فرهنگ.
باشد که با هم متفاوت بیاندیشیم!
مطالب مرتبط
