در OpenAI چه خبر است؟! موج خروج نابغهها و نگرانیهای شدید در مورد ایمنی هوش مصنوعی
در حالی که مدیران ارشد شرکت OpenAI یکی پس از دیگری از سمتهای خود استعفا میدهند و هشدارهایی درباره خطرات پیش رو میدهند، OpenAI میگوید که به کار خود ادامه خواهد داد.
خروج مدیر ارشد فناوری، میرا موراتی، که در ۲۵ سپتامبر اعلام شد، شایعات زیادی را در سیلیکونولی برانگیخت؛ شایعاتی مبنی بر اینکه اوضاع در شرکت تحت مدیریت سم آلتمن چندان خوب نیست. منابع آگاه گفتهاند که موراتی به این دلیل شرکت را ترک کرد که دیگر امیدی به اصلاح در داخل شرکت نداشت. دو تن از برجستهترین ذهنهای علمی OpenAI، رئیس تحقیقات باب مکگرو و محققی به نام برت زوف نیز به او پیوستند، در حالی که به نظر نمیرسد آنها هم برنامه مشخصی برای آینده خود داشته باشند.
این درام هم شخصی است و هم فلسفی، و به جوهره چگونگی شکلگیری عصر هوش مصنوعی میپردازد.
ماجرا به نوامبر سال گذشته بازمیگردد، زمانی که ترکیبی از سبک مدیریت مبهم آلتمن و نگرانیها درباره پروژه فوق محرمانهای به نام “Q*” (که بعدها به نام “Strawberry” تغییر کرد و ماه گذشته با عنوان “o1” منتشر شد) باعث شد که برخی از اعضای هیئت مدیره تلاش کنند او را از شرکت بیرون کنند. آنها موفق شدند – اما تنها برای چند روز. آلتمن ۳۹ ساله با کمک چشمگیر مایکروسافت، که مالک ۴۹ درصد از سهام OpenAI است، دوباره کنترل شرکت خود را به دست آورد. مایکروسافت علاقهای نداشت که آلتمن از OpenAI جدا شود.
هیئت مدیره تغییر کرد و افراد مخالف آلتمن از شرکت کنار گذاشته شدند. یکی از مدیران ارشد و از بنیانگذاران شرکت، ایلیا سوتسکِوِر، که نگران انگیزههای آلتمن بود، نیز در نهایت شرکت را ترک کرد. او نیز نگران “شتابگرایی” آلتمن بود؛ ایدهای که به پیشبرد توسعه هوش مصنوعی به هر قیمتی تاکید دارد. سوتسکِوِر در ماه مه رفت، هرچند منابعی میگویند که او عملاً پس از شکست در ماجرای نوامبر دیگر درگیر کارهای شرکت نبود. او پس از ترک OpenAI توانست ۱ میلیارد دلار برای راهاندازی شرکتی جدید در حوزه ایمنی هوش مصنوعی جذب کند.
سوتسکِوِر و همکارش، جان لایکه، تیمی به نام “سوپِر الاینمنت” را رهبری میکردند که مسئول پیشبینی و جلوگیری از خطرات احتمالی بود. لایکه نیز همزمان با سوتسکِوِر شرکت را ترک کرد و این تیم منحل شد. لایکه و بسیاری از کارکنان دیگر به شرکت رقیب OpenAI، Anthropic، پیوستند؛ شرکتی که ایمنتر در زمینه هوش مصنوعی کار میکند.
موراتی، مکگرو و زوف جدیدترین افرادی هستند که شرکت را ترک کردهاند. موراتی نیز نگران مسائل ایمنی بود؛ ایمنی در این صنعت به این معناست که مدلهای جدید هوش مصنوعی ممکن است با خطرات کوتاهمدت (مانند تعصبات پنهان) و خطرات بلندمدت (مانند سناریوهای مشابه “اسکاینت”) روبهرو شوند و باید تحت آزمایشهای دقیقتری قرار گیرند.
برخی متخصصان معتقدند که هوش مصنوعی عمومی (AGI) که توانایی حل مسئلهای به اندازه یک انسان را داشته باشد، ممکن است در کمتر از یک یا دو سال به واقعیت برسد.
اما برخلاف سوتسکِوِر، موراتی تصمیم گرفت پس از ماجرای نوامبر در شرکت بماند تا تلاش کند از درون، مانع از شتابزدگی آلتمن و رئیس شرکت، گرگ براکمن، شود. منابع آگاه میگویند که انتشار محصول o1 در ماه گذشته احتمالاً دلیل نهایی تصمیم موراتی برای ترک OpenAI بوده است. این محصول رویکرد جدیدی ارائه میدهد که نه تنها مانند مدلهای زبانی بزرگ اطلاعات را بازنویسی میکند (“سخنرانی گتیسبرگ را به سبک ترانهای از تیلور سوئیفت بازنویسی کن”) بلکه مسائل ریاضی و برنامهنویسی را نیز مانند انسان حل میکند. افرادی که نگران ایمنی هوش مصنوعی هستند، قبل از عرضه چنین محصولاتی به عموم، خواستار آزمایشهای بیشتر و محدودیتهای جدیتر شدهاند.
این محصول در حالی عرضه شد که OpenAI به یک شرکت کاملاً انتفاعی تبدیل شد و دیگر هیچگونه نظارتی از سوی سازمانهای غیرانتفاعی بر آن وجود ندارد. این تغییر نگرانیهایی را در میان مدیران مستعفی، از جمله موراتی، ایجاد کرده است.
موراتی در پستی در شبکه اجتماعی ایکس نوشت: “اکنون زمان مناسبی برای کنار رفتن است.”
نگرانیها چنان شدت یافته که برخی از کارکنان سابق شرکت هشدارهای خود را در مکانهای عمومی مطرح کردهاند. ماه گذشته ویلیام ساندرز، یکی از اعضای سابق تیم فنی OpenAI، در کمیته قضایی سنا شهادت داد که شرکت را ترک کرده زیرا معتقد است اگر OpenAI به مسیر فعلی خود ادامه دهد، یک فاجعه جهانی در راه است.
او به نمایندگان مجلس گفت: “AGI تغییرات بزرگی در جامعه ایجاد خواهد کرد، از جمله تغییرات رادیکال در اقتصاد و اشتغال. AGI همچنین میتواند باعث خطرات فاجعهباری مانند حملات سایبری خودکار یا کمک به ایجاد سلاحهای بیولوژیکی جدید شود. هیچکس نمیداند چگونه اطمینان حاصل کند که سیستمهای AGI ایمن و تحت کنترل خواهند بود… OpenAI ادعا میکند که در حال بهبود است، اما من و سایر کارمندان مستعفی در این باره تردید داریم.”
OpenAI که در سال ۲۰۱۵ به عنوان یک سازمان غیرانتفاعی تأسیس شد، در سال ۲۰۱۹ یک بخش انتفاعی راهاندازی کرد. اما تا همین اواخر، این شرکت همچنان تحت نظارت هیئت مدیره بنیاد غیرانتفاعی خود بود. اکنون، حذف این نظارت غیرانتفاعی به شرکت آزادی بیشتری برای توسعه سریع محصولات جدید داده است، در حالی که این تغییر ممکن است سرمایهگذاران را نیز بیشتر جذب کند.
جذب سرمایه امری حیاتی است: گزارشی از نیویورک تایمز نشان میدهد که OpenAI ممکن است امسال ۵ میلیارد دلار از دست بدهد. (هزینه تراشهها و قدرت لازم برای راهاندازی آنها بسیار بالاست.) روز چهارشنبه، این شرکت دور جدیدی از سرمایهگذاری را از سوی شرکتهایی مانند مایکروسافت و انویدیا به ارزش ۶.۶ میلیارد دلار اعلام کرد.
این شرکت همچنین باید قراردادهای گرانقیمت مجوز با ناشران را منعقد کند، زیرا شکایات حقوقی از سوی نیویورک تایمز و دیگران مانع از آن شده است که OpenAI بتواند بهراحتی از محتوای ناشران برای آموزش مدلهای خود استفاده کند.
حرکتهای OpenAI موجب نگرانی ناظران صنعت شده است. گری مارکوس، یکی از کارشناسان باسابقه هوش مصنوعی و نویسنده کتاب جدید “رام کردن سیلیکون ولی: چگونه میتوانیم مطمئن شویم که هوش مصنوعی به نفع ما کار میکند”، به هالیوود ریپورتر میگوید: “تغییر به یک شرکت انتفاعی آنچه را که قبلاً نیز آشکار بود، تثبیت کرد: بیشتر صحبتها در مورد ایمنی احتمالاً فقط حرفهای ظاهری بوده است. این شرکت به دنبال کسب درآمد است و هیچ کنترل و توازنی برای اطمینان از ایمنی آن وجود ندارد.”
OpenAI سابقهای در عرضه محصولاتی دارد که صنعت فکر میکند هنوز آماده نیستند. خود ChatGPT وقتی در نوامبر ۲۰۲۲ منتشر شد، صنعت فناوری را شگفتزده کرد؛ رقبای گوگل که روی محصولی مشابه کار میکردند، فکر نمیکردند که مدلهای زبانی بزرگ در آن زمان آماده استفاده گسترده باشند.
اینکه OpenAI بتواند با وجود کاهش نیروهای علمی اخیر به همین سرعت به نوآوری ادامه دهد، هنوز مشخص نیست.
شاید برای پرت کردن حواس از این درام و آرام کردن شکاکان، آلتمن هفته گذشته یک پست وبلاگی نادر منتشر کرد و پیشبینی کرد که “ابرهوشمندی” – ایده این که ماشینها میتوانند چنان قدرتمند شوند که همه چیز را بسیار بهتر از انسانها انجام دهند – ممکن است تا اوایل دهه ۲۰۳۰ اتفاق بیفتد. او نوشت: “پیروزیهای شگفتانگیز – حل بحران آب و هوا، ایجاد یک مستعمره فضایی و کشف تمام عرصههای فیزیک – در نهایت به امری عادی تبدیل خواهد شد.” جالب است که همین نوع صحبتها ممکن است باعث بخشی از تنشهای داخلی OpenAI باشد، زیرا این چشمانداز جسورانه و سریع پیشروی آلتمن، برای بسیاری از کارکنان سابق، نظیر موراتی و سوتسکِوِر، نگرانکننده بوده است. آنها معتقدند که چنین پیشرفتهای عظیمی بدون ارزیابی دقیق و تدابیر ایمنی، میتواند به پیامدهای ناخواسته منجر شود.
منتقدان از جمله افرادی که به تازگی OpenAI را ترک کردهاند، استدلال میکنند که پیشبرد هوش مصنوعی بدون توجه کافی به مسائل اخلاقی و ایمنی، ممکن است نه تنها کسبوکارها و اقتصاد جهانی را دگرگون کند، بلکه حتی جوامع انسانی را با چالشهای بیسابقهای روبهرو سازد. نگرانیها درباره ظهور هوش مصنوعی عمومی (AGI) و حتی ابرهوشمندی که فراتر از تواناییهای انسان عمل میکند، بهویژه در زمینههای نظامی، اقتصادی و امنیت سایبری، موجب شده بسیاری از کارشناسان خواستار نظارت و مقررات سختگیرانهتر بر این حوزه شوند.
اما OpenAI با وجود انتقادات، همچنان به کار خود ادامه میدهد و بهطور مستمر بر روی توسعه مدلهای جدید و قدرتمندتر از جمله مدلهای زبانی و محصولات دیگر متمرکز است. چشماندازهای بلندپروازانهای که سم آلتمن در مورد هوش مصنوعی و آینده انسانها دارد، برخی را مجذوب کرده و برخی دیگر را به هراس انداخته است.
از طرف دیگر، شرکتهای رقیب مانند Anthropic، که برخی از متخصصان ناراضی OpenAI به آن پیوستهاند، تلاش میکنند تا به عنوان جایگزینی ایمنتر و با کنترلهای بیشتری بر فرایندهای توسعه هوش مصنوعی ظاهر شوند. این رقابت در نهایت میتواند مسیر آینده این فناوری را شکل دهد.
با افزایش فشارها از سوی نهادهای قانونگذار، دولتها و حتی خود صنایع، مسیری که OpenAI و آلتمن برای خود انتخاب کردهاند، همچنان زیر ذرهبین ناظران جهانی خواهد بود. همگان به دقت نگاه میکنند که آیا این شرکت میتواند به نوآوریهای خود ادامه دهد و در عین حال خطرات مرتبط با توسعه هوش مصنوعی را مدیریت کند یا نه.