جن فرار می‌کند: استنفورد هوش مصنوعی ChatGPT را با کمتر از 600 دلار کپی می‌کند!

هوش مصنوعی Alpaca استنفورد در بسیاری از وظایف مشابه ChatGPT شگفت‌انگیز عمل می‌کند. اما بر اساس یک مدل زبان منبع باز ساخته شده است و هزینه آموزش آن کمتر از ۶۰۰ دلار آمریکا است. به نظر می‌رسد این هوش مصنوعی‌های خداگونه در حال حاضر به طرز وحشتناکی ارزان هستند و به راحتی قابل تقلید هستند.

شش ماه پیش، تنها محققان و متخصصان توسعه مدل‌های زبانی بزرگ از آنها سرتاب می‌آوردند. اما ChatGPT ناگهان بشریت را سوار موشکی کرد: این ماشین‌ها اکنون می‌توانند به گونه‌ای ارتباط برقرار کنند که تقریباً از انسان قابل تشخیص نباشند. آنها قادرند متن و حتی کدهای برنامه نویسی را در چند ثانیه بنویسند آن هم اغلب با استاندارد بسیار بالا.

همانطور که راه‌اندازی GPT-4 نشان می‌دهد، آن‌ها با سرعتی بالا در حال توسعه هستند و می‌خواهند جامعه بشری را به طور اساسی متحول کنند، مانند چند فناوری دیگر، این خودکار شدن کارها ممکن است منجر به تغییرات غیرقابل پیشبینی شود.

بسیاری از شرکت‌های دیگر – به‌ویژه گوگل، اپل، متا، بایدو و آمازون، خیلی عقب نیستند و هوش مصنوعی آنها به زودی به بازار خواهد آمد.

اگر کاربر Bing هستید، مدل‌های زبان در حال حاضر هم در موتور جستجوی شما هستند و به زودی در بقیه مدل‌ها قرار خواهند گرفت. هر زمان که بخواهید با یک شرکت تماس بگیرید، آنها در ماشین، گوشی، تلویزیون، و در انتهای خط منتظر خواهند بود. خیلی زود، آنها را در روبات‌ها خواهید دید.

یک نکته کوچک آرامش این است که OpenAI و بقیه این شرکت های بزرگ از پتانسیل بد این ماشین‌ها برای ساختن هرزنامه، اطلاعات نادرست، ایجاد بدافزار، آزار و اذیت هدفمند آگاه هستند. آنها ماه ها است که کار می کنند تا قبل از راه اندازی این قابلیت‌ها  به صورت دستی این خطر را کاهش دهند.

اما در مورد مدل زبانی که می توانید خودتان با 600 دلار بسازید، چطور؟ تیمی از محققان استنفورد دقیقاً این کار را انجام داده‌اند، و عملکرد چشمگیر آن نشان می‌دهد که کل این بخش و قابلیت‌های عالی آن با چه سرعتی ممکن است به سرعت از کنترل خارج شوند.

یک تیم تحقیقاتی استنفورد کار خود را با مدل زبان متن‌باز LLaMA 7B متا آغاز کرد – کوچک‌ترین و ارزان‌ترین مدل از چندین مدل LLaMA موجود. این مدل زبان کوچک که از قبل بر روی یک تریلیون “ژتون” آموزش داده شده بود، مقدار مشخصی قابلیت را داشت. اما در بیشتر وظایف به طور قابل توجهی از ChatGPT عقب بود. هزینه اصلی و در واقع مزیت رقابتی اصلی در مدل‌های GPT عمدتاً ناشی از زمان و نیروی انسانی بسیار زیادی است که OpenAI برای آموزش پس از آموزش گذاشته است. خواندن یک میلیارد کتاب یک چیز است، اما حوراندن تعداد زیادی پرسش و پاسخ که به این هوش مصنوعی ها می‌آموزد شغل واقعی آنها چیست، چیز دیگر است.

بنابراین، با راه اندازی و اجرای مدل LLaMA 7B، تیم استنفورد اساساً از GPT خواست 175 جفت دستورالعمل/خروجی نوشته شده توسط انسان را بگیرد و شروع به تولید بیشتر در همان سبک و فرمت کند. این کار از طریق یکی از APIهای مفید OpenAI انجام شد و در مدت کوتاهی، تیم حدود 52000 مکالمه نمونه برای استفاده در مدل LLaMA داشت. هزینه تولید این داده های آموزشی انبوه کمتر از 500 دلار آمریکا است.

سپس، آن‌ها از این داده‌ها برای تنظیم دقیق مدل LLaMA استفاده کردند – فرآیندی که در هشت رایانه پردازش ابری A100 80 گیگابایتی حدود سه ساعت طول کشید. این هزینه کمتر از 100 دلار آمریکا است.

در مرحله بعد، آنها مدل به دست آمده را که آن را Alpaca نامیدند، در برابر مدل زبانی زیربنایی ChatGPT در زمینه‌های مختلف از جمله نوشتن ایمیل، رسانه‌های اجتماعی و ابزارهای بهره‌وری آزمایش کردند. آلپاکا در 90 مورد از این تست‌ها برنده شد و GPT در 89 مورد برنده شد.

این تیم ادامه می‌گوید هر کسی که بخواهد یک هوش مصنوعی را تکرار کند اکنون به GPT 4.0 بسیار تواناتر و همچنین چندین مدل قدرتمندتر LLaMA برای استفاده به عنوان پایه دسترسی دارد و مطمئناً نیازی به توقف در 52000 سؤال نیست.

تیم استنفورد 52000 سوال مورد استفاده در این تحقیق را به همراه کد تولید بیشتر و کدی که برای تنظیم دقیق مدل LLaMA استفاده کرده‌اند در Github منتشر کرده است.

بنابراین، اساساً چه چیزی مانع از ایجاد هوش مصنوعی خانگی خود در حال حاضر، با صد دلار یا بیشتر، و آموزش آن به هر نحوی که می‌خواهد، می‌شود؟ خوب، شرایط خدمات OpenAI می گوید: “شما نمی توانید … از خروجی سروی‌ ها برای توسعه مدل‌هایی که با OpenAI رقابت می کنند استفاده کنید.” و متا می‌گوید در این مرحله فقط به محققان دانشگاهی اجازه استفاده از LLaMA را تحت مجوزهای غیرتجاری می‌دهد، اگرچه این موضوع بحث‌انگیز است، زیرا کل مدل LLaMA یک هفته پس از اعلام آن در 4chan به بیرون درز کرد!÷

گروهی دیگر می‌گویند که توانسته است هزینه رایانش ابری را حذف کند، کد بیشتری را در Github منتشر کرده است که می‌تواند روی Raspberry Pi اجرا شود و فرآیند آموزش را در عرض پنج ساعت بر روی یک کارت گرافیک رده بالای nVidia RTX 4090 تکمیل می‌کند.

آلپاکا در کمال تعجب بسیار خوب است. آموزش را می توان در 5 ساعت با یک RTX 4090 انجام داد.

حیف است که از قابلیت‌های فوق‌العاده این نرم‌افزار  یک رژیم مستبد استفاده کند، یا در عملیات فیشینگ، یا هرزنامه‌نویسی، استفاده شود.

جن از بطری خارج شده است، و به نظر می رسد که در حال حاضر تکرار کردن و آموزش مجدد آن فوق العاده آسان است.

منبع: Stanford