الگوریتم‌های پیشنهاددهنده چطور کار می‌کنند؟ رازهای یوتیوب، اسپاتیفای و دیجی‌کالا

آشنایی با سیستم‌های پیشنهاددهنده می‌تواند یکی از جذاب‌ترین و کاربردی‌ترین دانسته‌ها برای هر کاربر دنیای دیجیتال باشد. در این مطلب برآنیم که ببینیم غول‌های فناوری چطور با دقت بالا علایق ما را حدس می‌زنند. آیا واقعا این سیستم‌ها صدای ما را می‌شنوند یا پای فرمول‌های پیچیده ریاضی در میان است؟ چطور یک پلتفرم پخش موسیقی دقیقا همان آهنگی را پخش می‌کند که با حال و هوای فعلی ما سازگار است؟ در ادامه این سازوکار جذاب را بررسی می‌کنیم.

۱. ذهن‌خوانی دیجیتال یا ریاضیات پیشرفته؟

سیستم‌های پیشنهاددهنده (Recommender Systems) در واقع موتورهای پردازشی پنهانی هستند که تصمیم‌های روزمره ما را هدایت می‌کنند. بسیاری از کاربران تصور می‌کنند این سیستم‌ها با میکروفون گوشی جاسوسی آن‌ها را می‌کنند اما واقعیت به الگوهای رفتاری مربوط می‌شود. هر کلیک، مکث روی یک پست، اسکرول کردن سریع یا لایک ساده یک متغیر در فرمول‌های بزرگ است. این الگوریتم‌ها توده‌ای از رفتارهای به ظاهر بی‌معنی را به پیش‌بینی‌های شگفت‌انگیز تبدیل می‌کنند. هدف نهایی تمام این ابزارها افزایش زمان حضور شما در پلتفرم و ساده‌سازی فرآیند تصمیم‌گیری است.

۲. فیلترینگ مشارکتی چیست؟

یکی از پایه‌ای‌ترین روش‌ها در این حوزه فیلترینگ مشارکتی (Collaborative Filtering) نام دارد که بر پایه رفتار جمعی طراحی شده است. ایده اصلی این است که اگر کاربر الف و کاربر ب در گذشته سلیقه مشابهی داشته‌اند در آینده نیز انتخاب‌های مشابهی خواهند داشت. سیستم ابتدا خریدهای قبلی شما را بررسی می‌کند و سپس کاربران مشابه شما را در سراسر شبکه می‌یابد. در نهایت آیتم‌هایی که آن کاربران خریده‌اند ولی شما هنوز ندیده‌اید به شما پیشنهاد می‌شود.

این روش به داده‌های متنی یا ویژگی‌های فنی کالاها نیازی ندارد و فقط روی تعاملات متمرکز است. سادگی این رویکرد باعث شده تا در پلتفرم‌های بزرگی مثل آمازون (Amazon) بسیار محبوب شود. البته این سیستم بدون داشتن داده‌های اولیه از کاربران جدید عملا فلج می‌شود و کارایی خود را از دست می‌دهد.

۳. فیلترینگ مبتنی بر محتوا چطور کار می‌کند؟

در نقطه مقابل روش قبلی، فیلترینگ مبتنی بر محتوا (Content-based Filtering) قرار دارد که روی ویژگی‌های خود کالا تمرکز می‌کند. اگر شما به تماشای فیلم‌های علمی تخیلی علاقه داشته باشید سیستم به دنبال فیلم‌هایی با همین ژانر و بازیگران می‌گردد. در این متد مشخصات محصول مثل کلمات کلیدی، دسته‌بندی و توضیحات فنی اهمیت ویژه‌ای پیدا می‌کنند. سیستم پروفایلی از ویژگی‌های مورد علاقه شما می‌سازد و موارد مشابه را فیلتر می‌کند. بزرگ‌ترین مزیت این روش عدم نیاز به داده‌های دیگر کاربران برای پیشنهاد دادن به یک فرد خاص است.

۴. جادوی اسپاتیفای و کشف هفتگی

لیست پخش هفتگی اسپاتیفای (Discover Weekly) یکی از موفق‌ترین نمونه‌های کاربردی سیستم‌های پیشنهاددهنده در جهان است. اسپاتیفای برای این کار از ترکیب سه مدل هوشمند مختلف استفاده می‌کند تا تجربه شخصی‌سازی‌شده بی‌نقصی بسازد. مدل اول رفتارهای کاربران دیگر را بررسی کرده و مدل دوم به تحلیل متنی صفحات وب در مورد آهنگ‌ها می‌پردازد. مدل سوم که بسیار پیشرفته‌تر است سیگنال‌های صوتی خام خود آهنگ را به طور مستقیم واکاوی می‌کند.

این رویکرد ترکیبی باعث می‌شود حتی آهنگ‌های تازه منتشر شده بدون تاریخچه تعاملی هم شانس دیده شدن پیدا کنند. اسپاتیفای با این کار مرزهای مهندسی صدا و هوش مصنوعی را به شدت جابه‌جا کرده است. کاربران معمولا از اینکه آهنگ‌های پیشنهادی دقیقا با سلیقه پنهان آن‌ها همخوانی دارد شگفت‌زده می‌شوند. این پلتفرم نمونه بارز استفاده حداکثری از یادگیری ماشین برای وفادار نگه داشتن مخاطبان است.

۵. مدل‌سازی صوتی با شبکه‌های عصبی پیچشی

اسپاتیفای برای تحلیل فایل‌های صوتی از شبکه‌های عصبی پیچشی (CNN) استفاده می‌کند که معمولا در پردازش تصویر کاربرد دارند. این شبکه فایل صوتی را به یک تصویر بصری از فرکانس‌ها به نام اسپکتوگرام (Spectrogram) تبدیل می‌کند. الگوریتم ویژگی‌های کلیدی مثل ضرب‌آهنگ، گام موسیقی و حتی میزان بلندی صدا را از این تصویر استخراج می‌کند. با این روش قطعات موسیقی بر اساس ویژگی‌های آکوستیک واقعی خود طبقه‌بندی و به کاربران پیشنهاد داده می‌شوند.

۶. یوتیوب و معماری دو مرحله‌ای نامزدها

یوتیوب برای مدیریت میلیاردها ویدیو از یک معماری دو مرحله‌ای فوق‌العاده سریع و بهینه استفاده می‌کند. مرحله اول تولید نامزدها (Candidate Generation) نام دارد که وظیفه آن غربالگری اولیه ویدیوها است. در این مرحله صدها ویدیوی مناسب از میان میلیاردها ویدیو بر اساس تاریخچه تماشای کاربر انتخاب می‌شوند. این فیلترینگ اولیه سرعت سیستم را برای پردازش‌های بعدی به شدت بالا می‌برد.

مرحله دوم که رتبه‌بندی نام دارد نامزدهای انتخاب شده را با دقت بالاتری ارزیابی می‌کند. در این بخش ویژگی‌های دقیق‌تری از رفتار کاربر و مشخصات ویدیوها وارد میدان می‌شوند. این سیستم دو مرحله‌ای تعادلی بی‌نظیر میان سرعت پردازش و دقت پیشنهادها برقرار می‌کند.

۷. رتبه‌بندی نهایی در یوتیوب چطور انجام می‌شود؟

در مرحله رتبه‌بندی (Ranking) یوتیوب به هر ویدیوی نامزد شده یک امتیاز اختصاصی بر اساس احتمال تماشا می‌دهد. الگوریتم متغیرهایی مثل مدت زمان احتمالی تماشا و میزان تعامل‌های قبلی با کانال سازنده را بررسی می‌کند. امتیازها به طور مداوم و در کسری از ثانیه با توجه به بازخوردهای لحظه‌ای کاربر تغییر می‌کنند. این فرآیند پیچیده تضمین می‌کند اولین ویدیوی پیشنهادی در صفحه اصلی بیشترین شانس کلیک را داشته باشد.

۸. دیجی‌کالا و حدس زدن سبد خرید بعدی شما

هنگام خرید از دیجی‌کالا احتمالاً بخش کاربران دیگر این کالاها را هم خریده‌اند را مشاهده کرده‌اید. این بخش حاصل پردازش رفتارهای خرید همزمان میلیون‌ها کاربر ایرانی در طول شبانه‌روز است. سیستم با بررسی سبدهای خرید ثبت شده ارتباط منطقی بین محصولات مختلف را کشف می‌کند. به عنوان مثال خرید یک گوشی موبایل احتمال نیاز به گلس و قاب محافظ را به شدت بالا می‌برد.

دیجی‌کالا با تحلیل این داده‌ها خریدهای مکمل را در زمان مناسب به شما نشان می‌دهد. این کار علاوه بر بهبود تجربه کاربری میزان فروش متوسط هر سبد خرید را افزایش می‌دهد. الگوریتم‌های هوشمند حتی زمان تخفیف دادن روی این کالاهای مکمل را هم بر اساس رفتار شما تنظیم می‌کنند.

۹. قواعد وابستگی و الگوریتم آپریوری

پشت پیشنهادهای خرید دیجی‌کالا قواعد وابستگی (Association Rules) و الگوریتم‌های کلاسیکی مثل آپریوری (Apriori) قرار دارند. این ریاضیات ساده اما قدرتمند روابط فراوانی تکرار اقلام در سبدهای خرید را اندازه‌گیری می‌کنند. مفاهیمی مانند پشتیبانی (Support) و اطمینان (Confidence) مشخص می‌کنند پیوند میان دو کالا چقدر قوی است. اگر رابطه خرید چای و قند بالا باشد سیستم به طور خودکار این دو را به هم زنجیر می‌کند.

۱۰. مشکل شروع سرد چیست؟

یکی از چالش‌های بزرگ در طراحی سیستم‌های پیشنهاددهنده پدیده شروع سرد (Cold Start) است. این مشکل زمانی رخ می‌دهد که یک کاربر جدید وارد سیستم می‌شود یا یک محصول جدید اضافه می‌شود. به دلیل نبود سوابق تعاملی الگوریتم نمی‌داند چه پیشنهادی ارائه دهد یا محصول را به چه کسی معرفی کند. برای حل این مشکل معمولا در ابتدا از اطلاعات دموگرافیک یا نظرسنجی‌های اولیه استفاده می‌شود.

پلتفرم‌ها با پرسیدن علایق اولیه کاربر در زمان ثبت‌نام این چالش را دور می‌زنند. برای محصولات جدید نیز از ویژگی‌های متنی و شباهت آن‌ها با کالاهای قدیمی استفاده می‌شود. این استراتژی‌ها کمک می‌کنند تا سیستم به سرعت اطلاعات کافی برای شروع پیشنهادهای دقیق‌تر را جمع‌آوری کند.

۱۱. حباب فیلتر و خطر انزوای اطلاعاتی

تغذیه مداوم کاربر با محتواهای همسو با سلیقه‌اش پدیده‌ای به نام حباب فیلتر (Filter Bubble) ایجاد می‌کند. در این حالت کاربر فقط اطلاعاتی را دریافت می‌کند که باورها و علایق قبلی او را تایید می‌کنند. این موضوع در شبکه‌های اجتماعی می‌تواند به قطبی‌شدن جامعه و کاهش دیدگاه‌های متنوع منجر شود. مهندسان هوش مصنوعی امروزه تلاش می‌کنند با تزریق پیشنهادهای تصادفی و متنوع این حباب‌های اطلاعاتی مخرب را بشکنند.

۱۲. یادگیری تقویتی چطور پیشنهادها را زنده نگه می‌دارد؟

سیستم‌های مدرن برای پویایی بیشتر از یادگیری تقویتی (Reinforcement Learning) استفاده می‌کنند. در این روش سیستم مانند یک عامل هوشمند با محیط تعامل برقرار کرده و پاداش یا جریمه دریافت می‌کند. کلیک کاربر روی پیشنهاد به عنوان پاداش مثبت و نادیده گرفتن آن به عنوان جریمه ثبت می‌شود. الگوریتم به طور مداوم استراتژی خود را تغییر می‌دهد تا پاداش دریافتی در طول زمان به حداکثر برسد.

این رویکرد باعث می‌شود پیشنهادات پلتفرم‌ها خسته‌کننده نشوند و با تغییرات روحی لحظه‌ای کاربر سازگار باشند. سیستم یاد می‌گیرد چه زمانی باید کاربر را با محتوای کاملاً جدید شگفت‌زده کند. این تعادل میان اکتشاف موارد جدید و بهره‌برداری از علایق قدیمی کلید موفقیت سیستم‌های نوین است.

۱۳. نقش پایگاه داده‌های برداری در سرعت پردازش

برای پیشنهاد دهی در زمان واقعی پلتفرم‌ها نیاز دارند تا میلیاردها آیتم را در لحظه مقایسه کنند. پایگاه داده‌های برداری (Vector Databases) ابزارهایی هستند که محصولات و کاربران را به صورت نقاطی در فضا ذخیره می‌کنند. الگوریتم با محاسبه فاصله ریاضی بین این بردارها نزدیک‌ترین گزینه‌ها را در چند میلی‌ثانیه پیدا می‌کند. بدون این فناوری اجرای فیلترینگ‌های پیچیده روی حجم عظیمی از داده‌های آنلاین غیرممکن می‌شد.

۱۴. تحلیل گراف و شبکه‌های عصبی گرافی

یکی از پیشرفت‌های اخیر در طراحی سیستم‌های پیشرفته استفاده از شبکه‌های عصبی گرافی (GNN) است. در این مدل‌ها کاربران و کالاها به عنوان گره‌ها و تعاملات میان آن‌ها به عنوان یال‌های یک گراف بزرگ تعریف می‌شوند. این ساختار به الگوریتم اجازه می‌دهد روابط غیرمستقیم و بسیار پیچیده بین نهادهای مختلف را کشف کند.

مثلا اگر دوستِ دوست شما کالایی را خریده باشد سیستم ارتباط ضعیف اما موثری را شناسایی می‌کند. این روش در پلتفرم‌های اجتماعی بزرگ مثل لینکدین اهمیت فوق‌العاده‌ای دارد. شبکه‌های گرافی دقت پیش‌بینی‌ها را به ویژه در شبکه‌های ارتباطی متراکم به شکل چشمگیری بهبود می‌بخشند.

۱۵. فاکتورسازی ماتریسی؛ ریاضیات پشت پرده

در پشت صحنه تمام این فرآیندها جدول‌های عظیمی از داده‌ها وجود دارند که به آن‌ها ماتریس تعاملات می‌گویند. فاکتورسازی ماتریسی (Matrix Factorization) این جدول‌های بزرگ را به ماتریس‌های کوچک‌تر با ویژگی‌های پنهان تجزیه می‌کند. این روش ریاضی به سیستم کمک می‌کند تا خانه‌های خالی جدول یعنی کارهایی که هنوز انجام نداده‌اید را حدس بزند. این تکنیک پایه و اساس الگوریتم‌های برنده در مسابقات بزرگ هوش مصنوعی بوده است.

۱۶. ردیابی پنهان؛ سیستم‌ها چه چیزهایی را ذخیره می‌کنند؟

بسیاری از کاربران از میزان جزئیاتی که پلتفرم‌ها درباره آن‌ها ثبت می‌کنند کاملاً بی‌خبر هستند. برای مثال نتفلیکس (Netflix) حتی رنگ و طرح کاور فیلم‌ها را بر اساس روحیات شما تغییر می‌دهد. سیستم متوجه می‌شود شما در چه ساعاتی از شب تماشا می‌کنید و چه زمانی دکمه توقف را فشار می‌دهید. این داده‌های به ظاهر بی‌اهمیت پروفایل بسیار دقیقی از شخصیت و سبک زندگی شما ایجاد می‌کنند.

این ردیابی مداوم گاهی مرزهای حریم خصوصی افراد را به چالش می‌کشد. پلتفرم‌ها ادعا می‌کنند این کار صرفا برای بهبود کیفیت سرویس‌دهی و تجربه کاربری انجام می‌شود. با این حال دسترسی به چنین حجم عظیمی از داده‌های رفتاری پتانسیل بالایی برای سوءاستفاده دارد. آگاهی از این فرآیندها به ما کمک می‌کند تا با دید بازتری در فضای دیجیتال فعالیت کنیم.

۱۷. ترانسفورمرها و انقلاب در درک توالی رفتارها

مدل‌های ترانسفورمر (Transformers) که انقلابی در پردازش زبان طبیعی ایجاد کردند اکنون در سیستم‌های پیشنهاددهنده نیز به کار می‌روند. این مدل‌ها بر خلاف روش‌های سنتی ترتیب دقیق رفتارهای شما را در طول زمان تحلیل می‌کنند. الگوریتم متوجه می‌شود خرید یک محصول خاص پس از یک سری جستجوهای مشخص به چه معنی است. این درک زمانی باعث شده تا پیشنهادات لحظه‌ای به شدت به هدف نزدیک‌تر شوند.

۱۸. آینده سیستم‌های پیشنهاددهنده و حریم خصوصی ما

آینده این سیستم‌ها به سمت مدل‌های محلی و بدون نیاز به انتقال داده‌ها به سرورهای ابری حرکت می‌کند. با افزایش حساسیت‌ها روی حریم خصوصی توسعه‌دهندگان به سمت یادگیری فدرال (Federated Learning) روی آورده‌اند. در این روش الگوریتم روی گوشی شما آموزش می‌بیند و فقط نتایج بهینه‌سازی به سرور اصلی ارسال می‌شود.

این تغییر رویکرد می‌تواند تعادلی میان شخصی‌سازی دقیق و حفظ امنیت داده‌های شخصی ایجاد کند. کاربران در آینده کنترل بیشتری روی داده‌های ارسالی خود به سیستم‌های هوش مصنوعی خواهند داشت. تکنولوژی‌های جدید تلاش می‌کنند تا بدون سرک کشیدن در جزییات شخصی بهترین خدمات را ارائه دهند.

سوالات متداول که شاید به آن‌ها فکر نکرده باشید

دکتر علیرضا مجیدی

پزشک، نویسنده و بنیان‌گذار وبلاگ «یک پزشک»

دکتر علیرضا مجیدی، نویسنده و بنیان‌گذار وبلاگ «یک پزشک».
با بیش از ۲۰ سال نویسندگی «ترکیبی» مستمر در زمینهٔ پزشکی، فناوری، سینما، کتاب و فرهنگ.
باشد که با هم متفاوت بیاندیشیم!

دربارهٔ علیرضا مجیدی در یک پزشک

مطالب مرتبط

دیجی‌کالا از نسخه رسمی اپلیکیشن فین‌تک دیجی‌پی رونمایی کرد

یک سالگی دیجی‌پلاس؛ عضویت 400 هزار مشتری دیجی‌کالا

رمزگشایی از افکار انسان؛ وقتی هوش مصنوعی بدون تماس فیزیکی ذهن را می‌خواند

دیجی‌کالا به طور رسمی وارد حوزه‌های فین‌تک و مواد غذایی تازه شد

سایت دیجی‌کالا نونوار شد؛ بازطراحی تمیزتر، ساده‌تر و هدف‌مند رابط گرافیکی و بخش‌های محصولات

راه‌اندازی صفحه رسمی فروش گوشی‌های هواوی در سایت دیجی‌کالا