بحران داوری همتا در مقالات علمی و خطرات هوش مصنوعی
نظام داوری همتا به عنوان سنگبنای اعتبار پژوهشهای علمی با انباشت بیسابقه مقالات و ورود ابزارهای هوش مصنوعی دچار بحرانی عمیق شده . افزایش سالانه ۵.۶ درصدی حجم پژوهشهای ثبتشده در پایگاههای معتبری مانند اسکوپوس (Scopus) و وب آو ساینس (Web of Science) سبب شده تا پژوهشگران داوطلب دیگر توان و زمان کافی برای ارزیابی دقیق متنها را نداشته باشند. وقتی داوران ناچار میشوند درخواستهای متعدد بررسی را سرپایی انجام دهند، خطاهای شگفتآوری مانند رد شدن پژوهشهای ارزشمند به دلیل برداشت نادرست داور یا حتی تایید ارجاعات خیالی و تولیدشده توسط هوش مصنوعی رخ میدهد. ارزیابی دقیق مقالات علمی سالانه بیش از ۱۵ هزار سال زمان ( به صورت تجمیعی) از داوطلبان میگیرد و این حجم کار سنگین، کل ساختار نشر علمی را تا آستانه فروپاشی کشانده است.
مسئله ارزیابی مقالات علمی بیش از آنکه حاصل یک برنامهریزی تاریخی باشد، برپایه یک سنت قدیمی و ناگهانی شکل گرفته است. در ۵۰ سال اخیر داوطلب بودن دانشمندان برای بررسی کار همکاران به روالی جهانی تبدیل شد. اما امروزه نرخ پاسخدهی به درخواستهای سردبیران به شدت افت کرده، بهطوری که گاهی برای یافتن یک ارزیاب مناسب باید به ۳۰ متخصص ایمیل زد. ناشران با حذف محدودیتهای کاغذی و انتشار ویژهنامههای متعدد، حجم تولید متن را بالا بردهاند. از سوی دیگر کارخانههای مقالهسازی (paper mills) با تولید انبوه سندهای جعلی اما ظاهراً معتبر، فشار کاری ارزیابان را چندبرابر کردهاند. در چنین فضای بیسابقهای، بسیاری از پژوهشگران برای حفظ موقعیت شغلی ناچار به ادامه حضور در این چرخه دردناک هستند.
پژوهشگران علوم کامپیوتر و هوش مصنوعی که با انفجار شدیدتر محتوا روبرو هستند، بستر انتشار کار خود را تغییر دادهاند. در این حوزهها حجم پروپوزالها و پژوهشها از سال ۲۰۱۹ تا ۱۰ برابر رشد داشته و بسیاری از دانشمندان به جای طی کردن مراحل کند ژورنالی، به انتشار یافتهها در وبلاگهای تخصصی یا تالارهای گفتگویی مانند پلتفرم الگوی تراز هوش مصنوعی (AI Alignment Forum) روی آوردهاند. در این بسترهای نوین، فرایند ارزیابی از طریق امتیازدهی مثبت و منفی کاربران و ثبت دیدگاههای عمومی جایگزین داوری پنهان سنتی شده است. این شیوه انتشار سریعتر، شفافتر و خروجی آن به دور از الگوریتمهای شبکههای اجتماعی است، هرچند برخی فیلسوفان هشدار میدهند که این سبک نگارش صمیمی شاید از دقت و اعتبار آکادمیک بکاهد.
تحول تاریخی داوری همتا از گپ و گفت عصرانه تا ابزار سیاسی
برعکس تصور عموم که داوری همتا را پایهای جاودانه در علم میدانند، این فرایند تا پیش از دهه ۱۹۷۰ میلادی ابزاری همگانی و یکدست نبود. در قرن نوزدهم، انجمنهای علمی بیشتر شبیه محافل دوستانه بودند که دانشمندان مستقر در آنها عصر پنجشنبه دور هم جمع میشدند و درباره جدیدترین یافتههای نجوم یا زیستشناسی گپ میزدند. پس از جنگ جهانی دوم و با افزایش ۲۵ برابری بودجههای پژوهشی در آمریکا، بنیاد ملی علوم برای توجیه هزینهکردهای خود نزد سیاستمداران و جلوگیری از مداخلات دولتی، سیستم بررسی بیرونی را گسترش داد. در واقع رونق ارزیابی ناشناخته مقالات نوعی ابزار دفاعی برای جلب اعتماد عمومی و حفظ استقلال علمی بود. بعدها در دهه ۱۹۹۰ نیز در بریتانیا برای جدا کردن علم واقعی از ادعاهای پوچ شبهعلمی در رسانهها، برچسب ارزیابی علمی به معیاری حیاتی تبدیل شد.
امروزه ورود هوش مصنوعی مولد زاویه ناخوشایند دیگری به این بحران افزوده است. نظرسنجیها نشان میدهند بیش از نصف ارزیابان به نحوی از هوش مصنوعی برای سرعت بخشیدن به نقد مقالات بهره میبرند. این میانبرها گاه به رسواییهای بزرگی میانجامد؛ مانند زمانی که یک زبانشناس برجسته پس از دو روز جستجو متوجه شد منبع تاریخی پیشنهادی داور، توهم و ساخته و پرداخته چتبات بوده است. استفاده از این ابزارها علاوه بر اتلاف وقت پژوهشگران، خطرات امنیتی و نقض حریم خصوصی اسناد منتشرنشده را به همراه دارد. به همین دلیل برخی کنفرانسهای بزرگ مانند نورپیپس (NeurIPS) دست به آزمایش ابزارهای کمکی هوشمند زدهاند تا بدون جایگزینی تحلیل انسانی، فقط راهنماییهای پسزمینه را تسهیل کنند.
راهکارهای جایگزین و آینده مبهم ارزیابی مقالات علمی
جامعه علمی برای برونرفت از این بنبست گزینههای متعددی را روی میز گذاشته است. یکی از این راهها، رسمیت یافتن پایگاههای پیشچاپ مانند آرکایو (arXiv.org) است که به دانشمندان اجازه میدهد دستاوردهای خود را بدون معطل شدن در صفهای طولانی داوری به اشتراک بگذارند و برای فرصتهای شغلی استفاده کنند. راهکار دیگر، جداسازی مرحله ارزیابی از خود ژورنالها است؛ بدین صورت که جامعهای از ارزیابان ابتدا پژوهش را نقد میکنند و سپس نویسنده مقاله برحصور کیفیت کار، آن را به ژورنالهای متقاضی پیشنهاد میدهد. پرداختی مالی بین ۱۰۰ تا ۳۰۰ دلار به داوران نیز به عنوان انگیزهای برای رعایت دقیق اولویتها و زمانبندیها پیشنهاد شده، اگرچه ممکن است هزینه چاپ مقالات را برای دانشمندان بالاتری ببرد.
بحران داوری همتا نشان میدهد که حجم بالای تولید مقاله بدون ارزیابی کیفی، نهایتا به اعتبار علم آسیب میزند. برخی جامعهشناسان علم معتقدند شاید زمان آن رسیده که مفهوم کاهش رشد تولید در نشر علمی را بپذیریم و به جای کمیت، بر کیفیت تمرکز کنیم. وقتی روزانه صدها مقاله بیکیفیت تولید میشود، سیستم ارزیابی خودبهخود کاراییاش را از دست میدهد. رسانهها و سینما نیز بارها نشان دادهاند که چطور سرقت علمی یا مقالات ساختگی میتوانند افکار عمومی را منحرف کنند. فرسودگی ارزیابان داوطلب و تکنفره ماندن بار ارزیابی علمی در ژورنالهای تخصصی، زنگ خطری است که نشان میدهد الگوی فعلی دیگر توان مقابله با حجم دادههای عصر جدید را ندارد.
پایداری فرایند ارزیابی مقالات در آینده احتمالاً به صورت یک شکل یکدست باقی نخواهد ماند و دستخوش تغییرات بنیادین خواهد شد. ژورنالها به ناچار تعداد داوران هر مقاله را از سه نفر به دو نفر کاهش دادهاند و حوزههایی مانند اقتصاد یا علوم کامپیوتر مسیرهای پرداختی یا وبلاگنویسی آزاد را برگزیدهاند. ساختار کنونی هرچند سختجانی نشان میدهد، اما ادامه روند فعلی فشار را به نقطهشکست میرساند. تغییر نگرش موسسات علمی از شمارش تعداد مقالات به سمت ارزیابی اثرگذاری واقعی پژوهشها، تنها راه نجات این بنیاد علمی در عصر هوش مصنوعی خواهد بود.
با بیش از ۲۰ سال نویسندگی «ترکیبی» مستمر در زمینهٔ پزشکی، فناوری، سینما، کتاب و فرهنگ.
باشد که با هم متفاوت بیاندیشیم!
مطالب مرتبط
