هوش مصنوعی رد مقالات علمی مشکوک را می‌زند

خبرگزاری مهر: «یکپارچگی و درستی علم» مجموعه فعالیت‌هایی هستند که تلاش می‌شود از طریق آن‌ها انسجام و هماهنگی در روش‌ها، اصول و نتایج علمی حفظ شود. این مفهوم در علوم مختلف اهمیت دارد و در نهایت به تقویت اعتماد عمومی به علم و بهبود کیفیت تحقیقات علمی کمک می‌کند.

یکی از فعالیت‌هایی که در زمینه حفظ درستی و یکپارچگی علم انجام می‌شود، جلوگیری از سوءرفتار یا تقلب علمی است. مواردی مانند ارائه نتایج جعلی، سرقت ادبی، یا دستکاری داده‌ها، نمونه‌هایی از سوءرفتارهای علمی هستند.

در سال‌های اخیر ابزارهای مختلفی توسعه پیدا کرده‌اند که از طریق آن می‌توان سوءرفتارها یا تقلب‌های علمی را شناسایی کرد. یکی از این ابزارها که در ماه‌های اخیر طراحی شده، «آرگوس» است که مجله «نیچر» به تازگی در گزارشی به آن پرداخته است. آرگوس با تجزیه و تحلیل استنادها و سوابق انتشار نویسندگان مقالات علمی، مقالات «پرخطر» را شناسایی می‌کند.

این ابزار توسط یک استارت اپ فناوری با نام «سایتیلیتی» در ایالات متحده آمریکا برای کمک به ناشران علمی در شناسایی مقالاتی که بالقوه مشکل‌ساز هستند، طراحی شده است.

وبسایت «یکپارچگی علمی آرگوس» که در ماه سپتامبر توسط استارت‌آپ «سایتلیتی» راه‌اندازی شده، بر اساس سوابق انتشار نویسندگان و این‌که آیا این مقاله به تحقیقاتی که قبلاً ریترکت یا سلب اعتبار شده‌اند، استناد کرده است یا نه، به مقالات امتیاز ریسک یا خطر می‌دهند. مقاله‌ای که با عنوان «خطر بالا» طبقه‌بندی می‌شود، ممکن است چندین نویسنده داشته باشد که مطالعات دیگر آن‌ها به دلایلی مثل سوءرفتار پژوهشی سلب اعتبار شده باشد. البته داشتن امتیاز بالا ثابت نمی‌کند که یک مقاله کیفیت پایینی دارد، اما نشان‌دهنده این است که ارزش بررسی بیشتر دارد.

آرگوس یکی از ابزارهای متعدد یکپارچگی علمی است که به دنبال نشانه‌های خطر در مقالات است. دو ابزار دیگر؛ «پیپر میل الارم» ساخته‌شده توسط «کلیر اسکای» و «سیگنالز» ساخته‌شده توسط «ریسرچ سیگنالز» اند که هر دو شرکت در لندن مستقر هستند.

سازندگان چنین نرم‌افزارهایی ابزارهای غربالگری متون خود را به ناشران می‌فروشند، به همین دلیل معمولاً تمایلی ندارند که از مجلات مشکل‌دار اسمی ببرند. ولی تمایز آرگوس با سایر ابزارها این است که حساب‌های رایگان در اختبار همه افراد قرار می‌دهد، همچنین به کاراگاه‌هایی علمی و روزنامه‌نگاران دسترسی کامل‌تری ارائه می‌کند؛ به همین دلیل اولین ابزاری است که یک بینش عمومی نسبت به موضوع مجلات دارای مقالات مشکل‌دار ارائه می‌کند.

تا اوایل اکتبر آرگوس بیش از ۴۰ هزار مقاله پر خطر و ۱۸۰ هزار مقاله با ریسک متوسط را معرفی کرده است. همچنین بیش از ۵۰ مقاله ریترکت‌شده یا سلب اعتبار شده را نیز نمایه کرده است.

رتبه‌بندی میزان خطر برای ناشران

تحلیل آرگوس نشان می‌دهد که انتشارات «هنداوی» یکی از زیرمجموعه‌های انتشارات «وایلی» در لندن که اکنون تعطیل شده است، بیشترین حجم و نسبت مقالاتی را دارد که قبلاً پس گرفته شده‌اند. این تعجب‌آور نیست؛ زیرا وایلی بیش ار ۱۰ هزار مقاله منتشر شده توسط هنداوی را در دو سال گذشته در پاسخ به نگرانی‌های مطرح‌شده توسط سردبیران و کارآگاهان علمی سلب اعتبار کرده است. این تعداد بیش از ۴ درصد از کل مقالات منتشر شده تحت برند هنداوی در دهه گذشته را شامل می‌شود. به طور خاص یکی از مجلات به نام Evidence-based Complementary and Alternative Medicine، ۷۴۱ مقاله را سلب اعتبار کرده که بیش از ۷ درصد از کل مقالات منتشرشده توسط این مجله را تشکیل می‌دهد.

رتبه‌بندی ریسک آرگوس بیش از هزار مقاله هنداوی باقی‌مانده را همچنان به عنوان مقالات پرخطر نشان می‌دهد. این نشان می‌دهد که اگرچه وایلی برای پاکسازی مجموعه خود اقدامات زیادی انجام داده است؛ اما ممکن است هنوز این کار را کامل انجام نداده باشد.

به نظر می‌رسد سایر ناشرانی که تعداد مقالات سلب اعتبار شده آن‌ها نسبت به مقالات پر خطرشان بسیار کم است، همچنان به تحقیقات بسیار بیشتری نیاز داشته باشند. ممکن است این ناشران قبلاً برخی از مقالات علامت‌گذاری شده را بررسی کرده و به این نتیجه رسیده باشند که نیازی به اقدام نیست.

غول انتشاراتی «الزویر» که در آمستردام مستقر است، حدود ۵ هزار مقاله سلب اعتبار شده دارد. با این حال بر اساس تحلیل داده‌های آرگوس که در نیچر منتشر شده است، در این انتشارات بیش از ۱۱ هزار و ۴۰۰ مقاله به عنوان پر خطر شناسایی شده‌اند. با وجود این اعداد، مجموع مقالات سلب اعتبار شده و پرخطر تنها کمی بیش از ۲ دهم درصد از کل مقالات منتشر شده توسط الزویر در دهه گذشته را تشکیل می‌دهد. انتشارات MDPI، ۳۱۱ مقاله را سلب اعتبار کرده اما بیش از ۳ هزار مقاله پر خطر دارد که حدود ۲۴ صدم درصد از خروجی آن است. اشپرینگر نیچر نیز بیش از ۶ هزار مقاله سلب اعتبار شده و بیش از ۶ هزار مقاله پر خطر دارد که حدود ۳ دهم درصد از کل تولید آن است.

همه ناشرینی که دارای بیشترین تعداد مقالات پر خطر هستند، در پاسخ به درخواست‌های نیچر برای اظهار نظر در این مورد می‌گویند که سخت در حال کار بر روی یکپارچگی پژوهش هستند و از فناوری برای غربال کردن مقالات ارسال‌شده استفاده می‌کنند. همچنین عنوان می‌کنند که آمار مقالات سلب اعتبار شده آن‌ها نشان‌دهنده تعهد آن‌ها به پاکسازی محتواهای دارای مشکل است.

اشپرینگر نیچر می‌گوید که دو ابزار را در ماه ژوئن ارائه کرده است که از آن زمان به شناسایی صدها مقاله تقلبی کمک کرده است. چندین ناشر دیگر نیز با یک مرکز یکپارچگی مشترک همکاری کرده‌اند که نرم‌افزاری را ارائه می‌دهد که می‌تواند مقالات مشکوک را علامت‌گذاری کند. «جیسوک کانگ»، مدیر انتشارات MDPI در بازل سوئیس، می‌گوید که محصولاتی مانند آرگوس می‌توانند نشانه‌های گسترده‌ای از مشکلات احتمالی ارائه دهند، اما خاطرنشان می‌کند که ناشر نمی‌تواند صحت یا قابلیت اطمینان ارقام موجود در سایت را بررسی کند. او می‌افزاید که ناشران و مجلات بزرگ به ناچار تعداد مقالات پرخطر بیشتری خواهند داشت، به همین دلیل سهم این مقالات نسبت به خروجی کل، معیار بهتری است.

بر اساس داده‌های آرگوس، برندهای انتشاراتی با بیشترین نسبت مقالات پرخطر در کارنامه خود عبارتند از «ایمپکت ژورنالز» (Impact Journals) ۸۲ صدم درصد، «اسپندیدوس» (Spandidos) ۷۷ صدم درصد و «آیوی‌اسپرینگ» (Ivyspring)۶۷ صدم درصد.

آرگوس همچنین آمار مربوط به مجلات فردی را نیز ارائه می‌دهد. جای تعجب نیست که عناوین مجلات «هنداوی» هم از نظر تعداد و هم نسبت مقالاتی که سلب اعتبار شده‌اند، برجسته است. در حالی که مجلات دیگر دارای بسیاری از مواردی هستند که آرگوس به عنوان کارهای پر خطر شناسایی کرده است. از نظر حجم مگا ژورنال «ساینتیفیک ریپورتز» ( Scientific Reports) با داشتن ۴۵۰ مقاله پر خطر و ۲۳۱ مقاله سلب اعتبارشده که در مجموع ۳ دهم درصد از خروجی آن است، پیشتاز است. در ۱۶ اکتبر گروهی از کاراگاهان علمی نامه‌ای سرگشاده به اشپرینگر نیچر نوشتند که در آن نگرانی‌هایی درباره مقاله‌های مشکل‌ساز در این نشریه مطرح کردند.

در پاسخ کریس گراف؛ رئیس یکپارچگی پژوهش در اشپرینگر نیچر می‌گوید که این مجله هر موضوعی که مطرح می‌شود را بررسی می‌کند. او می‌گوید که نسبت محتوای برجسته شده، با توجه به اندازه آن نسبتاً کم است.

مجلاتی که بین تعداد آثار سلب اعتبار شده آن‌ها و مقالات بالقوه مشکوک آن‌ها فاصله زیادی وجود دارد، شامل مجله Sustainability انتشارات MDPI (۲۰ سلب اعتبار و ۳۱۲ مقاله پرخطر؛ ۴ دهم درصد از خروجی آن) و مجله Materials Today Proceedings انتشارات الزویر (۲۸ سلب اعتبار و ۳۰۸ مقاله پر خطر؛ ۸ دهم درصد از خروجی آن) هستند. مجله Biomedicine & Pharmacotherapy انتشارات الزویر با ۱.۶۱ درصد از خروجی، بیشترین نسبت مقالات پرخطر را دارد.

سخنگوی الزویر در پاسخ گفته است که حجم موارد تقلب به واسطه دستکاری‌های سیستماتیک مانند «کارخانه‌های مقاله‌سازی» که برای کسب درآمدتجاری محتوای تقلبی تولید می‌کنند و محتوای تولیدشده توسط هوش مصنوعی به طور فزاینده‌ای در حال افزایش است. به همین دلیل ما در حال افزایش سرمایه‌گذاری خود در نظارت و تخصص انسانی و فناوری هستیم.

رتبه‌بندی میزان خطر برای مجلات

داده‌های دسترسی باز

سازندگان آرگوس تاکید می‌کنند که این سایت به داده‌های منبع باز جمع‌آوری‌شده توسط دیگران متکی است. یکی از منابع آن وب‌سایت پایگاه‌داده «ریترکشن واچ» است که مقالات سلب اعتبار شده را جمع‌آوری می‌کند. این پایگاه داده شامل دلایل سلب اعتبار مقالات است؛ به همین دلیل ابزارهایی که سوابق نویسندگان را بررسی می‌کنند، می‌توانند روی سلب اعتبارهایی که به خاطر سوءرفتار اتفاق می‌افتند تمرکز کنند. همچنین آرگوس به سوابق مقالاتی که به مقالات سلب اعتبار شده استناد می‌کنند، نیز متکی است. این ابزار توسط «گیوم کاباناک» دانشمند کامپیوتر در دانشگاه تولوز فرانسه جمع‌آوری می‌شود.

اگرچه آرگوس از تحلیل‌گرانی پیروی می‌کند که بر شبکه‌های نویسندگانی با سابقه سوءرفتار تمرکز دارند، سایر ابزارهای یکپارچگی تحقیق مقالات را بر اساس محتوای مشکوک علامت‌گذاری می‌کنند. برای مثال ابزار ساخته شده توسط «کاباناک»، «عبارات شکنجه‌شده» را شناسایی می‌کند. منظور از عبارات شکنجه‌شده، استفاده از جملات و کلماتی در مقاله است که نویسندگان آن‌ها را تغییر می‌دهند تا ابزارهای سرقت ادبی نتوانند آن‌ها را شناسایی کنند.

«جیمز باچر»؛ ناشر سابق مجلات «نیچر» و «لنست» که اکنون مشاور «ژورنالوژی» در لیورپول انگلیس است، می‌گوید: هر دو رویکرد ارزشمند هستند اما شناسایی شبکه‌های پژوهشگرانی که درگیر سوءرفتار هستند، احتمالاً ارزش بیشتری داشته باشد. این به این دلیل است که ابزارهای نوشتاری با کمک هوش مصنوعی ممکن است برای کمک به کلاهبرداران برای اجتناب از نشانه‌های متنی واضح استفاده شوند. بسیاری از ناشران بزرگ ابزارهای یکپارچگی خود را برای غربالگری نشانه‌های مختلف در مقاله‌ها ساخته یا خریداری کرده‌اند.

یکی از پیچیده‌ترین مسائل برای ابزارهای یکپارچگی که به سوابق نویسنده مقالات سلب اعتبار شده متکی هستند، تمایز میان نویسندگان با نام‌های مشابه است. این مسئله ممکن است آمار آرگوس را دچار مشکل کند و این موضوع بزرگ‌ترین مشکل این صنعت است.

همچنین شفافیت آرگوس قابل تحسین است. چرا که باید در مورد نشریات و ناشرانی که از اصول پیروی نمی‌کنند و در بررسی‌های خود کوتاهی می‌کنند، شفافیت بیشتری وجود داشته باشد.