ارزیابی تاثیراستنادی نویسندگان ۲% برتر استنفورد
ارزیابی تاثیراستنادی نویسندگان ۲% برتر استنفورد

به گزارش پگاه خبر؛دکتر محمدجواد دهقانی رییس موسسه استنادی علوم و پایش علم و فناوری (ISC) گفت:  در چند سال اخیر، تعدادی از پژوهشگران دانشگاه استنفورد با استفاده از داده های پایگاه اسکوپوس اقدام به ایجاد دیتاست هایی و محاسبه شاخصی به نام شاخص استنادی مرکب (composite index) می کنند. تازه ترین به روزرسانی این […]

به گزارش پگاه خبر؛دکتر محمدجواد دهقانی رییس موسسه استنادی علوم و پایش علم و فناوری (ISC) گفت:  در چند سال اخیر، تعدادی از پژوهشگران دانشگاه استنفورد با استفاده از داده های پایگاه اسکوپوس اقدام به ایجاد دیتاست هایی و محاسبه شاخصی به نام شاخص استنادی مرکب (composite index) می کنند. تازه ترین به روزرسانی این دیتاست (نسخه ۳) در ۱۹ اکتبر ۲۰۲۱ (۲۷ مهرماه ۱۴۰۰) منتشر شده است که دامنه پوشش داده ها را از سال ۱۹۶۰ تا ۲۰۲۰ گسترش می دهد.

دهقانی گفت: این فهرست در کشور ما با نام «فهرست دانشگاه استنفورد» شناخته شده و مورد توجه رسانه‌ها و موسسات قرار می گیرد. هدف این دیتاست – به گفته پژوهشگران دانشگاه استنفورد – ارائه مجموعه ای از سنجه های استنادی استانداردشده برای ارزیابی تاثیراستنادی نویسندگان در رشته ها و حوزه های علمی مختلف است.

وی اظهار داشت: شاخص استنادی مرکب (C) مجموعه ای از شش شاخص استنادی مجزا است که همگی در یک فرمول ریاضی با استفاده از لگاریتم و با وزن یکسان محاسبه شده است (NC, H, Hm, NCS, NCSF, NCSFL). محققان دانشگاه استنفورد سعی کرده اند از طریق سه شاخص (NS, NSF, NSFL) به استنادهای دریافتی نویسندگان در جایگاه های نویسندگی مختلف بر اساس میزان احتمالی تاثیرگذاری آن ها در هر پژوهش وزن های متفاوتی بدهند. البته استفاده از این سه شاخص می تواند به طور بالقوه ایراداتی در محاسبه شاخص C ایجاد کند زیرا در برخی مقالات، ترتیب نویسندگان به صورت الفبایی و نه بر حسب میزان مشارکت و اثرگذاری هر فرد در پژوهش است.

وی در ادامه گفت: این محققان دریافتند که برخی از پراستنادترین نویسندگان تقریبا مقاله تاثیرگذاری به صورت انفرادی یا به عنوان نویسنده اول و آخر (در مقالات گروهی) منتشر نکرده بودند. این مسئله تاکیدی بر اهمیت کار گروهی در افزایش کیفیت و تاثیرگذاری علمی پژوهش ها است و در عین حال نشان می دهد که موفقیت یک نویسنده نتیجه کار در گروه های پژوهشی و هم افزایی پژوهشگران است. با این حال، نمی توان گفت شاخص C که این محققان برای ارائه یک تصویر دقیق از تاثیرگذاری علمی نویسندگان معرفی کرده اند می تواند هدف آن ها را برآورده سازد.

دهقانی گفت: در فهرست استنفورد – به اذعان محققان استنفورد – هم برندگان جوایز نوبل حضور دارند و هم نویسندگانی که متهم به سوءرفتار علمی هستند. محققان استنفورد پروفایل استنادی تمامی برندگان جوایز نوبل در بین سال های ۲۰۱۱ تا ۲۰۱۵ (۴۷ نفر) را بررسی کرده اند. نتایج نشان داد که در سال استنادی مورد بررسی (۲۰۱۳)، بسیاری از این دانشمندان در برخی شاخص های تفکیکی از جمله NC، H و Hm و همچنین شاخص مرکب (C) در جمع نویسندگان برتر قرار نمی گرفتند.

وی ادامه داد: محققان استنفورد اذعان دارند که شاخص های استنادی محدودیت هایی دارند و بایستی با احتیاط زیاد مورد استفاده قرار گیرند. از طرفی، درک شاخص های استنادی مفرد راحت تر و مفهوم آن ها واضح تر از شاخص های ترکیبی و پیچیده است و بنابراین شاخص هایی مانند مجموع استنادات، ضریب تاثیر (برای نشریات) و اچ ایندکس (برای نویسندگان) به خوبی درک می شوند و تاثیر مقادیر پرت (outlier) در شاخص ها قابل شناسایی است.

دهقانی افزود: تازه ترین به روزرسانی این دیتاست (نسخه ۳) در ۱۹ اکتبر ۲۰۲۱ (۲۷ مهرماه ۱۴۰۰) منتشر شده است که دامنه پوشش داده ها را از سال ۱۹۶۰ تا ۲۰۲۰ گسترش می دهد. این فهرست دربرگیرنده اسامی یکصد هزار نویسنده پراستناد برحسب نمره C و همچنین نویسندگانی است که جزو دو درصد پراستناد در زیرحوزه تخصصی خود قرار می گیرند. در مجموع بیش از ۱۸۶۰۰۰ نویسنده در این فهرست مورد ارزیابی قرار گرفته اند.

وی ادامه داد: در این فهرست، ۲۴۷ نفر دارای خوداستنادی بالای ۶۰% هستند و ۲۴۸۰ نویسنده نیز نرخ خوداستنادی بالاتر از ۴۰% دارند. همچنین از جمله اشکالات عمده این دیتاست، خطا در تفکیک نام افراد است به طوری که افرادی که نام مشابه داشته اند، مقالات و ارجاعاتشان با هم جمع شده است. برای مثال، در فایل اصلی دیتاست که داده های مربوط به طول دوره کاری پژوهشگران را پوشش می دهد، یک ستون (firstyr) تاریخ اولین سال انتشار مقاله و یک ستون نیز آخرین سال (lastyr) انتشار توسط هر نویسنده را نشان می دهد.

رییس ISC گفت: در این جدول، تعداد ۳۴ نویسنده فهرست شده اند که اولین مقاله خود را در سال های سدۀ ۱۸۰۰ میلادی نوشته‌اند. با تفریق اولین و آخرین سال انتشار برای تمام نویسندگان این فهرست، مشخص می شود که ۵۱ نویسنده طول عمر کاری بالای صد سال دارند (دامنه ۱۰۱ تا ۱۸۶ سال) و ۴۶۸ نویسنده نیز دوره کاری ۷۰ تا ۹۹ سال دارند. این اعداد بسیار غیرمحتمل به نظر می رسند و احتمالا نتیجه ترکیب اسامی نویسندگانی است که نام های مشابه دارند.

وی گفت: در پژوهشی که توسط دو پژوهشگر بنگلادشی بر روی فهرست استنفورد صورت گرفته است، تخمین زده می شود که این فهرست در شناسایی نویسندگان پراستناد بنگلادشی حدود ۴۱% خطا دارد. این خطاها شامل شناسایی نادرست وابستگی سازمانی نویسندگان، ترکیب اسامی نویسندگان با نام های مشابه و شمارش نادرست تعداد مدارک هر نویسنده است. از طرفی، بررسی موردی ما نشان می دهد که تعدادی از نویسندگان پراستناد و با سابقه که واجد شرایط حضور در این فهرست بوده و پروفایل مشخصی در پایگاه اسکوپوس دارند در این فهرست قرار نگرفته اند.

دهقانی اظهار داشت: در پی انتشار فهرست استنفورد در سال ۲۰۱۹، مقاله ای در نشریه نیچر (Nature) منتشر شد که به بررسی این موضوع پرداخت (https://doi.org/10.1038/d41586-019-02479-7). در این گزارش اشاره می شود که حداقل ۲۵۰ نویسنده در فهرست استنفورد دارای نرخ خوداستنادی بالای ۵۰% هستند در حالی که میانگین نرخ خوداستنادی در کل دیتاست ۱۲٫۷% است. در گزارش نیچر به یک پژوهشگر هندی اشاره می شود – که در فهرست استنفورد دارای بیشترین درصد خوداستنادی (%۹۴) است – و در سال ۲۰۱۸ به پاس مقالات و استنادات خود موفق به دریافت جایزه از یکی از مقامات هندی (وزیر محیط زیست) شده است.

وی افزود: بررسی فهرست استنفورد نشان می دهد که در طول سال های اخیر هم نحوه محاسبه شاخص ها و هم تنوع سنجه‌ها تغییراتی داشته است و مرتبا در حال بروزرسانی بوده است. فرمول محاسبه شاخص مرکب C به گونه ای است که هر خطایی در شاخص های مفرد وجود داشته باشد، در آن بازتاب داده می شود و در عمل نمی تواند خطای شاخص های سازه ای خود را پوشش دهد. برای مثال، با درنظرگرفتن مجموع استنادات (بدون حذف خوداستنادی)، مقدار C برای بسیاری از نویسندگانی که درصد خوداستنادی بسیار بالا دارند در محدوده ۳ تا ۴ محاسبه شده است. این در حالی است که بیشترین مقدار C در این فهرست ۵٫۶ و میانگین نمره شاخص C برای کل نویسندگان ۳٫۵ است.

دهقانی گفت: شاخص ها و سنجه های آماری و علم سنجی منبع غنی، سریع و بهینه ای برای ارزیابی وضعیت علم، پژوهش و پویایی قلمروهای علمی هستند. اما استفاده نادرست از این شاخص ها و عدم شناخت از کارکرد واقعی و منطق درونی هر سنجه می تواند آسیب هایی را در پی داشته باشد.

وی ادامه داد: فهرست استنفورد تنها فهرست از پژوهشگران پراستناد نیست. برخی از پایگاه های اطلاعات علمی و سامانه های استنادی نیز فهرست های درصدی از نویسندگان و موسسات برتر ارائه می کنند. نکته مهم در خصوص این ارزشگذاری ها این است که این فهرست ها جامعیت و مانعیت کافی ندارند. همه پژوهشگران برتر و تاثیرگذار در این فهرست ها قرار نمی گیرند و حتی شاید بتوان گفت کسانی که در این فهرست ها قرار می گیرند لزوما برترین پژوهشگران نیستند. از این رو، این فهرست ها همواره درصدی مثبت کاذب و منفی کاذب دارند. به علاوه، با تغییر روش شناسی ها فهرست ها و اسامی هم تغییر می کنند. بنابراین، باید توجه داشت که هر یک از سنجه های استنادی یا رتبه بندی های پژوهشگران بیانگر نوع متفاوتی از عملکرد و دستاورد پژوهشی است.

دهقانی گفت: گاهی اوقات انتشار این فهرست ها بازتاب های گسترده ای در سطح کشور پیدا می کند و حتی تعبیرهای نادرستی از آن ها صورت می گیرد. یکی از مهم ترین ایرادات این فهرست ها عدم توجه لازم به زیست بوم علمی است. نویسندگان پراستنادی که در این فهرست ها وارد می شوند اغلب در طول دوره فعالیت آکادمیک خود با تیم های مختلف و پژوهشگران مختلفی همکاری داشته اند. آن ها در برخی از پژوهش ها نقش پژوهشگر ارشد و در برخی نقش جنبی، محدود و یا شاید افتخاری داشته اند. لذا نقش ها و میزان همکاری آن ها در پژوهش های مختلف متفاوت است و نمی توان تمام اثرگذاری علمی و استنادهای دریافتی را به یک میزان برای آن ها وزن دهی کرد.

رییسISC  گفت: سوال مهم این است که آیا پژوهشگران دیگری که در طول سالیان مختلف با یک پژوهشگر پراستناد مشارکت داشته اند نیز در این فهرست ها جای گرفته اند یا خیر؟ در اصل، چنین رویکردهایی معطوف به فردگرایی و تقلیل گرایی است در حالی که پژوهش های علمی در جهان معاصر ماهیتی مشارکتی و مبتنی بر همکاری تیمی دارد.

وی ادامه داد: آنچه به عنوان فهرست استنفورد در کشور شناخته می شود و مورد توجه رسانه ها و موسسات قرار می گیرد یک دیتاست از نویسندگان پراستناد در رشته های علمی مختلف به همراه انواع مختلفی از سنجه های استنادی استانداردشده است. اما باید توجه داشت که هرگونه استفاده از داده های آن و شناسایی یک نویسنده به عنوان نویسنده تاثیرگذار یا پراستناد بایستی با توجه به مقایسه عملکرد در همه شاخص ها و بررسی مقادیر نرمال یا غیرنرمال نسبت به حوزه های علمی تخصصی و در مقایسه با سایر همتایان صورت گیرد به ویژه اینکه ایرادات آشکاری در این دیتاست وجود دارد.

دهقانی گفت: کلاریوت آنالیتیکس در اعلام فهرست سالانه پژوهشگران پراستناد دنیا (Highly Cited Researchers) مدارک همه نویسندگان را بررسی کرده و مواردی مانند مقالات ابطال شده، سوء رفتار علمی و نرخ بالای خوداستنادی را بررسی می‌کند. در نتیجه، برخی از نویسندگان از فهرست حذف می شوند و تعداد زیاد استنادات یک نویسنده ضامن قرارگیری در فهرست نویسندگان پراستناد دنیا نیست. اما محققان استنفورد هیچ گونه پردازش کیفی بر روی فهرست خود انجام نمی دهند و براساس محاسبات و حدود آستانه آماری فهرست خود را تدوین می کنند. بنابراین، کاربران بایستی برحسب نیاز خود و بدون پیش داوری از چنین داده هایی استفاده کنند و منطق محاسبه هر شاخص، ضعف ها و قوت ها و کاربردهای آن را مدنظر قرار دهند.

دهقانی افزود: با توجه به مباحث فوق و ضعف های موجود در چنین فهرست هایی، ISC هر ساله پس از رفع خطاهای موجود در فهرست های مستخرج از پایگاه استنادی وب علوم (Web of Science) و با استفاده از روش های آماری و تحلیل های علم سنجی، فهرست نرمال‌شده نویسندگان یک درصد برتر ایران را به دانشگاه های مربوطه اعلام می‌نماید. به این منظور، ISC روش مشخص و استانداردی را برای شناسایی و معرفی پژوهشگران پراستناد ایران توسعه داده است. همچنین، ISC با اتکاء به منابع اطلاعاتی و پایگاه‌های داده خود، هر ساله فهرستی از نویسندگان پراستناد ایرانی در حوزه های علوم انسانی، اجتماعی و هنر را نیز شناسایی و به جامعه علمی معرفی می کند.

انتای پیام/ابراهیم عباسی