ارزیابی تاثیراستنادی نویسندگان ۲% برتر استنفورد

به گزارش پگاه خبر؛دکتر محمدجواد دهقانی رییس موسسه استنادی علوم و پایش علم و فناوری (ISC) گفت:  در چند سال اخیر، تعدادی از پژوهشگران دانشگاه استنفورد با استفاده از داده های پایگاه اسکوپوس اقدام به ایجاد دیتاست هایی و محاسبه شاخصی به نام شاخص استنادی مرکب (composite index) می کنند. تازه ترین به روزرسانی این دیتاست (نسخه ۳) در ۱۹ اکتبر ۲۰۲۱ (۲۷ مهرماه ۱۴۰۰) منتشر شده است که دامنه پوشش داده ها را از سال ۱۹۶۰ تا ۲۰۲۰ گسترش می دهد.

دهقانی گفت: این فهرست در کشور ما با نام «فهرست دانشگاه استنفورد» شناخته شده و مورد توجه رسانه‌ها و موسسات قرار می گیرد. هدف این دیتاست – به گفته پژوهشگران دانشگاه استنفورد – ارائه مجموعه ای از سنجه های استنادی استانداردشده برای ارزیابی تاثیراستنادی نویسندگان در رشته ها و حوزه های علمی مختلف است.

وی اظهار داشت: شاخص استنادی مرکب (C) مجموعه ای از شش شاخص استنادی مجزا است که همگی در یک فرمول ریاضی با استفاده از لگاریتم و با وزن يکسان محاسبه شده است (NC, H, Hm, NCS, NCSF, NCSFL). محققان دانشگاه استنفورد سعي کرده اند از طريق سه شاخص (NS, NSF, NSFL) به استنادهاي دريافتي نويسندگان در جايگاه هاي نويسندگي مختلف بر اساس ميزان احتمالي تاثيرگذاري آن ها در هر پژوهش وزن هاي متفاوتي بدهند. البته استفاده از اين سه شاخص مي تواند به طور بالقوه ايراداتي در محاسبه شاخص C ايجاد کند زيرا در برخي مقالات، ترتيب نويسندگان به صورت الفبايي و نه بر حسب ميزان مشارکت و اثرگذاري هر فرد در پژوهش است.

وی در ادامه گفت: اين محققان دريافتند که برخي از پراستنادترين نويسندگان تقريبا مقاله تاثيرگذاري به صورت انفرادي يا به عنوان نويسنده اول و آخر (در مقالات گروهي) منتشر نکرده بودند. اين مسئله تاکيدي بر اهميت کار گروهي در افزايش کيفيت و تاثيرگذاري علمي پژوهش ها است و در عين حال نشان مي دهد که موفقيت يک نويسنده نتيجه کار در گروه هاي پژوهشي و هم افزايي پژوهشگران است. با اين حال، نمي توان گفت شاخص C که اين محققان براي ارائه يک تصوير دقيق از تاثيرگذاري علمي نويسندگان معرفي کرده اند مي تواند هدف آن ها را برآورده سازد.

دهقانی گفت: در فهرست استنفورد – به اذعان محققان استنفورد – هم برندگان جوايز نوبل حضور دارند و هم نويسندگاني که متهم به سوءرفتار علمي هستند. محققان استنفورد پروفايل استنادي تمامي برندگان جوايز نوبل در بين سال هاي ۲۰۱۱ تا ۲۰۱۵ (۴۷ نفر) را بررسي کرده اند. نتايج نشان داد که در سال استنادي مورد بررسي (۲۰۱۳)، بسياري از اين دانشمندان در برخي شاخص هاي تفکيکي از جمله NC، H و Hm و همچنين شاخص مرکب (C) در جمع نويسندگان برتر قرار نمي گرفتند.

وی ادامه داد: محققان استنفورد اذعان دارند که شاخص هاي استنادي محدوديت هايي دارند و بايستي با احتياط زياد مورد استفاده قرار گيرند. از طرفي، درک شاخص هاي استنادي مفرد راحت تر و مفهوم آن ها واضح تر از شاخص هاي ترکيبي و پيچيده است و بنابراين شاخص هايي مانند مجموع استنادات، ضريب تاثير (براي نشريات) و اچ ايندکس (براي نويسندگان) به خوبي درک مي شوند و تاثير مقادير پرت (outlier) در شاخص ها قابل شناسايي است.

دهقانی افزود: تازه ترین به روزرسانی این دیتاست (نسخه ۳) در ۱۹ اکتبر ۲۰۲۱ (۲۷ مهرماه ۱۴۰۰) منتشر شده است که دامنه پوشش داده ها را از سال ۱۹۶۰ تا ۲۰۲۰ گسترش می دهد. اين فهرست دربرگيرنده اسامي يکصد هزار نويسنده پراستناد برحسب نمره C و همچنين نويسندگاني است که جزو دو درصد پراستناد در زيرحوزه تخصصي خود قرار مي گيرند. در مجموع بيش از ۱۸۶۰۰۰ نويسنده در اين فهرست مورد ارزيابي قرار گرفته اند.

وی ادامه داد: در اين فهرست، ۲۴۷ نفر داراي خوداستنادي بالاي ۶۰% هستند و ۲۴۸۰ نويسنده نيز نرخ خوداستنادي بالاتر از ۴۰% دارند. همچنین از جمله اشکالات عمده اين ديتاست، خطا در تفکیک نام افراد است به طوری که افرادی که نام مشابه داشته اند، مقالات و ارجاعاتشان با هم جمع شده است. براي مثال، در فايل اصلي ديتاست که داده هاي مربوط به طول دوره کاري پژوهشگران را پوشش مي دهد، يک ستون (firstyr) تاريخ اولين سال انتشار مقاله و يک ستون نيز آخرين سال (lastyr) انتشار توسط هر نويسنده را نشان مي دهد.

رییس ISC گفت: در اين جدول، تعداد ۳۴ نويسنده فهرست شده اند که اولين مقاله خود را در سال هاي سدۀ ۱۸۰۰ ميلادي نوشته‌اند. با تفريق اولين و آخرين سال انتشار براي تمام نويسندگان اين فهرست، مشخص مي شود که ۵۱ نويسنده طول عمر کاري بالاي صد سال دارند (دامنه ۱۰۱ تا ۱۸۶ سال) و ۴۶۸ نويسنده نيز دوره کاري ۷۰ تا ۹۹ سال دارند. اين اعداد بسيار غيرمحتمل به نظر مي رسند و احتمالا نتيجه ترکيب اسامي نويسندگاني است که نام هاي مشابه دارند.

وی گفت: در پژوهشي که توسط دو پژوهشگر بنگلادشي بر روي فهرست استنفورد صورت گرفته است، تخمين زده مي شود که اين فهرست در شناسايي نويسندگان پراستناد بنگلادشي حدود ۴۱% خطا دارد. اين خطاها شامل شناسايي نادرست وابستگي سازماني نويسندگان، ترکيب اسامي نويسندگان با نام هاي مشابه و شمارش نادرست تعداد مدارک هر نويسنده است. از طرفي، بررسي موردي ما نشان مي دهد که تعدادي از نويسندگان پراستناد و با سابقه که واجد شرايط حضور در اين فهرست بوده و پروفايل مشخصي در پايگاه اسکوپوس دارند در اين فهرست قرار نگرفته اند.

دهقانی اظهار داشت: در پي انتشار فهرست استنفورد در سال ۲۰۱۹، مقاله اي در نشريه نيچر (Nature) منتشر شد که به بررسي اين موضوع پرداخت (https://doi.org/10.1038/d41586-019-02479-7). در اين گزارش اشاره مي شود که حداقل ۲۵۰ نويسنده در فهرست استنفورد داراي نرخ خوداستنادي بالاي ۵۰% هستند در حالي که ميانگين نرخ خوداستنادي در کل ديتاست ۱۲٫۷% است. در گزارش نيچر به يک پژوهشگر هندي اشاره مي شود – که در فهرست استنفورد داراي بيشترين درصد خوداستنادي (%۹۴) است – و در سال ۲۰۱۸ به پاس مقالات و استنادات خود موفق به دريافت جايزه از يکي از مقامات هندي (وزير محيط زيست) شده است.

وی افزود: بررسي فهرست استنفورد نشان مي دهد که در طول سال هاي اخير هم نحوه محاسبه شاخص ها و هم تنوع سنجه‌ها تغييراتي داشته است و مرتبا در حال بروزرساني بوده است. فرمول محاسبه شاخص مرکب C به گونه اي است که هر خطايي در شاخص هاي مفرد وجود داشته باشد، در آن بازتاب داده مي شود و در عمل نمي تواند خطاي شاخص هاي سازه اي خود را پوشش دهد. براي مثال، با درنظرگرفتن مجموع استنادات (بدون حذف خوداستنادي)، مقدار C براي بسياري از نويسندگاني که درصد خوداستنادي بسيار بالا دارند در محدوده ۳ تا ۴ محاسبه شده است. اين در حالي است که بيشترين مقدار C در اين فهرست ۵٫۶ و ميانگين نمره شاخص C براي کل نويسندگان ۳٫۵ است.

دهقانی گفت: شاخص ها و سنجه هاي آماري و علم سنجي منبع غني، سريع و بهينه اي براي ارزيابي وضعيت علم، پژوهش و پويايي قلمروهاي علمي هستند. اما استفاده نادرست از اين شاخص ها و عدم شناخت از کارکرد واقعي و منطق دروني هر سنجه مي تواند آسيب هايي را در پي داشته باشد.

وی ادامه داد: فهرست استنفورد تنها فهرست از پژوهشگران پراستناد نيست. برخي از پايگاه هاي اطلاعات علمي و سامانه هاي استنادي نيز فهرست هاي درصدي از نويسندگان و موسسات برتر ارائه مي کنند. نکته مهم در خصوص اين ارزشگذاري ها اين است که اين فهرست ها جامعيت و مانعيت کافي ندارند. همه پژوهشگران برتر و تاثيرگذار در اين فهرست ها قرار نمي گيرند و حتي شايد بتوان گفت کساني که در اين فهرست ها قرار مي گيرند لزوما برترين پژوهشگران نيستند. از اين رو، اين فهرست ها همواره درصدي مثبت کاذب و منفی کاذب دارند. به علاوه، با تغيير روش شناسي ها فهرست ها و اسامي هم تغيير مي کنند. بنابراين، بايد توجه داشت که هر يک از سنجه هاي استنادي يا رتبه بندي هاي پژوهشگران بیانگر نوع متفاوتی از عملکرد و دستاورد پژوهشی است.

دهقانی گفت: گاهي اوقات انتشار اين فهرست ها بازتاب هاي گسترده اي در سطح کشور پيدا مي کند و حتي تعبيرهاي نادرستي از آن ها صورت مي گيرد. يکي از مهم ترين ايرادات اين فهرست ها عدم توجه لازم به زيست بوم علمي است. نويسندگان پراستنادي که در اين فهرست ها وارد مي شوند اغلب در طول دوره فعاليت آکادميک خود با تيم هاي مختلف و پژوهشگران مختلفي همکاري داشته اند. آن ها در برخي از پژوهش ها نقش پژوهشگر ارشد و در برخي نقش جنبي، محدود و يا شايد افتخاري داشته اند. لذا نقش ها و ميزان همکاري آن ها در پژوهش هاي مختلف متفاوت است و نمي توان تمام اثرگذاري علمي و استنادهاي دريافتي را به يک ميزان براي آن ها وزن دهي کرد.

رییسISC  گفت: سوال مهم اين است که آيا پژوهشگران ديگري که در طول ساليان مختلف با يک پژوهشگر پراستناد مشارکت داشته اند نيز در اين فهرست ها جاي گرفته اند يا خير؟ در اصل، چنين رويکردهايي معطوف به فردگرايي و تقليل گرايي است در حالي که پژوهش هاي علمي در جهان معاصر ماهيتي مشارکتي و مبتني بر همکاري تيمي دارد.

وی ادامه داد: آنچه به عنوان فهرست استنفورد در کشور شناخته مي شود و مورد توجه رسانه ها و موسسات قرار مي گيرد يک ديتاست از نويسندگان پراستناد در رشته هاي علمي مختلف به همراه انواع مختلفي از سنجه هاي استنادي استانداردشده است. اما بايد توجه داشت که هرگونه استفاده از داده هاي آن و شناسايي يک نويسنده به عنوان نويسنده تاثيرگذار يا پراستناد بايستي با توجه به مقايسه عملکرد در همه شاخص ها و بررسي مقادير نرمال يا غيرنرمال نسبت به حوزه هاي علمي تخصصي و در مقايسه با ساير همتايان صورت گيرد به ويژه اينکه ايرادات آشکاري در اين ديتاست وجود دارد.

دهقانی گفت: کلاريوت آناليتيکس در اعلام فهرست سالانه پژوهشگران پراستناد دنيا (Highly Cited Researchers) مدارک همه نويسندگان را بررسي کرده و مواردي مانند مقالات ابطال شده، سوء رفتار علمي و نرخ بالاي خوداستنادي را بررسي می‌کند. در نتيجه، برخي از نويسندگان از فهرست حذف مي شوند و تعداد زياد استنادات يک نويسنده ضامن قرارگيري در فهرست نويسندگان پراستناد دنيا نيست. اما محققان استنفورد هيچ گونه پردازش کيفي بر روي فهرست خود انجام نمي دهند و براساس محاسبات و حدود آستانه آماري فهرست خود را تدوين مي کنند. بنابراين، کاربران بايستي برحسب نياز خود و بدون پيش داوري از چنين داده هايي استفاده کنند و منطق محاسبه هر شاخص، ضعف ها و قوت ها و کاربردهاي آن را مدنظر قرار دهند.

دهقانی افزود: با توجه به مباحث فوق و ضعف هاي موجود در چنين فهرست هايي، ISC هر ساله پس از رفع خطاهای موجود در فهرست هاي مستخرج از پايگاه استنادي وب علوم (Web of Science) و با استفاده از روش های آماری و تحلیل های علم سنجی، فهرست نرمال‌شده نویسندگان یک درصد برتر ایران را به دانشگاه های مربوطه اعلام می‌نماید. به این منظور، ISC روش مشخص و استانداردی را برای شناسایی و معرفی پژوهشگران پراستناد ایران توسعه داده است. همچنين، ISC با اتکاء به منابع اطلاعاتی و پایگاه‌های داده خود، هر ساله فهرستی از نویسندگان پراستناد ایرانی در حوزه های علوم انسانی، اجتماعی و هنر را نیز شناسایی و به جامعه علمی معرفی می کند.

انتای پیام/ابراهیم عباسی