ارزش‬گذاری شاخص‌های ارزیابی پژوهش در حوزه‌های مختلف علوم در ایران

نویسندگان

چکیده

گرچه مقایسه عملکرد پژوهشی رشته‌های مختلف به دلیل متفاوت بودن شرایط آنها امکان‌پذیر نیست اما مراکز فعال در عرصه سیاستگذاری پژوهش و فناوری، همواره نیازمند مقایسه پژوهشگران و مؤسسه‌های پژوهشی هستند تا آنها را از ابعاد گوناگون از جمله توانمندی، کارایی، بهره‌وری، اثربخشی و مانند آن مورد ارزیابی قرار دهند. مقاله حاضر بر آن است تا با در نظر گرفتن وجود تفاوت‌های بین عملکرد پژوهشی حوزه‌های علمی مختلف و رشته‌های علمی مربوطه و از طریق وزن‌دهی و ارزش‌گذاری مؤلفه‌های مربوط به تولیدات علمی (انتشارات) این حوزه‌ها در شاخص‌های فعلی ارزیابی، این شاخص‌ها را جهت ارزیابی دقیق‌تر عوامل تولید علم در حوزه‌های گوناگون و برای مقایسه با یکدیگر تعدیل کند. پژوهش از نوع مطالعات علم‌سنجی بوده که با استفاده از روش‌های تحلیل محتوا و تکنیک ارزیابانه انجام شده است. جامعه این پژوهش متشکل از نمونه‌ای 106 نفره و مشتمل بر پژوهشگران، فناوران، مدیران پژوهشی و همچنین مدیران فناوری برتر کشوری است. به منظور مقایسه ارزش‌ها، داده‌های کمّی حاصل از تعداد عملکردهای پژوهشی افراد در جامعه مورد بررسی، با روش آنتروپی شانون وزن‌دهی شد. همچنین با استخراج وزن‌های مربوط به میزان اهمیت هر یک از تولیدات علمی بر اساس نظرات خبرگان (برگرفته از سایر پژوهش‌ها) و تعدیل آنها، یک وزن نهایی برای هر یک از تولیدات علمی به دست آمد. برای تعیین نسبت‌ها از ماتریس‌های دو به دو استفاده شد. طبق نتایج حاصله، در حوزه فنی و مهندسی "اختراعات (142/0)"؛ در حوزه علوم پایه "مقاله خارجی (074/0)"؛ در حوزه علوم انسانی و اجتماعی "کتاب (174/0)" و در علوم پزشکی نیز "مقاله خارجی (111/0)" بالاترین وزن را نسبت به سایر قالب‌های اطلاعاتی دارند. با تقسیم وزن‌های به دست آمده برای هر یک از شاخص‌های انتشاراتی، ارزش هر نوع از تولیدات علمی در یک حوزه نسبت به تولیدات علمی دیگر حوزه‌ها و سایر تولیدات همان حوزه نسبت به یکدیگر حاصل گردید. با استفاده از ارزش‌ها و نسبت‌های نرمال‌سازی شده شاخص‌های انتشاراتی حاصل از این پژوهش، می‌توان به نتایج دقیق و تعدیل شده‌ای دست یافت تا سیاستگذاری عینی بر اساس این نتایج امکان‌پذیر و مبتنی بر واقعیات باشد.

کلیدواژه‌ها

عنوان مقاله [English]

Valuation of Research Evaluation Indicators in Different Scientific Fields in Iran

چکیده [English]

Because of different characteristics, the research performance comparison of different fields is not possible, but research and technology policy makers need to compare researchers and institutions and evaluate them from various aspects, including capability, performance, efficiency, productivity, and so on. The present work aimed to consider the differences between research performances of various fields and weighting and valuating of scientific production (publications) of that field, justify and normalize them. The method of research is scientometrics and performed with using literature review, content analysis and descriptive-survey techniques. A sample (n=106) of the productive researchers in the years 2008 to 2011 introduced by the Ministry of Science, Research and Technology in four areas: engineering, basic sciences, social sciences and humanities, and medical sciences. According to the questions of research, researchers’ CV (by researcher made checklist) was collected and analyzed. To determine the weight and ratio of publications, Shannon Entropy and AHP methods were used. According to the research findings in the field of engineering, inventions (0.142); in basic sciences , international papers (0.074); in humanities, books (0.174); and also in medical sciences, international papers (0.111) had the most weights rather than other formats. According to the amount and importance of formats in various fields, the weight of publications is different. The value of each format rather than the others, calculated with matrix and by division of obtained weights. With attention to the previous literatures and approved hypothesis of this research about differences between indicators of various field it is necessary to results of the research and weighted publication indicators use for evaluation, monitoring of research performance and assessing the productivity and efficiency of comparison of fields and related disciplines to achieve real results which is based on policy making. According to the changes of publication practices over time and changes in covering of evaluated databases, it is necessary to revise the values ??and the ratios constantly.

کلیدواژه‌ها [English]

  • Research evaluation indicators
  • Scientific Products
  • scientific fields
  • scientific disciplines
  • valuation
  • normalization

مراجع

[1] موئد، ه. (1387). تحلیل استنادی در ارزیابی پژوهش. مترجمین: میرزایی، ع؛ مختاری، ح. تهران: چاپار.
[2] Nederhof, A. J. (2006). Bibliometric monitoring of research performance in the social sciences and the humanities: A review. Scientometrics, 66(1), 81-100.
[3] Archambault, E., & Gagne, E. V. (2004). The use of bibliometrics in the social sciences and humanities: a report prepared for the Social Sciences and Humanities Research Council of Canada (SSHRCC). Quebec, Canada: SSHRCC.
[4] Van Raan, A. F. (2003). The use of bibliometric analy-sis in research performance assessment and monitoring of interdisciplinary scientific de-velopments.
12(1), 20-29.
[5] Sternberg, R., & Litzenberger, T. (2005). The publication and citation output of German Faculties of Economics and Social Sciences-a comparison of faculties and disciplines based upon SSCI data. Scientometrics, 65(1), 29-53.
[6] Thijs, B., & Glänzela, W. (2008). A structural analysis of benchmarks on different bibliometrical indicators for European research institutes based on their research profile. Scientometrics, 79(2), 377-388.
[7] Albarrán, P., Crespo, J. A., Ortuño, I., & Ruiz-Castillo, J. (2011). The skewness of science in 219 sub-fields and a number of aggregates. Scientometrics, 88(2), 385-397.
[8] Bordons, M., Aparicio, J., González-Albo, B., & Díaz-Faes, A. A. (2015). The relationship between the research performance of scientists and their position in co-authorship networks in three fields. Journal of Informetrics, 9(1), 135-144.
[9] داورپناه، م. (1389). شاخص توان علمی: الگویی برای سنجش و مقایسه باروری علمی رشته‌ها. فصلنامه کتابداری و اطلاع رسانی، 13(3)، 20-30.
[10] رضایی، م.؛ نوروزی چاکلی، ع. (1393). شناسایی و اعتبارسنجی شاخص‌های ارزیابی بهره‌وری پژوهشی پژوهشگران ایران. پژوهشنامه پردازش و مدیریت اطلاعات، 30(1)، 3-39.
[11] رضایی، م. (1391). شناسایی و اعتبارسنجی شاخص‌های ارزیابی بهره‌وری پژوهشی پژوهشگران و دانشگاه‌های کشور. تهران: دانشگاه شاهد. پایان‌نامه کارشناسی‌ارشد.
[12] Waltman, L., van Eck, N. J., van Leeuwen, T. N., Visser, M. S., & van Raan, A. F. (2011). Towards a new crown indicator: Some theoretical considerations. Journal of Informetrics, 5(1), 37-47.
[13] Waltman, L., van Eck, N. J., van Leeuwen, T. N., Visser, M. S., & van Raan, A. F. (2011). Towards a new crown indicator: An empirical analysis. Scientometrics, 87(3), 467-481.
[14] Waltman, L., van Eck, N. J., van Leeuwen, T. N., & Visser, M. S. (2013). Some modifications to the SNIP journal impact indicator. Journal of Informetrics, 7(2), 272-285.
[15] Waltman, L., & van Eck, N. J. (2015). Field-normalized citation impact indicators and the choice of an appropriate counting method. Journal of Informetrics, 9(4), 872-894.
[16] Ruiz-Castillo, J., & Waltman, L. (2015). Field-normalized citation impact indicators using algorithmically constructed classification systems of science. Journal of Informetrics, 9(1), 102-117.
 [17] Torres-Salinas, D., Moreno-Torres, J. G., Delgado-López-Cózar, E., & Herrera, F. (2011). A methodology for Institution-Field ranking based on a bidimensional analysis: the IFQ 2 A index. Scientometrics, 88(3), 771-786.
[18] Dorta-González, P., Dorta-González, M. I., & Suárez-Vega, R. (2015). An approach to the author citation potential: Measures of scientific performance which are invariant across scientific fields. Scientometrics, 102(2), 1467-1496.
[19] Chen, K. H., Tang, M. C., Wang, C. M., & Hsiang, J. (2015). Exploring alternative metrics of scholarly performance in the social sciences and humanities in Taiwan. Scientometrics, 102(1), 97-112.
[20] Schubert, A., & Braun, T. (1996). Cross-field normalization of scientometric indicators. Scientometrics, 36(3), 311-324.
 [21] نوروزی‌چاکلی، ع. (1390). آشنایی با علم‌سنجی (مبانی، مفاهیم، روابط و ریشه‌ها). تهران: سازمان مطالعه و تدوین کتب علوم انسانی دانشگاه‌ها (سمت).
[22] Kyvik, S. (1989). Productivity differences fields of learning, and Lotka's law. Scientometrics, 15(3-4), 205-214.
[23] دانایی‌فرد، ح. (1388). تحلیلی بر موانع تولید دانش در حوزه علوم انسانی: رهنمودهایی برای ارتقاء کیفیت ظرفیت سیاست ملی علم ایران. سیاست علم و فناوری، 2(1)، 1-16.
سیاست علم و فناوری
دوره 8، شماره 4
بهمن 1394
صفحه 31-40

فایل ها

هم رسانی

ارجاع به این مقاله

آمار