ARTICLE
TITLE

OpenUP Measuring Research Impact: Concepts, Methods, Limitations and Solutions

SUMMARY

Watch the VIDEO.The immediate Return on Investment (ROI) for basic scientific research is scientific impact – improvements in knowledge of our physical, biological and social world. The Return on Investment (ROI) for applied research and the long-term Return on Investment for basic research is societal impact (i.e. impact on health, environment, the economy, etc.). However, many of these impacts are hard to measure and may only be apparent decades after the original investment. This creates demand from funders and policy makers for metrics that predict impacts before they can be measured. Here we define a preliminary conceptual framework describing the chain of events leading from the outputs of basic research  (publications, data, software, cell lines, equipment, methodologies, theories etc.) to the outputs of applied research (products, treatments, technology components etc.) to societal, financial, health and environmental impact. We go on to discuss how these impacts are currently measured in the short term (days and weeks), the medium term (years) and the long term (decades), and to identify the main providers of impact metrics. We highlight the different ways in which research metrics are used by different categories of user (researchers, institutions, national and European policymakers). Finally, we discuss the limitations of current metrics and possible solutions.

KEYWORDS

 Articles related

Producción científica de los docentes de Estomatología en Ciego de Ávila del 2010 al 2019 Producción científica de los docentes de Estomatología en Ciego de Ávila del 2010 al 2019El objetivo de la investigación fue caracterizar la producción científica de los docentes de Estomatología de la Universidad de las Ciencias Médicas de Ciego de Ávila, publicada en revistas científicas indexadas en bases de datos bibliográficas nacionales e internacionales del 2010 al 2019. Se realizó un estudio observacional, descriptivo transversal, mediante un análisis bibliométrico, con los indicadores referidos a los artículos y los autores. Se hizo la búsqueda manual a partir de los nombres de cada docente en los metabuscadores Google, Google Académico y Google Metrics por separado y en las 104 revistas cubanas de las ciencias de la salud editadas por la Editorial de Ciencias Médicas entre 2010 y 2019. Se publicaron 80 artículos, el año 2015 fue el de mayor cantidad (16). El 61,7 % de estos fueron artículos originales. Los 67 docentes del claustro tienen autoría y diez resultaron más productivos. El 46,2 % de las publicaciones fueron citadas. El 91,2 % de los artículos fueron publicados en revistas indexadas en bases de datos especializadas. El tipo de estudio que predominó fue el observacional (31). El índice de colaboración internacional y nacional fue de 0,04. La media de autor por artículo es cuatro. La producción científica y el impacto reflejado en la citación es bajo. La mayoría de los artículos se publicaron en revistas indexadas en bases de datos especializadas de reconocimiento latinoamericano, fueron artículos originales; prevaleció la materia estomatología, el tipo de estudio observacional, la baja colaboración internacional y la autoría múltiple. 

María de Jesús Pérez-Herrera,Miriam Estrada-Gómez,Iris Morgado-Bonachea    



Howard I. Browman    

See a video of the presentation.Quantifying the relative performance of individual scholars, groups of scholars, departments, institutions,  provinces/states/regions and countries has become an integral part of decision-making over research policy,&... see more


Stephan Buettgen    

>> See video of presentation (26 min.) Citation counts have long been the standard measure of academic research usage and impact. Specifically, published articles in prominent journals citing other published articles in other prominent journal... see more


Terry Bucknell    

>> See video of presentation (35 min.) Monitoring and measuring the success of published research has long been a problematic area for institutions, funders and publishers. Recent government reviews, such as the Research Excellence Framework i... see more


Roberta Ruggieri, Fabrizio Pecoraro, Marianna Nobile, Rosa Di Cesare    

Over the last decade academic and research libraries have had a fundamental role in supporting Open access practices, in the construction of Institutional repositories, in digitization programs and in the development of additional services for their comm... see more