¿Cómo evaluar las revistas científicas? Acerca de las limitaciones del Índice de Impacto por citas

How to evaluate scientific journals? About limitations of the citation factor impact

¿Como avaliar periódicos científicos? Sobre as limitações do Fator de Impacto da citação

¹Profesor Agregado Facultad de Derecho, Carrera de Relaciones Laborales. Investigador Activo SNI.

Existen miles de revistas científicas en todo el mundo, muchas de ellas surgidas a partir de las mayores posibilidades generadas por las nuevas tecnologías de la información. Tal cantidad ha obligado en los últimos años a varias agencias del ecosistema de publicaciones científicas a tener indicadores objetivos de calidad. Lo que a priori podría considerarse una iniciativa muy razonable, en los hechos se ha convertido en un asunto muy debatido en el mundo académico por las ineludibles aspectos vinculados al poder que se asoman a la hora de definir quiénes y cómo se establecen los criterios de evaluación. En el presente artículo sostendremos una posición crítica respecto a los modelos hegemónicos en el mundo, impulsando una mirada alternativa que tenga en cuenta las realidades de los países hispanoparlantes así como los diferentes puntos de partida de las ciencias sociales respecto a las denominadas “ciencias duras”.

Palabras clave: factor de impacto, revistas científicas, investigación científica.

There are thousands of scientific journals around the world, many of them arising from greater possibilities by the ICT. A lot of them, should have build objective indicators of quality in the past years by several agencies of the scientific publications ecosystem. It was a reasonable initiative? In fact it has become a one of the most debated topic in academia by the inescapable aspects linked to the powerthat is in defining who and how establish the measure criteria. In this article we sustain a critical position regarding the hegemonic world models, promoting an alternative look that takes into account the realities of Spanish-speaking countries as well as the different starting points of the sciences social about the “hard sciences”.

Nos temos milhas de revistas científicas em todo o mundo, muitas das quais surgiram a partir das maiores possibilidades geradas pelas novas tecnologias de informação. Tal quantidade levou a que nos últimos anos, várias agências do ecossistema de publicações científicas propusieran indicadores de qualidade. O que a priori pode-se considerar uma questão muito razoável, em contrapartida, tornouse um problema muito debatido em todo o mundo, por questões profundamente ligadas ao poder. En el presente artigo expongo uma posição crítica sobre os modelos hegemônicos em el mundo, impulsando uma perspectiva alternativa, que tenha em

conta as realidades dos países hispanoparlantes assim como os diferentes pontos de partida das ciências sociais sobre as denominadas “ciências duras”

Palavras-chave: fator de impacto, revistas científicas, pesquisa científica

El pasado 15 de diciembre de 2017 la Asociación Uruguaya de Revistas Académicas (AURA) organizó un Panel para debatir cómo se evalúan a los investigadores nacionales según dónde publican sus resultados de investigación.

Lo más destacado de esa interesante jornada de trabajo vino por parte de las autoridades del Sistema Nacional de Investigadores, quienes claramente establecieron que en Uruguay no aplican los criterios hegemónicos gestados en el primer mundo y para las ciencias básicas, que consiste básicamente en evaluar la calidad de las revistas a partir del denominado “factor de impacto”. Según las declaraciones de Gerardo Caetano y Pablo Chilibroste, a la hora de evaluar las publicaciones de nuestros científicos, no se toman en consideración los habituales rankings que diseñan algunas multinacionales del sector. Respecto a si hay alguna diferencia de valor entre publicar en revistas nacionales o extranjeras, los delegados de la Comisión de Evaluación del SNI fueron categóricos: “No hay ninguna regla, ni criterio que diga que las publicaciones extranjeras valen más que las publicaciones nacionales” (AURA, 2017). Dicho de otra manera, todas las revistas en la medida que sean arbitradas por pares tienen el mismo peso. Se esperará de un investigador entonces, que publique buenas producciones dentro y fuera del país, en una amplia gama de revistas siendo el criterio de arbitraje el más decisivo.

Esta posición, que compartimos, sin duda rompe con los esquemas más habituales entre las agencias e instituciones académicas que evalúan a sus integrantes, donde impera el criterio de puntear más alto a quienes publican en revistas con mayor impacto. Si bien la enorme cantidad de revistas en todo el mundo⁽¹⁾ obliga a nuestras instituciones a analizar la calidad de las mismas, la posición que defendemos en este artículo es que el impacto por citas, si bien atractivo en un principio, no es conveniente ni justo como criterio de aplicación en el campo de las ciencias sociales y en el contexto de países de la periferia del mundo. En las siguientes líneas explicaremos porqué debemos marcar distancias respeto al FI y desde dónde podríamos comenzar a discutir en Uruguay posibles estrategias para clasificar nuestras revistas.

En los últimos años se ha divulgado el denominado FACTOR DE IMPACTO que considera la cantidad de citas que cada revista ha tenido en un período de tiempo (por lo general dos años). Destaca en tal sentido el Journal Citation Report (JCR) de la empresa Thomson Reuters. Teniendo en cuenta sus limitaciones y el hecho que muchas instituciones obligan a sus investigadores a publicar en las revistas mejor rankeadas como condición para mantener el estatus de investigador, se ha extendido el malestar de muchos académicos (“publish or perish” dicen en tierras anglosajonas) que consideran a este mecanismo tan inapropiado como impertinente. ¿Razones? Veamos algunas en formato de pregunta:

1) ¿Es el número de citas el indicador más apropiado? En la tradición científica se esgrime como argumento que toda producción científica bebe de fuentes, por lo tanto es de rigor citar los antecedentes que influyen en los nuevos resultados. En los hechos, sin embargo, se cita por varias razones y no solo para mostrar otras valiosas investigaciones que avalan o anteceden a las nuestras. Por ejemplo, a veces citamos para distanciarnos de una posición y/o autor. A manera de ejemplo, en ciencias sociales Marx es un típico autor que se cita muchísimo, pero tantas veces para justificar un estudio científico como para mostrarlo como completamente errado en sus visiones. Con eso queremos decir que no es válido partir de la base que las citas por sí mismas sean un indicador de calidad ni de una revista ni de un autor. Además, las citas no son un indicador justo, pues su número depende de las áreas temáticas: por ejemplo, se sabe que las disciplinas se citan más que las subdisciplinas; y las grandes áreas temáticas se citan más que las sub áreas; lo mismo con las nuevas temáticas científicas respecto a las tradicionales, y todo ello por la sencilla razón que hay mayor cantidad de investigadores en áreas y temáticas consolidadas. Es así que un texto de “sociología de la educación” tendrá normalmente mayor potencialidad de ser citado que otro sobre “el impacto de las pruebas PISA en alumnos del ciclo básico del Departamento de Tacuarembó”.

Por lo demás, siguiendo con las limitaciones de estos sistemas, lamentablemente es más chic citar a un colega conocido que a uno desconocido (lo que Robert Merton denominó el “efecto Mateo”), y en la misma línea, se cita más a las revistas del primer mundo antes que a las del tercer mundo, o incluso hay quienes prefieren citar más a autores clásicos muertos hace siglos que a colegas potencialmente “peligrosos” en la medida que sean más citados que uno mismo. Un capítulo aparte es el hecho que se cite más en inglés que en castellano, a pesar que el español es la segunda lengua materna del mundo tras el mandarín. De hecho, las principales bases de datos están sesgadas hacia las revistas publicadas en inglés y más aún: “La supremacía de la lengua inglesa en el campo científico es un hecho afianzado… y no tiene visos de cambiar durante las próximas décadas” (Miró et alt, 2016, 34).

2) ¿Qué límites tiene el factor de citas desde el punto de vista metodológico?

- El factor se aplica a la Revista en su conjunto, pero claramente no todos sus artículos reciben la misma cantidad de citas. Hasta es probable que algunos artículos nunca sean citados. O sea, publicamos en una revista por su supuesto alto impacto, pero quizá alguno de nuestros artículos no tenga impacto alguno entre colegas.

- No distingue ni el tipo de texto que es citado, ni motivos o razones que llevan a su citación. Como dijimos antes, quizá la cita sea a los efectos de mantener distancia y hasta confrontación.

-Si solo tomamos en cuenta las publicaciones en un determinado período de tiempo (p.e. los últimos dos años), dejamos de lado las eventuales citas a publicaciones anteriores.

-Este sistema contribuye a una suerte de mecanismo de “auto citaciones”: sabemos de revistas que escriben a sus potenciales autores para que hagan el esfuerzo de citar artículos ya publicados en ediciones pasadas. También es conocido en el mundillo de los académicos ciertos “pactos de reciprocidad”, por la cuál algunos autores se citan entre sí.

- Es un sistema endogámico, pues como dice Herrán: “el índice de impacto de una revista se define en función de las citas recibidas de autores que publican en las revistas de impacto indexadas que componen las bases de datos que publican los propios índices” (Herrán, 2012, 7). Por desgracia, las citas que se generan en otros ámbitos fuera de estos sistemas cerrados no son tomadas en cuenta.

3) ¿Las revistas de ciencias sociales son especialmente castigadas por estos indicadores de moda? Si. Como señala incluso la propia Thomson Reuters, las citas en ciencias sociales y humanidades suelen darse con otros tiempos respecto a las ciencias básicas. Además, claramente en ciencias sociales la obsolescencia de las citas no se compara con las ciencias básicas. Pensemos por ejemplo en los estudios históricos y la dificultad de contar allí con citas recientes. Veamos dos datos contundentes en este sentido. En primer lugar, el índice de Price, que mide el porcentaje de referencias con cinco años de antigüedad o menos, en relación al total de referencias citadas, por ejemplo, es de 41,9% en Inmunología y de 27,9% en ciencias sociales (Arias, 2017, 15). En segundo lugar, Herrán citando a Hamilton, señala que “el 75% de los trabajos publicados en revistas de Ciencias Sociales no son nunca citados” y ese porcentaje aumenta al 98% en Humanidades (Herrán, 2012, 13).

Hay otro aspecto que también perjudica a las revistas de ciencias sociales y es referido a cómo determinada concepción de ciencia termina afectando los requisitos para ingresar a los catálogos más demandados. Me refiero por ejemplo al requisito de mencionar la fuente de financiación de la investigación, lo que indica un sesgo hacia la investigación experimental en detrimento de la investigación teórica. Recordemos que en ciencias sociales, muchos artículos son fundamentalmente reflexivos y no implican necesariamente inversiones para trabajo de campo y de laboratorio.

4) ¿Son realmente de mayor calidad las revistas rankeadas en instrumentos como JCR? No. Ese es solo un supuesto. Desde el punto de vista científico lo único que se puede afirmar con esas revistas, es que son las más citadas de acuerdo a criterios metodológicos que como vimos, presentan algunas limitaciones pero también algunos riesgos desde el punto de vista de qué ciencia pretendemos construir y cómo queremos comunicar nuestros conocimientos. Y es que muchas veces con el afán de guiarnos solo por indicadores perdemos el rumbo acerca de cómo podemos contribuir mejor como investigadores al bien común (nótese cómo la publicación del libro ha perdido estatus frente a la publicación del paper; o cómo con la propensión a publicar en inglés perdemos de referencia a nuestros potenciales lectores más cercanos). A eso se suma lo que señala Mato, es decir, cómo “la presión por publicar” altera el trabajo de los investigadores y afecta a la calidad científica, “convirtiendo lo que era un medio en un fin” (Mato, 2017). El resultado es que a veces, terminamos cortando artículos con resultados fragmentados solo para que un trabajo que podría publicarse como una obra completa, dé lugar a dos o tres artículos en revistas científicas. ¿Eso es fomentar la calidad? Más bien creo que es fomentar conductas no deseadas.

Claramente, además, existen revistas de mucha calidad que por no entrar en las reglas de juego ya impuestas, quedan por fuera de esos circuitos hegemónicos. Pero aún seguirán siendo revistas de alta calidad. En esta línea, digamos que otros eventuales criterios de calidad podrían no estar correlacionados a los criterios manejados por el JCR. Un estudio de correlaciones llevado adelante por Matías Gámez aplicado a revistas de psicología, demostró en tal sentido que revistas muy bien rankeadas en el JCR estaban muy mal posicionadas de acuerdo a los criterios de calidad de Latindex, que claramente son de otra naturaleza (Gámez, 2013). Dicho de otra manera, de cómo midamos la calidad dependerá qué resultados obtengamos.

5) ¿Por qué debemos jugar con las reglas de juego que otros imponen? Las reglas del juego han sido desarrolladas por quienes sacan mayor partido de ellas (primer mundo, lengua inglesa, ciencias básicas). Adoptarlas desde las periferias parece una política desacertada pues las probabilidades de que nuestras revistas lleguen a estar entre las de mayor ranking del mundo parece hoy más que una utopía, una quimera. Es así que cada vez mayor cantidad de académicos reclaman sistemas de mediciones locales.

Nuestra posición, en ese sentido, es que debemos avanzar hacia mecanismos de evaluación de calidad de las revistas sin las presiones del entorno que responden a intereses concretos que muchas veces son claramente anticientíficos, caso de los intereses meramente mercantilistas. Una posibilidad es erradicar los criterios basados en las citas y pasar a criterios centrados en las políticas editoriales, con especial énfasis en los procesos de revisión. Los criterios de calidad que maneja Latindex nos ayudaría mucho en tal sentido. Latindex es un sistema de evaluación creado para los países iberoamericanos. Para entrar a su Catálogo hay que cumplir determinados criterios de calidad (se evalúan 36 ítems en revistas en línea y 33 en revistas en papel). Algunos de ellos como el sistema de arbitraje, la presencia de evaluadores externos y autores externos, son de especial pertinencia para pensar en criterios de calidad de las revistas. Obviamente que el desafío será controlar que efectivamente esas políticas editoriales se cumplan en tiempo y forma.

El auge de las revistas científicas en todo el mundo, impulsadas entre otras razones por el avance de las TICs y por los nuevos criterios de evaluación de los investigadores, ha puesto en la mesa del debate académico la forma en cómo evaluamos su calidad. Lentamente, metodologías basadas en el cálculo de citas como las que lleva adelante el Factor de Impacto vienen siendo cuestionadas por amplios sectores que impulsan miradas contra hegemónicas a este fenómeno.

Considerando las limitaciones del FI y su sesgo contra las producciones de ciencias sociales generadas en países de la periferia del mundo, sostenemos la necesidad de una nueva mirada que logre evaluar la calidad de las revistas de manera alternativa. En tal sentido, confiamos más en un viraje hacia la evaluación centrada en los procesos de revisión de nuestras revistas. Para el caso nacional, la presencia de una asociación como AURA podría ser clave para instrumentar sistemas de auto certificación participativa de manera de asegurar un control adecuado sobre aquellos indicadores que sean elegidos como los más pertinentes para una correcta evaluación de calidad.

Arias, F. (2017). Obsolescencia de las referencias citadas: un mito académico persistente en la investigación universitaria venezolana. E-Ciencias de la Información, 7(1),15-30.

AURA (2017). Evaluación de los investigadores según dónde publican sus artículos de investigación. Mesa Redonda, inédito.

Benavent, R., González, A. y Valderrama, J. C. (2007). El factor de impacto de las revistas científicas: limitaciones e indicadores alternativos. Recuperado de http://eprints.rclis.org/9489/

Gámez, M. (2013). La evaluación de revistas de psicología: correlación entre el factor de impacto, el índice h y los criterios de Latindex. Investigación Bibliotecológica, 27(61), 15-27.

Herrán, A. (2012). Algunas Críticas a la Evaluación del Profesorado Universitario Centrada en el Impacto. En A. de la Herrán y J. Paredes (Coords.), Promover el cambio pedagógico en la universidad. Madrid: Pirámide (Col. Pedagogía y Didáctica).

Miró, Ó., Fernández, I. y González, J. (2016). Presencia y relevancia de las revistas científicas editadas en lengua española incluidas en el repertorio JCR. Tremédica, 17(43), 34-45.

1Solo la base de datos de Web of Science recoge información de más de 11.000 revistas científicas de todo el mundo. Cfr. Journal Impact Factor (2017).