Hospital Universitário Pedro Ernesto - Universidade do Estado do Rio de Janeiro, Rio de Janeiro, RJ - Brasil
Em contribuição aos comentários previamente encaminhos sobre o artigo de Thomas e cols. gostaríamos de apresentar as seguintes observações1. Concordamos, parcialmente, com a opinião expressa pelos autores na Conclusão, uma vez que a avaliação da qualidade de publicações por pares pode ser decisiva em situações nas quais a análise meramente quantitativa seja capciosa. Com efeito, a emissão de uma ponderação criteriosa sobre o texto de um artigo é pré-requisito para sua publicação. Gostaríamos de citar uma célebre pesquisa para destacar a importância da avaliação subjetiva.
Os químicos Stanley Pons, aluno de doutorado na Universidade de Utah, e Martin Fleischmann, seu orientador, anunciaram, em 1989, o que seria a mais revolucionária descoberta de todos os tempos: a fusão a frio, fonte inesgotável de energia limpa. O trabalho foi publicado como comunicação preliminar naquele mesmo ano e seguiram-se inúmeras tentativas de replicação do experimento2. No total, o artigo mereceu 629 citações em publicações2!
Um verdadeiro
Assim, medir a relevância de um artigo científico somente com base no fator de impacto pode levar a conclusões precipitadas quanto ao mérito de uma dada publicação. Nesse sentido, em 2010, o Conselho Nacional de Pesquisa Médica do governo australiano decidiu abandonar a utilização do fator de impacto na análise das solicitações para bolsas de auxílio à pesquisa e à pós-graduação4. A avaliação subjetiva criteriosa sempre necessária para dirimir situações conflitantes. Paz e bem.
Concordamos que a validação da qualidade científica de um trabalho, utilizando-se exclusivamente os índices bibliométricos atuais, não está isenta de controvérsias. Em 2005, Andrew Coats fez uma profunda reflexão sobre a dificuldade de se encontrar um índice bibliométrico capaz de avaliar fielmente o impacto da produção acadêmica, numa época em que a informática já se mostrava grande aliada da divulgação do saber cientifico1. O autor lançou mão da comparação entre os dez artigos mais citados e aqueles mais baixados pela internet, entre o total de manuscritos publicados na
A partir dessa premissa, surgiu a dúvida do que é mais relevante, o maior número de citações ou de acessos via internet. Desafortunadamente, essa resposta ainda não foi obtida. Os editores, atentos ao modernismo das publicações pela internet, resolveram parcialmente o problema, disponibilizando também nos sítios de suas revistas os artigos mais acessados. Por sua vez, o
O número de acessos a um determinado artigo, entretanto, também está sujeito a vieses. Assim, seriam pertinentes algumas colocações: Todos os acessos correspondem à leitura completa do manuscrito? Caso seja lido, seu conteúdo é realmente relevante? Quantos "desses lidos" mereceriam ser citados? Isso mostra a dificuldade de se avaliar a qualidade dos acessos em relação às citações de publicações científicas e põe em questão a fidelidade desse parâmetro bibliométrico.
Finalmente, o objetivo do artigo "Uso do fator de impacto e do índice H para avaliar pesquisadores e publicações" foi o de mostrar aos leitores da revista como se calcula o Fator de Impacto e o índice H, uma vez que são esses os índices bibliométricos mais usados pelas nossas agencias de fomento e instituições de ensino, o que justifica a disseminação do seu conhecimento2.
Petronio Generoso Thomaz
Renato S. Assad
Luiz Felipe P. Moreira
Paulo Roberto Benchimol Barbosa Rua Pompeu Loureiro, 36/702 - Copacabana 22061-000 - Rio de Janeiro, RJ - Brasil E-mail:
Artigo recebido em 21/03/11; revisado recebido em 21/03/11; aprovado em 24/03/11.
Hospital Universitário Pedro Ernesto - Universidade do Estado do Rio de Janeiro, Rio de Janeiro, RJ - Brazil
In contribution to the comments previously addressed on the paper by Thomas et al we would like to present the following insights1. We partly agree with the view expressed by the authors in the Conclusion, since the evaluation of the quality of publications by peers can be decisive in situations in which merely quantitative analysis may be misleading. Indeed, issuing of an unbiased opinion on a paper is a prerequisite for publication. We would like to quote a famous research to highlight the importance of criterious peer's evaluation.
Chemists Stanley Pons, a doctoral student from the University of Utah and Martin Fleischmann, his advisor, announced in 1989, which would be the most revolutionary discovery of all times: cold fusion, an inexhaustible source of clean energy. The paper was published as a preliminary communication in that year and was followed by a number of attempts to replicate the experiment2. Altogether, the article received 629 citations2!
A true scientific best-seller? Not at all. In fact, the alleged discovery has never been replicated. The quotations came from articles that strongly disputed the validity of both the experiment and the results published. Later that same year, the research a received formal communication from the U.S. government, revised and updated in 1999, putting down the way the research had been conducted and published: cold fusion has never existed3!
Thus, measuring the relevance of a scientific article solely based on the impact factor can lead to inappropriate conclusions about the merit of a particular publication. Thus, in 2010, the National Council of Medical Research of the Australian government decided to abandon the use of impact factor in reviewing requests for grants to aid research and post-graduate studies4. Careful peer's evaluation is always needed to resolve conflict situations.
We agree that the validation of the scientific quality of paper, using only the current bibliometric indexes, is not exempt of controversy. In 2005, Andrew Coats made a profound reflection on the difficulty of finding a bibliometric index able to assess accurately the impact of academic production at a time when the computer systems were already a great aid of the dissemination of scientific knowledge1. The author compared the ten most quoted articles and the most downloaded over the Internet, among the total number of manuscripts published in International Journal of Cardiology within 12 months. His conclusion was that there was a parallelism between these two groups of papers. In general, the classical quotations favor the original papers, while the most accessed on the Internet tend to be those papers that include reviews, new themes and highlights, such as research on stem cells or treatment of rare diseases.
Assuming that, a question arose of what is most important, the higher number of quotations or Internet access. Unfortunately, this response has not yet been obtained. The editors, aware of the modernism of publications on the Internet, partly solved the problem by posting on the websites of their journals the most accessed papers. In turn, the Journal of Citations, from Thompson Reuters, continues to publish annually the impact factor of journals indexed in its base, taking into account the number of citations of papers.
The number of accesses to a particular paper, however, is also subject to biases. Thus, it is worth making a few questions: Do all accesses correspond to the full reading of the manuscript? If read, is its content truly relevant? How many of these "papers read" deserve to be quoted? This shows the difficulty of assessing the quality of accesses against citations of scientific publications and calls into question the reliability of this bibliometric parameter.
Ultimately, the objective of the article "Using the impact factor and the H index to assess researchers and publications" was to show the readers how to calculate the Impact Factor and the H index, since these are the bibliometric indexes most commonly used by our development agencies and educational institutions, which justifies the dissemination of their knowledge2.
Paulo Roberto Benchimol Barbosa Rua Pompeu Loureiro, 36/702 - Copacabana 22061-000 - Rio de Janeiro, RJ - Brazil E-mail:
Manuscript received March 21, 2011; revised manuscript received March 21, 2011; accepted on March 24, 2011.
Hospital Universitário Pedro Ernesto - Universidade do Estado do Rio de Janeiro, Rio de Janeiro, RJ - Brasil
En contribución a los comentarios previamente encaminados sobre el artículo de Thomas et al nos gustaría presentar las siguientes observaciones1. Concordamos, parcialmente, con la opinión expresada por los autores en la Conclusión, una vez que la evaluación de la calidad de publicaciones por pares puede ser decisiva en situaciones en las cuales el análisis meramente cuantitativo sea capcioso. En efecto, la emisión de una ponderación criteriosa sobre el texto de un artículo es prerrequisito para su publicación. Nos gustaría citar una célebre investigación para destacar la importancia de la evaluación subjetiva.
Los químicos Stanley Pons, alumno de doctorado en la Universidad de Utah, y Martin Fleischmann, su orientador, anunciaron, en 1989, lo que sería el más revolucionario descubrimiento de todos los tiempos: la fusión en frío, fuente inagotable de energía limpia. El trabajo fue publicado como comunicación preliminar aquel mismo año y siguieron innumerables tentativas de replicación del experimento2. En total, ¡El artículo mereció 629 citaciones en publicaciones2!
¿Un verdadero best-seller científico? No. En verdad, el pretendido descubrimiento nunca fue replicado. Las citaciones vinieron de artículos que, en su mayoría, rechazaron vehementemente la validez tanto del experimento como los resultados publicados. Aun aquel mismo año, la investigación mereció comunicado formal del gobierno norteamericano, revisado y actualizado en 1999, desmereciendo la manera como había sido conducida y divulgada: ¡La fusión en frío nunca existió3!
Así, medir la relevancia de un artículo científico solamente con base en el factor de impacto puede llevar a conclusiones precipitadas en cuanto al mérito de una publicación dada. En ese sentido, en 2010, el Consejo Nacional de Investigación Médica del gobierno australiano decidió abandonar la utilización del factor de impacto en el análisis de las solicitaciones para becas de apoyo a la investigación y a la post graduación4. La evaluación subjetiva criteriosa es siempre necesaria para dirimir situaciones conflictivas. Paz y bien.
Concordamos que la validación de la calidad científica de un trabajo, utilizando exclusivamente los índices bibliométricos actuales, no está exenta de controversias. En 2005, Andrew Coats hizo una profunda reflexión sobre la dificultad de encontrar un índice bibliométrico capaz de evaluar fielmente el impacto de la producción académica, en una época en que la informática ya se mostraba gran aliada de la divulgación del saber cientifico1. El autor utilizó la comparación entre los diez artículos más citados y aquellos más bajados de Internet, entre el total de manuscritos publicados en la International Journal of Cardiology, en un período de 12 meses. Su conclusión fue que no hubo un paralelismo entre esos dos grupos de artículos. De un modo general, las citaciones clásicas favorecen los artículos originales, al tiempo que los más visitados en Internet tienden a ser aquellos artículos que abarcan revisiones, temas nuevos y destacados, como las investigaciones sobre células tronco o tratamiento de enfermedades raras.
A partir de esa premisa, surgió la duda de que es más relevante, el mayor número de citaciones o de visitas vía Internet. Desafortunadamente, esa respuesta aun no fue obtenida. Los editores, atentos al modernismo de las publicaciones en Internet, resolvieron parcialmente el problema, haciendo disponibles también en los sitios de sus revistas los artículos más visitados. A su vez, el Journal of Citations, de la base Thomson Reuters, continúa publicando anualmente el factor de impacto de las revistas indexadas en su base, llevando en consideración el número de citaciones de los artículos.
El número de visitas a un determinado artículo, entre tanto, también está sujeto a sesgos. Así, serían pertinentes algunas colocaciones: ¿Todas las visitas corresponden a la lectura completa do manuscrito? En el caso de que sea leído, ¿Su contenido es realmente relevante? ¿Cuantos "de esos leídos" merecerían ser citados? Eso muestra la dificultad de evaluar la calidad de las visitas en relación a las citaciones de publicaciones científicas y pone en cuestión la fidelidad de ese parámetro bibliométrico.
Finalmente, el objetivo del artículo "Uso del factor de impacto y del índice H para evaluar investigadores y publicaciones" fue el de mostrar a los lectores de la revista como se calcula el Factor de Impacto y el índice H, una vez que son esos los índices bibliométricos más usados por nuestras agencias de fomento e instituciones de enseñanza, lo que justifica la diseminación de su conocimiento2.
Paulo Roberto Benchimol Barbosa Rua Pompeu Loureiro, 36/702 - Copacabana 22061-000 - Rio de Janeiro, RJ - Brasil E-mail:
Artículo recibido el 21/03/11; revisado recibido el 21/03/11; aceptado el 24/03/11.