Instituto do Coração HCFMUSP - São Paulo, SP - Brasil
Com a crescente demanda de insumos para financiamento de pesquisas científicas, tornou-se necessária a criação de mecanismos de avaliação da qualidade acadêmico-científica, como forma de prestigiar instituições e indivíduos capazes de produzirem pesquisas de ponta, garantindo, assim, um investimento profícuo das agências de fomento à pesquisa1. Nesse novo cenário, a avaliação tradicional por pares apresenta deficiências inerentes aos aspectos subjetivos e corporativistas da avaliação da produção acadêmica. Índices qualitativos e quantitativos de avaliação devem ser somados a ela, sendo vistos por muitos como mais reprodutíveis e menos sujeitos a vieses pessoais2. O número de publicações, das citações e da média de citações por trabalho publicado, tomados isoladamente, são índices bibliométricos tradicionais que apresentam deficiências, pois não retratam a informação combinada dos trabalhos publicados com as respectivas citações3. A tradicional avaliação do número de trabalhos publicados, inicialmente amplamente aceita e utilizada, deixa de ser suficiente como forma de avaliação da pujança científica do pesquisador. A qualidade das publicações passa a ser vista como fator diferencial. Assim, ganha destaque a avaliação do interesse despertado pelo trabalho ou linha de pesquisa dentro da comunidade científica, fator esse que reflete no número de citações feitas a um determinado trabalho.
A avaliação da qualidade dos periódicos, utilizados como meio de divulgação da pesquisa cientifica, vem sendo empregada em nosso meio como uma das formas de análise dos programas de pós-graduação, emanando a conhecida lista
Descrito em 2005 por Jorge E. Hirsch, como uma ferramenta para determinar a qualidade relativa dos trabalhos de físicos teóricos, o Índice H passou a ser muito utilizado no meio científico, como forma de mensurar a produtividade e o impacto do pesquisador, sendo, inclusive, incorporado à Plataforma Lattes do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq)5. Neste artigo, discutimos o fator de impacto como forma de avaliação dos periódicos científicos e o Índice H como forma de avaliação do pesquisador. Outros índices bibliométricos não serão alvo deste texto, mas cabe salientar que apenas o fator de impacto e o Índice H isoladamente podem não ser suficientes para cumprir a tarefa de avaliar periódicos, artigos e autores.
Proposto por Eugene Garfield, em 19556, o Fator de Impacto (FI) começou a ser utilizado como instrumento de avaliação da qualidade das publicações a partir dos anos sessenta, tendo sido usado como critério de seleção dos periódicos a serem indexados pelo
Hoje, todo autor considera o valor do FI para escolher o periódico que possa dar maior visibilidade ao trabalho. Os bibliotecários veem o FI como um parâmetro de seleção dos títulos de maior interesse científico e que, portanto, deverão compor o acervo das instituições. Paralelamente, os editores acompanham atentos os FI dos periódicos, conscientes da importância desse índice como fator de influência na captação de recursos financeiros e na atração de bons trabalhos a serem publicados. Nas agências de fomento, os responsáveis pela elaboração das políticas científicas também utilizam esse índice para selecionar pesquisadores e instituições de maior mérito, que melhor atenderiam às demandas das instituições.
Para o cálculo do FI de um determinado ano, leva-se em consideração o número de citações recebidas naquele ano pelos artigos publicados pelo periódico nos dois anos precedentes, dividido pelo número de artigos publicados pelo periódico no mesmo período (
Portanto, o fator de impacto é eficiente em avaliar a qualidade de um periódico, não sendo, porém, útil na análise da qualidade científica de um artigo isolado, de um pesquisador ou de uma instituição8-10.
Para o cálculo do FI do JCR, são considerados apenas artigos originais e artigos de revisão. Cartas ao editor ou editoriais não entram no denominador do cálculo. Por outro lado, eles podem ser citados; portanto, são considerados no numerador do cálculo do FI. Revistas como a
Outro viés que influencia o cálculo do fator de impacto está relacionado às diferentes áreas do conhecimento ou até mesmo subáreas. O número de referências citadas por artigo (densidade das citações) pode ser bastante diferente, como, por exemplo, artigos sobre ciências exatas, que têm menor densidade de citações que aqueles ligados às ciências da saúde. Isso explica em parte por que os FI dos periódicos de ciências da saúde são, em média, muito maiores em comparação àqueles de ciências exatas, tais como da área de matemática12.
O FI publicado anualmente pela JCR, ao levar em consideração somente as citações de um periódico ocorridas durante dois anos consecutivos, tende a beneficiar aqueles periódicos que publicam em áreas cujo ritmo de atualização do conhecimento é muito acelerado. Dessa forma, a citação dos artigos ocorre imediatamente após a publicação, criando um viés de aumento do FI. Áreas como ciências exatas ou biológicas tendem a ter maior FI que aquelas cuja produção do saber faz-se em ritmo mais lento, como nas áreas de ciências sociais ou humanas.
Este índice foi proposto inicialmente por Jorge E. Hirsch para a avaliação qualitativa de pesquisadores da área da física13. Rapidamente, ganhou destaque em outras disciplinas, sendo hoje muito utilizado como forma de avaliar o impacto do pesquisador individualmente. Muitos autores consideramno não somente a forma mais segura de mensurar a qualidade científica do pesquisador, como também uma boa ferramenta de avaliação da regularidade da produção e previsão do desempenho científico futuro, pois combina produtividade com impacto14,15. O índice H de um pesquisador é definido com o número de artigos publicados pelo pesquisador, os quais obtenham citações maiores ou iguais a esse número. Por exemplo, quando dizemos que o índice H de um pesquisador é dez, significa que ele tem, pelo menos, dez artigos publicados, cada um deles com, pelo menos, dez citações. Quanto maior o número de artigos de grande interesse publicado pelo pesquisador, maior será o número de citações alcançadas, e maior será seu índice H, refletindo a qualidade acadêmico-científica do pesquisador e sua capacidade produtiva. Entretanto, apenas o número total de artigos, por exemplo, pode mascarar a falta de relevância de cada texto, isoladamente. Podemos assim dizer que o índice H é o resultado do equilíbrio entre o número de publicações e o número de citações. Jorge Hirsch comparou o fator H com outros índices comumente usados para se analisar a produção científica de um pesquisador, resumidamente apresentados na
O mesmo Hirsch argumenta que indivíduos com índices H similares são também comparáveis em termos de impacto científico, mesmo quando o número de artigos ou número total de citações de ambos for muito diverso. Diferentemente, quando comparamos dois indivíduos (de idade científica igual), com números iguais de publicações ou citações e com índices H muito díspares, aquele com maior índice H é provavelmente um pesquisador mais talentoso. Entretanto, como toda tentativa simplista de se categorizar ou classificar a produção de um pesquisador por um único número, o índice H está longe de ser perfeito e enfrenta várias críticas16. Entre essas, além das usuais de que não se pode caracterizar um pesquisador por um número, estão: a autocitação17, a indistinção entre cientistas ativos e inativos, a dependência da idade científica, as diferenças entre áreas, sexo etc. Algumas variantes foram propostas para superar essas desvantagens, como, por exemplo, o índice M, que permite comparar carreiras científicas de tempos distintos18. Dodson19 acredita que o índice subestime em cerca de 30% a 50% o verdadeiro número de citações e propõe o índice E, que ajuda a estimar as citações dos trabalhos não contemplados pelo índice H, ou seja, as citações dos trabalhos publicados posteriormente àquele correspondente ao índice H19.
Atualmente, a base de dados
Conhecer alguns dos índices bibliométricos tornou-se de suma importância para pesquisadores que dependem de insumos para pesquisas e, muitas vezes, são avaliados com essas ferramentas bibliométricas23. Cada um desses índices bibliométricos tem suas limitações. A utilização em conjunto de alguns desses representa a forma mais justa e legítima. Apesar da subjetividade, a avaliação por pares ainda tem seu valor, seja na avaliação de pesquisadores que se candidatam para cargos acadêmicos ou mesmo na avaliação editorial de artigos científicos. Nenhum dos índices qualitativos e quantitativos, por melhor que sejam, é suficientemente preciso para ser utilizado de forma isolada. A combinação de alguns desses, associada à avaliação por pares, é certamente a melhor forma de avaliação objetiva. Por último, é importante manter em mente que a tarefa de julgar, seja a reputação científica do pesquisador, seja a elegibilidade da instituição como destinatária de recursos financeiros, deve sempre primar pela imparcialidade e precisão de avaliação, evitando, assim, erros irreparáveis.
Declaro não haver conflito de interesses pertinentes.
O presente estudo não teve fontes de financiamento externas.
Não há vinculação deste estudo a programas de pósgraduação.
Renato S. Assad Instituto do Coração do Hospital das Clínicas da Faculdade de Medicina da USP Av. Dr. Eneas de Carvalho Aguiar, 44 - Cerqueira César 05403-000 - São Paulo, SP - Brasil E-mail:
Artigo recebido em 29/09/09; revisado recebido em 28/01/10; aceito em 29/03/10.
Instituto do Coração HCFMUSP - São Paulo, SP - Brasil
Mailing address
With the growing demand for inputs for scientific research funding, it is necessary to establish mechanisms for assessing academic and scientific quality as a way to honor individuals and institutions capable of producing cutting-edge research, thus ensuring a profitable investment of research funding agencies1. In this new scenario, traditional peer evaluation reveals weaknesses inherent in the subjective and corporatist aspects of academic productivity evaluation. Qualitative and quantitative indexes of evaluation should be added to it, seen by many as more reproducible and less subject to personal biases2. The number of publications, citations and average citations per paper published, taken separately, are traditional bibliometric indices that are flawed because they do not depict the combined information from papers with their relevant citations3. The traditional assessment of the number of papers published, initially widely accepted and used, is no longer sufficient as a means of assessing researchers' scientific strength. The quality of publications is now seen as a distinguising feature. Therefore, evaluating the interest aroused by the paper or the line of research within the scientific community is emphasized. This factor reflects the number of citations to a particular paper.
Assessing the quality of journals, used as a means of disseminating scientific research, has been employed in our field as a form of analysis of post-graduate programs, generating the well-known
Described in 2005 by Jorge E. Hirsch as a tool to determine the relative quality of papers produced by theoretical physicists, the H index has become widely used in scientific circles as a way of measuring researchers' productivity and impact. It was even incorporated into the Lattes Platform of the Brazilian Council of Scientific and Technological Development (CNPq)5. In this article, we discuss the impact factor as a means of assessing scientific journals and H index as a way of assessing researchers. Other bibliometric indexes will not be addressed in this paper, but it should be noted that only the impact factor and H index alone may not be sufficient to accomplish the task of evaluating journals, articles and authors.
Proposed by Eugene Garfield in 19556, the Impact Factor (IF) started to be used as a tool for assessing the quality of publications in the sixties and later used as a criterion for selection of journals to be indexed by the Science Citation Index (SCI). Since then, the IF has established itself as a means of assessing journals at various levels. It is calculated annually by the Institute for Scientific Information/Thompson Scientific Reuters for those journals indexed in its database, and it is published by the Journal Citations Reports (JCR)7.
Today, authors consider the IF value to select the journal that would give greater visibility to their paper. Librarians consider the IF a parameter for the selection of titles of greater scientific interest, which therefore should be part of the scientific collections of institutions. In parallel, editors pay close attention to the IF of journals, aware of the importance of this index as a factor of influence in fundraising and attraction of quality papers to be published. In funding agencies, those responsible for developing the scientific policies also use this index to select researchers and institutions of higher merit, which would best meet the demands of institutions.
To calculate the IF of a journal in a given year, the number of citations received in that year from articles published in that journal over the two previous years is divided by the number of articles published by that journal during the same period (
Therefore, the impact factor is effective in evaluating the quality of a journal and is not, however, useful in analyzing the scientific quality of a single article, of a researcher or an institution8-10.
To calculate the IF of the JCR, only original manuscripts and review articles are considered. Letters to the editor or editorials are not included in the denominator of the calculation. On the other hand, they may be cited; therefore, are considered in the numerator of the IF calculation. Journals such as Nature or Science, which publish many articles that are not strictly scientific, may have its IF inflated because of that bias11.
Another bias that influences the calculation of the impact factor relates to the different fields of knowledge, or even sub-fields. The number of references cited per article (density of citations) may be quite different, for example, articles about exact sciences, which have lower-density citations than those related to health sciences. That partly explains why the IFs of health science journals are, in average, much higher than exact science journals, such as mathematics12.
The IF published annually by the JCR, by taking into account only the citations of a journal over two consecutive years, tends to benefit those journals dealing with fields whose pace of knowledge updating is rather fast. Thus, the citation of articles occurs immediately after its publication, creating a bias of increased IF. Fields such as biological or exact sciences tend to have a higher IF than those whose knowledge production takes place at a slower pace, like social sciences or humanities.
This index was initially proposed by Jorge E. Hirsch for qualitative evaluation of physics researchers13. It quickely gained prominence in other disciplines, and is now widely used as a means of assessing the impact of individual researchers. Many authors consider it not only the safest way to measure researchers' scientific quality, but also a good tool for assessing regular production and forecasting its future scientific performance, as it combines productivity and impact14,15. The H index of a researcher is defined as the number of articles published by the researcher, whose citations are greater than or equal to that number. For example, when we say that the H index of a researcher is ten, it means that he has at least ten articles published, each with at least ten citations. The greater the number of articles of great interest published by the researcher, the greater the number of citations achieved, and the greater his H index, reflecting the academic and scientific quality of the researcher and his production capacity. However, only the total number of articles, for example, may hide the lack of relevance of each text in isolation. We can thus say that the H index is the result of the balance between the number of publications and the number of citations. Jorge Hirsch compared the H factor with other indexes commonly used to analyze the scientific output of a researcher, summarized in
Hirsch himself argues that individuals with similar H indexes are also comparable in terms of scientific impact, even when the number of articles or total number of citations from both is very different. In contrast, when we compare two individuals (of the same scientific age), with equal numbers of publications or citations, and very different H indexes, the one with the highest H index is probably a more talented researcher. However, like any simplistic attempt to categorize or classify the production of a researcher by a single number, the H index is far from being perfect and faces several criticisms16. Among these, besides the usual ones according to which one cannot characterize a researcher by a number, are: self-citation17, the lack of distinction between active and inactive scientists, dependence of scientific age, differences between areas, sex, etc. Some variants have been proposed to overcome these disadvantages such as, for example, the M index, which allows comparing scientific careers of different times18. Dodson19 believes that the index underestimates by about 30% to 50% the actual number of citations and proposes the E index, which helps estimating the citations of papers not covered by the H index, i.e. , the citations of papers published after that one corresponding to the H index19.
Currently, the database Web of Science of ISI/Thompson Scientific Reuters automatically calculates the H index of researchers. For this purpose, we must enter the "name of the citation" of the author in the appropriate space of the research platform and wait for articles and their citations to be generated. If there is a homonym author, any articles that were not written by the researcher concerned should be excluded. Afterwards, just click on the appropriate icon ("Create Citation Report") to obtain the H-index, as well as the total number of citations and average citations per article20. An interesting alternative to calculate this and many other indexes would be using the computer program called "Publish or Perish", available on the web:
Getting familiar with some bibliometric indexes has become extremely important for researchers who rely on inputs for research and often are evaluated with these bibliometric tools23. Each of these bibliometric indexes has limitations. Using some of these indexes in a combined manner represents the fairest and most legitimate form. Despite the subjectivity, peer reviews are still valuable, whether in the evaluation of researchers who apply for academic positions, or even in the editorial evaluation of scientific papers. None of the qualitative and quantitative indexes, as good as they may be, is sufficiently accurate to be used in isolation. The combination of some these indexes associated with peer review is certainly the best way to carry out an objective evaluation. Finally, it is important to keep in mind that the task of judging, either the scientific reputation of researchers, or the eligibility of institutions as a recipient of funds, should always strive for fairness and accuracy of assessments, thus avoiding irreparable mistakes.
No potential conflict of interest relevant to this article was reported.
There were no external funding sources for this study.
This study is not associated with any post-graduation program.
Instituto do Coração HCFMUSP - São Paulo, SP - Brasil
Correspondencia
Con la creciente demanda de insumos para financiamiento de investigaciones científicas, se volvió necesaria la creación de mecanismos de evaluación de la calidad académico científica, como forma de prestigiar instituciones y individuos capaces de producir investigaciones de punta, garantizando, así, una inversión proficua de las agencias de fomento a la investigación1. En ese nuevo escenario, la evaluación tradicional por pares presenta deficiencias inherentes a los aspectos subjetivos y corporativistas de la evaluación de la producción académica. Índices cualitativos y cuantitativos de evaluación deben ser sumados a ella, siendo vistos por muchos como más reproducibles y menos sujetos a sesgos personales2. El número de publicaciones, de las citaciones y de la media de citaciones por trabajo publicado, tomados aisladamente, son índices bibliométricos tradicionales que presentan deficiencias, pues no retratan la información combinada de los trabajos publicados con las respectivas citaciones3. La tradicional evaluación del número de trabajos publicados, inicialmente ampliamente aceptada y utilizada, deja de ser suficiente como forma de evaluación de la pujanza científica del investigador. La calidad de las publicaciones pasa a ser vista como factor diferencial. Así, gana destaque la evaluación del interés despertado por el trabajo o línea de investigación dentro de la comunidad científica, factor ese que se refleja en el número de citaciones hechas a un determinado trabajo.
La evaluación de la calidad de los periódicos, utilizados como medio de divulgación de la investigación científica, viene siendo empleada en nuestro medio como una de las formas de análisis de los programas de postgrado, emanando la conocida lista
Descripto en 2005 por Jorge E. Hirsch, como una herramienta para determinar la calidad relativa de los trabajos de físicos teóricos, el Índice H comenzó a ser muy utilizado en el medio científico, como forma de medir la productividad y el impacto del investigador, siendo, inclusive, incorporado a la Plataforma Lattes del Consejo Nacional de Desarrollo Científico y Tecnológico (CNPq)5. En este artículo, discutimos el factor de impacto como forma de evaluación de los periódicos científicos y el Índice H como forma de evaluación del investigador. Otros índices bibliométricos no serán objeto de este texto, mas cabe destacar que apenas el factor de impacto y el Índice H aisladamente pueden no ser suficientes para cumplir la tarea de evaluar periódicos, artículos y autores.
Propuesto por Eugene Garfield, en 19556, el Factor de Impacto (FI) comenzó a ser utilizado como instrumento de evaluación de la calidad de las publicaciones a partir de los años sesenta, habiendo sido usado como criterio de selección de los periódicos a ser indexados por el
Hoy, todo autor considera el valor del FI para escoger el periódico que pueda dar mayor visibilidad al trabajo. Los bibliotecarios ven el FI como un parámetro de selección de los títulos de mayor interés científico y que, por lo tanto, deberán componer el acervo de las instituciones. Paralelamente, los editores acompañan atentos los FI de los periódicos, concientes de la importancia de ese índice como factor de influencia en la captación de recursos financieros y en la atracción de buenos trabajos para ser publicados. En las agencias de fomento, los responsables por la elaboración de las políticas científicas también utilizan ese índice para seleccionar investigadores e instituciones de mayor mérito, que mejor atenderían las demandas de las instituciones.
Para el cálculo del FI de un determinado año, se considera el número de citaciones recibidas ese año de los artículos publicados en el periódico en los dos años precedentes, dividido por el número de artículos publicados por el periódico en el mismo período (
Por lo tanto, el factor de impacto es eficiente para evaluar la calidad de un periódico, no siendo, sin embargo, útil en el análisis de la calidad científica de un artículo aislado, de un investigador o de una institución8-10.
Para el cálculo del FI del JCR, son considerados apenas artículos originales y artículos de revisión. Cartas al editor o editoriales no entran en el denominador del cálculo. Por otro lado, pueden ser citados; por lo tanto, son considerados en el numerador del cálculo del FI. Revistas como la
Otro sesgo que influencia el cálculo del factor de impacto está relacionado a las diferentes áreas del conocimiento o hasta aun subáreas. El número de referencias citadas por artículo (densidad de las citaciones) puede ser bastante diferente, como, por ejemplo, artículos sobre ciencias exactas, que tienen menor densidad de citaciones que aquellos ligados a las ciencias de la salud. Eso explica en parte por que los FI de los periódicos de ciencias de la salud son, en media, mucho mayores en comparación a aquellos de ciencias exactas, tales como los del área de matemática12.
El FI publicado anualmente por la JCR, al llevar en consideración solamente las citaciones de un periódico ocurridas durante dos años consecutivos, tiende a beneficiar aquellos periódicos que publican en áreas cuyo ritmo de actualización del conocimiento es muy acelerado. De esa forma, la citación de los artículos ocurre inmediatamente después de la publicación, creando un sesgo de aumento del FI. Áreas como ciencias exactas o biológicas tienden a tener mayor FI que aquellas cuya producción del saber se hace en ritmo más lento, como en las áreas de ciencias sociales o humanas.
Este índice fue propuesto inicialmente por Jorge E. Hirsch para la evaluación cualitativa de investigadores del área de la física13. Rápidamente, ganó importancia en otras disciplinas, siendo hoy muy utilizado como forma de evaluar el impacto del investigador individualmente. Muchos autores lo consideran no solamente la forma más segura de medir la calidad científica del investigador, como también una buena herramienta de evaluación de la regularidad de la producción y previsión del desempeño científico futuro, pues combina productividad con impacto14,15. El índice H de un investigador es definido con el número de artículos publicados por el investigador, los cuales obtengan citaciones mayores o iguales a ese número. Por ejemplo, cuando decimos que el índice H de un investigador es diez, significa que tiene, por lo menos, diez artículos publicados, cada uno de ellos con, por lo menos, diez citaciones. Cuanto mayor es el número de artículos de gran interés publicado por el investigador, mayor será el número de citaciones alcanzadas, y mayor será su índice H, reflejando la calidad académico científica del investigador y su capacidad productiva. Entre tanto, apenas el número total de artículos, por ejemplo, puede enmascarar la falta de relevancia de cada texto, aisladamente. Podemos así decir que el índice H es el resultado del equilibrio entre el número de publicaciones y el número de citaciones. Jorge Hirsch comparó el factor H con otros índices comúnmente usados para analizar la producción científica de un investigador, resumidamente presentados en la
El mismo Hirsch argumenta que individuos con índices H similares son también comparables en términos de impacto científico, aun cuando el número de artículos o número total de citaciones de ambos sea muy diverso. Diferentemente, cuando comparamos dos individuos (de edad científica igual), con números iguales de publicaciones o citaciones y con índices H muy dispares, aquel con mayor índice H es probablemente un investigador más talentoso. Entre tanto, como toda tentativa simplista de categorizar o clasificar la producción de un investigador por un único número, el índice H está lejos de ser perfecto y enfrenta varias críticas16. Entre esas, además de las usuales de que no se puede caracterizar un investigador por un número, están: la autocitación17, la no distinción entre científicos activos e inactivos, la dependencia de la edad científica, las diferencias entre áreas, sexo etc. Algunas variantes fueron propuestas para superar esas desventajas, como, por ejemplo, el índice M, que permite comparar carreras científicas de tiempos distintos18. Dodson19 cree que el índice subestime en cerca de 30% a 50% el verdadero número de citaciones y propone el índice E, que ayuda a estimar las citaciones de los trabajos no contemplados por el índice H, o sea, las citaciones de los trabajos publicados posteriormente a aquel correspondiente al índice H19.
Actualmente, la base de datos
Conocer algunos de los índices bibliométricos se volvió de suma importancia para investigadores que dependen de insumos para investigaciones y, muchas veces, son evaluados con esas herramientas bibliométricas23. Cada uno de esos índices bibliométricos tiene sus limitaciones. La utilización en conjunto de algunos de esos representa la forma más justa y legítima. A pesar de la subjetividad, la evaluación por pares aun tiene su valor, sea en la evaluación de investigadores que se postulan a cargos académicos o aun en la evaluación editorial de artículos científicos. Ninguno de los índices cualitativos y cuantitativos, por mejor que sea, es suficientemente preciso para ser utilizado de forma aislada. La combinación de algunos de esos, asociada a la evaluación por pares, es ciertamente la mejor forma de evaluación objetiva. Por último, es importante mantener en mente que la tarea de juzgar, sea la reputación científica del investigador, sea la elegibilidad de la institución como destinataria de recursos financieros, debe siempre primar por la imparcialidad y precisión de evaluación, evitando, así, errores irreparables.
Declaro no haber conflicto de intereses pertinentes.
El presente estudio no tuvo fuentes de financiamiento externas.
No hay vinculación este estudio a programas de postgrado.