FUNDAMENTO: Um estudo avaliou a relação entre defesas de tese e publicações no âmbito de toda a Faculdade de Medicina da Universidade de São Paulo (FMUSP). Questiona-se a existência de diferenças entre diferentes áreas do conhecimento e no domínio do tempo. OBJETIVO: Caracterizar as publicações relacionadas às teses defendidas na pós-graduação do Instituto do Coração (InCor) da FMUSP. MÉTODOS: Realizou-se um levantamento retrospectivo junto à pós-graduação de cardiologia da FMUSP, no período de 1994 a 2004. Inicialmente foram coletados dados de alunos que defenderam teses nesse período, de seus orientadores e das próprias teses. A seguir, cruzando informações da Medline® e Web of Science®, localizaram-se publicações desses autores e dados referentes às respectivas publicações. RESULTADOS: Nesse período, foram defendidas 268 teses, que resultaram em 195 publicações, no período de até dez anos após a defesa. As publicações ocorreram com mediana de um ano e nove meses após a sua defesa, com fator impacto mediano de 2,1 e uma mediana de 4 citações por trabalho. Não houve correlação com significância estatística em nenhum dos dados estudados. CONCLUSÃO: Uma porcentagem importante das teses é publicada. A publicação tem ocorrido de maneira cada vez mais precoce após a defesa. Esse fato pode estar relacionado ao sucesso das políticas das comissões de pós-graduação e à importância com que esse tema já é debatido atualmente, contribuindo para a melhoria da qualidade da pós-graduação.
ARTIGO ORIGINAL
EXPERIMENTAL
Doutorado em cardiologia no Instituto do Coração da FMUSP, de 1994 a 2004: defesa e publicação
IUnidade de Medicina Interdisciplinar em Cardiologia do Instituto do Coração da Faculdade de Medicina da Universidade de São Paulo, São Paulo, SP - Brasil
IIFaculdade de Medicina de Ribeirão Preto da Universidade de São Paulo, Ribeirão Preto, SP - Brasil
O processo de formação do pós-graduando inclui aquisição de conhecimento, didática, metodologia científica e produção de conhecimento inovador. O aluno deve ser capaz de realizar a coleta de dados, tabulação e exposição de resultados, defesa e, finalmente, apresentação dos dados à comunidade de interesse. Um levantamento recente realizado na Faculdade de Medicina da Universidade de São Paulo (FMUSP) mostrou que havia baixas taxas de publicação1. A defesa da tese não é o fim de um processo, mas sim seu início, gerando conhecimento a ser divulgado, além de servir de alicerce para novos trabalhos. Um editorial desta revista, na comemoração dos 30 anos da pós-graduação em cardiologia do Instituto do Coração (InCor), destacou a história dessa área e sua contribuição para a produção e exportação de saber2.
Esses dados, entretanto, são gerais e podem não ser verdade para áreas específicas. Este trabalho procurou continuar essa análise dentro da cardiologia, como destaque dentro dessa mesma faculdade. A observação ocorreu em um período posterior ao previamente estudado, permitindo observar se houve tendência de mudança da taxa de publicação.
Foram analisadas as teses em cardiologia da FMUSP apresentadas no período de 11 anos, de 1994 até 2004. Consideraram-se nesta análise apenas estudantes matriculados que defenderam suas teses durante o intervalo em estudo. Foram coletados dados dos alunos de pós-graduação, de seus orientadores e dos temas das teses defendidas. Sobre os alunos, obtiveram-se data de nascimento, ano de graduação, data de entrada no programa de pós-graduação e data de defesa da tese. Calcularam-se o intervalo entre a formatura e a matrícula na pós-graduação, o tempo de permanência no programa e as idades na matrícula e na defesa.
Sobre os orientadores cadastrados, foi obtido o número de teses que orientaram durante o período estudado.
Quatro pesquisadores (dois de área clínica e dois de área básica) analisaram o título das teses sem conhecimento do nome do pesquisador ou de seu orientador e classificaram, de maneira independente, cada uma delas conforme a área de interesse: básica, clínica e epidemiológica. Trabalhos não realizados em humanos, a partir de amostras de tecidos ou em modelos, foram classificados como área básica. Estudos não-experimentais, determinando prevalência, incidência e prognóstico, foram classificados como área epidemiológica, e estudos experimentais com seres humanos foram classificados como estudos clínicos.
As fontes de dados utilizadas neste estudo foram o arquivo Pubmed®, disponível na internet pela National Library of Medicine do National Institute of Health (ncbi.nih.nlm.gov), e o Web of Science®, disponível por meio da Coordenação de Aperfeiçoamento de Pessoa de Nível Superior (Capes). Por meio do título da tese, do nome do orientado e de seu orientador, foi identificado se a tese foi ou não publicada em periódico cadastrado nessas fontes até a conclusão do presente trabalho, em fevereiro de 2008. Se o trabalho era identificado, extraía-se sua data de publicação, o periódico em que foi publicado, seu fator de impacto no ano de sua publicação e o número de vezes que o artigo foi citado em outros trabalhos até o momento da análise. Calculou-se ainda o número de citações por ano desde a publicação até fevereiro de 2008. O fator de impacto utilizado foi proveniente do
A análise estatística foi feita com o programa Stata 9.0®. Utilizou-se análise
No período de 11 anos, foram apresentadas 268 teses de doutorado. A idade dos alunos no momento da entrada no programa de pós-graduação em média foi de 37 anos, com desvio padrão de 7,0 anos. A defesa da tese em média foi aos 41 anos, com desvio padrão de 6,9 anos. Noventa e sete por cento dos alunos eram médicos. A média de duração da pós-graduação, ou seja, entre a matrícula e a apresentação da tese, foi de 4 anos, com desvio padrão de 1,6 anos.
O tempo entre a formatura e a entrada no programa foi em média de 13 anos, com desvio padrão de 6,7 anos. Esse período para quem se formou antes de 1980 foi de 23 anos, com desvio padrão de 6,15 anos, 13 anos para quem formou entre 1980 e 1989, com desvio padrão de 6,0 anos e 6 anos para quem se formou após 1989, com desvio padrão de 1,84 anos.
Observou-se que o programa de pós-graduação teve 47 teses defendidas na primeira metade e 221 teses na segunda metade do período.
No intervalo de estudo, participaram 68 orientadores distintos, cada um com uma mediana de 6 alunos variando de 1 a 15 alunos.
Após 2 anos e 8 meses de sua defesa, 50% dos alunos publicaram suas teses (
Quanto às publicações em periódicos não avaliados pelo JCR, a publicação ocorreu com uma mediana de 2 anos e 1 mês após a defesa, com percentis 25 e 75 de 1,2 e 3,7, respectivamente. A
Foi realizado o teste do qui-quadrado comparando a porcentagem de publicações em cada ano, em relação a uma porcentagem em que a publicação fosse fixa todos os anos. Constatou-se que a distribuição observada não foi diferente (p = 0,99).
Observou-se ainda que 16% do total de publicações ocorreram antes da defesa, enquanto 17% aconteceram depois de 4 anos desse evento.
Dividiu-se o total de defesas publicadas em sua mediana, o que ocorreu em julho de 2002. A primeira metade, totalizando oito anos e meio com 98 teses publicadas e a segunda metade nos dois anos e meio restantes com 97 teses. O tempo para a publicação das primeiras 97 teses após a defesa apresentou uma mediana de 2 anos e 6 meses, com percentis 25 e 75 de 0,9 e 4,2, respectivamente, e nas restantes isso ocorreu com uma mediana de 1 ano e 7 meses, com percentis 25 e 75 de 1,1 e 2,4, respectivamente. Os dois grupos de valores foram significativamente diferentes (p = 0,0118) (
A concordância da análise dos tipos de tese pelo valor
Em 111 teses (41%) não se estabeleceu uma maioria entre os classificadores sobre qual o tipo de tese. Quanto ao restante, 67 (25%) foram classificadas como estudo clínico, 61 (23%) como estudo epidemiológico e 29 (11%) como estudo básico. Se os tipos epidemiológico e clínico forem compreendidos como uma única classificação, o valor
Buscou-se correlação entre os fatores pesquisados e a publicação da tese. As variáveis consideradas nessa análise foram: ano de graduação, intervalo entre a formatura e a matrícula na pós-graduação, tempo de permanência no programa, idade na defesa e número de teses orientadas concomitantemente pelo respectivo orientador. A análise, por regressão logística, não mostrou correlação com nenhuma variável pesquisada. A seguir, foi realizada a análise da relação entre o fator de impacto do periódico no qual foi publicada a tese e os fatores pesquisados pela regressão linear multivariada. Os fatores considerados foram os mesmos. Não foi encontrada correlação entre o fator de impacto com nenhuma uma das variáveis. A
Realizou-se um levantamento mostrando o desempenho e a evolução da pós-graduação em cardiologia do InCor/FMUSP. Foram buscados fatores que poderiam se correlacionar a maior probabilidade de publicação e/ou publicação em um periódico com maior fator de impacto.
O período de 13 anos entre a formatura e a matrícula no programa de pós-graduação é bastante extenso. Salienta-se ainda que esse tempo foi de 26 anos para quem se formou antes de 1980. Esse dado pode ser explicado em parte pela residência médica em cardiologia. Isso equivale a uma pequena fração do tempo para quem se formou antes de 1980, mas já corresponde a 50% do tempo para quem se formou após 1989. A residência médica em clínica médica em 2 anos começou nos anos 2000 e 2001, portanto não estão incluídos alunos de pós-graduação com 4 anos de residência nesta amostra. Outra possibilidade para complementar esse valor seria o tempo despendido para a preparação do projeto de pós-graduação, incluindo seu início antes da matrícula formal no programa.
Encontrou-se nesse período de 11 anos a publicação de 195 trabalhos. Outro levantamento publicado em 2005 apontou a produção de 204 publicações de teses no período de 30 anos de pós-graduação do Instituto do Coração2. Excluindo 42 publicações que ocorreram após 2005, observou-se que nos 11 anos estudados se concentram 75% das publicações realizadas nessa instituição.
Esses resultados podem ser comparados com o estudo realizado por Younes e cols.1, no qual foi analisado o tempo para a primeira publicação dos doutores que obtiveram o seu título na FMUSP, em todas as áreas da pós-graduação no período de 1990-2000. Constatou-se que em cinco anos 50% dos pós-graduandos ainda não tinham publicado nenhum trabalho. Neste estudo, o valor encontrado para a publicação da tese por 50% dos alunos foi de dois anos e oito meses. Não temos, para o estudo anterior, uma análise apenas dos alunos da área de cardiologia, no entanto, ao compararmos dois subgrupos deste estudo atual (divididos pela sua mediana), observamos uma diminuição significativa do tempo para publicação da tese (
A classificação das teses conforme o tipo (clínico, epidemiológico ou básico) apresentou uma concordância não-satisfatória entre os quatro pesquisadores. A melhor correlação obtida não ultrapassou o valor
Não foi encontrada nenhuma correlação entre publicar o estudo ou entre o fator de impacto com qualquer uma das variáveis estudadas por meio da regressão logística ou linear, respectivamente.
A Comissão Federal de Educação, em 3 de dezembro de 1965, definiu a pós-graduação que na época se estruturava no país5. Trata-se do posicionamento da universidade para a geração de conhecimento científico e tecnológico. Salienta ainda que, em contraposição aos cursos de graduação que devem ser abertos ao maior número possível de alunos, a pós-graduação deve ser restrita aos mais aptos. Por isso, os próprios programas devem manter um alto nível com aperfeiçoamento contínuo, o qual envolve conhecer suas características, propor e realizar mudanças. Em um segundo tempo, uma nova análise deve ser realizada comparando-se a primeira, o que permite conclusões sobre os resultados. É necessário escolher instrumentos e métodos para essa avaliação. A auto-avaliação de uma instituição pode conter conflitos de interesses na medida em que os interessados são os próprios avaliadores. Conhecimentos científicos gerados, ao serem publicados em um periódico, são vistos por grupos externos à instituição, avaliando indiretamente a própria pós-graduação pelo seu produto. A avaliação da Capes dos programas contempla esse quesito6. Ao mesmo tempo, está claro nos critérios propostos pela Capes que este não seja o único fator utilizado em toda a avaliação.
Um segundo nível de análise seria avaliar o fator de impacto das publicações obtidas. Este reflete a visão de que um artigo é de pouca utilidade a não ser que seja utilizado e citado por outros pesquisadores. É calculado por meio de uma relação do número de citações de todos os trabalhos de um determinado periódico dos dois anos anteriores sobre todos os trabalhos publicados no mesmo período pelo mesmo periódico7. Existem contribuições importantes, como sobre doenças locais, prevalência, análises de custos nacionais, que não são de interesse dos principais eixos de pesquisa mundiais, Estados Unidos e Europa, e que poderão não ser publicadas em revistas de fator impacto8. Abordagens feitas por grupos nacionais poderão ter maior dificuldade para aceitação em periódicos mais visados. Isso influencia negativamente esse indicador e conseqüentemente seu uso, sem que necessariamente a qualidade da pesquisa seja menor. Devem ser conhecidas as limitações desse indicador para que possa ser mais bem interpretado.
A própria avaliação da Capes, tendo incorporado análise de publicações e tempo limite para a publicação após a defesa, pode ser o principal motivo para as tendências observadas. Além disso, a importância da publicação para o programa de pós-graduação vem sendo reconhecida pelas próprias instituições que conferem a titulação. Algumas comissões passaram a exigir a submissão do trabalho como exigência para a conclusão do doutorado. Fica em aberto a possibilidade de repetir o estudo em um futuro próximo para comparação.
O valor do fator de impacto para os anos 2007 e 2008 foi o de 2006, mas que representa 5% dos trabalhos. Os critérios de inclusão exigiam ter terminado a defesa de tese. Por isso, não consideramos os abandonos, mas, em virtude do seu número muito pequeno, acreditamos que os resultados não foram influenciados.
Ao Prof. Dr. Julio Sérgio Marchini, por suas sugestões e revisão atenciosa do artigo.
Declaro não haver conflito de interesses pertinentes.
O presente estudo não teve fontes de financiamento externas.
Não há vinculação deste estudo a programas de pós-graduação.
Bruno Caramelli Av. Dr. Enéas C. de Aguiar 44 05403-000 – São Paulo, SP, Brasil E-mail:
Artigo recebido em 11/11/07; revisado recebido em 07/04/08; aceito em 05/05/08
BACKGROUND: A study evaluated the relationship between the defense of dissertations and their publication within the realm of the entire Medical School of the University of São Paulo (FM-USP). The existence of differences among different areas of knowledge and the time between defense of dissertations and their publication is questioned. OBJECTIVE: To characterize publications related to dissertations defended in graduate courses of the Heart Institute (InCor) of the University of São Paulo Medical School (FM-USP). METHODS: A retrospective survey was carried out featuring graduate work at FM/USP for the 1994 - 2004 period. Initially, data were collected on students who defended dissertations during this period, on their advisors, and on the dissertations defended in the course of the period. Then, by crossing these data with data from Medline® and Web of Science®, publications by these authors and data were located that referred to the respective publications. RESULTS: During that period, 268 dissertations were defended, resulting in 195 publications within a period of up to 10 years after their defense. The median time for publication after defense was one year and nine months, with a median impact factor of 2.1, and a median of 4 citations per paper. There was no statistically significant correlation among any of the data studied. CONCLUSION: A significant percentage of the dissertations were published, and in the group studied, publication took place within increasingly short times after their defense. This fact may be related to the success of the graduate commissions' policies and to the importance currently lent to debates on this theme, all of which contribute to improvement in the quality of graduate studies.
IInterdisciplinary Medicine in Cardiology Unit, Heart Institute of the University of São Paulo Medical School, São Paulo, SP - Brazil
IIUniversity of São Paulo Medical School of Ribeirão Preto, Ribeirão Preto, SP - Brazil
Mailing Address
The graduate program training process includes the acquisition of knowledge, teaching, scientific methodology, and the production of innovative knowledge. Students must be capable of carrying out data collection, tabulation, and the presentation of findings to the target community. A survey recently carried out at the Medical School of the University of São Paulo (FM-USP) showed that publication rates1 were low. The defense of a dissertation is not the end of a process, but rather its beginning. The process generates knowledge to be publicized and also serves as the foundation for new works. An editorial of this journal commemorating 30 years of graduate studies in cardiology at the Heart Institute (InCor) highlighted the history of this area and its contribution to the production and exportation of knowledge2.
However, these are general data and may not be true for specific areas. In this paper we sought to continue this analysis within the field of cardiology, featuring it as a highlight within this same medical school. This observation occurred during a period following a previous period that was covered by a different study, which made it possible to note if there was a tendency toward change in the publication rate.
Analysis was carried out of dissertations in cardiology at FM-USP presented in the course of the eleven-year period from 1994 through 2004. This analysis took into consideration only enrolled students who defended their dissertations during the interval under study. Data were collected regarding the graduate students themselves, their advisors, and the themes of the dissertations they defended. Data regarding the students included date of birth, graduating year, graduate program entrance date, and dissertation defense date. Calculations focused on the interval between the date of graduation from medical school and enrollment in the graduate program, length of time in the program, and ages upon enrollment and defense of their dissertations.
Information regarding the registered advisors consisted of the number of dissertations each one had advised in the course of the period studied.
Four researchers (two from the clinical area and two from the basic area) analyzed the titles of the dissertations without any knowledge regarding the names of the authors or their advisors, and independently classified each dissertation according to the area of interest: basic, clinical or epidemiological. Works not carried out on humans, based on tissue samples or on models, were classified as basic area. Non-experimental studies, determining prevalence, incidence, and prognostics, were classified as epidemiological, and experimental studies with human beings were classified as clinical studies.
The second source of data used in this study was the Pubmed® archive, available on the Internet from the National Library of Medicine of the National Institute of Health (ncbi.nih.nlm.gov), and Web of Science®, accessible through CAPES. By entering the title of the dissertation, the name of the candidate and of the advisor, it was possible to identify whether the dissertation had been published in any journal registered in these sources up to the conclusion date of this paper – February 2008. If the paper was identified, the following data was extracted: its publication date, the journal in which it was published, its impact factor in the year of its publication, and the number of times the article was cited in other papers up to the time of its analysis. Also calculated was the number of citations per year from the publication date until February 2008. The impact factor used came from Thomson Scientific Journal Citation Reports® (JCR) made available by CAPES (Coordination for the Improvement of Higher Education Personnel) since 2001. For 14 publications prior to 2001, the impact factor was requested from the eight journals involved, or obtained from two publications3,4. Impact factors for the years of 2007 and 2008 have not yet been defined – a situation applying to 11 publications – in which cases the 2006 impact factor was used. A zero impact factor was attributed to journals not included in the JCR.
Statistical analysis was carried out using the Stata 9.0® program. Kappa analysis was used to evaluate agreement in the classification of dissertations into types. Logistic regression was used to test the correlation between publication of the dissertation and the variables surveyed, and multivariate linear regression was used to correlate the impact factor obtained by the publication with the variables under study. Either non-paired single-tailed t-tests or chi-square tests were used for comparison of groups when appropriate.
Two hundred and sixty-eight doctoral dissertations were presented within the eleven-year period of this study. The average age of students upon entrance to the graduate program was 37, with a standard deviation of 7.0 years. Students averaged 41 years of age with a standard deviation of 6.9 years upon defense of their dissertation. Ninety-seven percent of the students were physicians. The average duration of the graduate work, i.e., between enrollment and presentation of the dissertation, was 4 years, with a standard deviation of 1.6 years.
The average length of time between graduation from medical school and entrance in the graduate program was 13 years with a standard deviation of 6.7 years. That same interval for those who graduated prior to 1980 was 23 years with a standard deviation of 6.15 years; 13 years with a standard deviation of 6.0 years for those who graduated between 1980 and 1989; and 6 years with a standard deviation of 1.84 years for those who graduated after 1989.
We noted that 47 dissertations were defended in the first half of the graduate program period, and 221 in the second half.
Sixty-eight different advisors took part in the program within the interval of this study, each advisor with a median of 6 students, ranging from 1 to 15 students advised.
The dissertations of 50% of the students were published within two years and eight months of their defense (
As to publications not evaluated by JCR, publication occurred with a median of two years and one month after the defense, and the 25th and 75th percentiles were respectively 1.2 and 3.7.
The chi-square test was carried out to compare the percentage of publications for each year with the average for the whole 11-year period studied. The comparison showed that there was no difference in distribution (p=0.99).
It was also observed that 16% of the total publications occurred prior to defense of the dissertation, while 17% occurred four years after defense.
Total dissertations published were divided at the median, which occurred in July 2002. The first group comprised eight and a half years with 98 dissertations published, and the second group comprised the remaining two and a half years with 97 dissertations published. The median length of time from defense until publication for the first 98 dissertations was two and a half years, with respective 25th and 75th percentiles of 0.9 and 4.2. The median for the remainder (97 dissertations) was one year and seven months with 25th and 75th percentiles of 1.1 and 2.4, respectively. The values found for the two groups were significantly different (p=0.0118) (
Kappa analysis of the two types of dissertations showed agreement to be 0.11, i.e., low agreement.
In 111 dissertations (41%), no majority opinion was established among the classifiers as to the type of dissertation. In regard to the remainder, 67 (25%) were classified as clinical studies, 61 (23%) as epidemiological studies, and 29 (11%) as basic studies. If the epidemiological and clinical studies are seen as one sole classification, kappa agreement rises to 0.23. In this case, 53 dissertations (19%) remained unclassified, 194 (72%) were classified as clinical studies, and the remaining 21 (7%) as basic studies.
Correlation was sought between the factors surveyed and publication of the dissertations. The variables considered in this analysis were: year of graduation; interval between graduation and enrollment in the graduate program; length of time in the graduate program; age upon defense; and number of dissertations advised concomitantly by the respective advisors. Analysis by logistic regression showed no correlation with any variable surveyed. Multivariate linear regression was then used to analyze the relationship between the impact factor of the journal in which the dissertation was published and the factors surveyed. The factors taken into account were the same. No correlation was found between the impact factor and any of the variables.
A survey was carried out to show performance and evolution of the graduate program in cardiology at InCor/FM-USP. Factors were sought that might correlate the greater probability of publication and/or publication in journals featuring higher impact factors.
A period of 13 years between graduation from medical school and enrollment in a graduate program is quite long. It must also be pointed out that such interval, for those who graduated prior to 1980, was 26 years. This fact can be explained, in part, by the medical residence in cardiology which was equivalent to only a small fraction of the time between graduation and enrollment in the graduate program for those who graduated prior to 1980, but corresponds to 50% of that time for those who graduated after 1989. The two-year medical residence in clinical medicine was only initiated in 2000 and 2001 and therefore does not include the graduate students with four years of residence included in this sample. Another possibility to complement this value would be the time spent on preparation of the graduate project, including beginning it prior to formal enrollment in the program.
Publication of 195 dissertations was found within the 11 years covered by this study. Another study, published in 2005, pointed to the production of 294 publications of dissertations within the 30 years of graduate studies at the Heart Institute2. Excluding the 42 publications that occurred after 2005, we can see that 75% of all the publications attributed to this institution occurred within the 11 years studied.
These results can be compared to the study made by Younes et al1 that analyzed the first publication of PhDs who earned their doctorate at FM-USP in any graduate program area during the period of 1990-2000. They found that in five years, 50% of the graduates had not yet published any paper. In this study, the value found for publication of the dissertation by 50% of the students was two years and eight months. For the previous study, we have no analysis exclusively for students of cardiology. However, upon comparison of two subgroups of this current study (divided at their median), we noted a significant drop in the time until publication of the dissertation (
Classification of the dissertations by type – clinical, epidemiological, and basic – showed agreement among the four researchers to be unsatisfactory. Even the highest correlation obtained was no higher than kappa 0.23, which corresponds to average agreement. It is possible that each dissertation involves aspects that occur in all of the various types of classification. For example, a clinical study may use a molecular biology method and also feature epidemiological analysis of the study groups. There is no way of dividing graduate studies into such types.
Logistic regression found no correlation between publication of the study and any of the variables studied, nor did linear regression reveal any correlation between the impact factor and any of the variables studied.
On December 3, 1985, the Federal Education Commission defined graduate study, which was being structured in Brazil at the time5. The object was to position universities as generators of scientific and technological knowledge. The definition also points out that contrary to undergraduate courses, which should be open to the greatest possible number of students, graduate courses should be limited to the most capable students. Thus, graduate programs must uphold a high level of ongoing improvement, which involves knowing their characteristics, as well as proposing and implementing changes. Thereafter, a new analysis should be carried out, comparing it with the first and making it possible to draw conclusions regarding the results. Instruments and methods must be chosen for this evaluation. Self-evaluation of an institution may involve conflicts of interest since the parties of interest are the evaluators themselves. Scientific knowledge generated, upon its publication in a journal, is seen by groups outside the institution, and the graduate program itself is indirectly evaluated by its product. Evaluation of graduate programs by CAPES takes this fact into consideration6. At the same time, the criteria proposed by CAPES make it clear that this is not the only factor considered in the course of an evaluation.
A second level of analysis would be to evaluate the impact factor of the publications obtained. This second level reflects the view that an article is of scant worth if it is not used and cited by other researchers. The impact factor is calculated by dividing the number of citations of all the works published in a certain journal for the two previous years by all the works published during the same period by the same journal7. There are some important works, such as those on local diseases, their prevalence, and analyses of national costs, that are of little interest to the main hubs of world research – the United States and Europe – and that may not be published in journals with high impact factors8. Studies carried out by national groups may find it more difficult to have their works published in the more renowned journals. This fact has a negative influence on the impact factor indicator, and consequently on the use of the study, without necessarily reflecting on the quality of that study. The limitations of this indicator must be understood if it is to be properly interpreted.
The CAPES evaluation itself, by incorporating analysis of publications and a limited time for publication following the defense of dissertations, may constitute the main reason for the tendencies noted. In addition, the importance of publication for the graduate program is now being acknowledged by the institutions that grant doctorate degrees. Some commissions are now demanding submission of the work for publication as a requirement for conclusion of the doctorate. Candidates are allowed the possibility of repeating the study in the near future for comparison purposes.
The value of the impact factor used for years 2007 and 2008 (representing 5% of the dissertations covered in this study) was the same as that for 2006. Among the criteria for inclusion was the requirement that defense of the dissertation had been completed. Thus, dropouts were not taken into consideration but, in view of their very small number, we feel that the results were not influenced.
Our thanks to Dr. Julio Sérgio Marchini, for his suggestions and careful revision of the article.
No potential conflict of interest relevant to this article was reported.
There were no external funding sources for this study.
This study is not associated with any graduation program.