Arq Bras CardiolabcArquivos Brasileiros de CardiologiaArq. Bras. Cardiol.0066-782X1678-4170Sociedade Brasileira de Cardiologia - SBCTkcC3XLsN7yWrTCcYGPXHwFS0066-782X201700060049110.5935/abc.20170083Special ArticleLong-term Results of a Cardiology Postgraduate ProgramBocchiEdimar AlcidesBorgesDanielle PazzottiRigaudVagner Oliveira-CarvalhoUniversidade de São PauloFaculdade de MedicinaInstituto do CoraçãoSão PauloSPBrazilInstituto do Coração (InCor) - Faculdade de Medicina da Universidade de São Paulo, São Paulo, SP - BrazilUniversidade de São PauloMailing Address: Edimar Alcides Bocchi, Rua Dr. Melo Alves, 690, 4º andar. Postal Code 01417-010, Cerqueira Cesar, São Paulo, SP - Brazil. E-mail: dcledimar@incor.usp.br
Author contributions
Conception and design of the research: Bocchi EA; Acquisition of data: Borges DP, Oliveira-Carvalho VR; Analysis and interpretation of the data and Critical revision of the manuscript for intellectual content: Bocchi EA, Borges DP, Oliveira-Carvalho VR; Statistical analysis: Oliveira-Carvalho VR; Writing of the manuscript: Bocchi EA, Oliveira-Carvalho VR.
Potential Conflict of Interest
No potential conflict of interest relevant to this article was reported.
0620171086491500251020161912201602012017This is an Open Access article distributed under the terms of the Creative Commons Attribution License, which permits unrestricted use, distribution, and reproduction in any medium, provided the original work is properly cited.KeywordsHealth Postgraduate ProgramsScientific and Technological ActivitiesProgram EvaluationIntroduction
Research and innovation help to drive economic growth and address socioeconomic challenges like poverty and health.1 Many developed and developing countries have introduced policies and systems to increase research and innovation.
In Brazil, a system was created on 1951 with the objectives of improving technology and innovation and strengthening scientific research.2,3 Similar to postgraduate doctorate programs in developed countries, postgraduate programs with broader and more in-depth scientific research objectives have been developed in Brazil.4 In fact, a linear relationship has been demonstrated between the number of students graduating from these programs and the number of scientific publications produced by them.5 Beyond scientific output, publishing a high-impact paper or in a journal with a high-impact factor seems to be an important requirement for innovation and technology growth. Considering that postgraduate students play an important role in scientific production in Brazil, a study including the characteristics of the scientific production of these students is justifiable.
We retrospectively investigated the scientific and academic production of students after their graduation from a cardiology postgraduate program. Because cardiovascular disease is the leading cause of death in developed countries and in Brazil, a postgraduate program focused on cardiology is a good target for innovation. Also, the knowledge of the characteristics, weaknesses, and strengths of a postgraduate program may help develop new strategies promoting innovation and publication in high-impact journals.
Methods
The protocol of this study was submitted to our institution’s Ethics Committee on May 14, 2010, and received the number 3434/10/023. The Committee approved the study on December 15, 2010, with the number 385/10.
Objectives
The primary objective of this study was to investigate the number of publications of each graduate of a cardiology postgraduate program in Brazil and the corresponding impact factor of the journals in which the graduates’ research was published.
The secondary objectives included the evaluation of the students’ characteristics, h-index, total citations, citations per article, and academic position.
Study design
This was a retrospective study developed at Instituto do Coração (InCor), São Paulo. We defined as a graduate any postgraduate student obtaining a certificate at the end of the program between 1977 and 2010. The postgraduate program during the period of the study followed the rules set by the University of São Paulo for this type of program. The program was also evaluated from its beginning according to the criteria established by the Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES, a Brazilian federal agency for the support and evaluation of postgraduate education). The students’ baseline characteristics used in this study were obtained at the time of the students’ registration in the program and included age, sex, and other data reported at baseline. These data were retrieved from the Cardiopulmonary Department program files in 2010.
A systematic review was carried out through a quantitative, retrospective, and documentary design for each student during the period that followed the completion of their postgraduate degree. The review included scientific papers published from 1977 to October 2015 and included in the Scopus and ISI Web of Science databases, as indicated by each postgraduate student in his or her Lattes curriculum. This curriculum is part of a Brazilian database created in 1999 and is supported by the Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) in which researchers may include information about their academic and scientific production (lattes.cnpq.br/). The name of each student was used for the review. The Lattes curriculum may also include data about the students’ affiliated institutions and research teams.
Scientific papers were excluded from the analysis if comprising abstracts, medical guides, technical and scientific reports, dissertations, ministerial and government information, or any other type of document not complying with the standard IMRDC structure (introduction, methods, results, discussion, and conclusion) applied to scientific papers, except for reviews, editorials, and comments addressing cardiovascular issues published in journals indexed in PubMed. Any article in which the student was the first author or a coauthor was included in the analysis.
Statistical analysis
The data were statistically analyzed with GraphPad Prism 6 for Windows. The Shapiro-Wilk test was applied to verify the data’s Gaussian distribution. Descriptive statistical analysis included simple distribution of frequencies, calculation of proportions, and median and respective interquartile ranges (IQRs). Continuous variables are expressed as median and IQR, and categorical variables are expressed as percentage. For group comparisons, Mann-Whitney or Wilcoxon tests was used, when appropriated. All tests were performed 2-tailed, and a p level < 0.05 was considered indicative of statistical significance.
ResultsCharacteristics of the postgraduate students
The study included 505 students who had completed the postgraduate cardiology program. Most students were male, white, and had previously obtained a medical degree (Table 1). Figure 1 shows the recent incremental increase in women as postgraduate students in the cohort. The absence of the Afro-Brazilian ethnicity is remarkable in the student population, given the high numbers of Afro-Brazilians in the Brazilian population (Table 1). Most students had no prior master’s degree. Female students were younger than male ones, mainly in the last decade (Figure 2). The number of postgraduate students increased over the decades, and a recent increase in graduates without a medical degree was observed (Figure 3). We would also like to point out the low number of foreign students.
Baseline characteristics of the postgraduate students
Variable
N (%) or median (IQR)
Total number
505 (100)
Male sex
316 (62.6)
Female sex
189 (37.4)
Ethnicity
White
260 (51.5)
Afro-Brazilian
0 (0)
Mulatto
6 (1.2)
Yellow (Asian)
16 (3.1)
Ethnicity not provided
223 (44)
Median age (all)
Female sex
37 (34-43)
Male sex
39 (35-44)
Nationality
Brazilian
500 (99)
Non-Brazilian
5 (1)
University graduation
Medicine
397 (78.6)
Non-medicine
Biology
8 (1.6)
Biomedicine
8 (1.6)
Nursing
12 (2.4)
Electronic engineering
1 (0.2)
Pharmacy
5 (1)
Physiotherapy
5 (1)
History
1 (0.2)
Psychology
5 (1)
Nutrition
6 (1.2)
Chemistry
1 (0.2)
Veterinary
3 (0.6)
Physical education
6 (1.2)
Unknown
38 (7.5)
Previous master's degree
64 (12.7)
Ph.D. without previous master's degree
441 (87.3)
IQR: Interquartile range.
Gender distribution of the postgraduate students.
Mean age of the postgraduate students.
Postgraduate students with previous medical training versus no medical training.
Publications and corresponding impact of the publications’ journals
From 1977 to October 2015, a total of 14,398 manuscripts were published in which the cardiology postgraduate students were first authors or coauthors. Figure 4 shows the number of publications per year by all postgraduate students and the impact factor of the journals in which the articles were published. A progressive increase in the number of publications may be observed until 2007, followed by a decrease from 2008 to 2015. The journals’ impact factors increased until 2011. Figure 5 shows the number of publications from 1977 to 2015 adjusted for the number of postgraduate students with a theoretical ability to publish. A decline in the number of publications may be observed from 1995 to 2000, after which it remained stable until 2013. A tendency towards a reduction in the number of publications may also be observed between 2014-2015.
Number of publications per year by all postgraduate students and corresponding journal impact factors from 1977 to 2015.
Number of publications from 1977 to 2015 adjusted for the number of postgraduate students with a theoretical capacity to publish.
Table 2 shows scientific indices and academic indicators related to the postgraduate students over the decades. The data show a small total number of articles published by year. The total number of citations was low, and the number of citations per article was not expressive. Likewise, the h-index was not high, according to the ISI and Scopus databases (Figure 6). Analysis of the h-index distribution revealed that 12.8%, 54.06%, 20.99%, 7.33%, 2.97%, and 2.57% of the students had h-index values of 0, 1-5, 6-10, 11-15, 16-20, and >20, respectively. University training in biology and biomedicine was associated with a lower h-index value and fewer published articles (Table 3). The median number of published articles and the h-index were higher among students with prior training in medicine (p < 0.0001 and p = 0.0042, respectively).
Scientific indexes and academic indicators of the postgraduate students over decades after completion of the program
Scientific index
Scopus
ISI
Lattes
H-index
4 (2-7)
3 (1-6)
___
Published articles
10 (3-25)
7 (2-16.5)
13 (4-35)
Total number of citations
54 (11-244)
39 (5-167)
___
Citations per article
6 (2-12)
5.6 (2-12)
___
Published articles per year
1 (0.3-2.2)
0.6 (0.2-1.6)
1.5 (0.5-3.2)
Impact factor
___
___
1.5 (0.8-2.4)
Academic indicators
Research
16%
University teaching
15.5%
Research and teaching
26.3%
Others
42.2%
H-index values of the postgraduate students according to the ISI and Scopus databases.
Scientific indexes and academic indicators of the postgraduate students according to the graduation program
Graduation
H-index
Impact factor
Articles
ISI
Scopus
Medicine
3 (1-6)
4 (2-6)
1.4 (0.8-2.5)
16.5 (5-40.3)
Non-medicine
2 (1-4.3)
2 (1-5)
1.8 (0.5-3)
4 (2-11.5)
Biology
1 (0-3)
3 (0-5)
2.9 (1-3.1)
3 (2-9)
Biomedicine
1.5 (0.3-2.8)
2.5 (0.5-3.8)
2.8 (1.2-3.3)
3.5 (2.3-9.3)
Physical education
4.5 (1-8.3)
4.5 (0-9)
1.8 (1.1-2.1)
15.5 (1.8-36.5)
Nursing
3 (2-5.8)
4 (1.3-5)
2.2 (0.7-3.7)
9.5 (5.8-14.5)
Pharmacy
4 (1-6)
4 (1-6.5)
3.5 (0.6-5)
8 (5-13.5)
Physiotherapy
1.5 (0.8-8.5)
2 (0.8-8.3)
1.2 (0.4-2.5)
5 (1.5-52)
Other
1.5 (0.8-3)
2 (0-3)
1.1 (0.2-3.1)
3 (1-5)
Following the end of the postgraduate cardiology program, only 42.3% of the students continued their research activities. Remarkably, 42.2% of the students did not follow research or teaching activities (Table 2).
Discussion
To the best of our knowledge, this is the first study reporting the scientific output of graduates from a cardiology postgraduate program in Brazil. Our findings are relevant because cardiovascular disease is the most frequent cause of death in some developing and developed countries.6 The graduates of the largest cardiology program in Brazil had a progressive incremental in the total number of publications until 2007, mainly as a consequence of the expansion of the community of researchers. Also, the articles were published in journals with progressively higher impact factors until 2011, but these impact factors may be considered low. Moreover, the number of publications adjusted by the number of students reduced until 2000 and remained stable afterward. We observed that the scientific output per student was not homogeneous. The h-index, number of citations, and the number of publications of each graduate were poor. Only 42% of the graduates embraced research activities after the program, and the research they performed had a low impact. The population of postgraduate students also had special characteristics, including a low number of Afro-Brazilian students and foreigners, a progressive incremental rise in the number of students with a higher percentage of younger woman and students without prior medical training credentials.
Despite the success of the increase in the journals’ impact factors until 2011 and the total number of publications until 2007 (which declined as the number of graduate students increased), the scientific productivity by cardiology postgraduate students and its impact are concerning. The heterogeneity of the scientific production was also worrisome because it seems to have followed the Pareto principle, in which a minority is responsible for the greater part of the production. Brazilian scientific publications have increased significantly in number, but the citation indices have remained at approximately 60% of the world’s mean citations (Thomson Reuters). Despite this fact, the performance of Brazilian researchers is high among some developing and emerging countries.7 In a comparison with other countries, a recent bibliometric analysis demonstrated that the number of cardiovascular publications from Latin America increased from 1999 to 2008.8 Brazil was the country with the greatest increase in the number of publications. However, the citation index by year of publication in Brazil was 9 in 1999 and 9.1 in 2008, while in Argentina, this index increased from 9.2 to 25.6. The causes of poor scientific and academic output by cardiology postgraduate students are complex and largely unknown. Unfortunately, we lack published data from other postgraduate courses for the purpose of comparison. Many factors could be hypothesized to explain our findings. Although they might be interconnected, two periods can be considered to explain the causes of our findings: the training period for research during the postgraduate program, and the time after the program. During the training period in the postgraduate program, the initial module is provided to a potentially future researcher, whereas after the conclusion of the program, the student faces a real-world research scenario.
The cardiology postgraduate program was developed according to guidelines developed by CAPES, which may have influenced the training period of the program. CAPES has established criteria for the development of programs, measuring the scientific output of graduates from postgraduate programs and imposing goals for these individuals. The current CAPES criteria for evaluation of postgraduate programs in Brazil were initially established in 1998.9 The evaluation of each program is currently complex and includes an appraisal of the program’s proposal, faculty, students, intellectual output, and social inclusion. For the evaluation of the program, the impact of the scientific journals in which the articles are published is measured by a specific national index called periódicos Qualis. The Qualis system is an imperfect solution that considers the importance of the article according to the journal in which it is published, regardless of the number of citations.7 This evaluation criterion has never been validated prospectively and raises many concerns. Instead of focusing on strengthening scientific bases, technology, and innovation, CAPES has developed other objectives, such as the postgraduate training of teachers of all education levels and training of qualified human resources personnel for the non-academic market. Therefore, the rules established by CAPES may stimulate the training of more but low-impact cardiology researchers.
In addition to the rules established by CAPES, the postgraduate program is also influenced by the university’s environment. The university’s postgraduate board supports high-impact research, but this is actually not a top priority of the cardiology postgraduate program in the real world.10 One important factor seems to be the form of the final assessment of the scientific production of each postgraduate student. Rather than assessing the work done during the postgraduate program through the impact of its publications or the impact of the peer-reviewed journal in which the article was published, the evaluation is performed through a panel of local professors. As a confirmation of this fact, the rate of disapprobation of the theses presented as part of the program is almost nonexistent. In some situations, the publications are accepted for approval but are hindered by bureaucratic complexities. For example, the university’s postgraduate committee points out innovation as one of the objectives of the program but prioritizes other objectives instead, such as the teaching of training, leadership skills, and knowledge of the study field to postgraduate students. In addition, Brazilian universities have low classifications in international rankings, and this low ranking does not provide an enabling environment for high-impact research.11 Some other characteristics of the postgraduate program may contribute to that, such as a scenario of low-risk taking, lack of proper environment for boldly innovative ideas, no priority for innovation in the real world, submission of a research protocol before research training courses, attempt to prepare students for high-impact research using low-impact training, absence of environment or time for revolutionary or innovative ideas or high-impact research, lack of training by international researchers, replication of science rather than development of original science, and necessity of publication as early as possible regardless of the impact that such publication will obtain. In fact, after an analysis of the criteria and objectives established by CAPES and the universities, one might assume that high-impact publications and innovation are not the highest priorities of these institutions in the real world, and the methods used by them are not enough to secure publication in high-impact journals.9,10 Additional factors to explain the finding that high-impact research in the real world is not a priority for Brazilian universities are some lingering distortions from the French school model with its historical professional origin, institutions not integrating teaching and research, elitist attitude,12 and threat to creativity perceived by the privileged model because of the generation of new values as a consequence of innovations and technology. The persistence of remnants of the cathedral structure without consideration of merits for career growth also hinders high-impact scientific accomplishments.13
Regarding the time after the program completion, the national scenario of research institutions is not attractive for cardiology students in terms of the development of a research-oriented career and does not contribute to retaining research talent. Many factors may contribute to that, such as a historical culture lacking research encouragement, low income, accomplishments not properly recognized, the necessity of multiple jobs to obtain adequate income, and promotion of scientific and academic career and choice of leaders not based on merit.
The limited research resources offered by the government and private initiatives,14 the type of distribution of these resources, characteristics of the funding agencies, definitions of priority without enough social scientific transparency, and controversial criteria for the selection of the research to be supported may all influence cardiology graduates during the training period and after the completion of the postgraduate program. Unfortunately, high-impact research, with rare exceptions, is expensive. The popularity of providing research funds with low monetary value is contrary to high-impact research that results in innovation. Also, the low investment in research by private companies in Brazil is remarkable.
To worsen this scenario, foreign companies and institutions have developed in Brazil competitive and financially supported clinical research originating from other countries (without a “local technological value”) generating unfair competition with local, unfunded original research. Unfortunately, this type of research is generally designed in foreign countries without a true Brazilian authorship, and the Brazilian researchers participating are therefore subordinated. At the most, Brazilian researchers may secure the position of coauthors without becoming main authors. This may contribute to local laboratory discoveries remaining in what has been termed as the "valley of death” - a gap between bench research and clinical application.15 Additionally, there is not a critical mass of high-impact researchers acting in funding agencies as peer reviewers who can choose high-impact projects.
In general, the priorities and application of funds from funding agencies are not socially and scientific transparent. The lack of upgrading in funding agencies hinders them from rapidly adapting to new required strategies, considering that these agencies do not make bids for boldly innovative ideas. A cultural change is necessary for agencies considering innovation as a risky activity frequently not resulting in success. However, low investment in research and funding may not be enough to explain the low impact of the publications. In fact, the budget of the Brazilian Ministry of Science, Technology, and Innovation (MCTI) doubled from 2005 to 2010, but this fact was not associated with proportional relevant increments in publication impact.16 The current decrease in research investment following the 2014 economy stalling in Brazil is worrisome. One might suggest that Brazil is a “young” country with regards to research, which could explain the country’s limitations. However, other similarly young countries in terms of research, such as South Korea and China, have found success in innovation.17
The expectations of the cardiology postgraduate student also are important for low-impact publication, because the purpose of the program may sometimes be to complete and refine a previous learning deficiency mainly in research development and interpretation. Also, independently of a research career, graduates with a diploma from a postgraduate program will have better professional opportunities.
Finally, access to publishing in high-impact journals may have undisclosed obstacles, as such journals may prefer to publish manuscripts originating from developed countries. Research developed by Brazilian authors also has a low rate of true international collaboration. Some Brazilian researchers have attempted to overcome this limitation with the inclusion of foreign researchers without a well-defined international cooperation; fortunately, this is not a widespread procedure. Of note, articles with at least one foreign author may attract more citations.7 It has been recently reported that the country from where an article originates affects the perception of the article’s quality and relevance.18 Thus, Brazilian researchers may be compelled to publish in Brazilian journals without a high international prestige, therefore without attracting many citations.7 The median impact factor of most Brazilian journals is below those of thematic fields under international indexes.7 A vicious circle or Matthew effect could be influencing this scenario.
Limitations
Since this retrospective study was conducted in the cardiology field, the internal validity of its results could be considered applicable only for a population of graduates of a cardiology postgraduate program. However, the finding that Brazilian publications have a low impact factor and the important role of the Brazilian postgraduate system in increasing the number of Brazilian publications are evidence of an external validity of our findings, at least in the medical area of cardiology. In other medical areas, the same low impact may be verified.19 On the other hand, it is possible that select postgraduate programs may have different characteristics and, consequently, diverse results.
Much of the Lattes curricula data were included by the graduates themselves; therefore, they could not be entirely verified. Excellent articles, mainly on the areas of Tropical Medicine and Public Health, are not accepted in foreign journals, especially articles considered of "regional interest." Then, extremely important information is oftentimes not properly propagated because the information is not considered as a "universal science."
In contrast, some researchers probably have their research impact increased by participating as coauthors in international trials without resulting in Brazilian innovation or contribution to national technological development (absence of creation of Brazilian value). In fact, an unacceptable disproportion between first authorship and coauthorship can be verified. Moreover, some researchers are not necessarily considered among those with ideas or innovative initiatives, and they often play a supporting role, albeit not a major one, in the research.20 Culturally, it may happen in Brazil, although uncommon, the inclusion of coauthors based on honor (in which the coauthors had no active participation in the research), either because of their hierarchical position at the institution where the research was performed, or for their referral of patients to the study, which is not compliant with the guidelines of the International Committee of Medical Journal Editors.21 The evaluation of the increased impact of the journals in which all scientific research was published may have limitations due to the historical increase in the number of journals in which cardiology articles are generally published.
We did not investigate the number of downloads of each article, which is being increasingly used to assess a publication’s impact. However, download statistics may have limitations. The number of downloads is not offered by most journals and may also include counts derived from search engine crawlers and downloads by non-scientific individuals. Therefore, the number of citations by other articles currently remains the gold standard for evaluation of the impact of an individual scientific article. Also, controversial results have been published concerning the correlation between the number of downloads and citations.22,23
Finally, we did not evaluate the publications’ economic output, including patents, device approvals, and value created. However, considering the low-impact of these publications, positive findings in this area are unlikely. Other variables, such as the h-index of the study advisor, appear to be also important predictors of publication success.24
Implications
In addition to policies designed to increase scientific production, strategies to increase high-impact publications targeting innovation warrant changes to cardiology postgraduate programs and the period following completion of the program. Similar to the philosophical dilemma of the chicken or the egg coming first, the components are integrated and interdependent, but urgent modifications involving many factors should be planned, including related to CAPES, university rules, funding agencies, and the country’s scenario. In fact, the postgraduate system should be reconsidered. Also, a better balance between scientific output and high impact should be obtained.
Other important decisions depend on whether the current cardiology model is cost-effective to the country in training students in research with the knowledge that less than half of the graduates will actually pursue research careers, even low-impact ones. The development of separate programs for high-impact research and teaching should be tested as an alternative. Advanced Medical Education Research and Innovation (MERI) units are an example.25 At the postgraduate level, content should be more innovative, as in the UK.26
The assessment of academic and scientific output by graduates should be mandatory and extended to all postgraduate programs. In the evaluation criteria, scientific output by graduates should be required.
Conclusion
The Scientific output of graduates should be considered in the evaluation criteria of postgraduate programs. Policies for access to socially vulnerable students and international students should be encouraged. Despite the success in increasing the total number of publications, the current proposed mechanisms to increasing publication in high-impact journal through this current postgraduate system seem to be ineffective. Our findings showing a low scientific output from graduates of a cardiology postgraduate program in regards to the low number of publications, impact factor, and h-index values warrant modifications in postgraduate programs’ plans, funding agencies, and the country’s scenario for research.
Sources of Funding
There were no external funding sources for this study.
Study Association
This study is not associated with any thesis or dissertation work.
References1 Organization for Economic Co-operation and Development (OECD). Innovation for development [Internet]. [Cited in 2016 Apr 10]. Available from: http://www.oecd.org/innovation/inno/50586251.pdf.Organization for Economic Co-operation and DevelopmentInnovation for developmentInternet2016 Apr 10Available from: http://www.oecd.org/innovation/inno/50586251.pdf2 Ministério da Educação. Fundação CAPES. [Internet]. [Cited in 2016 Dec 10]. Available from: http://www.capes.gov.br/Ministério da EducaçãoFundação CAPESInternet2016 Dec 10Available from: http://www.capes.gov.br/3 Leal Mdo C, Coimbra CE Jr. Evaluation of graduate studies in Brazil and its impact on national scientific journals: an alert. Cad Saude Publica. 2008;24(11):2460.Leal MdoCCoimbraCEJrEvaluation of graduate studies in Brazil and its impact on national scientific journals: an alertCad Saude Publica20082411246024604 Hueb W, Mady C, Ramires JA. Thirty years of postgraduation in cardiology. Arq Bras Cardiol. 2005;85(6):385-7.HuebWMadyCRamiresJAThirty years of postgraduation in cardiologyArq Bras Cardiol20058563853875 de Meis L, Arruda AP, Guimarães J. The impact of science in Brazil. IUBMB Life. 2007;59(4-5):227-34.de MeisLArrudaAPGuimarãesJThe impact of science in BrazilIUBMB Life2007594-52272346 Barreto ML, Teixeira MG, Bastos FI, Ximenes RA, Barata RB, Rodrigues LC. Successes and failures in the control of infectious diseases in Brazil: social and environmental context, policies, interventions, and research needs. Lancet. 2011;377(9780):1877-89.BarretoMLTeixeiraMGBastosFIXimenesRABarataRBRodriguesLCSuccesses and failures in the control of infectious diseases in Brazil: social and environmental context, policies, interventions, and research needsLancet20113779780187718897 Packer AL. The emergence of journals of Brazil and scenarios for their future. Educ Pesqui São Paulo. 2014;40(2):301-23.PackerALThe emergence of journals of Brazil and scenarios for their futureEduc Pesqui São Paulo20144023013238 Colantonio LD, Baldridge AS, Huffman MD, Bloomfield GS, Prabhakaran D. Cardiovascular research publications from Latin America between 1999 and 2008: a bibliometric study. Arq Bras Cardiol. 2015;104(1):5-15.ColantonioLDBaldridgeASHuffmanMDBloomfieldGSPrabhakaranDCardiovascular research publications from Latin America between 1999 and 2008: a bibliometric studyArq Bras Cardiol201510415159 Ministério da Educação. Fundação CAPES. [Internet]. [Cited in 2014 Apr 10]. Available from: http://www.capes.gov.br/avaliacao/sobre-a-avaliacao.Ministério da EducaçãoFundação CAPESInternet2014 Apr 10Available from: http://www.capes.gov.br/avaliacao/sobre-a-avaliacao10 Universidade de São Paulo. Normas. Resolução nº 6542, de 18 de abril de 2013. [Internet]. [Cited in 2013 Dec 10]. Available from: http://www.leginf.usp.br/?resolucao=resolucao-no-6542-de-18-de-abril-de-2013.Universidade de São PauloNormas. Resolução nº 6542, de 18 de abril de 2013Internet2013 Dec 10Available from: http://www.leginf.usp.br/?resolucao=resolucao-no-6542-de-18-de-abril-de-201311 QS Top Universities. [Internet]. [Cited in 2016 May 20]. Available from: http://www.topuniversities.com/university-rankings/world-university-rankings/2015#sorting=rank+region=+country=+faculty=+stars=false+search.QS Top UniversitiesInternet2016 May 20Available from: http://www.topuniversities.com/university-rankings/world-university-rankings/2015#sorting=rank+region=+country=+faculty=+stars=false+search12 História do Ensino Superior. [Internet]. [Citado em 2016 Abr 10]. Disponível em: http://universidades.universia.com.br/universidades-brasil/historia-ensino-superior/.História do Ensino SuperiorInternet2016 Abr 10Disponível em: http://universidades.universia.com.br/universidades-brasil/historia-ensino-superior/13 Fávero ML. A universidade no Brasil: das origens a Reforma Universitária de 1968. Educar (Curitiba). 2006;28:17-36.FáveroMLA universidade no Brasil: das origens a Reforma Universitária de 1968Educar (Curitiba)200628173614 Senado Federal. Investimento em pesquisa e desenvolvimento, ciência, tecnologia, e inovação no Brasil. Revista de Audiência Pública do Senado Federal. 2012;3(12).Senado FederalInvestimento em pesquisa e desenvolvimento, ciência, tecnologia, e inovação no BrasilRevista de Audiência Pública do Senado Federal201231215 Roberts SF, Fischhoff MA, Sakowski SA, Feldman EL. Perspective: Transforming science into medicine: how clinician-scientists can build bridges across research's "valley of death." Acad Med. 2012;87(3):266-70.RobertsSFFischhoffMASakowskiSAFeldmanELPerspective: Transforming science into medicine: how clinician-scientists can build bridges across research's "valley of death."Acad Med201287326627016 Gibney E. Brazilian science paralysed by economic slump. Nature. 2015;526(7571):16-7.GibneyEBrazilian science paralysed by economic slumpNature20155267571161717 Moses H 3rd, Matheson DH, Cairns-Smith S, George BP, Palisch C, Dorsey ER. The anatomy of medical research: US and international comparisons. JAMA. 2015;313 (2):174-89.MosesH3rdMathesonDHCairns-SmithSGeorgeBPPalischCDorseyERThe anatomy of medical research: US and international comparisonsJAMA2015313217418918 Harris M, Macinko J, Jimenez G, Mahfoud M, Anderson C. Does a research article's country of origin affect perception of its quality and relevance? A national trial of US public health researchers. BMJ Open. 2015;5(12):e008993.HarrisMMacinkoJJimenezGMahfoudMAndersonCDoes a research article's country of origin affect perception of its quality and relevance? A national trial of US public health researchersBMJ Open2015512e00899319 Oliveira MC, Martelli DR, Quirino IG, Colosimo EA, Silva AC, Martelli Júnior H, et al. Profile and scientific production of the Brazilian Council for Scientific and Technological Development (CNPq) researchers in the field of Hematology/Oncology. Rev Assoc Med Bras (1992). 2014;60(6):542-7.OliveiraMCMartelliDRQuirinoIGColosimoEASilvaACMartelliHJúniorProfile and scientific production of the Brazilian Council for Scientific and Technological Development (CNPq) researchers in the field of Hematology/OncologyRev Assoc Med Bras (1992)201460654254720 International Committee of Medical Journal Editors (ICMJE). [Internet]. [Cited in 2016 Dec 15]. Available from: http://www.icmje.org/recommendations/browse/roles-and-responsibilities/defining-the-role-of-authors-and-contributors.html.International Committee of Medical Journal EditorsInternet2016 Dec 15Available from: http://www.icmje.org/recommendations/browse/roles-and-responsibilities/defining-the-role-of-authors-and-contributors.html21 Escobar H. Blog: Herton Escobar. O Estado de São Paulo Estadão-ciência 2016; jan 13. [Internet]. [Citado em 2016 Dez 10]. Disponível em: http://ciencia.estadao.com.br/blogs/herton-escobar/.EscobarHBlog: Herton Escobar. O Estado de São Paulo Estadão-ciência13012016Internet2016 Dez 10Disponível em: http://ciencia.estadao.com.br/blogs/herton-escobar/22 Coats AJ. Top of the charts: download versus citations in the International Journal of Cardiology Int J Cardiol. 2005;105(2):123-5.CoatsAJTop of the charts: download versus citations in the International Journal of CardiologyInt J Cardiol2005105212312523 Chu H, Krichel T. Downlods vs. citations: relationships, contributing factors and beyond. [Internet]. [Cited in 2016 Dec 7]. Available from http://eprints.rclis.org/11085/1/DownloadsVsCitations.pdf.ChuHKrichelTDownlods vs. citations: relationships, contributing factors and beyondInternet2016 Dec 7Available from http://eprints.rclis.org/11085/1/DownloadsVsCitations.pdf24 Cunha A, dos Santos B, Dias AM, Carmagnani AM, Lafer B, Busatto GF. Success in publication by graduate students in psychiatry in Brazil: an empirical evaluation of the relative influence of English proficiency and advisor expertise. BMC Med Educ 2014;14:238.CunhaAdos SantosBDiasAMCarmagnaniAMLaferBBusattoGFSuccess in publication by graduate students in psychiatry in Brazil: an empirical evaluation of the relative influence of English proficiency and advisor expertiseBMC Med Educ20141423823825 Varpio L, Bidlake E, Humphrey-Murto S, Sutherland S, Hamstra SJ. Key considerations for the success of Medical Education Research and Innovation units in Canada: unit director perceptions. Adv Health Sci Educ Theory Pract. 2014;19(3):361-77.VarpioLBidlakeEHumphrey-MurtoSSutherlandSHamstraSJKey considerations for the success of Medical Education Research and Innovation units in Canada: unit director perceptionsAdv Health Sci Educ Theory Pract201419336137726 Harmer A, Lee K, Petty N. Global health education in the United Kingdom: a review of university undergraduate and postgraduate programmes and courses. Public Health. 2015;129(6):797-809.HarmerALeeKPettyNGlobal health education in the United Kingdom: a review of university undergraduate and postgraduate programmes and coursesPublic Health20151296797809Artigo EspecialResultados a Longo Prazo de um Programa de Pós-Graduação em CardiologiaBocchiEdimar Alcides2BorgesDanielle Pazzotti2RigaudVagner Oliveira-Carvalho2Instituto do Coração (InCor) - Faculdade de Medicina da Universidade de São Paulo, São Paulo, SP - BrasilCorrespondência: Edimar Alcides Bocchi, Rua Dr. Melo Alves, 690, 4º andar. CEP 01417-010, Cerqueira Cesar, São Paulo, SP - Brasil. E-mail: dcledimar@incor.usp.br
Contribuição dos autores
Concepção e desenho da pesquisa: Bocchi EA; Obtenção de dados: Borges DP, Oliveira-Carvalho VR; Análise e interpretação dos dados e Revisão crítica do manuscrito quanto ao conteúdo intelectual importante: Bocchi EA, Borges DP, Oliveira-Carvalho VR; Análise estatística: Oliveira-Carvalho VR; Redação do manuscrito: Bocchi EA, Oliveira-Carvalho VR.
Potencial conflito de interesses
Declaro não haver conflito de interesses pertinentes.
Palavras-chaveProgramas de Pós Graduação em SaúdeAtividades Científicas e TecnológicasAvaliação de Programas e Projetos de SaúdeIntrodução
A pesquisa e a inovação contribuem para impulsionar o crescimento econômico e tratar de desafios socioeconômicos como a pobreza e a saúde.1 Muitos países desenvolvidos e em desenvolvimento têm introduzido políticas e sistemas para aumentar a pesquisa e a inovação.
No Brasil, foi criado em 1951 um sistema com objetivos de melhorar a tecnologia e a inovação e fortalecer a pesquisa científica.2,3 Semelhantes a programas de pós-graduação em doutorado em países desenvolvidos, foram desenvolvidos no Brasil programas de pós-graduação com objetivos mais amplos e investigação científica mais aprofundada.4 De fato, uma relação linear foi demonstrada entre o número de alunos formados a partir destes programas e o número de publicações científicas produzidas por eles.5 Além da produção científica, publicar um artigo de alto impacto ou em um periódico com um alto fator de impacto parece ser um requisito importante para a inovação e o crescimento da tecnologia. Considerando que os alunos de pós-graduação desempenham um papel importante na produção científica no Brasil, um estudo incluindo as características da produção científica desses estudantes é justificável.
Nós investigamos retrospectivamente a produção científica e acadêmica de estudantes após a graduação em um curso de pós-graduação em cardiologia. Como a doença cardiovascular é a principal causa de morte em países desenvolvidos e no Brasil, um programa de pós-graduação focado em cardiologia é um bom alvo para a inovação. Além disso, o conhecimento das características e pontos fracos e fortes de um programa de pós-graduação pode ajudar a desenvolver novas estratégias de promoção da inovação e de publicação em periódicos de alto impacto.
Métodos
O protocolo deste estudo foi submetido ao Comitê de Ética da nossa instituição em 14 de maio de 2010 e recebeu o número 3434/10/023. O Comitê aprovou o estudo em 15 de dezembro de 2010 sob o número 385/10.
Objetivos
O principal objetivo deste estudo foi investigar o número de publicações de cada graduando de um programa de pós-graduação em cardiologia no Brasil e o fator de impacto correspondente dos periódicos nos quais as pesquisas desses graduandos foram publicadas.
Os objetivos secundários incluíram a avaliação das características dos alunos, índice h, citações totais, citações por artigo e posição acadêmica.
Desenho do estudo
Este foi um estudo retrospectivo do Instituto do Coração (InCor) em São Paulo. Foi definido como graduando qualquer aluno de pós-graduação que obteve um certificado ao final do curso entre 1977 e 2010. O curso de pós-graduação durante o período do estudo seguiu as normas estabelecidas pela Universidade de São Paulo para este tipo de programa. O curso foi também avaliado desde seu início de acordo com os critérios estabelecidos pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES, agência federal brasileira para o apoio e avaliação de ensino de pós-graduação). As características basais dos alunos utilizadas neste estudo foram obtidas no momento do registro dos mesmos no curso e incluíram idade, sexo e outros dados relatados no momento basal. Estes dados foram resgatados a partir dos arquivos do programa do Departamento de Cardiopneumologia em 2010.
Uma revisão sistemática foi realizada com um desenho quantitativo, retrospectivo e documental para cada aluno durante o período que se seguiu à conclusão da pós-graduação. A revisão incluiu artigos científicos publicados de janeiro de 1977 a outubro de 2015, incluídos nos bancos de dados Scopus e ISI Web of Science, como indicado por cada aluno de pós-graduação em seu currículo Lattes. Este currículo é parte de um banco de dados brasileiro criado em 1999 e apoiado pelo Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq), no qual os pesquisadores podem incluir informações sobre sua produção acadêmica e científica (lattes.cnpq.br/). O nome de cada aluno foi utilizado para a revisão. O currículo Lattes pode também incluir dados sobre as instituições às quais os estudantes são filiados e as equipes de pesquisa.
Foram excluídos da análise os artigos científicos compreendendo resumos, guias médicos, relatórios técnicos e científicos, dissertações, informações ministeriais e governamentais, ou qualquer outro tipo de documento sem conformidade com a estrutura IMRDC (Introdução, Métodos, Resultados, Discussão e Conclusão) aplicada aos artigos científicos, com exceção de revisões, editoriais e comentários abordando problemas cardiovasculares, publicados em periódicos indexados no PubMed. Qualquer artigo no qual o aluno foi o primeiro autor ou um coautor foi incluído na análise.
Análise estatística
Os dados foram analisados estatisticamente com o GraphPad Prism 6 para Windows. O teste de Shapiro-Wilk foi aplicado para verificar a distribuição gaussiana dos dados. A análise estatística descritiva incluiu distribuição simples de frequências, cálculo de proporções e mediana e respectivos intervalos interquartis (IIQ). As variáveis contínuas estão expressas como mediana e IIQ, e as categóricas como porcentagem. Para a comparação de grupos, os testes de Mann-Whitney ou Wilcoxon foram utilizados, quando apropriados. Todos os testes foram bicaudais e um nível de p < 0,05 foi considerado indicativo de significância estatística.
ResultadosCaracterísticas dos estudantes de pós-graduação
O estudo incluiu 505 alunos que haviam concluído o curso de pós-graduação em cardiologia. A maioria dos alunos era do sexo masculino, branco, e havia anteriormente obtido diploma de medicina (Tabela 1). A Figura 1 mostra o aumento incremental recente de mulheres como estudantes de pós-graduação na coorte. A ausência da etnia afro-brasileira é notável nesta população estudantil, dado o elevado número de afrodescendentes na população brasileira (Tabela 1). A maioria dos alunos não tinha mestrado prévio. As alunas do sexo feminino eram mais jovens do que os alunos do sexo masculino, principalmente na última década (Figura 2). O número de estudantes de pós-graduação aumentou ao longo das décadas e foi observado um aumento recente de graduandos sem diploma de medicina (Figura 3). Gostaríamos também de chamar a atenção para o baixo número de estudantes estrangeiros.
Características basais dos alunos de pós-graduação
Variável
N (%) ou mediana (IIQ)
Número total
505 (100)
Sexo masculino
316 (62,6)
Sexo feminino
189 (37,4)
Etnia
Branca
260 (51,5)
Afro-brasileira
0 (0)
Parda
6 (1,2)
Amarela (asiáticos)
16 (3,1)
Etnia não fornecida
223 (44)
Idade mediana (todos)
Sexo feminino
37 (34-43)
Sexo masculino
39 (35-44)
Nacionalidade
Brasileiros
500 (99)
Não brasileiros
5 (1)
Graduação universitária
Medicina
397 (78,6)
Não medicina
Biologia
8 (1,6)
Biomedicina
8 (1,6)
Enfermagem
12 (2,4)
Engenharia eletrônica
1 (0,2)
Farmácia
5 (1)
Fisioterapia
5 (1)
História
1 (0,2)
Psicologia
5 (1)
Nutrição
6 (1,2)
Química
1 (0,2)
Veterinária
3 (0,6)
Educação física
6 (1,2)
Desconhecida
38 (7,5)
Mestrado anterior
64 (12,7)
Doutorado sem mestrado anterior
441 (87,3)
IIQ: intervalo interquartil.
Distribuição dos alunos de pós-graduação por sexo.
Média de idade dos alunos de pós-graduação.
Estudantes de pós-graduação com formação médica prévia versus sem formação médica.
Publicações e impacto dos periódicos correspondentes das publicações
Entre 1977 e outubro de 2015, um total de 14.398 manuscritos foram publicados nos quais os alunos de pós-graduação em cardiologia foram os primeiros autores ou coautores. A Figura 4 mostra o número de publicações por ano entre todos os estudantes de pós-graduação e o fator de impacto dos periódicos nos quais os artigos foram publicados. Um aumento progressivo no número de publicações pode ser observado até 2007, seguido de uma redução de 2008 a 2015. O fator de impacto dos periódicos aumentou até 2011. A Figura 5 mostra o número de publicações de 1977 a 2015, ajustado pelo número de alunos de pós-graduação com capacidade teórica de publicar. Um declínio no número de publicações pode ser observado de 1995 a 2000, após o qual permaneceu estável até 2013. Uma tendência de redução do número de publicações pode ser também observada entre 2014 e 2015.
Número de publicações por ano por todos os estudantes de pós-graduação e fatores de impacto dos periódicos correspondentes entre 1977 e 2015.
Número de publicações de 1977 a 2015 ajustado pelo número de estudantes de pós-graduação com capacidade teórica para publicar.
A Tabela 2 mostra os índices científicos e indicadores acadêmicos relacionados com os estudantes de pós-graduação ao longo das décadas. Os dados mostram um baixo número total de artigos publicados por ano. O número total de citações foi baixo e o número de citações por artigo não foi expressivo. Da mesma forma, o índice h não foi alto de acordo com as bases de dados ISI e Scopus (Figura 6). A análise da distribuição do índice h revelou que 12,8%, 54,06%, 20,99%, 7,33%, 2,97% e 2,57% dos estudantes tinham valores do índice h de 0, 1-5, 6-10, 11-15, 16-20 e > 20, respectivamente. Formação universitária em biologia e biomedicina esteve associada com valores de índice h mais baixos e um número menor de artigos publicados (Tabela 3). A mediana do número de artigos publicados e o índice h foram maiores em alunos com treinamento prévio em medicina (p < 0,0001 e p = 0,0042, respectivamente).
Índices científicos e indicadores acadêmicos de estudantes de pós-graduação ao longo de décadas após a conclusão do curso
Índice científico
Scopus
ISI
Lattes
Índice h
4 (2-7)
3 (1-6)
____
Artigos publicados
10 (3-25)
7 (2-16,5)
13 (4-35)
Número total de citações
54 (11-244)
39 (5-167)
____
Citações por artigo
6 (2-12)
5,6 (2-12)
____
Artigos publicados por ano
1 (0,3-2,2)
0,6 (0,2-1,6)
1,5 (0,5-3,2)
Fator de impacto
____
____
1,5 (0,8-2,4)
Indicadores acadêmicos
Pesquisa
16%
Ensino universitário
15,5%
Pesquisa e ensino
26,3%
Outros
42,2%
Valores do índice h de alunos de pós-graduação de acordo com os bancos de dados ISI e Scopus.
Índices científicos e indicadores acadêmicos de alunos de pós-graduação de acordo com o programa de graduação
Graduação
Índice h
Fator de impacto
Artigos
ISI
Scopus
Medicina
3 (1-6)
4 (2-6)
1,4 (0,8-2,5)
16,5 (5-40,3)
Não medicina
2 (1-4,3)
2 (1-5)
1,8 (0,5-3)
4 (2-11,5)
Biologia
1 (0-3)
3 (0-5)
2,9 (1-3,1)
3 (2-9)
Biomedicina
1,5 (0,3-2,8)
2,5 (0,5-3,8)
2,8 (1,2-3,3)
3,5 (2,3-9,3)
Educação física
4,5 (1-8,3)
4,5 (0-9)
1,8 (1,1-2,1)
15,5 (1,8-36,5)
Enfermagem
3 (2-5,8)
4 (1,3-5)
2,2 (0,7-3,7)
9,5 (5,8-14,5)
Farmácia
4 (1-6)
4 (1-6,5)
3.5 (0,6-5)
8 (5-13,5)
Fisioterapia
1,5 (0,8-8,5)
2 (0,8-8,3)
1,2 (0,4-2,5)
5 (1,5-52)
Outros
1,5 (0,8-3)
2 (0-3)
1,1 (0,2-3,1)
3 (1-5)
Após o final do programa de pós-graduação em cardiologia, apenas 42,3% dos alunos mantiveram atividades de pesquisa. Notavelmente, 42,2% dos alunos não seguiram atividades de docência ou de pesquisa (Tabela 2).
Discussão
Que seja de nosso conhecimento este é o primeiro estudo a relatar a produção científica de graduandos de um curso de pós-graduação em cardiologia no Brasil. Nossos achados são relevantes pois a doença cardiovascular é a causa mais frequente de morte em alguns países em desenvolvimento e desenvolvidos.6 Os graduandos do maior programa de cardiologia do Brasil apresentaram um incremento progressivo no número total de publicações até 2007, principalmente em consequência da expansão da comunidade de investigadores. Além disso, os artigos foram publicados em periódicos com fatores de impacto progressivamente mais altos até 2011, mas esses fatores de impacto podem ser considerados baixo. Além disso, ocorreu uma redução no número de publicações ajustadas pelo número de alunos até 2000 e que, posteriormente, permaneceu estável. Observamos que a produção científica por aluno não foi homogênea. O índice h, número de citações e o número de publicações de cada graduando foram baixos. Apenas 42% dos graduandos mantiveram atividades de pesquisa após o curso e a pesquisa realizada foi de baixo impacto. A população de estudantes de pós-graduação também apresentava características especiais, incluindo um baixo número de estudantes afro-brasileiros e estrangeiros, um incremento progressivo no número de alunos com uma maior percentagem de mulheres jovens e estudantes sem credenciais prévias de formação médica.
Apesar do sucesso do aumento do fator de impacto dos periódicos até 2011 e o número total de publicações até 2007 (que diminuiu com o aumento no número de alunos graduados), a produtividade científica dos alunos de pós-graduação em cardiologia e o seu impacto são preocupantes. A heterogeneidade da produção científica foi igualmente preocupante porque parece ter seguido o princípio de Pareto, no qual uma minoria é responsável pela maior parte da produção. Publicações científicas brasileiras aumentaram significativamente em número, mas os índices de citações permaneceram aproximadamente 60% em relação à média das citações mundiais (Thomson Reuters). Apesar deste fato, o desempenho dos pesquisadores brasileiros é alto entre alguns países emergentes e em desenvolvimento.7 Em comparação com outros países, uma análise bibliométrica recente mostrou que o número de publicações cardiovasculares da América Latina aumentou entre 1999 e 2008.8 O Brasil foi o país com o maior aumento no número de publicações. No entanto, o índice de citações por ano das publicações brasileiras foi de 9 em 1999 e 9,1 em 2008, enquanto na Argentina, este índice aumentou de 9,2 para 25,6. As causas da baixa produção científica e acadêmica por alunos de pós-graduação em cardiologia são complexas e amplamente desconhecidas. Infelizmente, há carência de dados publicados a partir de outros cursos de pós-graduação para efeitos de comparação. Muitos fatores poderiam ser especulados para explicar nossos achados. Embora provavelmente interligados, dois períodos podem ser considerados para explicar as causas de nossos achados: o período de treinamento para pesquisa desenvolvida durante o curso de pós-graduação e o período após o curso. Durante o período de treinamento no curso de pós-graduação, o módulo inicial é oferecido a um futuro pesquisador em potencial, enquanto após a conclusão do curso, o aluno enfrenta um cenário de pesquisa no mundo real.
O programa de pós-graduação em cardiologia foi desenvolvido de acordo com diretrizes estabelecidas pela CAPES, que podem ter influenciado o período de formação do curso. A CAPES estabeleceu os critérios para o desenvolvimento de cursos, medindo a produção científica de graduandos de programas de pós-graduação e impondo metas para esses indivíduos. Os critérios atuais da CAPES para avaliação de cursos de pós-graduação no Brasil foram inicialmente estabelecidos em 1998.9 A avaliação de cada programa é atualmente complexa e inclui a apreciação da proposta e de docentes, estudantes, produção intelectual e inclusão social do curso. Para a avaliação do curso, o impacto dos periódicos científicos nos quais os artigos são publicados é medido por um índice nacional específico chamado periódicos Qualis. O sistema Qualis é uma solução imperfeita que considera a importância do artigo de acordo com o periódico no qual este artigo é publicado, independe do número de citações.7 Esse critério de avaliação nunca foi validado prospectivamente e dá margem a muitas preocupações. Ao invés de se concentrar em fortalecer as bases científicas, tecnológicas e inovadoras, a CAPES desenvolveu outros objetivos, tais como formação na pós-graduação de professores de todos os níveis de ensino e de formação de pessoal qualificado para o mercado não acadêmico. Como consequência, as regras estabelecidas pela CAPES podem estimular a formação de pesquisadores de cardiologia em maior número, porém com baixo impacto.
Além das regras estabelecidas pela CAPES, o programa de pós-graduação também é influenciado pelo ambiente da universidade. As Comissões de pós-graduação da universidade apoiam a pesquisa de alto impacto, mas isso na verdade não é uma grande prioridade dos programas de pós-graduação no mundo real.10 Um fator importante parece ser a forma de avaliação final da produção científica de cada aluno de pós-graduação. Ao invés de avaliar o trabalho realizado durante o programa de pós-graduação através do impacto das suas publicações ou o impacto do periódico no qual o artigo é publicado, a avaliação é realizada através de um painel de professores. Como confirmação deste fato, a taxa de desaprovação de teses apresentadas como parte do programa é quase inexistente. Em algumas situações, as publicações são aceitas para aprovação mas são dificultadas por complexidades burocráticas. Por exemplo, o comitê de pós-graduação da universidade destaca a inovação como um dos objetivos do programa mas, ao invés disto, prioriza outros objetivos tais como o ensino de formação, habilidades de liderança e conhecimento do campo de estudo para estudantes de pós-graduação. Além disso, as universidades brasileiras têm baixa classificações em rankings internacionais, e esse baixo ranking não disponibiliza um ambiente propício para a investigação de alto impacto.11 Algumas outras características do programa de pós-graduação podem contribuir para isto, como um cenário de tomada de baixo risco, falta de ambiente adequado para ideias ousadas e inovadoras, ausência de prioridade para a inovação no mundo real, submissão de um protocolo de pesquisa antes de cursos de treinamento em pesquisa, tentativa de preparar os alunos para a pesquisa de alto impacto utilizando treinamento de baixo impacto, falta de treinamento por pesquisadores internacionais, replicação de ciência ao invés de desenvolvimento de ciência original e necessidade de publicação o mais rápido possível independente do impacto que essa publicação irá obter. De fato, após uma análise dos critérios e objetivos estabelecidos pela CAPES e universidades, pode-se supor que as publicações de alto impacto e inovações não são as maiores prioridades destas instituições no mundo real, e que os métodos utilizados pelos mesmos não sejam suficientes para garantir publicação em periódicos de alto impacto.9,10 Fatores adicionais para explicar o achado de que a pesquisa de alto impacto no mundo real não é uma prioridade das universidades brasileiras são algumas distorções persistentes do modelo da escola francesa com sua origem profissional histórica, instituições que não integram ensino e pesquisa, atitude elitista12 e ameaça à criatividade percebida pelo modelo privilegiado devido à geração de novos valores como consequência de inovações e tecnologia. A persistência de remanescentes da estrutura catedrática sem consideração de mérito para crescimento profissional também dificulta realizações científicas de alto impacto.13
Quanto ao tempo após a conclusão do programa, o cenário nacional de instituições de pesquisa não é atraente para alunos de cardiologia em termos de desenvolvimento de uma carreira orientada para a pesquisa, além de não contribuir para reter talentos na área de pesquisa. Muitos fatores podem colaborar para isto, como uma cultura histórica que carece de motivação à pesquisa, baixa renda, realizações não reconhecidas apropriadamente, necessidade de múltiplos empregos para obtenção de um rendimento adequado, promoção acadêmica e científica e escolha de líderes não baseadas em mérito.
A limitação de recursos à pesquisa oferecidos pelo governo e iniciativa privada,14 o tipo de distribuição de tais recursos, características das agências de financiamento, definições de prioridade sem transparência científica-social suficiente e critérios controversos para a seleção da pesquisa a ser apoiada podem influenciar os graduandos de cardiologia durante o período de formação e após a conclusão do programa de pós-graduação. Infelizmente, a pesquisa de alto impacto, com raras exceções, é cara. A popularidade de fornecer fundos de pesquisa com baixo valor monetário é contrária à pesquisa de alto impacto que resulta em inovação. Além disso, o baixo investimento em pesquisa por empresas privadas no Brasil é notável.
Para piorar este cenário, empresas estrangeiras e instituições têm desenvolvido no Brasil pesquisa clínica competitiva e apoiada financeiramente porém originária de outros países (sem um “valor tecnológico local"), gerando uma concorrência desleal com pesquisas locais originais e sem apoio financeiro. Infelizmente, este tipo de pesquisa é geralmente concebido em países estrangeiros sem uma autoria verdadeiramente brasileira, e os pesquisadores brasileiros participantes tornam-se, então, subordinados. No máximo, os pesquisadores brasileiros podem obter a posição de coautores sem se tornarem autores. Isso pode contribuir para que descobertas em laboratório locais permaneçam no que tem sido chamado de "vale da morte" - uma lacuna entre a pesquisa de bancada e a aplicação clínica.15 Além disso, não há um volume crítico de investigadores de alto impacto atuando como revisores em agências de financiamento para escolha de projetos de alto impacto.
Em geral, as prioridades e a aplicação de fundos de agências de financiamento não são socialmente e cientificamente suficientemente transparentes. A falta de atualização das agências de financiamento dificulta uma rápida adaptação das mesmas a novas estratégias necessárias, considerando que estas agências não fazem propostas para ideias inovadoras e audazes. É necessária uma mudança cultural nas agências considerando a inovação como uma atividade de risco que frequentemente não resulta em sucesso. No entanto, o baixo investimento na pesquisa e no financiamento pode não ser suficiente para explicar o baixo impacto das publicações. De fato, o orçamento do Ministério da Ciência, Tecnologia e Inovação (MCTI) do Brasil dobrou de 2005 a 2010, mas esse fato não se associou com incrementos proporcionais relevantes no impacto das publicações.16 A redução atual no investimento de pesquisa após a estagnação da economia em 2014 no Brasil é preocupante. Pode-se sugerir que o Brasil é um país "jovem" no que diz respeito à pesquisa, o que poderia explicar as limitações do país. No entanto, outros países igualmente jovens em termos de pesquisa, tais como a Coreia do Sul e a China têm encontrado sucesso na inovação.17
As expectativas dos alunos de pós-graduação em cardiologia são também importantes para publicação de baixo impacto, pois a finalidade do curso pode ser, por vezes, a de completar e aperfeiçoar uma deficiência de aprendizagem anterior principalmente no desenvolvimento e interpretação da pesquisa. Além disso, independentemente de uma carreira de pesquisa, graduandos com um diploma de um programa de pós-graduação terão melhores oportunidades profissionais.
Por último, o acesso à publicação em periódicos de alto impacto pode ter obstáculos velados, pois tais periódicos podem preferir publicar manuscritos originários de países desenvolvidos. Pesquisa desenvolvidas por autores brasileiros também tem uma taxa baixa de verdadeira colaboração internacional. Alguns pesquisadores brasileiros têm tentado superar esta limitação com a inclusão de pesquisadores estrangeiros sem uma cooperação internacional bem definida; felizmente, este não é um procedimento generalizado. Vale observar que artigos com pelo menos um autor estrangeiro podem atrair mais citações.7 Foi relatado recentemente que o país de onde provém um artigo afeta a percepção da qualidade e relevância de tal artigo.18 Assim, pesquisadores brasileiros podem se sentir compelidos a publicarem em periódicos brasileiros sem elevado prestígio internacional, portanto sem atrair muitas citações.7 O fator de impacto da maioria dos periódicos brasileiros está abaixo da mediana dos fatores de impacto de campos temáticos sob os índices internacionais.7 Um círculo vicioso ou efeito de Mateus poderia estar influenciando esse cenário.
Limitações
Uma vez que este estudo retrospectivo foi conduzido no campo da cardiologia, a validade interna dos seus resultados poderia ser considerada como aplicável apenas para uma população de graduandos de um programa de pós-graduação em cardiologia. No entanto, os achados de que publicações brasileiras têm um baixo fator de impacto e o papel importante do sistema brasileiro de pós-graduação em aumentar o número de publicações brasileiras são evidências de uma validade externa dos nossos achados, pelo menos na área médica da cardiologia. Em outras áreas da medicina, o mesmo baixo impacto pode ser verificado.19 Por outro lado, é possível que programas de pós-graduação selecionados possam ter características diferentes e, portanto, resultados diversos.
Muitos dos dados dos currículos Lattes foram incluídos pelos próprios graduandos; portanto, não puderam ser inteiramente verificados. Excelentes artigos, principalmente nas áreas de Medicina Tropical e Saúde Pública, não são aceitos em periódicos estrangeiros, especialmente artigos considerados de "interesse regional". Sendo assim, informações extremamente importantes muitas vezes não são propagadas devidamente porque a informação não é considerada uma "ciência universal".
Por outro lado, alguns pesquisadores provavelmente têm o impacto de sua pesquisa aumentado ao participarem como coautores em estudos internacionais sem resultar em inovação brasileira ou contribuição para o desenvolvimento tecnológico nacional (ausência de criação de um valor brasileiro). Na verdade, uma desproporção inaceitável entre primeira autoria e coautoria pode ser verificada. Além disso, alguns pesquisadores não são necessariamente considerados entre aqueles com ideias ou iniciativas inovadoras e frequentemente desempenham na pesquisa um papel de apoio que não é importante.20 Culturalmente, pode ocorrer no Brasil, apesar de infrequente, a inclusão de coautores com base em honraria (na qual os coautores não participam ativamente na pesquisa), quer pela sua posição hierárquica na instituição onde foi realizada a pesquisa, ou pelo encaminhamento de pacientes para o estudo, o que não está em conformidade com as orientações do Comitê Internacional de Editores de Periódicos Médicos.21 A avaliação do aumento do impacto dos periódicos nos quais a pesquisa científica é publicada pode ter limitações devido ao histórico aumento no número de periódicos nos quais artigos de cardiologia são em geral publicados.
Nós não investigamos o número de downloads de cada artigo, o que vem sendo cada vez mais utilizado para avaliação do impacto das publicações. No entanto, estatísticas de download podem ter limitações. O número de downloads não é oferecido pela maioria dos periódicos e pode incluir também contagens derivadas de indexadores de mecanismos de busca e downloads por indivíduos não científicos. Por conseguinte, o número de citações por outros artigos permanece atualmente como o padrão-ouro para a avaliação do impacto de artigos científicos individuais. Além disso, resultados controversos têm sido publicados sobre a correlação entre o número de downloads e citações.22,23
Por último, não avaliamos a produção econômica das publicações, incluindo patentes, aprovações de dispositivos e valores criados. No entanto, considerando o baixo impacto dessas publicações, resultados positivos nesta área são pouco prováveis. Outras variáveis, tais como o índice h do orientador do estudo, parecem ser também importantes preditores de sucesso das publicações.24
Implicações
Além de políticas destinadas a aumentar a consequencia científica, estratégias para aumentar as publicações de alto impacto visando inovação justificam mudanças nos programas de pós-graduação em cardiologia e no período após a conclusão do programa. Semelhante ao dilema filosófico de quem vem antes, se a galinha ou o ovo, os componentes são integrados e interdependentes, mas modificações urgentes envolvendo muitos fatores devem ser planejadas, incluindo as relacionadas à CAPES, regras da universidade, agências de financiamento e o cenário do país. De fato, o sistema de pós-graduação deve ser reconsiderado. Além disso, um melhor equilíbrio entre a produção científica e o alto impacto deve ser obtido.
Outras decisões importantes dependem do custo-benefício do atual modelo de cardiologia para o país na formação de estudantes em pesquisa com o conhecimento de que menos da metade dos graduandos prosseguirão efetivamente com carreiras de pesquisa, mesmo as de baixo impacto. O desenvolvimento de programas separados de pesquisa de alto impacto e ensino deveria ser testado como alternativa. Unidades avançadas de pesquisa e inovação em educação médica (MERIS) são um exemplo.25 Ao nível da pós-graduação, o conteúdo deveria ser mais inovador, como no Reino Unido.26
A avaliação da produção acadêmica e científica pelos graduandos deveria ser obrigatória e estendida a todos os programas de pós-graduação. Nos critérios de avaliação, a produção científica por graduandos deveria ser exigida.
Conclusão
A produção científica de graduandos deve ser considerada nos critérios de avaliação de programas de pós-graduação. Políticas de acesso a estudantes socialmente vulneráveis e alunos internacionais devem ser encorajadas. Apesar do sucesso em aumentar o número total de publicações, os mecanismos propostos atualmente para aumentar a publicação em periódicos de alto impacto através do sistema de pós-graduação atual parecem ser ineficazes. Nossos achados mostrando baixa produção científica entre graduandos de um programa de pós-graduação em cardiologia no que diz respeito ao reduzido número de publicações, fator de impacto e valores de índice h justificam modificações nos planos dos programas de pós-graduação, agências de financiamento e no cenário de pesquisa do país.
Fontes de financiamento
O presente estudo não teve fontes de financiamento externas.
Vinculação acadêmica
Não há vinculação deste estudo a programas de pós-graduação.