Os Critérios da Avaliação para ser Orientador na Pós-Graduação Brasileira

Cada uma das 45 áreas do conhecimento (http://www.capes.gov.br/avaliacao/representantes.html) em que atua a Capes tem seus critérios de avaliação, mas há uma filosofia comum a todas. 

Como aqui há muita confusão e bastante equívoco, este é um assunto fundamental. Produção científica.

Veja um link sobre uma recente entrevista do professor Renato Janine, como dirigente do MEC,
http://rafaelrag.blogspot.com.br/2015/10/renato-janine-e-substituido-por-aloisio.html

 Podemos dizer que o primeiro critério na Capes é que, para alguém orientar ou mesmo lecionar na pós-graduação, é decisivo que seja pesquisador. Na graduação, entende-se e é necessário que um professor seja um bom didata, mesmo que não se dedique à pesquisa inovadora (mas precisa atualizar-se com os resultados da pesquisa de ponta). Na pós-graduação, o volume de aulas é melhor e por isso mesmo a questão da boa didática é menos importante do que a da qualidade da pesquisa que o docente faz e na qual leva seu aluno a mergulhar. Em outras palavras, só ensina a pesquisar quem pesquisa. Isto requer um primeiro ponto, que é como se mede a pesquisa. Uma das maiores ilusões sobre a Capes é a do assim-chamado “produtivismo”, isto é, a idéia de que a agência só quer saber se e quanto você produz. Não é verdade. O mais importante é a qualidade do que se produz. Evidentemente, só podemos saber da produção científica quando ela é publicada. É quando ela se torna fecunda, quando se expõe a críticas, que podem ser devastadoras , mas quase sempre têm um efeito construtivo, e quando pode influenciar leitores e levá-los a citá-la em suas próprias pesquisas. Publicar é então o meio de difundir a produção, de socializá-la. Como se mede a qualidade da pesquisa publicada? Em várias áreas, há o fator de impacto. Em princípio, este se mede tomando-se uma revista científica, verificando quantas citações revistas científicas qualificadas fizeram de um número dela e dividindo-se esse total de citações pela quantidade de artigos publicados naquele exemplar. Assim, se a revista A publicou 20 artigos, que foram citados 100 vezes, seu fator de impacto é cinco. Mas, se nas outras publicações saiu apenas um referência a algum daqueles artigos, e nada mais, o fator é 0,05 (ou seja, um dividido por 20). Esta é uma medida bastante sofisticada. Ela significa que não se mede apenas a qualidade da revista, mas o seu “impacto”, ou seja, sua fecundidade. Um trabalho pode ser muito bom, eventualmente, mas não repercutir em nenhuma pesquisa nova. Não será citado, então, e terá sido de certa forma estéril. Mas essa não é uma deficiência do fator de impacto. É que este mede como uma publicação contribui para constituir uma comunidade científica, não apenas a qualidade de artigos isolados. Se há citações, é sinal de que se está construindo um ambiente de diálogo, uma massa crítica, que permitirá que a área avance. O fato de um artigo sair numa revista de impacto maior – ou menor – não quer dizer que ele, individualmente, vá ter aquele número de citações. O fator é uma média. Mas indica que há uma probabilidade maior de ele ser lido e, assim, influir na pesquisa e ser citado. Vê-se então a importância de uma política editorial seletiva e rigorosa. Quanto melhores os artigos que saem numa revista, maior a chance de ser lida, e por aí vai. Como temos cinco tipos principais de produção – em periódicos, em anais de eventos, em livros, em patentes e em produção artística – cada um coloca seus desafios específicos. O que falei vale para os periódicos, basicamente.

Leia mais

 Cada área do conhecimento estabelece a sua hierarquia de revistas (e de outras produções) e publica um Qualis, isto é, sua classificação delas. Já temos Qualis de periódicos, de eventos e de produção artística. Este ano, pela primeira vez, as áreas que têm seu forte na produção de livros vão fazer a classificação de qualidade e/ou impacto desse outro tipo de publicação. Mas falaremos do Qualis em outra semana. Distribuição da produção científica Mas adiantaria muito se, num programa, um, dois ou três docentes respondessem pela produção científica, enquanto os outros dessem aulas e orientassem? O que se deseja é um equilíbrio na produção intelectual, respeitada evidentemente a diferença entre seniores e juniores, entre docentes mais maduros e mais novos, que leve um aluno a sentir segurança de que será orientado por um pesquisador de verdade, e não por alguém sem experiência de pesquisa. Isso é o que se chama distribuição da produção científica. As áreas fixam faixas distintas, mas digamos que é razoável supor que dois terços do corpo docente de um curso, pelo menos, atendam a um ritmo de publicação de determinada qualidade, para a Capes poder dar uma nota que indica, com pequena margem de erro, que o aluno será orientado no patamar daquele curso (que pode ter nota regular, boa, muito boa ou excelente). Ou seja, um curso “muito bom” não é aquele que tem dois ou três professores excelentes e vinte apenas regulares. É um curso que tem sua linha de equilíbrio no muito bom, e portanto assegura a seus alunos uma chance elevada de ter professores e orientadores desse quilate. Formação de mestres e doutores Mas, se parássemos aí, estaríamos fazendo a avaliação dos grupos de pesquisa. O CNPq, nossa agência irmã, tem um importante diretório de grupos de pesquisa. Mas há algo que falta ao conceito de grupo de pesquisa: ele não forma pessoas. Como o Brasil faz sua avaliação dos cursos de mestrado e doutorado a partir da Capes, que tem no nome o aperfeiçoamento do pessoal de nível superior, nosso principal “produto” não são os artigos e livros, nem mesmo as teses e dissertações, mas os mestres e doutores que vão utilizar o conhecimento e a experiência adquirida para atuar quarenta, talvez cinqüenta anos na pesquisa ou na sua profissão. Por isso, é fundamental ver como se dá esta formação. Algumas áreas exigem que a tese ou dissertação resulte em publicações de um determinado nível de qualidade. A química, aliás, é radical: ela só computa a produção científica do professor quando ele tem, como co-autor, um aluno de pós-graduação. Uma obra prima solo não valeria. Vê-se como a área está longe do “produtivismo”! Contudo, nas áreas em que não há a tradição da co-autoria, como nas humanas, seria difícil importar esse critério. Outras áreas lêem algumas teses e dissertações, geralmente enviadas pelo programa (o que traz o risco de distorcer o resultado, porque somente são remetidas as melhores). Com a divulgação de teses pela internet, é possível apreciar a qualidade de maior número delas e também se torna viável esse julgamento por parte da comunidade. Equilíbrio na formação de mestres e doutores Da mesma forma que não é bom ter a produção intelectual de qualidade concentrada em poucos membros do programa, também é negativo ter a orientação conduzida apenas por pequena parte deles. Adaptemos o exemplo acima: imaginemos então que dois ou três professores concentrem a maior parte das orientações de um curso, enquanto vinte têm um desempenho pequeno. Ora, o que queremos é que o professor que pesquisa seja o mesmo que orienta. Se houver uma “especialização” de uns na orientação, outros na docência e outros, ainda, na pesquisa, o resultado será que os orientados não terão tido experiência real de pesquisa. É o contrário do que queremos. Repetimos: cada área tem ampla autonomia na definição de seus critérios, o que ela faz com o representante de área se reunindo com sua comissão e discutindo, geralmente, com os coordenadores dos cursos de mestrado e doutorado e ainda com as sociedades científicas. Mas os principais critérios têm sua filosofia acima exposta. Faltou um, ao qual chegaremos mais tarde: o do impacto social. Este é uma novidade. 

Renato Janine Ribeiro Diretor de Avaliação da Capes