viernes, 31 de enero de 2014

Avaliação acadêmica: muito além do jardim

A recente divulgação das avaliações que a Capes realizou dos programas de pós-graduação brasileiros abriu um importante debate sobre política e produção científica. Meses antes dessa divulgação Fernando Reinach (2013) havia criticado a prática de dividir uma mesma pesquisa em vários artigos para aumentar o número de publicações, chamada por Mark Perutz, o descobridor da estrutura molecular da proteína, de “Salami Science”. De acordo com Reinach, essa prática estaria se difundindo no Brasil “porque agora os cientistas e suas instituições são avaliados a partir de fórmulas matemáticas que levam em conta três ingredientes, combinados ao gosto do freguês: número de trabalhos publicados, quantas vezes esses trabalhos foram citados na literatura e qualidade das revistas (medida pela quantidade de citações a trabalhos publicados na revista).” Embora reconhecesse a importância dos métodos quantitativos, Reinach enfatizou a necessidade de valorizar a qualidade, criatividade e originalidade da pesquisa cientifica, as quais na maioria dos casos não podem ser identificadas mediante critérios numéricos e algoritmos matemáticos.
No final do mesmo ano, o biólogo Randy Schekman chacoalhou as salas de edição de algumas das mais importantes revistas acadêmicas do mundo. Às vésperas de receber o prêmio Nobel de Medicina de 2013. Schekman fez o que só alguém em sua posição poderia, desferiu um duríssimo golpe contra a reputação das grandes revistas, nomeadamente, NatureCell e Science: “Embora publiquem muitos papers relevantes elas não publicam apenas papers relevantes. Nem são as únicas que publicam pesquisas relevantes. Esses periódicos protegem suas marcas agressivamente de maneira a torna-las mais apropriadas a vender assinaturas do que a estimular as pesquisas mais importantes.” (SCHEKMAN, 2013) De acordo com o biólogo, para alavancar suas vendas essas revistas privilegiavam artigos de impacto na opinião pública ou acadêmica, ao invés de boas pesquisas e retribuíam os autores desses artigos com prestigio e as possibilidades que ele oferece.
Confluência perversa
O que Reinach e Schekman trouxeram a público não é nenhuma novidade para quem trabalha nas universidades. A adoção de critérios quantitativos da produção acadêmica, vinculados ao número de artigos publicados, o número de citações recebidas e o fator de impacto da revista criaram uma confluência perversa entre cientistas, instituições acadêmicas, agências de fomento e o milionário mercado editorial acadêmico. Tal confluência pode travar definitivamente a capacidade de produzir conhecimento relevante.
Os efeitos dessa confluência podem ser visto em um bizarro escândalo editorial ocorrido neste ano. A editora Thomson Reuters desconfiou o elevado número de citações que seis revistas brasileiras da área de biomédicas passaram a receber a partir do ano de 2010. Investigada a anomalia descobriu-se que essas revistas trocavam citações entre si, para elevar artificialmente seus índices de impacto e evitar serem descobertas. A revista Nature repercutiu o caso, e revelou que o patologista Maurício Rocha e Silva era um dos mentores do esquema. Quatro periódicos foram identificados pela Thomson Reuters, mas, de acordo com Rocha e Silva “há outros que tomaram parte desse jogo e escaparam” (apud VAN NOORDEN, 2013, p. 510). Constrangida a Capes anunciou que não levariam em conta artigos publicados por essas revistas em sua avaliação trimestral. Os envolvidos acharam a medida “muito dura”.
As crescentes denúncias de plágio nas grandes universidades brasileiras poderiam ser utilizadas como indicadores da desenfreada corrida por recursos e prestígio. Em fevereiro de 2011 a Universidade de São Paulo exonerou pela primeira vez em sua história um professor acusado de plágio. Andreimar Soares, da Faculdade de Ciências Farmacêuticas de Ribeirão Preto, utilizou em seu estudo imagens produzidas por pesquisadores da Universidade Federal do Rio de Janeiro sem citar a fonte. Para defender-se Soares acusou uma aluna que teria inserido as imagens na pesquisa e afirmou que: “O erro cometido por ela foi lamentável. Como orientador, não consegui detectar o plágio, pois aconteceu em um momento de sobrecarga, de esgotamento físico e mental. Na época, tinha 11 orientações e mais de 45 colaborações, além das atividades normais de docência e pesquisa”. (MADEIRA, 2011.)
Tendências negativas
A proliferação casos como esse acenderam um sinal de alerta e o debate na comunidade acadêmica tem sido intenso. Os critérios adotados pela maioria dos comitês de área estimulam aquela confluência perversa já exposta, agravada pela precariedade do mercado editorial brasileiro. No contexto acadêmico brasileiro as revistas têm circulação exclusivamente nacional, o número de publicações de qualidade é pequeno e predominam os periódicos destinados a cobrir toda uma área do conhecimento, em detrimento de temas ou orientações teóricas e metodológicas.
Dados – Revista de Ciências Sociais, por exemplo, classificada como A1 no Qualis é uma das mais antigas do Brasil e foi criada em 1981. A American Political Science Review e o Political Science Quarterly, também são A1, mas foram criadas, respectivamente, em 1906 e 1886. Uma das consequências da juventude e precariedade das revistas é que os pesquisadores brasileiros sempre preferiram publicar livros e capítulos ao invés de artigos. Sem poder apelar aos usuais indicadores de impacto dos periódicos as diferentes áreas das ciências humanas representadas nas subcomissões da Capes construíram critérios de classificação que embora pretendessem ser em alguns casos objetivos, produziram graves distorções. Na área de Ciência Política, por exemplo, estabeleceu-se que livros financiados por agências de fomento receberiam pontuação adicional, o que parece um critério objetivo. Entretanto, os avaliadores determinaram que um livro financiado pelo CNPq receberia 10 pontos adicionais, mas se fosse por agências estaduais, apenas cinco, o que encerra uma valoração completamente subjetiva e arbitrária. O efeito dessa pontuação – pretendido ou não – foi subavaliar a produção acadêmica dos programas sediados no estado de São Paulo, no qual existe uma agência de fomento, a Fapesp, com um extenso programa de apoio às publicações científicas.
Mantidos esses critérios é de se esperar a médio prazo ao menos três efeitos: a) a desvalorização dos livros por parte da própria comunidade de pesquisadores, o que implicaria em privilegiar estudos mais curtos ao invés de pesquisas mais alentadas; b) uma tendência conservadora à manutenção das revistas melhor ranqueadas; e c) a adequação formal das revistas para elevar artificialmente seu coeficiente de impacto.
A desvalorização dos livros é a primeira e mais óbvia consequência a ser esperada. Se a avaliação destes é subestimada e a dos artigos em revistas científicas sobrestimada a atitude racional é publicar mais artigos e menos livros. Isso poderá ter como consequências também lógicas a segmentação de pesquisas maiores para publicar suas partes em diferentes artigos e a publicação de livros que não serão senão a reunião de diversos artigos, uma tendência claramente verificada nas ciências humanas dos Estados Unidos.
O impacto dessas práticas nos resultados das pesquisas será inevitável. Os artigos expressarão pesquisas cada vez menores em seu alcance e consequências, mas cujos resultados são obtidos mais rapidamente. O engenheiro José Tadeu Jorge, atual reitor da Universidade Estadual de Campinas contou há alguns anos que as investigações no Brasil sobre a estocagem de grãos havia declinado rapidamente, enquanto abundavam estudos sobre a de frutas. A razão apresentada pelo professor era que o ciclo de estocagem de grão durava vários anos, tornando a pesquisa mais longa, enquanto a das frutas durava poucas semanas, permitindo que várias observações ao longo de um ano.[1] O que veremos nas ciências humanas?
A segunda consequência é o conservadorismo das revistas acadêmicas o que impedirá que estas caminhem em direção a uma maior profissionalização e especialização. Na medida em que o controle de uma revista permite maiores possibilidades de publicação e que a publicação de artigos é um dos critérios para acesso a recursos,  as revistas permanecerão fortemente vinculadas a programas de pós-graduação e aos pesquisadores a eles vinculados. As práticas arbitrárias utilizadas para burlar o sistema de blind peer review continuarão correntes, a qualidade editorial baixa, e aspectos técnicos, mas importantes, como o vocabulário controlado das palavras chaves e a boa qualidade dos resumos e abstracts permanecerão exceções.
Associadas a programas de pós-graduação ou associações acadêmicas nacionais as revistas existentes fecharão o caminho para o surgimento de periódicos tematicamente especializados. Para alguns campos importantes, mas sub-representados nos sumários das publicações acadêmicas, como teoria empírica política e social ou metodologia de pesquisa essa barreira pode ser fatal. As revistas associadas a um único programa de pós-graduação não estimulam o desenvolvimento de campos de pesquisa interinstitucionais ou redes de pesquisadores nacionais e encontram-se fortemente propensas ao paroquialismo. É de se esperar, portanto, que o sistema de revistas acadêmicas permanecerá, assim, ferreamente controlado por um pequeníssimo grupo de editores, pouco diversificado e sem especialização temática.
A terceira consequência é a utilização de subterfúgios formais para aumentar o coeficiente de impacto das revistas. O formalismo das revistas acadêmicas em seus estágio iniciais de implantação é conhecido por qualquer um que tenha sido convidado para integrar seus conselhos editoriais. Aplicando ao pé da letra diretrizes da Associação Brasileira de Normas Técnicas ou da Associação Brasileira de Editoras Universitárias, jovens publicações exageram os requisitos burocráticos, infernizando colaboradores com formulários e regras. Mas nestes casos o efeito da formalização é praticamente nulo.
Mais grave é a manipulação dos temas selecionados para publicação, um efeito denunciado por Schekman, e a simples redução do número de artigos. Uma vez o índice de impacto de um periódico é calculando dividindo o número de citações em certo período de tempo pelo número de artigos publicados, basta selecionar os temas e os autores que provavelmente receberão o maior número de referências e diminuir os que provavelmente receberão o menor número que sucesso é garantido. É mais vantajoso publicar uma revista semestral do que uma revista trimestral, publicar menos artigos e autores do que mais, repetir temas bem sucedidos em números anteriores e assim por diante.
Além do senso comum
É obviamente necessário repensar a avaliação e imaginar formas e processos de avaliação que permitam captar tendências que fogem à fria razão numérica. Atualmente os recursos mobilizados para a avaliação são escassos; a utilização de métodos quantitativos de avaliação não produziu resultados mais objetivos; os avaliadores não são avaliados; não há nenhum mecanismo de controle externo; e a avaliação adquiriu um caráter normativo, associado à distribuição de recursos.
O foco da avaliação no Brasil não está na atividade do docente e sim no desempenho do programa de pós-graduação ao qual ele está vinculado. Desse modo a avaliação determina o montante e recursos que um programa obterá. Obviamente as avaliações tendem a reproduzir o status quo. Programas melhor avaliados obtém mais recursos e desse modo aumentam a possibilidade de serem melhor avaliados no futuro. Quando o financiamento está vinculado exclusivamente ao desempenho o resultado torna-se conservador.
É claro que as instituições acadêmicas precisam ser periodicamente avaliadas para analisar seus resultados e traçar perspectivas. A crítica ao produtivismo quantitativista tem, muitas vezes ficado no lugar comum e reproduzido maus argumentos. Uma parte do discurso dos críticos do produtivismo voltou-se contra todo controle público da produção científica e parece reivindicar os velhos tempos da cátedra. Avaliações, currículo Lattes, revistas acadêmicas, pareceristas, Scielo e OJS não são túmulos do saber. Essas iniciativas tiveram o mérito evidente, em alguns casos an unintendend consequence, de tornar os resultados da atividade acadêmica públicos. Qualquer aluno de graduação pode entrar no currículo Lattes de seu professor ou professora e verificar se sua empáfia condiz com o que realmente faz. Quem tem uma atitude crítica perante o atual sistema universitário brasileiro deve levar a avaliação a sério. Ela permite não apenas um controle maior sobre os recursos públicos, como aumenta sua transparência perante a comunidade acadêmica e a opinião pública.
Mas para ser levada a sério a avaliação deve tocar em aspectos que até agora não receberam a devida atenção. Onde está, de fato, o problema nas instituições brasileiras? Na publicação artigos e livros? No número de teses defendidas? Ou na enorme burocracia que o sistema de financiamento à pesquisa e avaliação gera, consumindo um tempo precioso que poderia estar sendo utilizado nas atividades de ensino e pesquisa? Na escassez de recursos humanos? Na concentração dos investimentos em áreas de rápido impacto econômico? Já está mais do que na hora de pensar de maneira critica não apenas a forma da avaliação, como também o que é avaliado e para que é avaliado.
Referências bibliográficas:
MADEIRA, Ana Maria. Professor demitido responsabiliza aluna por plágio. Jornal do Campus, n. 375, mar. 2011
REINACH, Fernando. Darwin e a prática da ‘Salami Science’. O Estado de S. Paulo, 27 abr. 2013. Disponível em: < http://bit.ly/II9bA7>
SCHEKMAN, Randy. How journals like Nature, Cell and Science are damaging science.  The Guardian,  9 Dec. 2013. Disponível em: < http://bit.ly/18wZRsY>
VAN NOORDEN, Richard. Brazilian citation scheme outed. Nature, v. 500, n. 7464, p. 510-511, 2013.


[1] A conversa ocorreu durante solenidade no Instituto de Filosofia e Ciências Humanas. Tadeu Jorge respondia a banal e desinformada afirmação, tantas vezes repetida por cientistas sociais academicamente provincianos, de que as ciências sociais tem um tempo de maturação mais lento do que as ciências exatas.

No hay comentarios:

Publicar un comentario en la entrada

Deja tus comentarios en Versus...