A nova edição do Qualis, ranking da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) das revistas científicas nas quais brasileiros publicaram suas pesquisas, tem sido alvo de críticas de pesquisadores de diversos campos, como Economia, Engenharia, Segurança, História e Comunicação. Os acadêmicos apontam distorções, com periódicos de grande renome ficando atrás de outros menos conhecidos e relevantes para as áreas. Para eles, a lista está em descompasso com outras referências internacionais.

Alguns pesquisadores destacam que o problema é estrutural. Outros cientistas indicam que a mudança na metodologia desta edição, divulgada no fim de dezembro, potencializou a desconexão com a realidade. O Qualis serve como um indicador para avaliar os programas de pós-graduação. Também é adotado, em alguns cursos e editais, como critérios para promover professores e conceder bolsas, embora Capes não recomende esse uso.

A classificação que motivou revolta é ainda preliminar (recebe recurso até esta quinta-feira, 19). A listagem reflete "apurações realizadas no âmbito da Avaliação Quadrienal 2017-2020 pelas 49 áreas de avaliação", conforme a Capes. Com base em critérios gerais e específicos utilizados em cada área de avaliação, o Qualis Periódicos classifica as revista nos seguintes estratos: A1, mais elevado; A2; A3; A4; B1; B2; B3; B4; C (peso zero). Essas avaliações são feitas por comitês de especialistas de cada área.

Ao Estadão, a Capes informou que "todas as solicitações serão analisadas" e disse que "o diálogo estará presente em quaisquer fases dos processos de decisão relacionados ao Qualis, de modo a aprimorar sua execução, assim como os seus resultados, garantindo o cumprimento do seu papel na melhoria do sistema de avaliação".

"O Qualis não é uma base para a indexação de periódicos. Assim, não será adequado usá-lo como fonte de classificação da qualidade dos periódicos científicos para outros fins que não seja a avaliação dos programas", afirmou, em nota, o órgão ligado ao Ministério da Educação (MEC).

Na prática, conforme pesquisadores ouvidos pelo Estadão, muitas vezes o Qualis é lido como um ranking das revistas e alguns cientistas optam publicar naquelas que apresentem melhor classificação, mesmo que não tenham tanta relevância para a área de pesquisa (acaba sendo um "indutor").

"Há distorções significativas. Você pode encontrar uma revista que é tipicamente nacional melhor classificada do que uma outra revista da mesma área internacional. Só que se você pegar o indicador internacional, essa revista nacional é muito mais fraca", disse Giuseppe Pintaude, chefe do Departamento de Apoio a Projetos Tecnológicos da Universidade Tecnológica Federal do Paraná (UFTPR) e pesquisador do CNPq.

Ele fez um exercício gráfico de selecionar oito revistas, nacionais e internacionais, e contrapor a classificação Qualis com o ranking internacional SJR. "Quanto maior o Qualis, mais discrepante", afirmou. Para Pintaude, essa "supervalorização" de revistas nacionais pode "mascarar" problemas desses periódicos e não estimulá-los a alavancar sua qualidade.

"Em vez de eu publicar nas revistas que são o topo do campo, publico em revistas nacionais, que vão ser lidas apenas aqui no Brasil, em vez de em uma revista que pode ser lida literalmente no mundo todo. Esse é o grande problema do Qualis, ele gera incentivos errados e, consequentemente, prejudica a inserção internacional dos pesquisadores brasileiros", afirmou Thiago Krause, professor de História da Universidade Federal do Estado do Rio de Janeiro (Unirio).

Os cientistas concordam que há "problemas estruturais" que acompanham a lista desde que ela começou a ser feita, na década de 1990. Alguns pesquisadores, porém, veem que a listagem divulgada no fim do ano passado carrega ainda mais distorções.

O Qualis é um indicador retroativo (se refere a anos anteriores) e é atualizado a cada quadriênio -antigamente, era por triênio. Em geral, a nova classificação é acompanhada por mudanças na metodologia, a fim de aprimorar a aferição.

Método

Em 2019, conforme a Capes explicou em seu site, o Qualis Periódicos ganhou nova fórmula que "busca critérios mais objetivos que permitam comparação mais equilibrada entre áreas de avaliação, atentando-se também para a internacionalização". O método se basearia na "classificação única" (cada periódico recebe apenas uma qualificação, independe da quantidade de áreas de avaliação nas quais foi mencionado) e por "áreas-mães" (foram agrupados de acordo com a área na qual houve maior número de publicações nos anos de referência avaliativo). O anúncio foi acompanhado por críticas.

Ao Estadão, a Capes disse que "existiam várias classificações para um mesmo periódico em áreas distintas, com critérios diversificados e baixa comparabilidade entre periódicos de um mesmo estrato", e, por isso, desde 2015, grupos de trabalho discutiram formas de aperfeiçoamento da metodologia.

"Decidiu-se, então, que cada área de avaliação estabeleceria os critérios adotados para a classificação dos periódicos sob sua responsabilidade. Todos foram validados pelo Conselho Técnico-Científico da Educação Superior (CTC-ES) e encontram-se à disposição nas páginas das áreas, no site da Capes", disse, em nota.

Os pesquisadores explicaram que a mudança foi uma tentativa de corrigir uma falha de "particularização" excessiva das edições anteriores, em que algumas áreas eram mais rigorosas do que outras nas avaliações. No entanto, o que eles observaram é que a solução proposta, de apenas importar da área-mãe a nota de um periódico, sem calibrá-la, acabou criando distorções e "esquisitices" ainda maiores.

Pintaude observou, no caso da área em que atua - Engenharia Mecânica (Engenharias III) -, que revistas da educação (que aparecem no "ranking" de engenharia porque algum pesquisador da área escreveu algo publicado nela) aparecem melhor classificadas que periódicos nativos do campo e que têm grande reconhecimento. Segundo ele, a distorção ocorre pelo fato de o indexador fator de impacto (que leva em conta o número de citações do periódico, por exemplo) da engenharia ser diferente daquele usado na educação.

Entre os economistas, a avaliação é de que a lista está pior. Em abaixo-assinado virtual, que já acumula mais de 700 assinaturas, eles argumentam que as versões anteriores da classificação já tinham defeitos, mas que a atual "os agrava em vez de resolvê-los". "A classificação do Qualis da área de Economia está em completo descompasso com a relevância dos periódicos não só em termos gerais, como também nas subáreas de nosso campo. Os erros são tantos que seria constrangedor nomeá-los."

Subjetividade e periodicidade

Reitor do Instituto Tecnológico de Aeronáutica (ITA), Anderson Correia, explica que a lista é feita com base em critérios objetivos e subjetivos (da comissão da avaliação de cada área). Na visão dele, que presidia a Capes quando essa nova edição do Qualis estava sendo realizada, a subjetividade é o principal causador dos problemas.

"Enquanto o mundo caminha para fatores mais objetivos, a gente está patinando, estagnado em dar peso muito grande aos fatores subjetivos, o que abre espaço para críticas e insatisfações. Não tem mais razão para, num mundo moderno com tanta ferramenta automatizada para avaliar periódicos, a gente ficar ainda nos fatores do subjetivos", afirmou. Ele faz uma observação que, nas Ciências Humanas, a automatização completa é difícil e há espaço para um pouco mais de subjetividade do que nas chamadas "ciências duras" (engenharias e biológicas, por exemplo).

Adriana Marques, professora de Defesa e Gestão Estratégica Internacional da Universidade Federal do Rio de Janeiro (UFRJ), se incomoda, na área de segurança internacional e defesa, com as diferenças de classificações entre revistas ligadas a universidades e escolas militares.

Segundo ela, na edição atual, apenas uma revista internacional da Marinha está entre as melhores classificadas (A1), sem "nenhuma revista importante da área de segurança e da defesa". "Não há objetividade nenhuma", afirmou.

Em nota, a Capes disse que criar a classificação é um "processo complexo, que envolve todas as áreas de avaliação com suas particularidades, ao mesmo tempo em que deve garantir comparabilidade e isonomia".

Outro ponto que é alvo de queixas de alguns pesquisadores é a periodicidade do indicador. Por ser retroativo, o Qualis reflete o passado, assim como outras classificações internacionais. O problema, porém, é que o "ranking" brasileiro vislumbra um período de quatro anos (quadrienal) que, na visão deles, é muito longo.

"É um problema sério, porque você tem que já prever os critérios que vão ser enviados em uma avaliação daqui a quatro anos. A tecnologia avança muito rápido. As métricas vão ter esse engessamento", disse Correia.

O que os cientistas pleiteiam?

Luís Filipe Silvério Lima, professor do História da Universidade Federal de São Paulo (Unifesp), avalia que se está "brigando pela coisa errada". Na avaliação dele, é necessária a reformulação na maneira que se avalia os programas de pós-graduação. "Me incomoda o fato de que não avaliamos na pós-graduação para o que foi criada: formar mestres e doutores", diz, destacando que critérios atuais focam mais no "produtivismo" (quantos artigos são publicados e quantas vezes são citados).

Ele destaca que isso, inclusive, tem gerado uma "crise" na academia. "Acabou de sair um texto na (revista) Nature falando que dos anos 1950 para cá, embora tenha aumentado o número de publicações, os artigos estão cada vez menos disruptivos."

"O ideal seria, em vez de avaliar tudo o que um docente e um discente produz, avaliar o que eles consideram como importante. Avaliar menos para avaliar melhor. Está havendo uma mudança nesse sentido", afirmou.

Giuseppe Pintaude, por outro lado, defende que haja discussão para abandonar o Qualis e definir um indicador internacional que possa substituí-lo. "A UTFPR, onde sou professor, fez essa discussão para editais internos de fomento para os pesquisadores, que é a avaliação individual, e em determinado momento, escolheu um indicador internacional, que inclusive é um indicador que consegue fazer essa calibragem da diferença entre as áreas do conhecimento, o Snip."

Além de mais automatização, Anderson Correia aponta que a avaliação não pode ser tão "endógena", apenas com a academia. O reitor do ITA defende participação da sociedade e da indústria.

Passado

Não é a primeira vez que a tabela da Capes é contestada e criticada - as críticas são recorrentes. Em 2009, conforme mostrou o Estadão, pesquisadores denunciaram que várias revistas científicas brasileiras estariam "ameaçadas de extinção" pelos novos critérios de avaliação que passariam a ser adotados.

Isso porque, até 2008, o Qualis era dividido em duas categorias (nacional e internacional). Com as mudanças, uma estrutura única foi proposta, com revistas brasileiras "competindo" com as publicações estrangeiras.