[ANPPOM-Lista] Ciência brasileira adere ao ‘padrão salame’ de produção e avaliação científica

[Carlos Palombini]

Ciência brasileira adere ao ‘padrão salame’ de produção e avaliação
científica

hertonescobar

29 abril 2013 | 15:31

Faz tempo que quero escrever algo sobre essa cultura da “ciência salame” e
sobre o debate da “quantidade x qualidade” na avaliação da produção
científica e da qualidade científica de pesquisadores no Brasil. Não
preciso mais … o biólogo Fernando Reinach (colunista do Estadão e um dos
pioneiros da biotecnologia no Brasil) já fez isso por mim, com muito
competência do que eu seria capaz de fazer, devo dizer.

Copio abaixo o artigo publicado por ele
<http://www.estadao.com.br/noticias/impresso,darwin-e-a-pratica-da-salami-science-,1026037,0.htm>
na edição de sábado do jornal, que já tem milhares de compartilhamentos no
Facebook, mas que merece ter muito mais ainda.

Abaixo do artigo do Reinach, copio também um artigo publicado em junho
<http://www.cell.com/trends/ecology-evolution/fulltext/S0169-5347%2812%2900125-5>
de 2012 na revista *Trends in Ecology and Evolution*, em que os autores
discutem a “obsessão da academia com quantidade”. Ele faz parte de um fórum
de discussão lançada pela revista em março de 2013 para debater o tema “Que
tipo de ciência queremos?
<http://news.cell.com/discussions/trends-in-ecology-and-evolution/what-kind-of-scientific-life-do-we-want>“,
que inclui um comentário de biólogos brasileiros
<http://www.cell.com/trends/ecology-evolution/fulltext/S0169-5347%2812%2900188-7>
da Universidade Federal de Goiás.

Publicar muita porcaria ou publicar pouca coisa boa? Eis a questão. (não só
na ciência, mas no jornalismo também)

Outra dica de leitura sobre o assunto é um artigo do Prof. Tomás de Aquino
Portes, também da UFG, publicado pelo Jornal da Ciência da SBPC, com o
tíulo “Salami Science vs. Ping Pong Science”:
http://www.jornaldaciencia.org.br/Detalhe.php?id=91320

…

*Darwin e a prática da ‘Salami Science’*

*Fernando Reinach
<http://www.estadao.com.br/noticias/impresso,darwin-e-a-pratica-da-salami-science-,1026037,0.htm>
/
O Estado de S.Paulo*

Em 1985, ouvi pela primeira vez no Laboratório de Biologia Molecular a
expressão “Salami Science”. Um de nós estava com uma pilha de trabalhos
científicos quando Max Perutz se aproximou. Um jovem disse que estava lendo
trabalhos de um famoso cientista dos EUA. Perutz olhou a pilha e murmurou:
“Salami Science, espero que não chegue aqui”. Mas a praga se espalhou pelo
mundo e agora assola a comunidade científica brasileira.

“Salami Science” é a prática de fatiar uma única descoberta, como um
salame, para publicá-la no maior número possível de artigos científicos. O
cientista aumenta seu currículo e cria a impressão de que é muito
produtivo. O leitor é forçado a juntar as fatias para entender o todo. As
revistas ficam abarrotadas. E avaliar um cientista fica mais difícil.
Apesar disso, a “Salami Science” se espalhou, induzido pela busca obsessiva
de um método quantitativo capaz de avaliar a produção acadêmica.

No Laboratório de Biologia Molecular, nossos ídolos eram os cinco prêmios
Nobel do prédio. Publicar muitos artigos indicava falta de rigor
intelectual. Eles valorizavam a capacidade de criar uma maneira engenhosa
para destrinchar um problema importante. Aprendíamos que o objetivo era
desvendar os mistérios da natureza. Publicar um artigo era consequência de
um trabalho financiado com dinheiro público, servia para comunicar a nova
descoberta. O trabalho deveria ser simples, claro e didático. O exemplo a
ser seguido eram as duas páginas em que Watson e Crick descreveram a
estrutura do DNA. Você se tornaria um cientista de respeito se o esforço de
uma vida pudesse ser resumido em uma frase: Ele descobriu… Os três
pontinhos teriam de ser uma ou duas palavras: a estrutura do DNA (Watson e
Crick), a estrutura das proteínas (Max Perutz), a teoria da Relatividade
(Einstein). Sabíamos que poucos chegariam lá, mas o importante era ter
certeza de que havíamos gasto a vida atrás de algo importante.

Hoje, nas melhores universidade do Brasil, a conversa entre pós-graduandos
e cientistas é outra. A maioria está preocupada com quantos trabalhos
publicou no último ano – e onde. Querem saber como serão classificados.
“Fulano agora é pesquisador 1B no CNPq. Com 8 trabalhos em revistas de alto
impacto no ano passado, não poderia ser diferente.” “O departamento de
beltrano foi rebaixado para 4 pela Capes. Também, com poucas teses no ano
passado e só duas publicações em revistas de baixo impacto…” Não que os
olhos dessas pessoas não brilhem quando discutem suas pesquisas, mas o
relato de como alguém emplacou um trabalho na Nature causa mais alvoroço
que o de uma nova maneira de abordar um problema dito insolúvel.

Essa mudança de cultura ocorreu porque agora os cientistas e suas
instituições são avaliados a partir de fórmulas matemáticas que levam em
conta três ingredientes, combinados ao gosto do freguês: número de
trabalhos publicados, quantas vezes esses trabalhos foram citados na
literatura e qualidade das revistas (medida pela quantidade de citações a
trabalhos publicados na revista). Você estranhou a ausência de palavras
como qualidade, criatividade e originalidade? Se conversar com um burocrata
da ciência, ele tentará te explicar como esses índices englobam de maneira
objetiva conceitos tão subjetivos. E não adianta argumentar que Einstein,
Crick e Perutz teriam sido excluídos por esses critérios. No fundo, essas
pessoas acreditam que cientistas desse calibre não podem surgir no Brasil.
O resultado é que em algumas pós-graduações da USP o credenciamento de
orientadores depende unicamente do total de trabalhos publicados, em outras
o pré-requisito para uma tese ser defendida é que um ou mais trabalhos
tenham sido aceitos para publicação.

Não há dúvida de que métodos quantitativos são úteis para avaliar um
cientista, mas usá-los de modo exclusivo, abdicando da capacidade subjetiva
de identificar pessoas talentosas, criativas ou simplesmente geniais, é
caminho seguro para excluir da carreira científica as poucas pessoas que
realmente podem fazer descobertas importantes. Essa atitude isenta os
responsáveis de tomar e defender decisões. É a covardia intelectual
escondida por trás de algoritmos matemáticos.

Mas o que Darwin tem a ver com isso? Foi ele que mostrou que uma das
características que facilitam a sobrevivência é a capacidade de se adaptar
aos ambientes. E os cientistas são animais como qualquer outro ser humano.
Se a regra exige aumentar o número de trabalhos publicados, vou praticar
“Salami Science”. É necessário ser muito citado? Sem problema, minhas
fatias de salame vão citar umas às outras e vou pedir a amigos que me
citem. Em troca, garanto que vou citá-los. As revistas precisam de muitas
citações? Basta pedir aos autores que citem artigos da própria revista. E,
aos poucos, o objetivo da ciência deixa de ser entender a natureza e passa
a ser publicar e ser citado. Se o trabalho é medíocre ou genial, pouco
importa. Mas a ciência brasileira vai bem, o número de mestres aumenta, o
de trabalhos cresce, assim como as citações. E a cada dia ficamos mais
longe de ter cientistas que possam ser descritos em uma única frase: Ele
descobriu…

Leia também no blog:

Cientistas pedem mais qualidade e menos quantidade nas avaliações
<http://blogs.estadao.com.br/herton-escobar/cientistas-pedem-menos-quantidade-e-mais-qualidade-nas-avaliacoes/>

“Ciência precisa ser mais ousada”, diz editora da Science
<http://blogs.estadao.com.br/herton-escobar/ciencia-brasileira-precisa-ser-mais-ousada-diz-editora-chefe-da-science/>
……

*Academia’s obsession with quantity*

*Joern Fischer1
<http://www.cell.com/trends/ecology-evolution/fulltext/S0169-5347%2812%2900125-5#aff0005>,
Euan
G. Ritchie2
<http://www.cell.com/trends/ecology-evolution/fulltext/S0169-5347%2812%2900125-5#aff0010>
and Jan
Hanspach1
<http://www.cell.com/trends/ecology-evolution/fulltext/S0169-5347%2812%2900125-5#aff0005>*

*1 Faculty of Sustainability, Leuphana University Lueneburg,
Scharnhorststrasse 1, 21335 Lueneburg, Germany*

*2 Deakin University, School of Life and Environmental Sciences, 221
Burwood Hwy, Burwood, VIC 3125, Australia*

We live in the era of rankings. Universities are being ranked, journals are
being ranked, and researchers are being ranked. In this era of rankings,
the value of researchers is measured in the number of their papers
published, the citations they received, and the volume of grant income
earned. Academia today is governed by one simple rule: more is better.

The idea to reward those who are productive seems fine at face value, but
that idea has become ideology. Metrics of quantity once were the means to
assess the performance of researchers, but now they have become an end in
their own right. Ironically, once individuals actively pursue certain
indicators of performance, those indicators are no longer useful as
independent yardsticks of what they were once meant to measure.

Only a few years ago, a researcher publishing ten papers a year was
considered highly productive. Now, leading researchers in ecology and
evolution publish 20, 30, or, in some cases, over 40 papers a year, with a
tendency for further increases. This volume of papers is attained via large
laboratory groups and research consortia, which in turn require massive
amounts of funding. Given that successful fundraising is a trusted
performance indicator in its own right, funding keeps going to some of the
biggest groups, keeping them big or growing them even further. However, a
bigger group of researchers does not necessarily produce better science,
just more of it. Thus, some research themes of solid (but not necessarily
exceptional) quality can dominate the literature, just because they produce
many papers. The type of work that ecologists produce is also different
compared with just a decade or two ago: papers are shorter; reviews are
increasingly quantitative not qualitative; the scope of papers has shifted
from local to global; modeling papers are replacing field-based papers; and
more papers focus on black-versus-white analyses because there is no
journal (or mental) space for nuanced discussions. A recent high-profile
example is the polarized debate on whether policy should encourage land
sparing or land sharing.

The picture we paint is, of course, stylized. We acknowledge that there are
exceptions among the most productive academics, the largest research
groups, and the highest impact journals. However, despite exceptions, the
overall trend is deeply concerning. Academics are increasingly busy with
more papers, more grants, and more emails to keep the machinery going. The
modern mantra of quantity is taking a heavy toll on two prerequisites for
generating wisdom: creativity and reflection.

Creativity greatly benefits from an environment that is supportive,
collaborative, and facilitates trialing new approaches, but suffers from
working under excessive pressure. Similarly, reflection is vital for
questioning assumptions and learning from experience. The gradual loss of
creativity and reflection necessarily will affect our science. Many past
landmark papers were full of good ideas, but were speculative and
discursive. Would such papers be published today and, if they were, who
would read them in depth? Is it possible to obtain and communicate deep
insights via ‘twitteresque’ research sound bites?

Beyond the science itself, the quantity mantra is taking a toll on the
quality of human interactions and relationships. Supervisors are
increasingly too busy to discuss ideas at length with their research
students. Academics work long hours, a supposed requirement for success, as
if insight, motivation, and wisdom could not also arise from more balanced
and family-friendly lives. The stressful environment of academia leads to
many talented young people opting out of academia, and can lead to burnout
in those who stay.

Along with political and spiritual leaders, academic leaders have a
responsibility to help society move towards a better future, where we
understand the world better, and use that understanding to live a ‘good
life’. However, how can we do this if our professional rat race just
mirrors the ills of society at large? Starting with our own university
departments (but not stopping there), it is time to take stock of what we
are doing. We must recreate spaces for reflection, personal relationships,
and depth. More does not equal better.
http://ciencia.estadao.com.br/blogs/herton-escobar/ciencia-brasileira-adere-ao-padrao-salame-de-producao-e-avaliacao-cientifica/

-- 
carlos palombini
professor de musicologia ufmg
professor colaborador ppgm-unirio
ufmg.academia.edu/CarlosPalombini <http://goo.gl/KMV98I>
www.researchgate.net/profile/Carlos_Palombini2
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <http://www.listas.unicamp.br/pipermail/anppom-l/attachments/20150108/a949ad9f/attachment.html>