[ANPPOM-Lista] RES: [Sonologia-l] avaliação qualitativa

jamannis em uol.com.br jamannis em uol.com.br
Qua Maio 15 21:13:24 BRT 2013


Caro Fernando, 

 

Agradeço pela sua atuação junto ao CNPq e pela maneira como conduziu os
trabalhos.

Seus textos e pronunciamentos foram sempre ponderados, embasados e tiveram o
cuidado de prever impactos futuros, desdobramentos e efeitos
multiplicadores.

Sei também o quanto Vc. buscou se mobilizar para mudar o estado das coisas,
em direção de estruturas e procedimentos mais justos. E em diversos contatos
compartilhei o quanto

é difícil ter consciência daquilo que deve ser feito mas não ter diante de
si os meios e as situações propícias para implementá-los.

Tanto do lado de cá quanto do lado de lá, o jogo é duro e exige muita
resistência. Do lado de cá temos que exigir sempre mais recursos, mais
abertura, aprimorar e implementar procedimentos e métodos mais justos que
atendam aos desenvolvimentos recentes e à transformação da sociedade. Do
lado de lá manter o controle de uma ‘caixa preta’ que lida com duas pressões
opostas: uma das lideranças e da máquina administrativa e política do
Estado, por vezes imprevisível, incompreensível ou simplesmente
surpreendente, e outra da sociedade, por parte dos pesquisadores e de grupos
de pesquisadores. Sinto que é muito difícil gerenciar a compliância
necessária para articular esses dois extremos. É preciso não só de uma
cintura muito flexível, mas também de uma visão e uma capacidade de
antecipação grande. 

 

Aproveito esta oportunidade para agradecer pelo seu empenho e pelo trabalho
que realizou tentando fazer o que estava ao seu alcance para mudar as
coisas.

 

Abraços

 

Mannis

 

 

 

 

De: sonologia-l [mailto:sonologia-l-bounces em listas.unicamp.br] Em nome de
Fernando Iazzetta
Enviada em: terça-feira, 14 de maio de 2013 20:14
Para: Pesquisadores em Sonologia (Música)
Cc: etnomusicologiabr; ANPPOM
Assunto: Re: [Sonologia-l] avaliação qualitativa

 

Carlos e Colegas, 

 

Pego carona neste e-mail do Carlos Palombini para expor algumas questões a
respeito da avaliação. Tenho me envolvido de maneira mais ou menos direta
com alguns processos de avaliação, inclusive de agências de fomento como
CAPES, CNPq e Fapesp. Se em princípio todos eles me parecem problemáticos do
ponto de vista do pesquisador, tenho que admitir que quando estive outro
lado (ou seja, nas agências de fomento), tentando discutir metodologias de
avaliação pelo menos mais aceitáveis, me surpreendi com a dificuldade da
tarefa. 

 

As questões a serem enfrentadas são intermináveis: a relação entre
quantidade e qualidade, a disparidade entre áreas e sub-áreas, a necessidade
de se poder comparar o funcionamento de áreas diferentes a partir de
parâmetros comuns, a quantidade enorme de produção a ser avaliada frente a
um número pequeno de avaliadores, a falta de consenso entre os avaliadores a
respeito do que deve ser avaliado, e por aí segue a lista.

 

Não quero defender as instituições de fomento, mas devo dizer que elas estão
preocupadas com a avaliação e com a ineficiência dos métodos de avaliação.
Estou falando da avaliação em termos institucionais e não de casos
específicos de avaliadores ou de comitês desta ou daquela área (e acho que é
aí que residem os problemas mais sérios). 

 

Para dar alguns exemplos: 

 

- a Fapesp faz reuniões periódicas (pelo menos 2 ou 3 por ano) com todos os
seus coordenadores (imagino que são uns 150) a respeito da política da
agência e da política de avaliação. Com menos frequência, a agência faz
reuniões com os assessores para instituir políticas de avaliação dos
projetos. Por exemplo, na última reunião, foi colocado claramente que se
queremos fazer pesquisa de verdade temos que abandonar o velho hábito dar
prioridade a projetos cujos resultados são previsíveis e controlados. Ou
seja, os projetos mais sofisticados e ousados e, consequentemente, aqueles
que podem pleitear mais recursos, são aqueles que implicam em risco, pois é
nestes casos que ocorrem os saltos significativos na geração de
conhecimento.

 

- a CAPES tem diversos comitês em cada área do conhecimento para discutir as
formas de avaliação em diversos níveis, de programas de pós-graduação à
produção artística. Isso demonstra o empenho e a preocupação da agência com
a questão. Eu mesmo tenho sido muito crítico em relação aos métodos usados
em alguns desses comitês e tenho colaborado nas discussões sempre que
possível, mas reconheço mais uma vez que estamos longe de soluções realmente
equilibradas e eficientes. Lembro também que em outubro passado a
coordenação da área de artes da Capes promoveu um evento em Natal em que um
dos debates era a "pesquisa em artes". Eu escutei ideias muito interessantes
no encontro e espero que elas reverberem numa publicação que está sendo
preparada.

 

- O CNPq também tem dado sinais de que está incomodado com a questão da
avaliação e tem realizado algumas ações a esse respeito. Por exemplo, no
último mês de março chamou todos os assessores para re-avaliar todas as
bolsas PQ em andamento (imagino que sejam umas 12.000 bolsas). Antes da
avaliação os coordenadores participaram de um seminário de 2 dias a respeito
do tema, com diversos palestrantes, inclusive estrangeiros. O seminário foi
muito elucidativo e mostrou que o problema é generalizado para as diversas
áreas (embora com suas especificidades) e que mesmo em países em que a
pesquisa está mais consolidada as distorções e falhas dos modelos de
avaliação são um fantasma constante. Nesse seminário tivemos palestras sobre
a avaliação em diversas áreas. O sociólogo Sergio Adorno, da USP, fez uma
apresentação brilhante sobre a questão da avaliação  nas ciências humanas
(aliás, fica aí uma sugestão de convite para a uma eventual palestra na
Anppom).

 

Ou seja, as agências estão preocupadas, mas nem sempre o debate avança como
esperávamos. Acho que é aí que está o problema. Localmente estamos muito
preocupados com o próximo processo de avaliação, com o prazo para entrega do
próximo relatório, com a quantidade absurda de pareceres que temos que fazer
e tudo isso esvazia um debate e uma reflexão mais consistente. Lamento dizer
que  estou expondo um problema sem saber qual a melhor solução. Mas acho que
temos que mudar as nossa estratégias. À medida em que a área de artes se
consolida em termos de pesquisa é preciso ampliar o debate a respeito da
avaliação. Tenho a impressão que a área de música tem sido timida a esse
respeito e tem perdido a liderança na discussão desses assuntos,
especialmente para os campos mais teóricos e investigativos das artes
visuais. Ou seja, acho que devemos nos re-articular nesse sentido e ter uma
atitude pró-ativa de discussão dessas questões.

 

abraços, Fernando

 

 

 

Em 11 de maio de 2013 16:51, Carlos Palombini <cpalombini em gmail.com>
escreveu:


Muito se tem falado, com mais ou menos propriedade, contra as avaliações
quantitavivas. A avaliação qualitativa, por outro lado, só tem sido
discutida nos termos de queixumes contra o qualis. O qualis certamente
apresenta problemas. Em resumo, não vejo ali nada de qualitativo. Todos os
seus oito estratos, exceto o C, de peso 0, começam com a mais infeliz das
frases: "Publicações reconhecidas pela área, seriadas e arbitradas e
dirigidas à comunidade acadêmico-científica, que atendam às normas da ABNT
ou equivalente (no exterior) [...]" Eu diria, ao ler isso, que os melhores
textos tenham as melhores chances de estar em periódicos de peso 0 ou no
exterior, onde nada de equivalente existe para publicações científicas. Nas
publicações anglo-saxãs, quem determina aquilo acerca do qual, no Brasil, a
ABNT legisla, é precisamente cada periódico e cada editora. Como essas sabem
bem que diferentes tipos de pesquisa (numa mesma área, inclusive) se
apresentam melhor através de sistemas de referência distintos, elas imprimem
manuais tão precisos que se dão ao trabalho de oferecer um conjunto de
modelos de referência associados aos tipos de pesquisa que via de regra lhes
correspondem. E me parece evidente que uma das responsabilidades do
pesquisador é definir o sistema que se coaduna com sua pesquisa. Só há uma
maneira de avaliar a qualidade de um periódico: lê-lo.

Numa entrevista recente, contudo, meu colega Vitor Haase, do departamento de
Psicologia da UFMG, apresentou o problema sob outro ponto de vista: o de uma
psicopatologia coletiva. O texto integral encontra-se aqui:

http://scienceblogs.com.br/socialmente/2012/03/psicologia-brazuca-vitor-haas
e-e-a-neuropsicologia/

Refiro-me diretamente a este excerto:

Vou encerrar a resposta a esta pergunta comentando sobre um paradoxo e
contrastando o ambiente intelectual brasileiro com o ambiente intelectual em
outros países. 

O paradoxo é o seguinte: Os mesmos grupos e correntes que argumentam em
favor da transformação da realidade, da aceitação e convivência com as
diferenças, pela diversidade etc. e tal, são justamente aqueles que na
academia tentam eliminar as formas rivais de pensamento de maneiras por
vezes abjetas, incluindo perseguições, humilhações e desmoralização de
colegas, como tantas vezes já tive oportunidade de testemunhar. O paradoxo
aparente é o fato de as mesmas pessoas que argumentam contra o preconceito e
pela diversidade comportarem-se de forma hegemônica em relação aos que
divergem do seu pensamento. Parece que eles propugnam um tipo bem específico
de diversidade, uma diversidade enviesada, abrangendo apenas um segmento do
espectro de opções possíveis. Isto leva a uma forma de pensamento
dicotômico, de nós contra eles, de luta da forças do bem e do “progresso”
contra as forças da reação, do mal. Mas o paradoxo é apenas aparente,
desaparecendo quando lembramos que somos todos seres humanos e que as
associações entre conspecíficos são reguladas de modos bastante típicos, os
quais são extensivamente investigados pela psicologia social.

A última questão diz respeito à comparação do panorama intelectual
brasileiro e internacional. O nível dos debates no Brasil é muito baixo,
muito ideologizado, contrastando com o que se observa em congressos
internacionais e em instituições universitárias de outros países.


cp
-- 

carlos palombini
pesquisador visitante, centro de letras e artes, unirio

ufmg.academia.edu/CarlosPalombini


_______________________________________________
sonologia-l mailing list
sonologia-l em listas.unicamp.br
https://www.listas.unicamp.br/mailman/listinfo/sonologia-l

 

-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <http://www.listas.unicamp.br/pipermail/anppom-l/attachments/20130515/5df3f26d/attachment.html>


Mais detalhes sobre a lista de discussão Anppom-L