Um dos preceitos básicos do processo de publicação de textos acadêmicos, sobretudo de artigos, é a avaliação por pares, sem identificação de autoria do artigo proposto, bem como dos pareceres, que são emitidos por pessoas convidadas especificamente para isso.
A prática da “avaliação cega por pareceristas ad hoc” está consagrada em parte significativa do modelo atual da produção científica brasileira e mundial. Uma de suas motivações é o ideal de evitar leituras enviesadas, baseadas na identificação de autoria. Pretende-se dar às ideias do artigo uma leitura mais neutra, o que reduziria a incidência de fatores subjetivos e personalistas na seleção dos textos que acabam sendo publicados.
Ao mesmo tempo, porém, a “avaliação cega por pareceristas ad hoc” talvez esteja se convertendo em um ritual sem substância, cujos fundamentos não são questionados, assumindo-se que são positivos o anonimato e o caráter fechado e secreto do processo, por exemplo. Em vez disso, essa prática deve ser reconhecida também como a fonte de alguns problemas (e me permitam acrescentar aos exemplos a seguir algumas digressões entre parênteses, porque um problema sempre está ligado a muitos outros).
Do ponto de vista dos editores dos periódicos, é evidente a dificuldade de obter os pareceres. Frequentemente, convites para ser parecerista ad hoc são negados, pois está todo mundo já sobrecarregado com outras demandas, e é afinal um trabalho quase invisível, que tende a ser pouco reconhecido e a valer menos pontos nas avaliações institucionalizadas, se é que valem alguma coisa. Com frequência, não valem nada (e a gente continua a dedicar uma energia imensa a contar pontos e a quantificar o pensamento, infelizmente). Faz parte do trabalho de uma editora ou editor de periódico, atualmente, garantir que cada artigo seja objeto de dois pareceres; caso exista divergência entre eles sobre a decisão de publicar ou não o artigo, convoca-se um terceiro. Mas o fato de que tudo isso ocorre de forma fechada tende a invisibilizar o trabalho de pareceristas, que permanecem anônimos até a divulgação das listas de todos e todas que fizeram pareceres para cada edição de periódico.
Do ponto de vista das autoras e autores que propõem textos para publicação (o vocabulário usual escreveria “submetem textos”: vejam como contar pontos talvez não seja algo que se dissocia facilmente de problemas de servidão voluntária), é recorrente um outro problema: pareceres que se restringem a poucas linhas e oferecem um engajamento limitado, ou mesmo nenhum engajamento, com as ideias do texto proposto para publicação. Também acontece de os textos serem objeto de critérios questionáveis de avaliação, para dizer o mínimo, como suas opções bibliográficas – afinal, por que você não citou tal obra? Me parece que tudo isso também pode ser relacionado, em parte, ao caráter anônimo e fechado do processo de avaliação, tal como ocorre atualmente.
Sei que pode ser complicado levantar essas questões em tempos de difusão de mentiras curriculares de ministros de Estado, de plágios desavergonhados de indicados para cargos importantes do governo federal (e inclusive da área de educação) e de ameaças explícitas, em sua ignorância e desrespeito anti-intelectual, ao sistema de produção científica que vinha se articulando de modo mais completo e complexo no Brasil, desde a expansão dos investimentos nos governos de Lula. Mas acho que precisamos aprofundar as questões, recusar o recuo que pretendem impor aos nossos desejos, recuperar a radicalidade dos questionamentos e das propostas. E entre tudo isso que é importante aprofundar, me parece que está a necessidade de formas de produção de conhecimento que correspondam ao horizonte público e aberto que vinha orientando as políticas públicas relativas às ciências no Brasil. (Isso é também defender a universidade pública, gratuita e de qualidade.)
Tenho tentado de alguma forma contribuir para tornar público e aberto, em alguma medida, o modo como eu mesmo produzo conhecimento. Ainda preciso aprimorar muita coisa, mas tenho usado este incinerrante pra isso. Em meio a essa busca, um tempo atrás tinha descoberto uma plataforma excelente pra anotação de textos (inclusive PDFs) que estejam online (mas o PDF tem que estar online, com um endereço dele), a Hypothes.is. Eu inclusive incorporei a plataforma aqui: qualquer um desses posts pode ser anotado sem a instalação do plugin. Mas você pode também criar sua conta e instalar o plugin no navegador, anotando o que bem entender na web. Seja como for, no Twitter esse pessoal divulgou faz algum tempo um periódico que incorporou o Hypothesis não apenas ao site, mas ao próprio processo de publicação. Eu tinha deixado isso pra olhar depois, e hoje me deparei por acaso com o link salvo. Descobri uma iniciativa experimental bastante recente e muito interessante, que se define como um “open source interactive journal”: Murmurations.
A ideia é abrir o processo de avaliação dos artigos (e de todo tipo de material proposto para publicação – aqui está também outra proposta a ser radicalizada: pensar outros formatos de produção de conhecimento, além das convenções já um tanto antiquadas do artigo, como ensaios mais livres, anotações mais dispersas, vídeos e recursos multimídia etc. etc.). O Murmurations propõe que seja público o diálogo entre autor/a e pareceristas, ou melhor, entre o que se denomina ali “creators” e “reflectors”. Há um vídeo explicativo do processo de publicação aqui:
Imagino que podem existir obstáculos e objeções diversas à ideia de abertura pública do processo de avaliação por pares, mas talvez aí esteja uma possibilidade de reconhecimento mais efetivo (uma vez que público, não apenas curricular) da atuação como parecerista de periódicos acadêmicos. Mais significativamente, acho que aí está uma pista do que se pode construir com recursos de código aberto e com o paradigma associado de abertura generalizada dos processos, do que se pode experimentar para, talvez, devolver às produções acadêmicas parte da contundência dialógica e do impacto público que elas merecem.
Uma resposta em “Diálogos sobre produção acadêmica”
[…] 3. Sobre avaliação por pares, diálogos e abertura: https://www.incinerrante.com/textos/dialogos-sobre-producao-academica […]