La valutazione dei Programmi di ricerca di interesse nazionale PRIN : quali criteri usa la comunità scientifica?

Il paper vuole esplorare, usando il caso del PRIN, quali criteri siano più influenti nella valutazione delle proposte sottomesse per il finanziamento, in particolare quale sia la rilevanza dei criteri collegati alla qualità scientifica della proposta in sé e per sé considerata (originalità, rigore metodologico, ecc.) rispetto alla qualità del team proponente, o a criteri alternativi di valutazione legati per esempio, all'impatto prevedibile dell'attività di ricerca o alla localizzazione geografica dei proponenti. Si ipotizza l'esistenza di una differenza tra i criteri di qualità che gli scienziati appartenenti a una comunità scientifica dichiarano di usare quando operano come valutatori nei processi di peer review, e la percezione che gli scienziati stessi hanno della rilevanza della qualità scientifica quando sono essi stessi oggetti di un processo di valutazione.

Questa differenza si fonda sull'esistenza di meccanismi distorsivi nei processi di peer review che: a) derivano dalle caratteristiche organizzative interne del settore scientifico disciplinare; b) tendono a diventare più profondi quando su di essi intervengono regole che circoscrivono il dibattito aperto dei revisori e dei comitati di selezione, e si impongono vincoli tecnici (es. metodi di rating e scale e decisioni sulla base di punteggi medi) che favoriscono l'emergere di fattori diversi dalla qualità scientifica. [Testo dell'editore].

The paper wants to explore, using the case of the PRIN, what criteria are most influential in the evaluation of proposals submitted for funding, in particular what is the relevance of the criteria related to the scientific quality of the proposal in itself (originality, methodological rigor etc.) than the quality of the proposing team, or alternative criteria of evaluation such as the impact expected of the research or the geographical location of the proposers. It is assumed that there is a difference between the quality criteria that scientists belonging to a scientific community say they use when they work as evaluators in the process of peer review, and the perception that scientists themselves have of the importance of scientific quality when they are objects of a process of evaluation.

This difference is based on the existence of mechanisms distorting the peer review that: a) derive from the internal organizational characteristics of the scientific field; b) tend to become deeper when rules circumscribe the open debate of the reviewers and selection committees, and introduce the use of technical constraints (eg. methods and rating scales and decisions based on average scores) favouring the emergence of factors other than the scientific quality. [Publisher's Text].