Severità di giudizio: dinamiche valutative nell’area della sociologia nella VQR 2004-2010

Titolo Rivista SOCIOLOGIA E POLITICHE SOCIALI
Autori/Curatori Brigida Blasi
Anno di pubblicazione 2015 Fascicolo 2015/2
Lingua Italiano Numero pagine 35 P. 9-43 Dimensione file 390 KB
DOI 10.3280/SP2015-002002
Il DOI è il codice a barre della proprietà intellettuale: per saperne di più clicca qui

Qui sotto puoi vedere in anteprima la prima pagina di questo articolo.

Se questo articolo ti interessa, lo puoi acquistare (e scaricare in formato pdf) seguendo le facili indicazioni per acquistare il download credit. Acquista Download Credits per scaricare questo Articolo in formato PDF

Anteprima articolo

FrancoAngeli è membro della Publishers International Linking Association, Inc (PILA)associazione indipendente e non profit per facilitare (attraverso i servizi tecnologici implementati da CrossRef.org) l’accesso degli studiosi ai contenuti digitali nelle pubblicazioni professionali e scientifiche

The results of the Italian Quality Research Assessment VQR 2004–10 in the area of Sociology were characterized by the scarcity of excellent ratings and a lack of consensus among referees. These two aspects, which affected the assessment of all social sciences and humanities, descend directly from the use of the peer review as a method of evaluation. As a matter of fact, peer review, although irreplaceable, poses different issues on which critical thinking is needed. In this paper, I aim to contribute to this discussion. Firstly, I focus on the system framework, i.e. an assessment exercise where in total almost 200,000 scientific publications from universities and research institutes have been analyzed. Then, the rules of the game have been reviewed and also the specific characters of the macro-area “14” where Sociology is located. The judgments formulated by the referees and the level of inter-rater agreement were descriptively considered, considering the main features of the referees, the publications and the authors. Finally, some possible interpretations are outlined together with recommendations for future improvements.;

Keywords:SSH Evaluation; Peer Review; Consensus; Research Assessment; Inter-rater Agreement; Sociology

  1. ANVUR. 2011. Bando di partecipazione, Valutazione della Qualità della Ricerca 2004-2010 (VQR 2004-2010).
  2. — 2012a. Criteri per la valutazione dei prodotti di ricerca del Gruppo di Esperti della Valutazione dell’area 14 (GEV 14), Valutazione della Qualità della Ricerca 2004-2010.
  3. — 2012b. Documento di lavoro sulla classificazione delle riviste scientifiche italiane dell’area Scienze politiche e sociali del Gruppo di Esperti della Valutazione dell’area 14 (GEV 14), Valutazione della Qualità della Ricerca 2004-2010.
  4. — 2012c.􀀃 Potenzialità e limiti della analisi bibliometrica nelle aree umanistiche e sociali.
  5. — 2012d. Rapporto finale di area. Gruppo di Esperti della Valutazione dell’Area 14 (GEV14), Valutazione della Qualità della Ricerca 2004-2010.
  6. — 2012e. Rapporto finale, Valutazione della Qualità della Ricerca 2004-2010
  7. — 2013. Criteri di assegnazione della classe di merito nel caso di valutazioni peer review con valutazioni non coincidenti da parte dei referee.
  8. Ancaiani, A. and Anfossi, A. F., Barbara, A. and Benedetto, S. and Blasi, B. and Carletti, V. 2015. Evaluating scientific research in Italy: The 2004–10 research evaluation exercise. Research Evaluation, pp. 1–14, DOI: 10.1093/reseval/rvv008
  9. Blasi, B. 2013. I prodotti dei Sociologi delle università italiane nella Valutazione della Qualità della Ricerca 2004-2010. Relazione presentata al X Convegno dell’Associazione Italiana di Sociologia “La qualità del sapere sociologico”, Firenze, 11 Ottobre 2013
  10. Bertocchi, G. and Gambardella, A. and Jappelli, T. and Nappi C. A. and Peracchi F. 2015. Bibliometric evaluation vs. informed peer review: Evidence from Italy.􀀃Research Policy, 44 (2), pp. 451–466.
  11. Bornmann, L. 2011. Scientific peer review. Annual Review of Information Science and Technology, 45, pp. 197–245. DOI: 10.1002/aris.2011.1440450112
  12. Chubin, D. E. and Hackett, E. J. 1990. Peerless science: peer review and U.S. science policy, Albany State: University of New York Press.
  13. CIVR. 2007b. Relazione finale. Valutazione Triennale della Ricerca 2001-2003
  14. — 2007a. Relazione finale di Area. Panel: 14 - Scienze politiche e sociali. Valutazione Triennale della Ricerca 2001-2003 (VTR 2001-2003).
  15. Cicchetti, D. V. 1991. The reliability of peer review for manuscript and grant submissions: A cross-disciplinary investigation. Behavioral and Brain Sciences, 14, pp. 119-135. DOI: 10.1017/S0140525X0006567
  16. Cicero, T. and Malgarini, M. and Nappi C. A. and Peracchi F. 2013. Bibliometric and peer review methods for research evaluation: a methodological appraisement. MPRA Paper No. 50470 http://mpra.ub.uni-muenchen.de/50470/
  17. Cohen, J. 1960. A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20, pp. 37-46
  18. Crane, D. 1976. Reward Systems in Art, Science and Religion. American Behavioral Scientist, 19 (6), pp. 719–735.
  19. Dinges, M. 2006. Pressure, deception and peer review. Plattform Fteval, 28, pp. 11–22.
  20. Hackett, E. J. and Chubin, D. E. 2003. Peer Review for the 21st Century: Applications to Educational Research. National Research Council Workshop, Washington. 25 February.
  21. Hicks, D. 2004. The four literatures of social science in Moed, H. and Glänzel, W. and Schmoch, U. (eds) 2004. Handbook of Quantitative Social Science and Technology Research. Dordrecht: Kluwer Academic Publishers.
  22. Horrobin, D. F. 1990. The philosophical basis of peer review and the suppression of innovation. Journal of the American Medical Association, 263(10), pp. 1438-1441.
  23. Knorr Cetina, K. 1999. Epistemic Cultures: How the Sciences Make Knowledge. Cambridge MA: Harvard University Press.
  24. Lamont, M. 2009. How Professor Think: Inside the Curious World of Academic Judgment. Cambridge MA: Harvard University Press.
  25. Landis, J.R. and Koch, G.G. 1977. The measurement of observer agreement for categorical data. Biometrics, 33 (1), pp. 159–174. DOI: 10.2307/2529310
  26. Latour, B. and Woolgar, S.1979. Laboratory Life: the social construction of scientific facts. Beverly Hills: Sage Publications.
  27. Mahoney, M. J. 1977. Publication prejudices: an experimental study of confirmatory bias in the peer review system. Cognitive Therapy and Research, 1, pp. 161–75.
  28. Malgarini, M. and Cicero, T. and Benedetto S. 2014. Research quality, characteristics of publications and sociodemographic features of Universities and Researchers: evidence from the Italian VQR 2004-2010 evaluation exercise. Proceedings of the science and technology indicators conference 2014 Leiden. http://sti2014.cwts.nl/Program
  29. Martin, B. R. and Irvine J. 1983. Assessing basic research: some partial indicators of scientific progress in radio astronomy. Research Policy, 12, pp. 61–90. Merton, R. K. 1985. Der Matthäus-Effekt in der Wissenschaft. in (ders.) Entwicklung und Wandel von Forschungsinteressen. Aufsätze zur Wissenschaftssoziologie, pp. 147- 171, Suhrkamp.
  30. Peters, D.P. and Ceci, S.J. 1982. Peer-review practices of psychological journals: the fate of published articles, submitted again. Behavioral and Brain Sciences, 5, pp. 187-195.
  31. Rinia, E. J., and van Leeuwen, T. N., and van Vuren, H. G. and van Raan, A. F. J. 2001. Influence of interdisciplinarity on peer review and bibliometric evaluations in physics research. Research Policy, 30, pp. 357–361
  32. Reale, E. and Barbara A. and Costantini, A. 2007. Peer review for the evaluation of academic research: lessons from the Italian experience. Research Evaluation, 16(3), pp. 216–228 DOI: 10.3152/095820207X227501
  33. Reyneri, E. Is Italian sociology in the doldrums? Una breve nota sulla produzione scientifica dei sociologi italiani nella VQR 2004-2010.
  34. Rinia, E. J., and van Leeuwen Th. N., and van Vuren H. G., and van Raan A. F. J. 1998. Comparative analysis of a set of bibliometric indicators and central peer review criteria. Research Policy, 27, pp. 95–107
  35. Ross, J.S. and Gross, C.P. and Desai M.M. et al. 2006. Effect of Blinded Peer Review on Abstract Acceptance. Journal of the American Medical Association, 295(14), pp. 1675-1680. DOI: 10.1001/jama.295.14.1675
  36. Smith, R. 1997. Peer review: reform or revolution? Time to open the black box of peer review. British Medical Journal, 315, pp.759–60
  37. Wennerås, C. and Wold A. 1997. Nepotism and sexism in peer-review. Nature 387, pp. 341-343.

Brigida Blasi, Severità di giudizio: dinamiche valutative nell’area della sociologia nella VQR 2004-2010 in "SOCIOLOGIA E POLITICHE SOCIALI" 2/2015, pp 9-43, DOI: 10.3280/SP2015-002002