Administrative data for policy evaluation: evidence from Piedmont on the ESF

Journal title RIV Rassegna Italiana di Valutazione
Author/s Elena Ragazzi, Lisa Sella
Publishing Year 2015 Issue 2014/60
Language Italian Pages 24 P. 123-146 File size 128 KB
DOI 10.3280/RIV2014-060008
DOI is like a bar code for intellectual property: to have more infomation click here

Below, you can see the article first page

If you want to buy this article in PDF format, you can do it, following the instructions to buy download credits

Article preview

FrancoAngeli is member of Publishers International Linking Association, Inc (PILA), a not-for-profit association which run the CrossRef service enabling links to and from online scholarly content.

The impact assessment of social and labour policies is mainly based on direct inquiry on their recipients. In the case of net impact assessments, one has to observe a group of untreated individuals that is very homogeneous with respect to the treated. However, the very high cost of direct surveys limits their scope, as it prevents large sample size, hindering the reliability of estimates. The access to databases created for different purposes (fiscal, administrative, monitoring) could overcome the above limitations, with much convenience in terms of cost and data quality. This paper presents a validation exercise based on a very broad and complex employment database, the Comunicazioni Obbligaorie (COB), that collects employers’ compulsory notifications in the case of changes in a job contract. This exercise was possible thanks to an extraordinary condition, giving contemporaneous access to two different data sources, the COB database and a direct survey on recipients of vocational training policies in the Piedmont Region. The paper discusses the main differences between employment indicators evaluated on direct survey data and on COB data. Inconsistencies involve the 20% sample. In addition, such inconsistencies do distort the net impact assessment, since the key variables for placement outcomes vary significantly. Hence, whenever administrative databases are used as a source for socioeconomic analyses, extreme caution and critical thinking must be used, verifying the reliability of estimates deriving from their use and comparing results with other sources. In the lack of such preliminary validation, which should be carried out in close collaboration with the regional or national authorities managing the information systems, we run the risk not only to uncritically accept information producing systematic bias, but also to prevent the development of procedures that are essential for the system development.

Keywords: Impact Assessment, Validation, Administrative Data, Survey, Multivariate Analysis

  1. Barca F. (2009). An agenda for a Reformed Cohesion Policy. A place-based approach to meeting European Union challenges and expectations, Independent report prepared at the request of Danuta Hübner, Commissioner for Regional Policy.
  2. Bell S.H., Orr L.L., Blomquist J.D., e Cain G.G.. (1995) Program Applicants as a Comparison Group in Evaluating Training Programs: Theory and a Test. Kalamazoo, MI: W.E. Upjohn Institute for Employment Research.
  3. Benati I., Ragazzi E., Sella L. (2013). Valutare l'impatto della formazione professionale sull'inserimento lavorativo: lezioni da una ricerca in Regione Piemonte. Rivista Italiana di Valutazione, XVI (56-57): 26-47, DOI: 10.3280/RIV2013-056003
  4. Brackfield D. (2005). Task force on Administrative Data: progress report, Paris: OECD. Canu E., Conzimu L., Garau G. (2010). Le politiche per il lavoro della Regione Sardegna. Formazione Orientamento Professionale, 10 (5-6): 123-146.
  5. Cesarini M., Fontana M., Mercorio F., Mezzanzanica M., Vegetti N. (2012). Data Quality: Un Approccio Metodologico ed Applicativo. Il caso delle COB nel mercato del lavoro in Lombardia, CRISP Working Paper 2012/11
  6. Contini B., Trivellato U., a cura di, (2005). Eppur si muove. Dinamiche e persistenze nel mercato del lavoro italiano, Bologna: Il Mulino.
  7. Falavigna G., Ragazzi E., Sella L. (2013) Parcours Formatifs et Entrée dans le Marché du Travail pour les Femmes. Analyse des Différences Homme-Femme dans le Cas des Politiques de Formation en Piémont, Working paper Cnr-Ceris, N. 13/2013.
  8. Hotz V., Goerge R., Balzekas J., Margolin F. (1999). Administrative data for policy-relevant research: assessment of current utility and recommendations for development. Report of the Advisory Panel on Research Uses of Administrative Data. Joint Center for Poverty Research of the Northwestern University/University of Chicago.
  9. Lentini A. (2006) Le esperienze delle regioni nell’utilizzo di fonti amministrative per l’analisi e il monitoraggio del mercato del lavoro, paper presentato al seminario “I dati amministrativi per le statistiche sui mercati del lavoro locali”.
  10. Ragazzi E. (a cura di), Benati I., Santanera E., Sella L. (2014). Gli esiti occupazionali delle politiche formative in Piemonte. 2° Rapporto Annuale di Placement 2012. Indagine su qualificati e specializzati nell’anno 2011. Moncalieri: CNR-Ceris e Regione Piemonte, ISBN 978-88-98193-04-2 versione cartacea, ISBN 978-88-98193-05-9 versione online.
  11. Ragazzi E. (a cura di) (2008). Perché nessuno si perda. La Piazza dei Mestieri, un modello per contrastare la dispersione scolastica. Milano: Guerini e Associati.
  12. Ragazzi E., (2014). Effectiveness evaluation of training programmes for disadvantaged targets, Procedia - Social and Behavioral Sciences, 141: 1239-43, DOI: 10.1016/j.sbspro.2014.05.213
  13. Ragazzi E. (a cura di), Nosvelli M., Sella L., (2012). Gli esiti occupazionali delle politiche formative in Piemonte – 1° rapporto annuale di placement 2011 – Indagine su qualificati e specializzati nell’anno 2010, Torino: CNR-Ceris e Regione Piemonte, ISBN 978-88-98193-01-1.
  14. Ragazzi E., Sella L. (2011), L’Assetto Istituzionale dell’Istruzione Professionale in Italia, in Lauro e Ragazzi 2011.
  15. Ragazzi, E., Sella, L. (2013a). Una valutazione di impatto delle politiche formative regionali : il caso piemontese. Working paper Cnr-Ceris, N. 15/2013.
  16. Ragazzi E., Sella L. (2013b). Migration and work: the cohesive role of vocational training policies. Working Paper Ceris-Cnr, N. 16/2013.
  17. Ragazzi E., Sella L.,(2014). I dati amministrativi per la valutazione delle politiche: riscontri dall’esperienza piemontese sul FSE, CNR-Ceris Working Paper, WP 16/14.
  18. Ragazzi E., Vitali G. (2005). I fabbisogni formativi dei soggetti deboli, Milano: Franco Angeli.
  19. Sella L. (2014). Enhancing Vocational Training Effectiveness Through Active Labour Market Policies, Procedia - Social and Behavioral Sciences, 141: 1140-44, DOI: 10.1016/j.sbspro.2014.05.192
  20. Trivellato U. (2006). Uso e integrazione dei dati amministrativi e da surveys nel progetto MIUR “Dinamiche e persistenze nel mercato del lavoro italiano”, paper presentato al seminario “I dati amministrativi per le statistiche sui mercati del lavoro locali”.
  21. White H. (2010). A Contribution to Current Debates in Impact Evaluation. Evaluation 16, n°2: 153-164.

  • I dati amministrativi per la valutazione delle politiche: riscontri dall'esperienza piemontese sul FSE Elena Ragazzi, Lisa Sella, in RIV Rassegna Italiana di Valutazione 60/2015 pp.123
    DOI: 10.3280/RIV2014-060008
  • L'interesse del Senato della Repubblica per la pratica valutativa: alcune riflessioni di metodo relativamente agli aiuti per la sicurezza sui luoghi del lavoro Marco Accorinti, Francesco Gagliardi, Elena Ragazzi, Giuliano Salberini, in RIV Rassegna Italiana di Valutazione 70/2019 pp.7
    DOI: 10.3280/RIV2018-070002
  • Gli incentivi per la salute e sicurezza sul lavoro: riflessione sugli approcci metodologici e sulle criticità dell'analisi valutativa Chiara Colagiacomo, Elena Maria Ragazzi, Lisa Sella, Stefano Signorini, in RIV Rassegna Italiana di Valutazione 71/2019 pp.102
    DOI: 10.3280/RIV2018-071006
  • I benefici delle valutazioni "ripetute". Evidenze da un'esperienza piemontese Igor Benati, Valentina Lamonica, Elena Ragazzi, Lisa Sella, in RIV Rassegna Italiana di Valutazione 64/2017 pp.7
    DOI: 10.3280/RIV2016-064002
  • Données administratives et évaluation des politiques régionales Elena Ragazzi, Lisa Sella, in Revue d’Économie Régionale & Urbaine /2018 pp.509
    DOI: 10.3917/reru.182.0509

Elena Ragazzi, Lisa Sella, I dati amministrativi per la valutazione delle politiche: riscontri dall’esperienza piemontese sul FSE in "RIV Rassegna Italiana di Valutazione" 60/2014, pp 123-146, DOI: 10.3280/RIV2014-060008