Tema 6 (2017)

Apunte Catalán
Universidad Universidad Pompeu Fabra (UPF)
Grado Criminología y Políticas Públicas de Prevención - 4º curso
Asignatura Avaluació de Polítiques Públiques
Año del apunte 2017
Páginas 7
Fecha de subida 19/07/2017
Descargas 0
Subido por

Vista previa del texto

Avaluació PPP TEMA 6. La revisió sistemàtica d’avaluacions d’impacte Abans de decidir implementar un programa      Hi ha programes que hagin intervingut en problemes similars? Han estat avaluats? Quin és el grau de rigor d’aquestes avaluacions? Quines conclusions fiables podem extraure? Quina previsió de resultats estimem del nostre programa en base als resultats dels altres? La revisió sistemàtica implica… Consisteix en fer una revisió sistematitzada de tota la literatura publicada sobre l’avaluació d’un tipus de programes.
 Revisar les publicacions en institucions especialitzades com: The Campbells Systematic Reviews; What Works in Education, The Cochran Collaboration…  Seleccionar les revistes científiques més prestigioses en el camp que ens interessa.
o Demanar a experts quines són o Revisar els indicadors d’impacte  Cercar la bibliografia publicada fora de revistes (llibres, documents de treball d’institucions de recerca…) Advertències     Les revistes i publicacions oficials tendeixen a afavorir les avaluacions amb resultats positius. Si els resultats surten negatius hi ha certa tendència a no publicar-los. S’ha de buscar la literatura gris.
Estar amatents a efectes negatius.
Els documents de treball poden ser una bona informació, però l’avantatge és també un inconvenient, no sabem si no han estat publicats perquè els revisors els han trobat poc rigorosos.
Vigileu el prestigi acadèmic i professional de les editorials que han publicat els llibres Hem vist abans la importància de…    Definir de manera clara el problema que es vol resoldre.
Fixar objectius realistes Construir indicadors de resultats …ara aquesta informació és cabdal per a..
 Definir de manera concisa la pregunta que respondrem amb la revisió sistemàtica… o Quina mena de programes he de cercar entre els que ja han estat avaluats? o La resposta: els que tinguin el mateix públic objectiu i cerquin els mateixos resultats amb els mateixos recursos.
1 Avaluació PPP Exemple: pobresa infantil Preguntes concises:  Quant redueix la pobresa infantil un programa de subsidis públics a escoles bressol?  Quina població ha de ser objecte de l’estudi? o Un grup d’edat determinat? o Una població d’una classe social concreta? o Una població caracteritzada per una necessitat específica? Feta la cerca de publicacions…  Cal filtrar els documents amb els quals treballarem, la qual cosa vol dir rebutjar uns i seleccionar d’altres.
Criteris de selecció     Quan un mateix estudi ha estat publicat a diferents indrets, seleccionar només un d’ells, el que més informació aporti.
Rebutjar aquells que no s’ajusten a les preguntes concises que ens hem formulat.
Òbviament, també els que tinguin defectes metodològics greus que qüestionin seriosament la validesa interna.
Seleccionarem les avaluacions segons el mètode que han fet servir? Per exemple, només els estudis experimentals Advertències   Contrastar la sensibilitat dels resultats a la filtració d’avaluacions que hem fet.
Explicitar en el nostre informe final els criteris pels quals hem rebutjat i acceptat les avaluacions, i quin és el grau de sensibilitat dels resultats a aquest filtre.
Finalment: comparar els resultats   Com si les avaluacions són experimentals? Com si són quasi-experimentals? 2 Avaluació PPP Comparant experiments (Variable dependent categòrica) Comparant experiments (Variable dependent contínua) Comparant quasi-experiments Efecte marginal: Efecte sobre la variable dependent del canvi d’una unitat en la variable explicativa 3 Avaluació PPP META-ANÀLISI   Tècnica estadística que permet obtenir una síntesi dels resultats obtinguts per altres programes Obre la possibilitat de donar explicacions de per què els resultats són heterogenis entre programes META-ANÀLISI DE VARIABLES CONTÍNUES Requisits d’informació   Mitjana de la variable output obtinguda en el grup de tractament i la seva desviació típica Mitjana de la variable output obtinguda en el grup de control i la seva desviació típica Càlcul de la diferència estandarditzada entre el grup de tractament i el de control d   x p  xc dt on d= diferència de resultats tipificats xp= mitjana dels resultats dels participants en el programa xc= mitjana dels resultats dels membres del grup de comparació, o de control dt= desviació típica del grup de comparació o de control.
Diferència estandarditzada mitjana de tots els programes avaluats 0 , 6  1 , 6  0 4 , 3 0  1 , 0  5 8 , 3 0 3  3 , 1 7 El resultat mitjà sembla positiu 5 Però estimant un interval de confiança del 95%, sabem que el valor mitjà es mou entre -1,33 i +7,67 No podem descartar la hipòtesi que aquests programes no tinguin cap efecte  4 Avaluació PPP Estimació de l’interval de confiança de la diferència estandarditzada mitjana Per a estimar l’interval de confiança de la mitjana dels efectes cal estimar-ne primer la seva variància, que serà: On: Wi és la inversa de la variància de cada experiment , 1/vi i Vi és el quadrat de la desviació típica de la població sobre la qual es compara cada programa.
En el cas de l’exemple que estem veient el programa a té una variància va de 52=25, i una inversa de la variància Wa = 1/25=0,04.
Per tant, calculant la inversa de la variància de cada programa, la variància de (dmitjana) és: Recordeu que l’arrel quadrada de la variància dóna la desviació típica (dt=2,3) i que dues vegades la dt marca l’interval de confiança del 95% META-ANÀLISI DE VARIABLES CATEGÒRIQUES Requisits d’informació    Nombre de casos amb ‘èxit’ i ‘fracàs’ al grup experimental Nombre de casos amb ‘èxit’ i ‘fracàs’ al grup de control Amb aquesta informació hem de calcular les ‘odds-ratios’ Què és una odd-ratio? Interpretació: la raó d’èxits sobre no èxits en el grup experimental ha estat 1,9 vegades superior a la del grup de control 5 Avaluació PPP Quin és l’interval de confiança?   Calculem el logaritme natural de l’odd-ratio.
 Al full de càlcul Excel: LN(1,90)=0,6418 Calculem la desviació típica en escala logarítmica  Interval de confiança del 95%:  Calculem l’interval de confiança en l’escala original, fent ús de la funció exponencial  Al full de càlcul Excel: EXP(0,064) EXP(1,22)  El resultat és (1,07; 3,39)  Si l’interval no té límit = 1 és significatiu Mitjana d’odds-ratios: ES= LN(OR) w= inversa de la variància 1/v Passar de escala logarítmica a l’original  Interval de confiança en escala logarítmica: 0,15 ±1,96*0,061 = 0,15±0,12 =[0,03; 0,27]  Interval de confiança en escala original: [1,03; 1,31] 6 Avaluació PPP ANÀLISI DE SENSIBILITAT Hi ha cap característica dels programes que expliqui major eficàcia?   Fem una anàlisi de sensibilitat.
Si són pocs programes anem observant la variació del resultat mitjà cada cop que eliminem un programa de la mostra Exemple anterior de meta-anàlisi de programes amb variables contínues Quan el nombre de programes avaluats és molt nombrós, l’anàlisi de sensibilitat és substituït per una regressió on la variable dependent és el resultat dels programes i les variables explicatives les característiques rellevants de cada programa.
7 ...

Comprar Previsualizar