BT3: Validesa (Classe 2/10/17) (2017)

Apunte Catalán
Universidad Universidad Autónoma de Barcelona (UAB)
Grado Psicología - 3º curso
Asignatura Psicometria
Año del apunte 2017
Páginas 7
Fecha de subida 02/10/2017
Descargas 5
Subido por

Vista previa del texto

Psicometria Laura Casado BT3: Validesa A aquest tema se li dona molta importància en l’assignatura. Els Standards, sobre la validesa, ens diuen: • • • La validesa es el grau en que tu tens evidencia empírica i teòrica que doni suport a les interpretacions que farem del test  no es pot dir que un test és vàlid, sinó que hi ha interpretacions o usos concrets d’aquest test.
El procés de validació no és una sola prova, sinó que un test es valida aportant moltes evidencies a favor de les interpretacions que nosaltres volem fer. Per tant, diem que és un procés acumulatiu, és a dir, que la validació d’un test no s’acaba mai.  Difícilment es pot concloure un anàlisi dient que un test està perfectament validat.
Els temes pels que els preocupa la validesa són dos: o Constructe deficientment representat: El constructe que volem avaluar està poc avaluat.
o Constructe contaminat: S’intenta saber si la gent sap matemàtiques, però l’examen depèn de si coneixen l’idioma amb el que està fet la prova.
La validesa pretén demostrat que el constructe està sent demostrat completament i sense contaminació.
1. Com procedir per comprovar-la Si el que validem no és un test, sinó els usos que se’n donen, abans de començar un procés de validació és imprescindible saber quins usos se’n volen fer d’aquell test, en quin context es vol fer servir, etc. D’aquesta part, els Standards de 2014 en diuen construir l’argument interpretatiu.
1.1: Argument interpretatiu: Com volem interpretar el test aplicat? Exemple: En l’article “A validation framework” s’analitza la validesa del test MAPT.
The Massachusetts Adult Proficiency Test (MAPT): S’utilitza en escoles d’adults per saber si s’han adquirit les competències que s’exigien. És un examen. L’argument interpretatiu d’aquest test es: • • Mesurar el coneixements i habilitats dels estudiants en matemàtiques i lectura.
Mesurar els coneixements dels alumnes per saber si la institució fa correctament la seva feina (si és efectiva).
Aquest dos usos s’han de validar. Atesos a aquests propòsits, es creu que s’hauria de comprovar: • • • • Si mesura matemàtiques i lectura de forma completa i que no mesura altres coses (no contaminat).
Si les preguntes s’adapten al currículum del que se suposa que la gent ha d’aprendre.
Si la informació que ens dona sobre aquest punts és acurada.
Si són útils per avaluar el procés.
Psicometria • • Laura Casado Si són apropiats per veure l’efectivitat del programa.
En general, es fan preguntes com: S’està preguntant allò que hauria de reflectir el currículum? Si un estudiant millora, significa que obtindrà una nota més alta? Etc.
Un cop ja tenim clar què es vol avaluar amb el test, també s’ha de dir explícitament per a què NO serveix (quins usos incorrectes en pot fer la gent): • • Aquest examen no serveix per veure les fortaleses i debilitats dels alumnes.
No està pensat com a forma de triatge, per col·locar a les persones en un grup concret.
Per tant, veiem que l’argument interpretatiu és MOLT precís. Després de saber l’argument interpretatiu, podrem valorar les proves de validesa, ja que aquestes de cap manera són les mateixes per tots els test, cada test necessita les seves i depenen del argument interpretatiu, i per això els manuals de test són tan diversos.
1.2: Argument de validesa El següent pas és el que els Standards en diuen “argument de valides” i són les proves que s’aportaran per donar validesa a l’argument interpretatiu. Aquestes proves es basen en fer servir el mètode científic: • • • • En primer lloc fem hipòtesi del que esperen de les puntuacions.
Dissenyar el mètode per obtenir l’evidencia científica Obtenir l’evidencia científica Extreure resultats i conclusions, verificació de la hipòtesi i interpretació de les puntuacions.
També és molt útil fer i comprovar contra-hipòtesi relacionades amb la representació deficient i la contaminació del constructe.
Psicometria Laura Casado 2. Metodologia qualitativa per a l’estudi de la validesa 2.1: Tipus d’evidències Per fer això, els Standard havien endreçat les proves de validesa de 3 maneres diferents (contingut, constructe i de criteri). Actualment, però, la APA considera que es pot parlar de: • • • • • Validesa basada en el contingut del test En els processos de resposta (novetat  els Standard antic no tenien en compte els processos que fa la persona que contesta al test) L’estructura interna La relació amb altres variables (la predicció del criteri s’ha inclòs en aquesta relació amb altres variables  relació del test amb variables que no són el test) Les conseqüències de l’avaluació (novetat  els test han de ser justos i no han de crear més problemes dels que vol solucionar).
Taula comparativa: Standards de 1985: La validesa és tota evidència Standards de 1999: La validesa (o validesa de relacionada amb...
constructe) pot estar basada en...
El contingut del test El contingut del test El constructe • L’estructura interna • La relació amb altres variables Els processos de resposta L’estructura interna La relació amb altres variables La predicció d’un criteri Les conseqüències de l’avaluació S’expliquen les dues maneres perquè tot i que a l’any 1999 van ocórrer tots aquest canvis, no van tenir gaire èxit, i els manuals escrits des dels 2000 fins al 2015 segueixen parlant de les 3 valideses antigues.
2.1.1: Evidencies de validesa basades en el contingut: Solen provenir de fonts que tenen un gran coneixement del que hauria de ser el contingut del test. Exemple: Psicometria Laura Casado Els especialistes avaluen la pertinença y la cobertura dels continguts i preguntes del test. Ser “expert” es regeix per uns criteris preestablerts. La pertinença és relaciona amb al manca de contaminació i la cobertura es relaciona amb la possibilitat d’avaluar tot el constructe. Això és metodologia qualitativa. Les persones són poques i triades, amb grans coneixements. Quan aquestes persones donen una conclusió, aquesta conclusió serà digna de molta confiança.
Exemple 2: A partir de finals del segle passat es va començar a incorporar a l’avaluació dels test les persones que els contesten. Un test també ha de resultar convincent per la persona que els contesta. Per tant, les persones objectiu d’estudi també poden ser incloses per saber si amb els nostres ítems estem arribant a tot el domini o fem preguntes irrellevants.
Per tant, quan busquem evidencies de validesa relacionades amb el contingut: • • Primer haurem de mirar l’àmbit que ocupa (temes que tracta el qüestionari, tasques, expressió, procediment d’administració i puntuació del test).
Metodologia per avaluar-lo: Evidències de caràcter teòric, lògic i empíric: o Empíric: Obtenir dades de persones. Exemple: Si preguntem a persones avaluades si el que llegeixen s’entén, fent una enquesta, seria una evidència empírica.
o Evidències teòriques: Exemple: Si fem un test que mesura personalitat hauria d’estar basat en les teories de la personalitat.
Psicometria Laura Casado o • Lògica: Exemple: Si diuen que un test avalua psicometria, pots convèncer a la gent de que avalua això dient el que es la psicometria i que es basa en 3 apartats bàsic, i seguidament afirmar que el test té 30 preguntes, i 10 pertanyen a cadascuna de les 3 categories citades  aparentment, el test avalua correctament la psicometria.
Aquesta avaluació es pot dur a terme, ja sigui teòrica, lògica o empírica, a través de: o Revisió bibliogràfica: Exemple: Aquest tes s’ha construït tenint en compte totes les versions anteriors de test que intentaven avaluar el mateix constructe.
o Opinió de totes les persones amb interessos en els resultats: ▪ Especialistes en el constructe avaluat ▪ Població diana.
Per últim, mirem els resultats: Si s’observen desacords, incoherències o suggeriments cal reconsiderar el contingut del test.
2.1.2: Evidències de validesa basades en la resposta: Quan ens fan una pregunta, la pensem i seguidament la contestem. En el procés de pensar, passen moltes coses que poden afectar al resultat del test, i és d’això del que parlarem.
Representació del procés de resposta: Molta variabilitat en el procés de resposta fa dubtar sobre la interpretació de les puntuacions.
Millor si tenim una teoria o un model explicatiu dels possibles processos de resposta Quan busquem evidencies de validesa basades en la resposta: • Àmbit: o Contingut dels ítems ▪ Disseny dels items d'acord amb el model de processament ▪ Contextualització (de l’anglès “framing”) ▪ Ítems ambigus o Instruccions clares i comprensibles: Quan apliquem un test, és necessari que donem instruccions molt clares a les persones que l’estan realitzant. Les instruccions, pels test que són de rendiment, es basen en que la gent entengui què ha de fer, però si els tests són de comportament típic (exemple: personalitat) en les instruccions solen dir “no hi ha respostes bones i dolentes.
Psicometria • • Laura Casado Contesteu amb sinceritat”, intentant afavorir el procés de resposta. Podria passar que una persona no tingués interès en contestar amb sinceritat (exemple: quan una persona va a una entrevista de selecció de personal)  això podria comprometre el procés de resposta.
▪ explícites: sinceritat ▪ implícites: no dedicar massa temps o Format dels ítems i/o del test: ▪ Efecte halo: Una de les primeres característiques que captem sobre alguna cosa és generalitzada en ella, provocant biaix. Exemple: En les enquestes a professors, si un professor cau bé probablement totes les respostes siguin positives.
▪ Aquiescència: Contestar tota l’estona que sí.
▪ Tendència a respostes centrals, extremes o positives o Motivacions de qui respon: En test de rendiment, sobretot, no sempre la gent intenta aconseguir el millor resultat possible, i és necessari tenir-ho en compte.
▪ Defensar interessos propis ▪ Optimització o suficiència ▪ Desitjabilitat o desviació social: En els test d’actitud, la gent intenta quedar bé i això pot provocar biaix en la resposta. // Sobretot en l’adolescència, els adolescent tendeixen a contestar amb biaix a preguntes, per exemple, sobre les drogues, afirmant que tenen molts coneixement sobre totes i que les han tastat totes.
Metodologia: o Observar què fan les persones de la població diana quan responen  mètode qualitatiu o Preguntar a les persones què fan quan responen (entrevista cognitiva)  mètode qualitatiu o Anàlisi empírica de les respostes:  mètode quantitatiu ▪ Veure si són coherents amb el model de processament ▪ Detecció de patrons anòmals. Exemple: En un test de nivell de cert constructe, les persones amb un coneixement alt responen erròniament a un ítem al que totes les persones amb coneixements baixos contesten correctament.
Resultats: El desacord amb les previsions teòriques, o bé molta variabilitat en el procés de resposta, ha de fer reconsiderar el format del test.
Tots aquests efectes s’han de tenir en compte i comentar-les en el manual d’un test.
2.1.3: Conseqüències de l’avaluació Es pot produir un ensinistrament de persones o d’institucions per aconseguir una puntuació desitjada en els exàmens que es fan servir per avaluar institucions (saber què saben els de X escola). Els rankings fa que només s’aprengui el que s’ha de fer per quedar en bona posició en aquell ranking, res més, i això és un efecte negatiu.
Psicometria Laura Casado En el cas de les persones, la gent comença a acostumar-se al tipus d’examen que es fan i, de la mateixa manera que en el cas anterior, aprenen a passar un tipus d’examen concret, però res més.
Quan intentem avaluar conseqüències: • • • Àmbit: o Demostrar que les conseqüències de l’avaluació coincideixen amb les conseqüències previstes o Indagar sobre l’existència de possibles conseqüències no previstes ▪ degudes a deficiències en la representació del constructe? ▪ degudes a contaminació del constructe? o Molt important indagar sistemàticament possibles contra hipòtesis Metodologíes (exemple) o Entrevistes a persones afectades o Estudis comparatius entre grups o Estudis longitudinals Resultats: Cal provar que les conseqüències previstes es produeixen i que les indesitjades no es produeixen.
...

Tags:
Comprar Previsualizar