Tema 2: Anàlisis de l'ítem (2017)

Apunte Catalán
Universidad Universidad de Barcelona (UB)
Grado Psicología - 2º curso
Asignatura Psicometria
Profesor G.
Año del apunte 2017
Páginas 13
Fecha de subida 13/10/2017
Descargas 0
Subido por

Descripción

Apuntes con resumen de la teoria, con ejemplos y ejercicios par apracticar.

Vista previa del texto

PSICOMETRIA, M4 TEMA 2: ANÀLISIS DEL ÍTEM Quan creem un instrument de mesura; sempre creem un ítem. Instrument que mesura més d’un constructe, i per aquest motiu s’ha de passar un filtre tant de caràcter qualitatiu com quantitatiu.
• ANÀLISIS QUALITATIU Aquest anàlisi la fan aquells de judici d’experts en el constructe i els psicòlegs; anàlisi sobre les característiques substancials, estilístiques, d’adequació imparcialitat. Caldrà valorar: ▪ La adequació del contingut.
▪ Format dels ítems per a la població diana i finalitat del test; si el format es adequat per la població.
▪ Segueix les directrius i la claredat en el redactat.
▪ Correcció gramatical.
▪ Seguiment de les regles bàsiques de redacció d’ítems.
▪ Si es mesura adequadament el constructe.
• ANÀLISIS QUANTITATIU Aquest filtre es passa abans del anàlisis qualitatiu. Càlcul d’indicadors per estudiar les característiques psicomètriques dels ítems a partir de les respostes obtingudes en mostres. Es calcula numèricament com funciona els ítems a nivell psicomètric.
▪ Índex de dificultat (ID) ▪ Índex de discriminació (D) / índex de facilitat ▪ Anàlisis dels distractors (aquells d’elecció múltiple) ▪ Índex de fiabilitat ▪ Índex de validesa 1.DIRECTRIUS PER LA CONSTRUCCIÓ DELS ÍTEMS DEL TEST Quan començo a redactar els ítems del test, cal tenir en compte les següents directrius: S’ha de definir l’objectiu d’avaluació, els ítems s’han de redactar d’una forma o altre segons l’objectiu. Tenir clar quin constructe vull mesurar.
Quin context s’utilitza els ítems (tipus de població: ítems per la població infantil, població amb esquizofrènia, superdotats...; també el tipus d’administració i condicions en el que s’administrarà el test, es a dir, s’utilitzarà ordinador? Individual? col·lectiu?...).
S’ha de definir a priori, fins a on vull arribar de la mesura del constructe. El domini i context d’interès, cal determinar el nivell del constructe i escollir els indicadors que el representen. Per exemple vull mesurar funcions cognitives, haure de saber que hi ha capacitats d’atenció, memòria de treball...i haure de saber quina d’aquestes capacitats cobreix el meu ítem.
2.ELAVORACIÓ DELS ÍTEMS DEL TEST Cal tenir en compte el tipus de test que es tracta, si es tracta d’un test de rendiment màxim/òptim; o si es tracta d’un test de rendiment típic.
Test de rendiment òptim/ màxim, són aquells que intenten mesurar variables cognitives, es a dir, coneixements aptituds, habilitats... Tenen respostes correctes i incorrectes.
Test de rendiment típic, són els que mesuren variables o constructes afectius, es a dir, opinions, valoracions, aptituds, personalitat...No existeixen respostes correctes o incorrectes.
Depèn del tipus de test que ens trobem ens determinarà en quin format de ítem ens trobem: o ÍTEMS TANCATS o D’ELECCIÓ: Els individus tenen diferents opcions de resposta.
▪ Elecció Binària limita els ítems, són poc representatius, solen trobar-se en testos de nivell òptim.
▪ Elecció Múltiple el subjecte te diverses opcions de resposta.
▪ Aparellament solen trobar-se en els test de rendiment òptim, i avaluen coneixement.
▪ Format incomplet (cloze) Testos de respostes on els individus han de omplir els vuits amb les alternatives que jo li proporciono, es solen trobar de rendiment òptim.
▪ Escales de classificació (rating scales)es tracten de enunciats amb diferents alternatives ordenades de forma gradual. El individu ordena segons el seu criteri, no hi han respostes incorrectes. Aquest tipis de ítems es solen trobar als testos de rendiment típic.
▪ Llistatsel individu marca aquella resposta amb la que es sent ell identificat. Es troben als testos de rendiment típic.
o ÍTEMS OBERTS o DE CONSTRUCCIÓ: podem trobar dues variacions ▪ Resposta extensa  es dona un espai, així el individu redacta la seva resposta lliurement.
▪ Resposta curta  l’individu a de generar una resposta però de manera breu.
Dificultat que podem trobar-nos en aquest tipus d’ítem, al deixar llibertat a les respostes són més difícils de corregir, hauríem de generar un sistema de categories, és més difícil de puntuar. En canvi els ítems de resposta tancats són més fàcils de puntuar.
2.1 Recomanacions per la confecció d’ítems de resposta múltiple ▪ ▪ ▪ ▪ ▪ ▪ ▪ Cada ítem ha de estar dirigit a avaluar un únic problema.
Plausibilitat de les alternatives incorrectes.
Ubicació a l’atzar de l’alternativa correcta.
Evitar ítems que es puguin contestar de forma lògica o amb el sentit comú.
No repetir paraules o expressions per cada alternativa. Mateix longitud de les alternatives.
No utilitzar com alternativa: totes les anteriors o cap de les anteriors.
Evitar les negociacions dobles (en l’enunciat i en l’alternativa).
2.2 Errors més habituals en la confecció d’ítems ▪ ▪ ▪ ▪ No deixar la mateixa plausibilitat de les alternatives incorrectes.
Enunciats en forma negativa.
Reiteracions innecessàries de text.
Ús de l’alternativa: totes les anteriors o cap de les anteriors.
2.3 Passos Un cop comprovat i passat el filtre de l’anàlisi qualitatiu, es fa l’anàlisi quantitatiu per comprovar que els ítems funcionen bé en el test. Per això hem de seguir uns passos: 1) Decidir les principals propietats de les puntuacions del test, com es puntuaran els ítems.
2)Identificar les anàlisis d’ítems més rellevants per a aquestes propietats, ja que no tots els indicadors són adequats per els ítems. En el cas de ser un test de respostes d’elecció múltiple s’ha de fer un anàlisis de distractors.
3)Administrar els ítems a una mostra representativa de la població a la qual està dirigit el test. Com ja se com són els ítems i ja he raonat, s’ha d’administrar a una mostra representativa de la població i analitzar les seves propietats.
4)Estimar les anàlisis identificar en el pas 2 per cada un dels ítems. Un cop els tinc diferenciats, decideixo un criteri de selecció (quin funciona millor o quin no).
5)Establir un pla per a la selecció d’ítems. Identificar i revisar els que funcionin malament. Escollir els que millor funcionen i s’ajusta al test.
6)Seleccionar el bloc final d’ítems.
3.INDICADORS CLÀSSICS (anàlisi d’ítems) o o o o o Índex de dificultat Índex de discriminació Anàlisis dels distractors només amb els ítems d’elecció múltiple.
Índex de fiabilitat de l’Ítem Validesa de l’Ítemfins a quin punt el ítem mesura una variable externa al test. Per exemple: hi han ítems que mesuren depressió, i es pot predir el nivell d’ansietat (variable externa).
3.1 Índex de dificultat (ID) L’Índex de dificultat ens indica el nivell de dificultat de l’ítem. Esta pensat per els test de nivell òptim o també de rendiment típic (la dificultat per estar d’acord o desacord).
Hi han diferents tipus d’índex de dificultat: ▪ ID sense correcció per atzar: ▪ ID correcció per atzar: ▪ ▪ Puntuació corregida del subjecte (Pc): Pc= A-E / (k-1) Mitjana del test = Suma ID dels ítems: Exemple: Índex Dificultat sense correcció per atzar EXERCICI: Índex Dificultat sense correcció per atzar Comproveu que la mitjana del test equival a la suma dels ID Exemple: Índex Dificultat corregit per atzar EXERCICI: Índex Dificultat corregit per atzar 3.2 Índex de Discriminació Avalua si els ítems són capaços de posar de manifest les diferències individuals entre els subjectes en la variable que mesurem. Un ítem té poder discriminant si els subjectes que tenen un nivell alt en la variable encerten més l’ítem o obtenen puntuacions més elevades que els subjectes que tenen un nivell baix en la variable. Es a dir, per comprovar la capacitat de diferenciar entre un nivell alt i un nivell baix (indica si es pot discriminar entre els nivells baixos o alts del que es mesura).
Exemple: Sóc una persona molt sociable A: nivell ALT de EXTRAVERSIÓ (molt acord) B: nivell BAIX de EXTRAVERSIÓ (poc desacord) L’ítem discrimina bé, ja que discrimina en nivells alts d’extraversió i introversió. Si questes respostes fossin iguals l’ítem no discriminaria.
Es posa en relació la resposta del ítem amb el nivell alt o baix (extraversió) del individu, es a dir, com es respon el ítem i el nivell de tret del individu.
Posa en relació l’execució del subjecte en l’ítem amb la seva execució global en el test.
CÀLCUL És un índex basat en la diferència de les proporcions d’encerts o de respostes positives a l’ítem.
Índex basats en les correlacions ítem-test Es pot utilitzar tant en testos de rendiment màxim/ òptim, com també en testos de rendiment típic. Es pot veure nivells de discriminació alts i baixos en proves d’aprenentatge, velocitat...
• Criteris per a la valoració de la discriminació de l’ítem (Ebel & Frisbie, 1991) • Discriminació: índex basat en la diferencia de les proporcions d’encert o respostes positives On marquem el punt de tall entre el grup inferior i el superior? Ho fem mitjançant diferents tècniques: -Mediana (50%) -Q1 i Q3 -Kelly: el criteri més òptim es agafar el 27% inferior i el 27% superior Exemple diferències: discriminació EXERCICI: Índex de discriminació basat en la diferència de les proporcions d’encert respostes positives Índex de discriminació de l’ítem 1 En els dos grups busco les respostes positives. Tota la gent del grup inferior i la del grup superior són iguals, indica que es perd informació, no es precís.
✓ Com valorem la discriminació? -Si D ≥ 0’4 es pot confiar en el poder discriminatiu de l’item.
-Si 0’3 ≤ D ≤ 0’39 es acceptable però s’ha d’intentar millorar.
-Si 0’2 ≤ D ≤ 0’29 s’ha de revisar.
Si D < 0’2 s’ha de eliminar o modificar completament.
4.INDEX BASATS EN LA CORRELACIÓ ÍTEM-TEST (Discriminació) Cal tenir en compte tot el ventall de puntuacions.
Quan una correlació variable del ítem i altre variable que inclou el ítem (v.test), el coeficient de correlació puja la seva puntuació una mica.
✓ Per corregir-la: -Abans resto de la puntuació total del ítem en la del test.
-Aplicar una formula de correcció de la correlació.
Depèn de les variables s’utilitza un coeficient o un altre: o COEFICIENT DE CORRELACIÓ DE PEARSON o COEFICIENT DE CORRELACIÓ BISERIAL-PUNTUAL o COEFICIENT DE CORRELACIÓ BISERIAL o COEFICIENT FI o COEFICIENT TETRACÒRIC Exemple: Correlació biserial-puntual Exemple: Correlació biserial-puntual. Ítem 5 EXEMPLE: Correlació biserial-puntual. Ítem 6 5.CORRECIÓ DE CORRELACIÓ En cas de no haver eliminat l´ítem per calcular la correlació, caldrà aplicar la correcció següent: EXERCICI: Correlació biserial-puntual. Ítem 6 (sense restar la puntuació de l’ítem – aplicant la correcció de la correlació) 6.RELACIÓ ENTRE ELS INDICADORS 6.1 VARIABILITAT I DIFICULTAT Què ocorre si tothom encerta un ítem? I si tothom el falla? 6.2 VARIABILITAT I DISCRIMINACIÓ L’ítem pot discriminar si la seva variància es superior a 0.
6.3 DIFICULTAT I DISCRIMINACIÓ Els valors que pot prendre l’índex de discriminació d’un ítem depèn del valor de l’índex de dificultat: ✓ Ítem fàcil: permet discriminar entre les persones amb nivells baixos en el tret mesurat (puntuacions baixes).
✓ Ítem difícil: permet discriminar entre les persones amb nivells elevats en el tret mesurat (puntuacions altes) En quin rang es mou l’índex de dificultat? Per tant, un ítem he de tenir dificultat mitjana, per tal de poder discriminar ambdós grups.
Hi ha major capacitat discriminaria del test quan conté: ✓ Majoria d’ítems de dificultat mitjana (en ítems dicotòmics D al voltant de 0’5).
✓ Alguns ítems fàcils per discriminar entre persones amb menys nivell.
✓ Alguns ítems difícils per discriminar entre persones amb més nivell.
7.ANÀLISIS DELS DISTRACTORS (RESPOSTES DE ELECCIÓ MULTIPLE) Els distractors han de ser igualment atractius per als subjectes que no coneguin la resposta i tenir la mateixa probabilitat de ser escollits a l’atzar quan el subjecte intenta endevinar la resposta correcta.
Exemple: Anàlisis dels distractors EXERCICI: Anàlisis dels distractors 8. ANÀLISIS DELS DISTRACTORS A PARTIR DE L’INDEX DE DISCRIMINACIÓ Haurem de trobar els índex de discriminació siguin sempre negatius per tal de poder dir que els distractors funcionen de manera lògica.
Si trobem un distractors que dóna 0, el valoraríem igual que en l’índex de discriminació per l’ítem. També és important que els índex de discriminació siguin similars entre ells.
EXERCICI: 8.INDEX DE FIABILITAT DE L’ÍTEM (IF) Estimació de la fiabilitat (precisió amb la que mesurem el constructe) amb la que l’ítem mesura la característica que mesura el test en conjunt.
El ítem amb IF al tenen fiabilitat alta.
9.ÍNDEX DE VALIDESA DE L’ÍTEM ✓ ✓ ✓ ✓ ✓ La validesa es la propietat que ens permet predir una variable externa a partir de les dades del test.
La validesa de l’ítem es la capacitat de l’ítem per predir aquella variable externa.
Contribució de l’ítem en la predicció d’una variable externa (criteri).
Correlació de l’ítem amb un criteri extern.
El tipus de correlació està en funció del tipus d’ítem i el tipus de criteri.
Exemple: Índex de Validesa de l’ítem Ítem dicotòmic d’un qüestionari de depressió (0=no depressió, 1= depressió) Criteri extern: puntuació total d’un test d’ansietat ...

Tags:
Comprar Previsualizar