Unitat 2- Anàlisi d'ítems (2017)

Resumen Catalán
Universidad Universidad de Barcelona (UB)
Grado Psicología - 2º curso
Asignatura Psicometria
Profesor M.B.
Año del apunte 2017
Páginas 17
Fecha de subida 18/10/2017
Descargas 0
Subido por

Vista previa del texto

TEMA 2- ANÀLISI D’ÍTEMS Anàlisi qualitatiu És el judici d’experts que valoren l’adequació de l’ítem i les característiques substancials, estilístiques, d’adequació i d’imparcialitat. Caldrà valorar: 1. Adequació del contingut 2. Format dels ítems per a la població diana i finalitat del test 3. Claredat en el redactat 4. Correcció gramatical 5. Seguiment de les regles bàsiques e redacció d’items Anàlisi quantitatiu Càlcul d’indicadors per estudiar les característiques psicomètriques dels ítems a partir de les respostes obtingudes en mostres 1. Índex de dificultat (ID) 2. Índex de discriminació (D) 3. Anàlisi dels distractors 4. Índex de fiabilitat 5. Índex de validesa Directrius per la construcció dels ítems del test • Definir l’objecte de l’avaluació • Context en que s’utilitzaran els ítems (població objectiu, tipus d’administració i condicions en el que s’administrarà el test) • Domini i context d’interès. Determinar el nivell del constructe i escollir els indicadors que el representin.
Test de rendiment típic valora aspectes opinió o de personalitat. En aquest test no hi hauran respostes correcte so incorrectes perquè estem valorant una opinió Test rendiment òptim/màxim son aquells que valoren capacitats, aptituds, intel·ligència.. En aquests hi hauran preguntes amb alternatives de resposta que poden ser correctes o incorrectes ELABORACIO DELS ITEMS Items d’elecció o tancat el subjecte l’únic que ha de fer es assenyalar la categoria que pensa que es correcte. Hi ha diferents tipus de elecció: • Elecció binaria • Elecció múltiple diferents categories de resposta 1 correcta i diferents distractors. El subjecte nomes ha de seleccionar una resposta.
• Aparellament • Format incomplet • Escales de classificació enunciat en el qual el subjecte ha de valorar on es posiciona en una escala des de molt d’acord a poc d’acord.
• Llistats Items oberts  el subjecte ha d’elaborar una resposta: • Resposta extensa descripció d’alguna cosa • Resposta curta ha de contestar una cosa molt concreta EX. Quina es la seva edat? PRINCIPALS RECOMANACIONS • Que cada ítem només valori un aspecte, en el moment en que trobem dos adjectius en un ítem o be una “i” o una “o” ens esta indicant que probablement l’enunciat estarà malament redactat.
EX. Te sientes alegre i feliz? • Plausabilitat de les alternatives incorrectesSi en un ítem de resposta múltiple en el qual tens un enunciat i diferents categories de resposta i el dissenyes perquè hi hagi 1 correcte i diferents incorrectes hauria de distreure igualment a una persona que sap com a una que no sap. No pot ser que eliminis una resposta incorrecta per sentit comú.
• Ubicacio de • Evitar items que es puguin • No repetir paraules o expressions per cada alternativa, intentar que l’ítem sigui de manera mes concreta possible.
• Quan hi ha una alternativa mes llarga la proporció de persones que seleccionen aquesta resposta es superior respecte les altres • No utilitzar com alternativa • Evitar negacions dobles ERRORS MES HABITUALS EN LA CONDECCIO DELS ITEMS • No mateixa plausibiltiat de les alternatives incorrectes, no es igual per totes les alternatives ja que si tu elimines una alternativa per sentit comú la probabilitat d’encert de la resposta correcta es superior perquè ja hem eliminat una categoria.
• Enunciats de forma negativa • No mateixa longitud de les alternatives • Reiteracions innecessàries del text • Us de l’alternativa: totes les anteriors o cap de les anteriors ANALISI D’ÍTEMS: PASSOS 1. Decidir les principals propietats de les puntuacions del test 2. Identificar les anàlisis d’items mes rellevants per a aquestes propietats 3. Administrar els ítems a una mostra representativa de la població a la qual està dirigit el test.
4. Estimar les anàlisis identificades en el pas 2 per cada un dels ítems.
5. Establir un pla per a la selecció d’ítems. Identificar i revisar els que funcionin malament.
6. Seleccionar el bloc final d’ítems.
INDICADORS MES BASICS • Dificultat • Discriminació • Distractors • Fiabilitat de l’ítem • Validesa de l’ítem 1.ANALSI DEL INDEX DE DIFICULTAT • S’utilitza per un test de rendiment màxim o òptim.
ID SENSE CORREGIR PER ATZAR ID índex de dificultat sense corregir per atzar. Ens trobem en una situació amb diferents alternatives de resposta i A= encerts estem valorant la seva dificultat. Aquest índex valora la N= nombre d respostes q proporció d’encert dividint el nombre d’encerts que ha han respost l’ítem tingut l’ítem entre el numero de persones que l’han respost.
• Si ens trobem una proporció alta ID=0.8 podem deduir que l’ítem es fàcil. Alguns autors diuen que índex s’hauria de anomenar índex de facilitat ja que contra més alt més fàcil es l’ítem.
• Si ens trobem amb un ID=0.2 trobem un ítem difícil ja que nomes un 20% de persones han resolt l’ítem correctament EXEMPLE • 0 vol dir que s’ha equivocat • 1 vol dir que ha encertat Columnes com es comporta aquest item • ÍTEM 1 es encertat per 4 persones i trobem que l’índex de dificultats es 0.5 per tant no es ni difícil ni fàcil.
• ÍTEM 2 ítem més fàcil ja que ha estat resolt correctament per un 87.5% de la mostra.
• ÍTEM 3 item més difícil ja que nomes un 25% de la mostra ha estat capaç de resoldre-ho correctament.
La mitjana de la puntuació total del test es igual a la suma dels índexs de dificultat.
És a dir, si sumo aquests valors del índex de dificultat em donarà exactament 3.38 i si faig la mitjana de la puntuació total del test i els divideixo entre els subjectes tinc exactament el mateix valor.
EXERCICI ID CORREGIT PER ATZAR K= numero d’alternatives Aquest ítem té en compte que el subjecte pot encertar a l’atzar.
E =numero d’errors N= persones que han respost l’ítem EXEMPLE • Trobem 10 subjectes i 8 items.
• La no resposta NO es un error però hem l’hem de tenir en compte ja que tots els subjectes han tingut l’opció de respondre l’ítem.
1. ITEM 1 10 persones l’han contestat per calcular l’índex de dificultat de l’ítem hem de tenir en compte que l’han contestat 8-2/(5-1) =0,75 10 K=5 2. ITEM 2 hi ha una persona que no l’ha contestat 5-4/4 = 0.4 10 No el contem com que ha respost la pregunta però el tenim en compte ja que ha pogut fer-ho.
• ÍTEM 4 Més fàcil, índex de dificultat s’acosta més a 1 • ÍTEMS 2 I 8 Més difícil ja que l’índex de dificultat s’acosta més a 0 PUNT CORREGIDA DEL SUBJECTE • Quan fem un examen tipus test i volem saber la nota que hem tret Pc= A-E/(K-1) En el cas de la imatge anterior el subjecte 1 treurà una nota de: 5-1/(5-1)= 4.75 Primer es divideixen els errors i després es resten els encerts EXERCICI PER CASA TEST DE VELOCITAT dissenyat perquè ningú l’acabi, perquè cap subjecte arribi a l’últim item. Massa llarg.
TEST DE POTENCIA estan dissenyats perquè ningú pugui resoldre els últims items.
Massa difícil.
INDEX DE DSCRIMINACIÓ • Un item que no es capaç de discernir entre els que presenten un nivell alt en el constructe dels que tenen un nivell baix.
• NO ens serveix per mesurar, per tant, hem d’assegurar-nos que els items són capaços de discriminar i posen de manifest les diferencies individuals entre els subjectes que estem valorant.
• Si un subjecte encerta l’item en principi la puntuació del test haurà de ser alta o si nosaltres tenim un subjecte amb una situació alta i ens fixem en un item concret haurem de pensar que aquell item l’ha encertat.
• Hem de trobar una relació entre encertat o no l’item amb la puntuació del test.
ALTA CAPACITAT Alta puntuació encert de l’item El càlcul hem podem fer a partir: 1. Índex basat en la diferencia de les proporcions d’encert o respostes positives a l’item 2. Índexs basats en les correlacions item-test Totes dues es basen en les següents correlacions: • ID=1  discriminació perfecte, és a dir, que l’ítem no s’equivoca mai. És contestat correctament pels de alta capacitat i malament pels de baixa.
Alta capacitat encertar item índex de discriminació 1 Baixa capacitat fallar l’ítem índex de discriminació 1 • ID=0  l’Ítem té una capacitat nul·la per poder discernir, és a dir, que l’ítem no està relacionat amb la capacitat ja que no ens permet discriminar.
• ID < 0 els subjectes que tenen menys capacitat seran els que encertaran més l’item.
1. Index basat en la diferència de les proporcions de encert o respostes positives Per tal que l’ítem estigui bé les puntuacions del ns han de ser superiors D= discriminació D= (ns/Ns)- (ni/Ni) ns persones del grup superior que encerten item ni persones del grup inferior que encerten item Ns persones que responen en el grup superior Ni persones que responen en e grup inferior Per tal de classificar les persones que corresponen al grup alt i les que corresponen al grup baix trobem diverses maneres: • El punt de tall per dir qui forma part d’un grup o d’un altre pot venir per la mediana, es a dir, que el 50% superior serà superior i 50% inferior serà inferior.
Amb aquesta manera tenim en compte tota la distribució.
Per fer la mediana ordenem 1 2 3 3 4 4 4 6 8(posicions)+1(perquè es faci imparell)/24,5 La posició estaria entre el 3 i 4 3+4/2= 3.5 D= ns/NS - ni/Ni ✓ ITEM 1 D = 3/4 – 1/4 = 0,5 Està bé formulat l’ítem ✓ ITEM 5 D= 2/4 -2/4= 0  Està malament formulat l’ítem ✓ IITEM 2 4/4-3/4= 0,25 Requereix millorar l’ítem • Si tenen en compte el Q3 que estarà format pel grup superior 25% superior o el Q1 que seria el 25% inferior • Kelley va proposar que el criteri més òptim per establir superioritat o inferioritat s’establia no en el 25% sinó en el 27% inferior i superior.
EXERCICI A CASA 2. Índexs basats en les correlacions item-test • La correlació ha de ser acorde amb la puntuació total del test.
Les tres correlacions més usuals son: • A vegades la puntuació del test la interpretem com una variable quantitativa i com l’ítem també es quantitatiu utilitzem la correlació de Pearson.
• Relació encert-error biserial puntual • Si l’ítem es una variable continua quantitativa i la transformem en una dicotòmica, d’aquestes en diem dicotomitzades biserial COEFICIENTS DE CORRELACIÓ • Pearson • Biserial-puntual • Biserial • Fi • Tetracòric EXEMPLE DE CORRELACIÓ BISERIAL-PUNTUAL CORRECIÓ DE LA CORRELACIÓ En cas de no haver eliminat l’ítem per calcular la correlació, caldrà aplicar la correcció següent: La variància per les variables dicotòmiques és igual a p per q EXEMPLE: RELACIONS ENTRE INDICADORS 1. VARIABILITAT I DIFICULTAT • Si tothom encerta l’ítem o tothom el falla la variabilitat (SJ2=0) serà 0 • La variància de l’ítem serà màxima quan p= 0.5 (ID =A/E= P) i q=0.5 P= proporció d’encerts Q= proporció d’errors (1-p) • La variància del test s’aproxima al valor màxim quan els ID dels items que composen el test són més propers a 0.5 • Per tenir un ítem amb variància alta necessitem una dificultat mitjana 2. VARIABILITAT I DISCRIMINACIÓ • Un ítem pot discriminar si la variància és més gran que 0 • Un ítem que l’encerta gairebé tothom i té un índex de dificultat de 0.95 no hi haurà gaire variabilitat llavors l’ítem serà casi impossible que discrimini entre el grup inferior i superior 3. DIFICULTAT I DISCRIMINACIÓ Els valors que pot prendre l’índex de discriminació d’un ítem depèn del valor de l’índex de dificultat.
• Ítem fàcil  permet discriminar entre les persones amb nivells baixos en el tret mesurat (puntuacions baixes) • Ítem difícil  permet discriminar entre les persones amb nivells elevats en el tret mesurat (puntuacions altes) Major capacitat discriminativa del test quan conté: • Majoria d’ítems de dificultat mitjana (en ítems dicotòmics ID al voltant de 0,5) • Alguns ítems fàcils per discriminar entre persones amb menys nivel • Alguns ítems difícils per discriminar entre persones amb més nivell 4. ANÀLISI DELS DISTRACTORS • Els distractors han de ser igualment atractius, és a dir, tenir la mateixa capacitat per distreure.
• El que sabem es que un distractor ha d’estar seleccionat amb major proporció pels que tenen un baix nivell en el constructe.
• A mesura que augmentem la mostra haurem de saber diferenciar els distractors • Quan parlem de distractors volem un ID NEGATIU ID POSITIU  NO SERVEIX • L’anàlisi de distractor el podem fer servir a partir de la discriminació EXEMPLE 1.
Podem observar que es un ítem amb 5 alternatives. La opció correcta és la C i tal i com hauria de ser, més individus del grup superiors encerten l’ítem i més individus del grup inferior el fallen.
EXEMPLE 2 Observem dues coses “fora de lo norma” i es que la opció B confon al dels grup superior i per tant hauríem de canviar aquella alternativa. A més a més la opció A no arriba al 5% d’errors per tant es una opció molt fàcil i també l’hauriem de considerar.
5. ÍNDEX DE FIABILITAT DE L’ÍTEM • Serveix per saber si estic mesurant el que vull mesurar • A mesura que incorporem items amb un índex de fiabilitat alt obtindrem fiabilitat EX. El despertador sona a l’hora que ha de sonar • Per valorar fiabilitat: • Un indicador de fiabilitat es la desviació típica • Si ens interessa tenir instruments fiables hem de seleccionar els que ens maximitzen la fiabilitat.
6. ÍNDEX DE VALIDESA DE L’ÍTEM La validesa és la capacitat que té el ítem per poder predir el constructe o el resultat • Variable criteri fem correlacionar l’ítem amb una variable externa (o criteri) EX. No puc dormir per les nits correlaciona amb diagnòstic clínic. L’ítem és vàlid per mesurar el constructe que nosaltres volem mesurar.
• La correlació va de -1 a 1 EX. Tengo muchos amigos inversamente proporcional con los abusos EX. “disfruta comiendo” correlaciona con la depressió inversament EXEMPLE: ...

Comprar Previsualizar