Unitat 3- Fiabilitat (2017)

Resumen Catalán
Universidad Universidad de Barcelona (UB)
Grado Psicología - 2º curso
Asignatura Psicometria
Profesor M.B.
Año del apunte 2017
Páginas 13
Fecha de subida 18/10/2017
Descargas 0
Subido por

Vista previa del texto

UNITAT 3- FIABILITAT Fiabilitat Valora la consistència i la precisió de la mesura.
L’objectiu de la teoria dels test és valorar quins son els errors de mesura que es cometen alhora de mesurar qualsevol constructe psicològic i el grau en que afecten a la fiabilitat dels instruments de mesura.
Un test mai és totalment fiable, perquè en el tet de mesura està inherent l’error de mesura però podríem fer que fos el màxim fiable possible de tal manera que puntuació empírica i verdadera sigui el més igual possible.
X= V + e Quan parlem d’error tenim diferents tipus: • Error conceptual ocorre quan mesurem una cosa pensant que mesurem un altra. Validesa. És aquell que qual volem mesurar una cosa mesurem una altra.
Quan parlem de constructes psicològics sens pot escapar aquest error.
• Error sistemàtic aquell que afecta sempre de la mateixa manera a la mesura.
Provoca el biaix en la mesura.
EX. Volem mesurar una taula amb un metro que mesura 1 metro però no ens serveix per mesurar-la tota.
• Error aleatori provocat per factors múltiples i incontrolats Variabilitat legítima de la variable de mesura. Cal no confondre la fiabilitat de instrument de mesura amb l’estabilitat o modificació del constructe mesurat.
EX. Capacitat viso-constructiva EX. Temps de reacció La fiabilitat de l’instrument no va unida a l’estabilitat del constructe mesurat al llarg del temps e= X-V DEFINICIÓ Fiabilitat absència d’error de mesura (consistència o estabilitat de les mesures quan el procés de mesura es repeteix) X(puntuació empírica)= V (puntuació verdadera) + e(error) rxx= correlació entre dos tests • Un coeficient de fiabilitat indica: 1. Podem estimar la fiabilitat amb l’estabilitat de la mesura test retest 2. Podem estimar la equivalència de les mesures formes paral·leles (2 test) 3. Estimar la consistència interna i intercorrelacionariem entre els ítems: 1. Dues meitats correlació Spearman- Brown 2. Coeficient alfa de cronbach (anàlisi de les covariàncies entre els ítems 1. FIABILTIAT TEST RETEST (VALOREM L’ESTABILITAT) Podem confiar en la seva estabilitat temporal.
1. Elaborem un test 2. L’apliquem a una mostra 3. I després tornem a administrar el test 4. Obtenim puntuacions 5. I obtenim correlacions que es un coeficient de fiabilitat que ens indica estabilitat en la mesura ja que estem valorant si el constructa es mate igual o pràcticament igual al llarg del temps. En el moment que el constructe canvia a partir del coeficient de fiabilitat l’atribuïm a l’error de mesura i estaríem valorant l’estabilitat PROBLEMA - S’ha de repetir al llarg del temps i pot haver-hi masses variacions - Ens pot agafar error per la variabilitat del temps.
Criteris de Prieto y Muñiz ✓ Fiabilitat inadequada r < 0.55 ✓ Adequada però amb algunes mancances 0.55 ≤ r < 0.65 ✓ Adequada 0.65≤ r < 0.75 ✓ Bona 0,75 ≤ r < 0.80 ✓ Excel·lent r ≥ 0.80 2. FIABILITAT DE FORMES PARAL·LELES El que faríem seria: 1. Elaborem un test de mesura d’un constructe i paral·lelament elaborarem un altre test que mesura el mateix constructe però amb ítems diferents 2. Apliquem els tests a una única mostra i en un únic moment temporal 3. Correlacionem les puntuacions dels dos tests 4. Obtenim una correlació com a equivalència de la mesura, és a dir, que els tests son paral·lels però les mesures equivalents PROBLEMES: • Molta feina • Molt difícil construir dos tests paral·lels • Si aquesta estratègia solventa idees que no poden solucionar amb l’estratègia test re test.
Criteris de Prieto y Muñiz ✓ Inadequada r < 0.50 ✓ Adequada però amb algunes mancances: 0.50  r < 0.60 ✓ Adequada: 0.60  r < 0.70 ✓ Bona: 0.70  r < 0.80 ✓ Excel·lent: r  0.80 CONSISTENCIA INTERNA ( DUES MESURES I ALFA DE CRONBACH) 3. FIABILITAT DUES MEITATS 1. Elaborem un test 2. Apliquem a una mostra 3. Obtenim puntuacions 4. Un cop obtingudes les puntuacions correlacionem les puntuacions però dividint el test en dues meitats. Per una banda tenim en compte la primera meitat i en l’altre banda tenim en compte la segona meitat.
5. Correlacionem les puntuacions de la primera meitat del test i de la segona meitat 6. Si correlacionem el test partim de la meitat, la correlació que estem obtenint es de la meitat del test no del test en el seu conjunt per tant hem de corregir la correlació de les dues meitat aplicant la correcció de Spearman-Brown i aquesta estratègia ens indica la fiabilitat com a consistència interna.
CORRECCIÓ D’SPEARMAN PROBLEMES 1. Segons els ítems que hagis posat en el test hi hauran millor o pitjors 2. En el cas que fos un test en el de rendiment òptim que primer sigui ítems fàcils i després difícils, no trobaríem molta correlació. Amb la qual cosa no serà el mateix com contesta el subjecte els primers 50 ítems que el segons 50 ítems 3. Hem d’establir quins ítems pertanyen a quina meitat. Hi ha canvis en funció de quina meitat utilitzem per correlacionar.
4. En funció dels ítems que poso en cada part la correlació va canviant.
MILLOR OPCIÓ DIVIDIR ITEMS PARELLS I IMPARELLS EXEMPLE 4. FIABILITAT ALFA DE CRONBACH Un test te tantes parts com Ítems. Alfa de Cronbach fa la intercorrelació entre els ítems, correlaciona tots els ítems entre ells 1. Elaborem un test 2. Apliquem a una mostra 3. Obtenim les puntuacions 4. Coeficient alfa que ens donarà la consistència interna VENTATGES - NO ens afecta al test una única administració - No hem de decidir quins Ítems forma cada part COEFICIENT ALFA (Cronbach,1951) El coeficient alfa és la estratègia de mesura per fiabilitat que més s’utilitza. Està dissenyada per ítems quantitatius.
VARIACIONS DEL COEFICIENT (Kuder-Richarson (1937)) Es exactament que la alfa de cronbach però l’única cosa que varia es la variància dels ítems que si ens adonem p·q es la variancia d’un ítem dicotomic. KR20 es va dissenyar per ítems dicotomics i Alfa de crombach esta dissenyada per items que són quantitatius Si α  és molt gran, ens parla de la redundància en els ítems EXEMPLE DE COEFICIENT ALFA Aquest 0.68 vol dir que està adequada però amb mancances i que un 68% es deguda a variància verdadera i l’altre 32% es deguda a la variància d’error.
Criteris de fiabilitat per consistència interna ✓ Inadequada: r < 0.60 ✓ Adequada però amb algunes mancances: 0.60  r < 0.70 ✓ Adequada: 0.70  r < 0.80 (que un 70% ens informa de la variància adequada i un 30% ens indica de la variància que conté error) ✓ Bona: 0.80  r < 0.85 ✓ Excel·lent: r  0.85 CONTRIBUCIÓ DELS ÍTEMS A LA CONSISTENCIA INTERNA DEL TEST • Cada ítem que forma part d’un instrument de mesura té una contribució particular a la consistència interna d’aquest • Podem calcular el coeficient α per al conjunt d’ítems del test però havent eliminat prèviament del càlcul les dades de l’ítem que volem avaluar • Si elimino l’Ítem 2 i calculo alfa em dona 0.68 per tant m’ha baixat ja que abans tenia 0.72 per tant em convé que estigui al test.
• Si elimino l’ítem 4 la fiabilitat m’augmenta per tant aquell ítem m’està perjudicant la fiabilitat del test.
FACTORS QUE INFLUEIXEN EN LA FIABILITAT DEL TEST Per tal de reduir al màxim l’efecte del mostratge hauríem de fer: 1. Mostratge • Que la mostra sigui gran, suficientment gran • Que la mostra sigui representativa de la població • Haurem d’evitar el biaix a la selecció 2. Variabilitat • Ha de haver variabilitat • En el moment que no hi ha variabilitat en una mesura estem condemnat a tenir un coeficient de correlació baix fiabilitat menor • En el moment que hi ha molta variabilitat el coeficient serà alt 3. Longitud del test • Si utilitzo més indicadors per valorar el constructe que vull mesurar ho podré fer en la seva totalitat de valors possibles i aspectes possibles però hem d’establir un límit ja que no puc tenir un nombre infinit d’ítems • Un test llarg ja serà mes fiable que un test curt (en principi) coeficient de fiabilitat més alt 4. Nivell de les puntuacions • Els resultats obtinguts seran mes precisos per una puntuació mitjana ja que si el test esta destinat per valorar intel·ligència general en població general e=X-V tindrem que l’error serà sempre menor en aquells que tenen una intel·ligència mitjana. Si tenim subjectes molt intel·ligents però els passem un test de intel·ligència general tindrem que aquella diferencia no és la real ja que els subjectes amb altes capacitats l’hauran fet molt be però la seva puntuació verdadera hagués estat més alta.
COM AUGMENTAR LA FIABILITAT 1. Augmentant el nombre d’ítems fórmula d’Spearman-Brown 2. Eliminar ítems problemàtics (baixes correlacions ítem-test) 3. Millorar les condicions d’aplicació administrar un test modificant per exemple un que indica un límit de temps allargar-ho. Però si modifiquem qualsevol indicació d’administració et carreges els anàlisis de fiabilitat ja que el test sempre et dirà el procediment d’administració.
1. FÓRMULA DE SPEARMAN- BROWN Aquesta fórmula s’utilitza per veure la relació entre la fiabilitat i la longitud del test.
K es el nombre de vegades que augmento el test EX. Si tenim un test de 6 ítems i per augmentar la fiabilitat hem de duplicar-lo (12 ítems) ho fem, però en el cas de que sigui un test amb 50 ítems si per augmentar la fiabilitat ha de tenir 100 ítems el millor es fer un altre de nou.
Si jo duplico el test passa de un 0,65 a un 0,8 per si el triplico nomes passa al 0,85 per tant, per molt que augmenti arribarà un moment que la fiabilitat s’estancarà.
Si augmento una mica si que tendra un efecte important i podrem aconseguir una fiabilitat proporcional. Mai trobarem una puntuació de 1 ja que tot el que fem conté error. En el cas de que l’alfa fos 0.98 hauríem de mirar tots els items per veure si són rellevants ja que es molt difícil obtenir un alfa tant elevat. En el cas que quan allarguem el test la fiabilitat s’estanqui ens esta dient que no val la pena fer-ho.
EXEMPLE Suposem que la fiabilitat d’un test amb 20 ítems és 0.70. ¿Quina seria la seva fiabilitat si afegim 40 items al test? Que la k sigui 3 ens està indicant que hem de triplicar el nombre d’ítems.
Si augmenta el nº d’ítems +K Si disminueix el nº d’ítems -K LONGITUD DEL TEST PER ACONSEGUIR UNA FIABILITAT DETERMINADA Per conèixer quantes vegades es necessari augmentar el nº d’ítems d’un test i valorar si em val la pena o no utilitzem la formula següent: EXEMPLE Suposem que un test amb 50 ítems té una fiabilitat de 0.75. ¿Quants ítems caldrà afegir per aconseguir una fiabilitat de 0.90? 1. Substituïm a la formula: 𝑘= 0.75 × (1 − 0.6) =2 0.6 × (1 − 0.75) Això vol dir que hem de duplicar el test i per tant, per saber el nº d’ítems que cal afegir utilitzem: 2= 10+𝑛º 10 = 10 ESTIMACIÓ PER INTERVAL DE LA PUNTUACIÓ VERDADERA La puntuació verdadera serà la MATEIXA sempre, és a dir, mai variarà. En canvi, la puntuació empírica si que variarà en funció de quin tipus d’administració sigui i no ho farà per l’error aleatori ja que si administrem N vegades a una persona el mateix test obtenim el resultat d’una corba norma.
• Desviació típica representa la diferencia de la puntuació verdadera i la mitjana • Error de mesura (Se) diferencia entre puntuació empírica i verdadera. Si coneixem la fiabilitat i la desviació podem calcular-ho. Les aplicacions del error típic són: 1. Estimació per interval de la puntuació verdadera 2. Comparació de les puntuacions observades de dues persones 3. Valoració del canvi de la puntuació observada d’una persona després d’una intervenció.
Per estimar la puntuació verdadera ens trobem en un interval de confiança (de la mostra a la població) i gracies a l’error de mesura podem arribar a conèixer la puntuació verdadera del subjecte.
EXEMPLE Suposem que el coeficient de fiabilitat d’un test és de 0.75, la seva mitjana 80 i la desviació típica 16. ¿Quin és l’error típic de mesura? ¿ en quin interval se situa la puntuació verdadera d’un subjecte que té una puntuació observada de 86 a un nivell de confiança del 95% (z= 1.96)? Si nosaltres administréssim n vegades el test a una persona la diferencia entre les dues puntuacions seria 0.
L’OBJECTIU DE LA FIABILITAT ÉS CONEIXER QUINA ÉS LA PUNTUACIÓ VERDADERA DEL SUBJECTE.
Hem d’interpretar que la puntuació verdadera és un paràmetre i no varia. La puntuació es la que es. Amb la qual cosa, si jo pogués administrar a un subjecte el mateix test n vegades, la mitjana d’aquestes puntuacions obtindríem la puntuació verdadera. La diferència que hi hagués seria la desviació típica d’aquesta variable.
La relació que hi ha entre error típic i fiabilitat. Com més fiable sigui el test, menor error típic tindrem i si aquest es menor, l’interval que podem construir serà més petit.
ERROR TIPIC • Per calcular la puntuació verdadera del subjecte • Si els intervals de confiança es solapen vol dir que no hi ha diferencia.
EXEMPLE. En l’escala d’extraversió d’una prova dues persones obtenen unes puntuacions observades de 12 i 14 punts, respectivament. Sabem que la desviació típica del test és de 2,7 i el coeficient de fiabilitat de 0.80.
Fins a quin punt podem concloure que ambdues persones difereixen en el seu nivell d’extraversió (NC = 95%; z = 1.96)? 1. Calculem l’error típic Se= 2.7 √ 1-0.8= 1.21 2. Calculem la puntuació verdadera V= 12± 1.96 · 1,21 9,63≤ v ≤ 14.37 V= 14± 1.96 · 1,21 11.63≤ v ≤ 16.37 L’error ens serveix per veure si dues puntuacions empíriques són iguals o no.
El que mirem es on coincideixen les dues puntuacions i per tant restringim el rang.
EX. Una persona amb depressió ve dos mesos més tard, observem al tenir dues mesures si es eficaç o si no ...

Comprar Previsualizar