Psicometria 2.1 (2013)

Apunte Catalán
Universidad Universidad de Barcelona (UB)
Grado Psicología - 2º curso
Asignatura Psicometria
Año del apunte 2013
Páginas 39
Fecha de subida 09/04/2016
Descargas 11
Subido por

Vista previa del texto

PSICOMETRIA PSICOMETRIA CURS 2013 – 2014 2n de PSICOLOGIA 1 PSICOMETRIA TEMARI UNITAT 1. INTRODUCCIÓ A LA PSICOMETRIA.
UNITAT 2. ANÀLISI D’ÍTEMS.
UNITAT 3. FIABILITAT.
UNITAT 4. VALIDESA.
UNITAT 5. BAREMACIÓ I MANUAL DEL TEST.
2 PSICOMETRIA UNITAT 1. INTRODUCCIÓ A LA PSICOMETRIA És un conjunt de mètodes, tècniques i teories implicades en la medició de les variables psicològiques.
Tractaria de tot allò relacionat amb la medició d’allò psicològic.
S’especialitza en aquelles propietats mètriques exigibles a les mesures psicològiques, independentment del camp substantiu d’aplicació i dels instruments emprats.
Com mesurem les característiques psicològiques? - Les característiques psicològiques dels individus són inobservables, no es poden mesurar directament  CONSTRUCTE.
- El constructe es pot manifestar a través d’una `sèrie de conductes que sí són observables directament  INDICADORS.
- Per avaluar el nivell dels subjectes en el Constructe ens haurem de basa en els Indicadors.
- La sistematització d’un conjunt d’indicadors amb l’objectiu d’avaluar el nivell dels subjectes en un determinat constructe constitueix un instrument de mesura o test.
Exemple. La depressió és un constructe i, per tant, de tipus teòric i inobservable directament. Les persones depressives presenten unes conductes determinades que podem observar directament, els indicadors (p.ex., pèrdua de gana, problemes de son, intent de suïcidi,...) se suposa que la depressió és la causa subjacent de les conductes manifestades. El constructe depressió es pot mesurar mitjançant aquests indicadors observables que el representen. El test recollirà aquests indicadors observables. A partir de les puntuacions en el test es pot inferir en nivell de depressió dels subjectes i analitzar les diferències entre ells.
CONTINGUTS.
- Teoria de la mesura Escalament Teoria de tests Teoria clàssica dels tests Teoria de resposta a l’ítem Tests referits al criteri TEORIA CLÀSSICA DELS TESTS.
TEST. El Test o Instrument de mesura és la “sistematització d’un conjunt d’indicadors amb la finalitat d’avaluar diversos nivells d’un constructe (variable teòrica inobservable que només es pot mesurar mitjançant indicadors observables que el representin”.
Els instruments de mesura no són totalment precisos  errors de mesura.
3 PSICOMETRIA Es plantegen diverses preguntes: en quin grau les puntuacions del test indiquen el nivell de cada subjecte en el tret o característica mesurada? O com ens podem assegurar que la puntuació obtinguda per un subjecte és la que realment li correspon? O en quin grau podem fiar-nos que, a partir de les puntuacions del test podem inferir el nivell del subjecte en el constructe mesurat? Els elements del test constitueixen l’operativització del constructe  han de reunir una sèrie de requisits per a demostrar que compleixen la funció per la qual han estat creats.
La teoria dels tests analitza la incidència d’aquests errors en la mesura dels constructes psicològics i el grau en què afecten la fiabilitat dels instruments de mesura. Aquesta és el marc teòric que permet establir una relació entre: - Variables observables (puntuacions en el test) Variables inobservables (puntuacions verdaderes o nivell dels subjectes en el tret mesurat pel test) La teoria dels tests és una funció matemàtica o model per relacionar les puntuacions observables i inobservables.
Existeixen diferents models, que analitzen la incidència dels errors en la mesura dels constructes psicològics i el grau en què afecten la fiabilitat dels instruments de mesura.
La teoria dels tests més estesa és la Teoria Clàssica dels Tests (TCT), el model lineal de la puntuació veritable proposat per Spearman.
4 PSICOMETRIA UNITAT 2. ANÀLISI D’ÍTEMS.
Per a la construcció d’ítems cal: - Definir de forma específica l’objectiu de l’avaluació.
Especificar el context en què s’utilitzaran els ítems: població objectiu, circumstàncies ambientals en què s’aplicaran,...
Domini i context d’interès  nivells constructe + indicadors  contingut ELABORACIÓ DELS ÍTEMS del test Recomanacions per la CONFECCIÓ D’ÍTEMS de RESPOSTA MÚLTIPLE.
- - Cada ítem dirigit a avaluar un únic problema.
- Plausibilitat de les alternatives incorrectes.
- Ubicació a l’atzar de l’alternativa correcta.
Evitar ítems que es puguin contestar de forma lògica o amb sentit comú.
No repetir paraules o expressions per cada alternativa.
Mateixa longitud de les alternatives.
No utilitzar com alternativa: totes les anteriors o cap de les anteriors.
Evitar les negacions dobles (en l’enunciat i en l’alternativa).
ERRORS més habituals en la confecció d’ítems - No mateixa plausibilitat de les alternatives incorrectes.
Enunciats en forma negativa.
No mateixa longitud de les alternatives.
Reiteracions innecessàries de text.
Ús de l’alternativa: totes les anteriors o cap de les anteriors.
ANÀLISI D’ÍTEMS: passos.
5 PSICOMETRIA ANÀLISI D’ÍTEMS: INDICADORS CLÀSSICS.
ÍNDEX DE DIFICULTAT.
A ID sense corregir per atzar: ID = ID corregit per atzar: ID = N 𝐴 −𝐸 (𝑘 −1) 𝑁 Puntuació corregida del subjecte (PC): Pc = 𝐴 − 𝐸 (𝑘 − 1) Mitjana del test = Suma ID dels ítems: x̅ = ∑ xj N = ∑ IDj EXEMPLE: Índex Dificultat SENSE CORREGIR PER ATZAR Ítems Subj.
1 2 3 4 1 0 1 0 1 2 1 1 1 0 3 0 1 0 1 4 1 1 0 1 5 1 1 0 1 6 0 1 0 0 7 1 1 1 1 8 0 0 0 0 Total A 4 7 2 5 ID 0.5 0.875 0.25 0.625 x̅ = ∑ xj N = ∑ IDj ∑ xj x̅ = N = 27 8 5 0 0 1 0 0 1 1 1 4 0.5 Total 6 1 1 1 1 0 0 1 0 5 0.625 3 4 4 4 3 2 6 1 ∑ IDj = 3.375 = 3.375 EXEMPLE: Índex Dificultat CORREGIT PER ATZAR Subj.
Ítems 1 1 0 1 1 1 1 1 0 1 1 8 2 10 1 2 3 4 5 6 7 8 9 10 A E Cont.
x̅ = ∑ xj N 2 1 1 1 0 1 0 1 0 0 X 5 4 9 = ∑ IDj 3 0 0 1 0 1 1 1 1 1 1 7 3 10 4 1 1 1 1 0 1 1 1 1 X 8 1 9 x̅ = Totals 5 X 1 X 1 1 1 1 1 X 1 7 0 7 ∑ xj N = 6 1 0 1 0 1 X X 1 1 1 6 2 8 46.75 10 7 1 X 1 X 1 0 1 X X 1 5 1 6 = 4.675 8 X 1 0 0 1 0 0 1 1 1 5 4 9 A 5 4 6 3 7 4 6 5 5 6 E 1 3 1 4 1 3 1 2 1 0 NC 2 1 1 1 0 1 1 1 2 2 Pc 4.75 3.25 5.75 2 6.75 3.25 5.75 4.5 4.75 6 1 – encert 0 – error X – no contestat ∑ IDj = 4.675 6 PSICOMETRIA EXERCICI: Índex Dificultat SENSE CORREGIR PER ATZAR.
Comproveu que la mitjana del test equival a la suma dels ID.
Subj.
Ítems 1 0 1 1 1 0 1 1 1 1 0 1 2 3 4 5 6 7 8 9 10 Total A ID 2 0 0 1 0 1 1 0 0 1 1 3 0 0 0 1 0 1 0 0 1 0 4 1 1 1 1 1 1 0 1 1 1 Total 5 1 0 1 1 1 0 0 1 1 0 6 0 0 0 1 1 0 1 0 1 0 7 1 1 1 1 1 1 1 1 1 1 8 1 1 1 0 0 1 0 1 1 1 EXERCICI: Índex Dificultat CORREGIT PER ATZAR.
Calculeu els ID dels ítems i les Pc dels subjectes.
Subj.
1 2 3 4 5 6 7 8 9 10 A E Cont.
Ítems 1 1 1 0 0 0 1 1 X 1 1 2 1 1 1 1 0 1 1 1 0 0 3 X 1 1 1 0 0 0 1 1 1 4 1 1 0 0 1 1 X X 1 0 Totals 5 X 1 1 0 0 0 0 1 1 0 6 0 X 1 0 0 0 1 X X 1 7 0 1 1 0 0 0 1 1 0 0 8 1 1 1 1 1 0 1 1 1 1 A E NC Pc 1 – encert 0 – error X – no contestat 7 PSICOMETRIA ÍNDEX DE DISCRIMINACIÓ. Avalua que els ítems siguin capaços de posar de manifesta les diferències individuals entre els subjectes en la variable que mesurem. És a dir, un ítem ha de tenir poder discriminatiu, per tant, els subjectes que tenen un nivell alt en la variable han d’encertar més l’ítem o obtenir puntuacions més elevades que els subjectes que tenen un nivell baix en la variable.
Alhora posa en relació l’execució del subjecte en l’ítem amb la seva execució global en el test.
CÀLCUL.
- Índex basat en la diferència de les proporcions d’encert o de respostes positives a l’ítem.
𝐷 = 𝑛𝑠 𝑁𝑠 = 𝑛𝑖 𝑁𝑖 ns – nombre persones que encerten ítem o donen una resposta positiva en el grup superior ni – nombre persones que encerten ítem o donen una resposta positiva en el grup inferior Ns – nombre persones que responen en el grup superior Ni – nombre persones que responen en el grup inferior El rang del resultat ha de oscil·lar entre: -1 ≤ D ≤ 1, D = 1: màxima capacitat discriminativa.
Valoració Discriminació en Diferències (Ebel, 1965) Si D ≥ 0.40 ⇒Es pot confiar en el poder discriminatiu de l’ítem.
Si 0.30 ≤ D ≤ 0.39 ⇒ Acceptable però s’ha d’intentar millorar.
Si 0.20 ≤ D ≤ 0.29 ⇒ S’ha de revisar.
Si D < 0.20 ⇒ S’ha d’eliminar o modificar completament.
EXEMPLE: Discriminació: exemple diferències Grups basats en la mediana (50%) Subj.
1 2 3 4 5 6 7 8 ns ni D Ítems 1 0 1 0 1 1 0 1 0 3 1 0.5 2 1 1 1 1 1 1 1 0 4 3 0.25 3 0 1 0 0 0 0 1 0 2 0 0.5 4 1 0 1 1 1 0 1 0 3 2 0.25 5 0 0 1 0 0 1 1 1 2 2 0 6 1 1 1 1 0 0 1 0 4 1 0.75 Punt. Total 3 4 4 4 3 2 6 1 Grup Inf Sup Sup Sup Inf Inf Sup Inf 8 PSICOMETRIA - Índexs basats en les correlacions ítem test.
El rang del resultat ha de oscil·lar entre: -1 ≤ D ≤ 1, D = 1: màxima capacitat discriminativa Tipus de Correlacions Test Correlació Contínua Pearson r Contínua Biserial-Puntual rbp Contínua Biserial rb Dicotòmica Fi ɸ Dicotomitzada Tetracòrica rt Ítem Contínua Dicotòmica Dicotomitzada Dicotòmica Dicotomitzada Cal restar la puntuació de l’ítem en la del test o utilitzar la fórmula de correcció de la correlació 𝒓𝒃𝒑 = COEFICIENT DE CORRELACIÓ BISERIAL – PUNTUAL.
𝑥̅𝑝 𝑥̅𝑝 𝑠𝑥 P q ̅𝒑 −𝒙 ̅𝒙 𝒙 𝒔𝒙 𝒑 = √ 𝒒 Mitjana en el test dels subjectes que encerten o donen una resposta positiva a l’ítem Mitjana del test Desviació típica del test Proporció de subjectes que encerten o donen una resposta positiva a l’ítem (1 - p) EXEMPLE: Correlació biserial-puntual rbp de l’ítem 4? Subj.
1 2 3 4 5 6 7 8 Total p = q = 5 8 3 8 Ítems 1 0 1 0 1 1 0 1 0 4 2 1 1 1 1 1 1 1 0 7 3 0 1 0 0 0 0 1 0 2 = 0.625 x̅ = = 0.375 𝑥̅𝑝 = Totals 4 1 0 1 1 1 0 1 0 5 5 0 0 1 0 0 1 1 1 4 6 1 1 1 1 0 0 1 0 5 2+4+3+3+2+2+5+1 8 2+3+3+2+5 5 =3 Total 3 4 4 4 3 2 6 1 Total-4 2 4 3 3 2 2 5 1 = 2.75 𝐫𝐛𝐩 = 3−2.75 1.1990 √ 0.625 0.375 = 0.2692 22 + 42 + 32 + 32 + 22 + 22 + 52 + 12 s = − 2.752 = 1.4375 → sx = 1.1990 8 2 L’ítem 4 és un indicador òptim d’allò que es vol mesurar, atès que el grau de correlació és baix.
9 PSICOMETRIA rbp de l’ítem 5? Subj.
1 2 3 4 5 6 7 8 Total p = q = s2 = 4 8 4 8 Ítems 1 0 1 0 1 1 0 1 0 4 2 1 1 1 1 1 1 1 0 7 = 0.5 3 0 1 0 0 0 0 1 0 2 x̅ = = 0.5 𝑥̅𝑝 = Totals 4 1 0 1 1 1 0 1 0 5 5 0 0 1 0 0 1 1 1 4 6 1 1 1 1 0 0 1 0 5 3+4+3+4+3+1+5+0 4 = 2.25 Total-4 3 4 3 4 3 1 5 0 = 2.875 8 3+1+5+0 Total 3 4 4 4 3 2 6 1 𝐫𝐛𝐩 = 2.25−2.875 1.5360 √ 0.5 0.5 = − 0.4069 32 + 42 + 32 + 42 + 32 + 12 + 52 + 02 − 2.8752 = 2.359375 → sx = 1.5360 8 L’ítem 5 no està avaluant correctament allò que es vol mesurar.
EXERCICI: Correlació biserial-puntual rbp de l’ítem 6? Subj.
1 2 3 4 5 6 7 8 Total p = q = 5 8 3 8 Ítems 1 0 1 0 1 1 0 1 0 4 2 1 1 1 1 1 1 1 0 7 3 0 1 0 0 0 0 1 0 2 = 0.625 x̅ = = 0.375 𝑥̅𝑝 = Totals 4 1 0 1 1 1 0 1 0 5 5 0 0 1 0 0 1 1 1 4 6 1 1 1 1 0 0 1 0 5 2+3+3+3+3+2+5+1 8 2+3+3+3+5 5 = 3.2 Total 3 4 4 4 3 2 6 1 Total-4 2 3 3 3 3 2 5 1 = 2.75 𝐫𝐛𝐩 = 3.2−2.75 1.089 √ 0.625 0..375 = 0.5334 22 + 32 + 32 + 32 + 32 + 22 + 52 + 12 s = − 2.752 = 1.1875 → sx = 1.089 8 2 L’ítem 6 està avaluant correctament allò que es vol mesurar.
10 PSICOMETRIA 𝒓𝒃𝒑 = COEFICIENT DE CORRELACIÓ BISERIAL.
𝑥̅𝑝 𝑥̅𝑝 𝑠𝑥 P q = 𝒑 𝒒 Mitjana del test Desviació típica del test Proporció de subjectes que encerten o donen una resposta positiva a l’ítem Ordenada, o sigui, alçada corresponent al valor de la puntuació típica en la corba normal que deixa per sota una àrea igual a p.
ɸ = 𝒑𝒙𝒚 −𝒑𝒙 𝒑𝒚 √𝒑𝒙 𝒒𝒙 𝒑𝒚 𝒒𝒚 Proporció d’encerts o respostes positives en x i y proporció d’encerts o respostes positives en x proporció d’encerts o respostes positives en y 1 - px 1 - py CORRECIÓ DE LA CORRELACIÓ.
𝒓𝒙𝒚 𝑺𝒙 𝑺𝒚 𝒔𝒙 Mitjana en el test dels subjectes que encerten o donen una resposta positiva a l’ítem COEFICIENT FI ɸ.
𝒑𝒙𝒚 𝒑𝒙 𝒑𝒚 𝒒𝒙 𝒒𝒚 ̅𝒑 −𝒙 ̅𝒙 𝒙 𝑫 = 𝒓𝒊𝒙 𝑺𝑿 − 𝑺𝒊 √𝑺𝟐𝒙 + 𝑺𝟐𝒊 − 𝟐𝒓𝒊𝒙 𝑺𝒙 𝑺𝒊 Coeficient de correlació entre l’ítem i el test Desviació típica del test Desviació típica de l’ítem RELACIONS ENTRE INDICADORS.
VARIABILITAT I DIFICULTAT.
Si tothom encerta un ítem o tothom el falla, l’ítem no és útil per establir diferències entre persones. És a dir, 𝑆𝑗2 = 0 En ítems dicotòmics (1 = encerts i 0 = erros)... 𝑆𝑗2 = 𝑝 · 𝑞 On: p proporció d’encerts.
q proporció d’errors (1-p) 𝑆𝑗2 màxima quan p = 0.5 i q = 0.5  IDj = 0.5 𝑆𝑥2 s’aproxima al valor màxim quan els ID dels ítems que composen el test són propers a 0.5 11 PSICOMETRIA VARIABILITAT I DISCRIMINACIÓ.
Ítem pot discriminar si 𝑆𝑗2 > 0 Mesura del poder discriminatius d’un test  𝑆𝑥2 𝑆𝑋 = ∑ 𝑆𝑗 · 𝑟𝑗𝑥 On: 𝑆𝑋 desviació típica del test 𝑆𝑗 desviació típica de l’ítem j 𝑟𝑗𝑥 índex de discriminació (correlació ítem-test) DIFICULTAT I DISCRIMINACIÓ.
Ítem fàcil  permet discriminar entre les persones amb nivells baixos en el tret mesurat (puntuacions baixes).
Ítem difícil  permet discriminar entre les persones amb nivells elevats en el tret mesurat (puntuacions altres).
Major capacitat discriminativa del test quan conté: - Majoria d’ítems de dificultat mitjana (en ítems dicotòmics ID al voltant de 0.5).
- Alguns ítems fàcils per discriminar entre persones amb menys nivell.
- Alguns ítems difícil per discriminar entre persones amb més nivell.
ANÀLISI DELS DISTRACTORS. Respostes d’elecció múltiple.
Els distractors han de ser igualment atractius per als subjectes que no coneguin la resposta. Tenir la mateixa probabilitat de ser escollits a l’atzar quan el subjecte intenta endevinar la resposta correcta.
ítem ítem 50 % superior 50 % inferior Percentatge A 5 11 11.43% Alternatives de resposta B C D 7 47 7 9 32 8 11.43% 56.43% 10.71% 50 % superior 50 % inferior Percentatge A 0 2 1.43% Alternatives de resposta B C D 20 9 8 15 14 18 25% 16.43% 18.57% Total E 4 10 10% 70 70 Total E 33 21 38.57% 70 70 12 PSICOMETRIA EXERCICI: Anàlisi dels distractors.
ítem 50 % superior 50 % inferior Percentatge A 6 7 4.33% Alternatives de resposta B C D 93 6 41 59 37 5 50.66% 14.33% 15.33% Índex de Discriminació de l’alternativa A: D = Índex de Discriminació de l’alternativa B: D = Índex de Discriminació de l’alternativa C: D = Índex de Discriminació de l’alternativa D: D = 𝑛𝑠 𝑁𝑠 𝑛𝑠 𝑁𝑠 𝑛𝑠 𝑁𝑠 𝑛𝑠 𝑁𝑠 − − − − 𝑛𝑖 𝑁𝑖 𝑛𝑖 𝑁𝑖 𝑛𝑖 𝑁𝑖 𝑛𝑖 𝑁𝑖 = = = = 6 150 93 150 6 150 41 150 − − − − 7 150 59 150 37 150 5 150 Total E 4 42 15.33% 150 150 = −6.66 · 10−3 = 0.2266 = −0.2066 = −0.24 EXEMPLE: Anàlisi dels distractors a partir de D.
ítem 50 % superior 50 % inferior Percentatge A 14 20 17% Índex de Discriminació de l’alternativa A: D = Índex de Discriminació de l’alternativa C: D = Índex de Discriminació de l’alternativa D: D = Alternatives B C 55 18 35 26 45% 22% 𝑛𝑠 𝑁𝑠 𝑛𝑠 𝑁𝑠 𝑛𝑠 𝑁𝑠 − − − 𝑛𝑖 𝑁𝑖 𝑛𝑖 𝑁𝑖 𝑛𝑖 𝑁𝑖 = = = 14 100 18 100 13 100 − − − Total D 13 19 16% 20 100 26 100 19 100 100 100 = −0.06 = −0.08 = −0.06 EXERCICI: Anàlisi dels distractors a partir de D.
ítem 50 % superior 50 % inferior Percentatge A 12 27 19.5% Índex de Discriminació de l’alternativa A: D = Índex de Discriminació de l’alternativa B: D = Índex de Discriminació de l’alternativa C: D = Alternatives B C 3 40 20 25 11.5% 32.5% 𝑛𝑠 𝑁𝑠 𝑛𝑠 𝑁𝑠 𝑛𝑠 𝑁𝑠 − − − 𝑛𝑖 𝑁𝑖 𝑛𝑖 𝑁𝑖 𝑛𝑖 𝑁𝑖 = = = 12 100 3 100 40 100 − − − Total D 45 28 36.5% 27 100 20 100 25 100 100 100 = −0.15 = −0.17 = 0.15 13 PSICOMETRIA ÍNDEX DE FIABILITAT DE L’ÍTEM. Es tracta de l’estimació de la fiabilitat amb la que l’ítem mesura la característica que mesura el test en conjunt. 𝐼𝐹 = 𝑆𝑗 𝐷𝑗 on: 𝑆𝑗 desviació típica de les puntuacions de l’ítem j 𝐷𝑗 índex de discriminació de l’ítem j - VALIDESA DE L’ÍTEM.
Es tracta de la contribució de l’ítem en la predicció d’una variable externa (criteri).
Correlació de l’ítem amb un criteri extern.
El tipus de correlació està en funció del tipus d’ítem i el tipus de criteri.
Tipus de Correlacions Test Correlació Contínua Pearson r Contínua Biserial-Puntual rbp Contínua Biserial rb Dicotòmica Fi ɸ Dicotomitzada Tetracòrica rt Ítem Contínua Dicotòmica Dicotomitzada Dicotòmica Dicotomitzada EXEMPLE: Índex de Validesa de l’ítem.
Ítem dicotòmic d’un qüestionari de depressió (0 = no depressió, 1 = depressió) Criteri extern: puntuació total del test d’ansietat.
Ítem depressió 0 1 1 0 1 0 0 1 1 1 1 0 s2 = Test d’ansietat 3 12 10 2 15 4 3 11 15 16 18 0 Ítem dicotòmic (0 = no depressió, 1 = depressió) Test continu.
p = q = x̅ = 7 12 5 12 = 0.5833 = 0.4166 3 + 15 + 10 + 2 + 15 + 4 + 3 + 11 + 15 + 16 + 18 + 0 = 9.0833 12 𝑥̅𝑝 = 12+10+15+11+15+16+18 7 = 13.857 32 + 122 + 102 + 22 + 152 + 42 + 32 + 112 + 152 + 162 + 182 + 02 − 9.08332 = 36.910 → sx = 6.07538 12 𝐫𝐛𝐩 = 13.857 − 9.08 0.583 √ = − 0.9308 6.07358 0.4166 14 PSICOMETRIA UNITAT 3. FIABILITAT A vegades, ens trobem que els instruments de mesura no són eficients, la qual cosa pot provocar errors de mesura.
En la teoria dels tests, allò que es vol saber és: en quin grau ens podem fiar de les puntuacions obtingudes en un test, és a dir, en quin grau d’inferència que el subjecte té en el constructe mesurat al test.
Quan trobem absència d’aquest error de mesura parlem de FIABILITAT (consistència o estabilitat de les mesures quan el procés de mesura es repeteix). O dit d’una altra manera, la confiança depositada en els resultats obtinguts.
Cal tenir en compte, que els erros de mesura es donen a qualsevol instrument de mesura. Són inherents al mateix procés de mesurament. Aquells produïts intrínsecament pel subjecte, no es tenen en compte, però s’han d’evitar.
𝑋 =𝑉+𝑒 𝑟𝑥𝑥 = 𝑆2𝑉 𝑆2𝑋 𝑆𝑉2 variància vertadera del test 𝑆𝑋2 variància obtinguda del test allò que s’aconsegueix és quantificar el valor de l’error, per tant, la fiabilitat s’encarrega de calcular la correlació existent entre la puntuació vertadera i la puntuació obtinguda.
Un test totalment fiable és aquell en què les mesures es troben lliures d’errors de mesura, és a dir, que les mesures són consistents. Si cada vegada que s’administra el test la puntuació és la mateixa.
En ocasions, és difícil saber si la inferència o inestabilitat és producte de l’error de mesura o si són del subjecte (procés maduratiu, cansament, estat d’ànim, abans o després d’una intervenció psicològica, etc.) Què indica un coeficient de fiabilitat? El coeficient de fiabilitat indica que un test estigui o no lliure d’errors de mesura, mitjançant la correlació. Si la correlació ens dóna un valor d’1 (lliure d’errors), a mesura que ens allunyem d’aquest valor, presència d’error.
Del 100% de la variància obtinguda (𝑆𝑋2 ), el 80% és deguda a la variància vertadera (𝑆𝑉2 ) i per tant, el 20% restant és deguda a la variància d’error (𝑆𝑒2 ) 15 PSICOMETRIA PROCEDIMENTS PER ESTIMAR LA FIABILITAT.
Fiabilitat TEST-RETEST.
En aquest procediment el valor de la fiabilitat ens indica l’estabilitat de la mesura. Si el valor és elevat voldrà dir que el test és estable.
El procediment a seguir és administra un mateix test X a una mateixa mostra en dos moments temporals diferents.
El constructe mesurat, no ha de ser susceptible al pas del temps, atès que allò que es vol mesurar és l’estabilitat dels resultats obtinguts en un mateix temps, en dos moments diferents.
Si hi ha diferències serien degudes a errors de mesura i, per tant, afecten a la fiabilitat del test.
Criteris valoració fiabilitat test-retest (estabilitat mesura).
Inadequada: r < 0.55 Adequada però amb algunes mancances: 0.55 ≤ r < 0.65 Adequada: 0.65 ≤ r < 0.75 Bona 0.75 ≤ r > 0.80 Excel·lent: r ≥ 0.80 Fiabilitat FORMES PARAL·LELES.
En aquest procediment el concepte d’estabilitat fa referència a l’equivalència de les mesures, és a dir, que les puntuacions es poguessin intercanviar d’una mostra a l’altra.
S’utilitza, per tant, quan no es vol deixar que passi el temps.
Consta de dos tests x i x’, els quals són administrats a una mateixa mostra i, per tant, s’obtenen les puntuacions x i x’, es calcula la correlació d’aquestes dues. Si no existeix correlació entre ambdós resultats pot ser causat per la no real equivalència entre els tests administrats.
Per això, s’ha d’assegurar la similitud entre els tests (mateix número d’ítems, avaluació del mateix constructe, estructura, distractors, etc.) la qual cosa és molt difícil de crear, així com costosa i en probes de personalitat, gairebé impossible.
16 PSICOMETRIA Criteris valoració fiabilitat formes paral·leles (equivalència mesura).
Inadequada: r < 0.50 Adequada però amb algunes mancances: 0.50 ≤ r < 0.60 Adequada: 0.60 ≤ r < 0.70 Bona 0.70 ≤ r > 0.80 Excel·lent: r ≥ 0.80 Intercorrelacions entre els ítems: Fiabilitat DUES MEITATS.
En aquest procediment allò que es vol mesurar és la interrelació entre els ítems que constitueixen el test, és a dir, la consistència interna del test.
Es tracta d’un únic test x, i l’administració d’aquest a una única mostra, on el bloc resultant de puntuacions es divideix en dos: puntuacions de la primera meitat i puntuacions de la segona meitat. Després es correlacionen aplicar la correcció d ‘Spearman-Brown i se n’extreu la fiabilitat o consistència interna.
Quins ítems han de formar part de cada una de les dues meitats? És important com es divideix el test atès que hi ha variacions en la correlació obtinguda.
Per intenta el màxim d’aleatorietat utilitzem ítems parells i imparells. Per evitar biaix (prova de coneixements organitzada per blocs temàtics, 100 ítems a respondre, temps de contesta, etc.) Correcció d ’Spearman-Brown pel càlcul de les meitats.
S’utilitza per saber la fiabilitat global del test, atès que el que hem fet és relacionar només una meitat del test amb l’altre.
𝒓𝒙𝒙 = 𝟐𝒓𝒙𝟏𝒙𝟐 𝟏 + 𝒓𝒙𝟏𝒙𝟐 on: 𝒓𝒙𝒙 fiabilitat del test sencer.
𝒓𝒙𝟏𝒙𝟐 correlació del subtest 1 i el subtest 2 17 PSICOMETRIA Fiabilitat ALFA DE CRONBACH.
Aquest procediment es basa en la divisió del test en moltes parts i es vol mesurar la consistència interna entre tots els ítems. Com correlaciona cada ítem amb la prova.
La mitjana ens donarà la consistència interna del test.
Coeficient alfa (Cronbach) (anàlisi de les covariàncies entre els ítems).
∑ 𝑺𝟐𝒋 𝒏 𝜶 = (𝟏 − 𝟐 ) 𝒏−𝟏 𝑺𝒙 On: n nombres d’ítems del test ∑ 𝑆𝑗2 suma de les variàncies dels n ítems 𝑆𝑥2 variància de la puntuació total del test Variacions del coeficient alfa: Kuder-Richardson.
𝜶 = 𝑲𝑹𝟐𝟎 = 𝒏 𝒏−𝟏 (𝟏 − ∑ 𝒑𝒊 𝒒𝒊 𝝈𝟐𝒙 ) On: n nombres d’ítems del test pi proporció de respostes positives en l’ítem qi proporció de respostes negatives en l’ítem 𝜎𝑥2 variància de la puntuació total del test Criteris valoració fiabilitat consistència interna.
Inadequada: r < 0.60 Adequada però amb algunes mancances: 0.60 ≤ r < 0.70 Adequada: 0.70 ≤ r < 0.80 Bona 0.80 ≤ r > 0.85 Excel·lent: r ≥ 0.85 18 PSICOMETRIA Contribució dels ítems a la consistència interna.
Cada ítem que forma part d’un instrument de mesura té una contribució particular a la consistència interna d’aquest.
Podem calcular el coeficient α per al conjunt d’ítem del test però havent eliminat prèviament del càlcul les dades de l’ítem que volem avaluar α =0.72 si en treure un ítem, l’α dóna un valor molt menor, significa que aquest ítem aporta molt, que és necessari per la prova.
En canvi, si la consistència interna, en eliminar un ítem, puja, probablement l’ítem no avaluï el constructe que avaluen la resta.
Factors que influeixen en la fiabilitat del test.
- Mostratge. Context en què es fa, edat dels subjectes, opinió, si la població pateix algun trastorn, etc.
- Variabilitat de les puntuacions. Es necessita molta variabilitat de respostes, garantirà la fiabilitat i que cada vegada sigui la mateixa. Si hi ha més ítems, ben construïts, en teoria, la fiabilitat hauria d’augmentar.
- Longitud del test (nombre d’ítems).
- Nivell de les puntuacions en el test. Si es tracta d’una prova de coneixements no només pot haver-hi preguntes de nivell mitjà, atès que pels subjectes d’un nivell elevat o baix, la fiabilitat baixarà, mentre que en subjectes de nivell mitjà, la fiabilitat augmentarà.
Relació entre fiabilitat i longitud del test.
Es pot estudiar la relació que existeix entre la fiabilitat del test i el nombre de vegades que allarguem el test, és a dir, com varia la fiabilitat d’un test en funció de la longitud d’aquest: 𝑅𝑥𝑥 = 𝑘= 𝑘 𝑟𝑥𝑥 1+( 𝑘−1 )𝑟𝑥𝑥 𝑛 𝑖 + 𝑛𝛼 𝑛𝑖 On: 𝑅𝑥𝑥 fiabilitat del test allargat 𝑟𝑥𝑥 fiabilitat del test abans d’allargar-lo k nombre de vegades que hem allargat el test.
On: 𝑛𝑖 nombre d’ítems inicials 𝑛𝛼 nombre d’ítems afegits Exemple. Test 20 ítems, 𝑟𝑥𝑥 = 0.70. 𝑅𝑥𝑥 ? Si afegim 40 ítems.
𝑘= 20+ 40 20 = 3 ; 𝑅𝑥𝑥 = 3·0.70 1+( 3−1 )0.7 = 0.875 19 PSICOMETRIA Longitud del test per aconseguir una fiabilitat determinada.
Normalment, allò que es demana és quantes vegades haig ‘d’allargar el test per aconseguir una fiabilitat determinada: 𝑘= 𝑅𝑥𝑥 (1− 𝑟𝑥𝑥 ) On: 𝑟𝑥𝑥 (1−𝑅𝑥𝑥 ) 𝑅𝑥𝑥 fiabilitat que es pretén aconseguir 𝑘= 𝑛𝑖 + 𝑛𝛼 𝑟𝑥𝑥 fiabilitat del test original.
𝑛𝑖 k nombre de vegades que hem allargat el test.
Exemple. Test 10 ítems, 𝑟𝑥𝑥 = 0.60. ítems a afegir? Si volem 𝑅𝑥𝑥 = 0.75.
𝑘= 0.75 (1− 0.60) 0.60 (1−0.75) =2 ; 2= 10+ 𝑛𝛼 10 ; 𝑛𝛼 = 10 EXERCICI: Longitud del test per aconseguir una fiabilitat determinada.
Suposem que un test amb 50 ítems té una fiabilitat de 0.75. ¿Quants ítems caldrà afegir per aconseguir una fiabilitat de 0.90? 𝑘= 𝑘= 𝑅𝑥𝑥 (1− 𝑟𝑥𝑥 ) 𝑟𝑥𝑥 (1−𝑅𝑥𝑥 ) 𝑛𝑖 + 𝑛𝛼 𝑛𝑖 ; 𝑘= ; 3= 0.90 (1− 0.75) 0.75 (1−0.90) 50+ 𝑛𝛼 50 ;k=3 ; 𝑛𝛼 = 100 Caldrà afegir-hi 100 ítems per passar d’una fiabilitat de 0.75 a una de 0.90; la qual cosa no valdria la pena, atès que ja comptem amb una fiabilitat prou elevada.
Estimació per interval de la puntuació vertadera (error típic de mesura).
𝑉𝑖𝑛𝑡 = 𝑥𝑖 ± 𝑧 · 𝑆𝑒 On: 𝑥𝑖 puntuació obtinguda pel subjecte en el test 𝑆𝑒 error típic de mesura (ens diu quina és la precisió, 𝑆𝑒 = 𝑆𝑥 √1 − 𝑟𝑥𝑥 On: variabilitat que hi ha al voltant de la puntuació vertadera.
𝑆𝑥 desviació típica del test 𝑟𝑥𝑥 coeficient fiabilitat del test (com més alt, < 𝑆𝑒 ) 20 PSICOMETRIA Error típic de mesura – TCT.
La desviació típica dels erros (𝑆𝑒 ) és la mateixa o molt semblant per a totes les persones.
Exemple I. Estimació per interval de la puntuació vertadera – Error típic de mesura.
Suposem que el coeficient de fiabilitat d’un test es de 0.75, la seva mitjana 80 i la desviacio típica 16.
Quin es l’error típic de mesura? .En quin interval se situa la puntuació vertadera d’un subjecte que te una puntuació observada de 86 a un nivell de confiança del 95% (z=1.96)? 𝑆𝑒 = 𝑆𝑥 √1 − 𝑟𝑥𝑥 ; 𝑉𝑖𝑛𝑡 = 𝑥𝑖 ± 𝑧 · 𝑆𝑒 ; 𝑆𝑒 = 16 √1 − 0.75 𝑆𝑒 = 8 ; 𝑉𝑖𝑛𝑡 = 86 ± 1.96 · 8 ; 70.32 ≤ 𝑉𝑖𝑛𝑡 ≤ 101.68 Exemple II. Estimació per interval de la puntuació vertadera – Error típic de mesura.
Suposem que el coeficient de fiabilitat d’un test es de 0.80, la seva mitjana 15 i la variància 9. .Quin es l’error típic de mesura? .En quin interval se situa la puntuació vertadera d’un subjecte que te una puntuació observada de 12, a un nivell de confiança del 95% (z=1.96)? 𝑆𝑒 = 𝑆𝑥 √1 − 𝑟𝑥𝑥 ; 𝑉𝑖𝑛𝑡 = 𝑥𝑖 ± 𝑧 · 𝑆𝑒 ; 𝑆𝑒 = 3√1 − 0.80 ; 𝑉𝑖𝑛𝑡 = 12 ± 1.96 · 1.34 𝑆𝑒 = 1.34 ; 9.37 ≤ 𝑉𝑖𝑛𝑡 ≤ 14.63 21 PSICOMETRIA EXERCICI I.
Un test de 32 ítems s'aplica a 200 subjectes i s’obté una mitjana de 23 i una desviacio típica de 4. Al dividir el test en ítems parells i imparells, la correlació entre les dues meitats es 0.91.
1) Quin es el coeficient de fiabilitat del test? Interpreta aquest coeficient i comenta si el valor es acceptable.
2) Quants ítems caldria afegir a aquest test per a elevar la seva fiabilitat fins a 0.99? Val la pena modificar el test per a augmentar la fiabilitat fins a aquest nivell? 3) Quant val el coeficient alfa d'aquest test, tenint en compte que la suma de les variàncies dels seus ítems es 1.25? Interpreta aquest coeficient i comenta si el valor es acceptable.
4) En el test original un subjecte ha arribat a una puntuació de 26 entre quines puntuacions s'espera que es trobi la puntuació veritable del subjecte al nivell de confiança del 95%? Interpreta l'interval obtingut.
22 PSICOMETRIA EXERCICI II.
Es va aplicar un qüestionari per identificar factors de risc interpersonal en el consum de drogues en adolescents a una mostra de 2126 estudiants d’ESO. El test esta format per 51 ítems que s’agrupen en 7 subescales. A continuació es presenta la consistència interna per a cadascuna de les subescales.
a) Comenta els valors de fiabilitat de les diferents subescales.
b) Sabent que la suma de las variàncies dels ítems es 1.45, la desviacio típica del test es 4.25, calcula l’alfa de Cronbach del test.
c) Quina seria la fiabilitat del test en el cas de que el qüestionari estigues format per 60 ítems? d) Si volem aconseguir que el qüestionari tingui una fiabilitat de 0.98, quants ítems caldria afegir? e) Suposem que un dels adolescents que va contestar el qüestionari va obtenir una puntuació directa de 73. Coneixent les dades de l’apartat b), ¿en quin interval es trobaria la seva puntuació verdadera amb un nivell de confiança del 95%? 23 PSICOMETRIA UNITAT 4. VALIDESA La validesa és un concepte unitari que inclou diverses facetes a validar. Quan parlem d’un test vàlid estem donant interpretació a la puntuació obtinguda en base a un objectiu, és a dir, si interpretem que és vàlid, voldrà dir que serveix per a mesurar adequadament allò que ha de mesurar.
Històric - De contingut - De criteri - De constructe - Estàndards 1999 De contingut Procés de resposta (entrevistes) Estructura interna Relacions amb altres Conseqüencial (avaluació de les conseqüències en el subjecte, de l’ús d’un test) FACETES A VALIDAR: 1 Rellevància. El contingut de l’ítem inclou informació directament relacionada amb el constructe.
Representativitat. Informació complementària a l’aportada per la resta d’ítems.
PASSOS: 1. Definir i especificar el camp o domini del test.
2. Selecció jutges experts. Ens proporcionarà saber si els ítems són rellevants i representatius.
3. Procés d’aparellament d’ítems amb els temes d’interès de mesura del test. Els jutges aparellaran cada un dels ítems amb un aspecte i calcularan el grau de rellevància i representativitat.
4. Selecció dels ítems adequats.
24 PSICOMETRIA EXEMPLE: Prova per avaluar els coneixements de Psicometria: Continguts a mostrejar: TCT / Anàlisi d’ítems / Fiabilitat / Validesa / Baremació / Manual del test.
Experts: professos de Psicometria de la UAB.
Aparellament: fer correspondre cada ítem amb cada un dels continguts (p.ex.: ítem 1  Baremació, ítem 2: Validesa,...). Els experts valoren la rellevància i representativitat dels ítems (p.ex.: puntuantlos de l’1 al 5).
Selecció d’ítems: seleccionar els ítems adequats (més ben valorats pels jutges experts) tenint en compte la importància relativa de cada contingut (p.ex.: 1 ítem de TCT, 5 d’Anàlisi d’ítems,...).
2 Grau d’eficàcia amb que podrem diagnosticar o predir la variable criteri a partir de les puntuacions del test, és a dir, obtenció d’evidències sobre en quin grau es poden fer inferències a partir de les puntuacions sobre allò que s’està avaluant.
TIPUS: 1. Coeficient de validesa (rxy). Les puntuacions del test i del criteri són contínues – correlació entre el test i el criteri (extern).
2. Validesa de decisió. les puntuacions del test i dels criteri (si o no té trastorn) són dicotòmiques o dicotomitzades – es compara la capacitat de classificació del test respecte a un diagnòstic.
EXEMPLE: Dificultat de selecció del criteri.
Requisits: 1. Indicador rellevant (judici experts).
2. Lliures de biaix (les mesures del criteri haurien de representar la competència real del subjecte i no estar influenciades per altres variables).
3. Fiables (que siguin estables).
4. Accessible (criteri que el puc mesurar).
25 PSICOMETRIA PASSOS: 1. Definir el criteri que es pretén mesurar.
2. Identificar l’indicador o indicadors que s’utilitzaran per mesurar el criteri.
3. Selecció d’una mostra representativa subjectes.
4. Administració del test i obtenció d’una puntuació per a cada persona.
5. Mesura de cada persona en el criteri: abans del test (retrospectiva), mateix temps que el test (concurrent) o després del test (predictiva).
6. Càlcul coeficient de validesa: determinar el grau de relació entre les puntuacions en el test i en la mesura del criteri.
Administració del test i variable criteri al mateix temps (simultaneïtat) Administración separada en el temps del test i criteri.
Criteris valoració VALIDESA CONCURRENT:  Inadequada: r < 0.25  Suficient: 0.25 ≤ r < 0.40  Bona: 0.40 ≤ r < 0.50  Molt bona 0.50 ≤ r < 0.60  Excel·lent: r ≤ 0.60 Criteris valoració VALIDESA PREDICTIVA:  Inadequada: r < 0.20  Suficient: 0.20 ≤ r < 0.35  Bona: 0.35 ≤ r < 0.45  Molt bona 0.45 ≤ r < 0.55  Excel·lent: r ≤ 0.55 Predicció del criteri a partir del test On: 𝒚𝒊 Puntuació del subjecte en el criteri, es prediu a partir de la puntuació del subjecte en el test.
𝒓𝒙𝒚 Coeficient de validesa del test 𝑺𝒚 Desviació típica del criteri 𝑺𝒚 𝑺𝒙 Desviació típica del test (𝒙 − 𝒙 ̅) + 𝒚 ̅ 𝒚𝒊 = 𝒓𝒙𝒚 𝑺𝒙 𝒊 𝒙𝒊 Puntuació del subjecte en el test ̅ Mitjana del test 𝒙 ̅ Mitjana del criteri 𝒚 Interval de confiança del criteri On: 𝒚𝒊 Puntuació predita del subjecte i 𝒚𝒊𝒏𝒕 = 𝒚𝒊 ± 𝒛 · 𝑺𝒙𝒚 𝐳 Valor de les taules llei normal (95% z=1.96; 99%: z =2.58) 𝑺𝒙𝒚 Error típic d’estimació: 𝑺𝒙𝒚 = 𝑺𝒚 √𝟏 − 𝒓𝟐𝒙𝒚 On: 𝑺𝒚 Desviació típica del criteri 𝒓𝒙𝒚 Coeficient de validesa del test 26 PSICOMETRIA EXERCICI I. Validesa de criteri.
Suposem que tenim un test amb una fiabilitat de 0,75, una mitjana de 80 i una desviacio típica de 16.
Es correlaciona amb un criteri de mitjana 20 i una desviacio típica de 8, obtenint un coeficient de correlació de 0,46. Un subjecte obté una puntuació de 86 en el test.
Quin es l’error típic d’estimació? Sxy? En quin interval se situa la puntuació del subjecte en el criteri a un nivell de confiança del 95%? Vint? 𝒚𝒊 ? 𝒓𝒙𝒚 0.46 𝑺𝒚 8 ̅ 80 𝒙 ̅ 20 𝒚 𝑺𝒙 16 𝒙𝒊 86 2 ; 𝑆 2 𝑆𝑥𝑦 = 𝑆𝑦 √1 − 𝑟𝑥𝑦 𝑥𝑦 = 8 √1 − 0.46 ; 𝑆𝑥𝑦 = 7.096 𝑦𝑖 = 𝑟𝑥𝑦 𝑆𝑦 𝑆𝑥 (𝑥𝑖 − 𝑥̅ ) + 𝑦̅ ; 𝑦𝑖 = 0.46 8 16 (86 − 80) + 20 ; 𝑦𝑖 = 21.38 𝑦𝑖𝑛𝑡 = 𝑦𝑖 ± 𝑧 · 𝑆𝑥𝑦 ; 𝑦𝑖𝑛𝑡 = 21.38 ± 1.96 · 7.096  7.47 ≤ 𝑦𝑖𝑛𝑡 ≤ 35.28 EXERCICI II. Validesa de criteri.
Imaginem que tenim un test amb una fiabilitat de 0,80, una mitjana de 40 i una variància de 64. Es correlaciona amb un criteri de mitjana 60 i una desviacio típica de 12, obtenint un coeficient de correlació de 0,52. Un subjecte presenta una puntuació de 35 en el test.
Quin es l’error típic d’estimació? Sxy? En quin interval se situa la puntuació del subjecte en el criteri a un nivell de confiança del 95%? Vint? 𝒚𝒊 ? 𝒓𝒙𝒚 0.52 𝑺𝒚 12 ̅ 40 𝒙 ̅ 60 𝒚 𝑺𝒙 8 𝒙𝒊 35 2 ; 𝑆 2 𝑆𝑥𝑦 = 𝑆𝑦 √1 − 𝑟𝑥𝑦 𝑥𝑦 = 12 √1 − 0.52 ; 𝑆𝑥𝑦 = 10.249995 𝑦𝑖 = 𝑟𝑥𝑦 𝑆𝑦 𝑆𝑥 (𝑥𝑖 − 𝑥̅ ) + 𝑦̅ ; 𝑦𝑖 = 0.52 12 8 (35 − 40) + 60 ; 𝑦𝑖 = 56.1 𝑦𝑖𝑛𝑡 = 𝑦𝑖 ± 𝑧 · 𝑆𝑥𝑦 ; 𝑦𝑖𝑛𝑡 = 56.1 ± 1.96 · 10.249  36.01 ≤ 𝑦𝑖𝑛𝑡 ≤ 79.19 27 PSICOMETRIA Factors que afecten al coeficient de validesa  Validesa dels ítems rxy  Si rvxvy = 1  valor màxim rxy = √𝑟𝑥𝑥 Variabilitat  Fiabilitat rxx  Per tant, sempre es compleix que rxy ≤ √𝑟𝑥𝑥 la validesa és menor o igual que la fiabilitat.
Longitud del test Validesa de decisió Índexs de validesa de decisió: Proporció de classificacions correctes, sensibilitat i especificitat PC = 𝐒𝐞𝐧𝐬𝐢𝐛𝐢𝐥𝐢𝐭𝐚𝐭 = Vertaders positius (f11)+Vertaders negatius (f22) N Vertaders positius (f11) 𝐄𝐬𝐩𝐞𝐜𝐢𝐟𝐢𝐜𝐢𝐭𝐚𝐭 = Total persones amb trastorns (f.1) Té la funció de detectar els casos positius. Serà màxima quan no hi hagin falsos negatius Serà máxima quan no hi hagin falsos pnegatius Garanties que el test faci un diagnòstic vàlid, cosa que permetrà suprimir altres metodologies (entrevista) més duradores i costoses On: 𝐹𝑎 = 𝑓1. · 𝑓.1 + 𝑓2. · 𝑓.2 𝑁 K= Interval de confiança: IC → K ± z · 𝑆𝑒 (𝐾) Assegurem que les mesures del test són vàlides.
Total persones sanes(f.2) Té la funció de veure si la prova és capaç de detectar els casos en què no hi ha trastorn (persones sanes).
Índexs de validesa de decisió: COEFICIENT KAPPA 𝐹𝑐 = 𝑓11 + 𝑓22 Vertaders negatius (f22) 𝐹 𝑎 𝑆𝑒(𝐾) = √ 𝑁·( 𝑁− 𝐹 𝑎 ) 𝐹𝑐 − 𝐹𝑎 𝑁 − 𝐹𝑎 Oscil·la entre 0 i 1.
0  quan els acords obtinguts són els esperats per atzar = no validesa.
<0  acords per atzar > obtinguts.
28 PSICOMETRIA EXERCICI I. Validesa de decisió EXERCICI II. Validesa de decisió Qüestionari estrès Obtenir: - Estrès No estrès Total Diagnòstic clínic Estrès No estrès 1235 200 165 2400 1400 2600 Total 1435 2565 4000 Proporció de classificacions correctes.
Sensibilitat Especificitat Coeficient Kappa i IC (95%) 29 PSICOMETRIA EXEMPLE. Validesa de decisió – PUNT DE TALL Disposem de la decisió emesa per un psicòleg de la necessitat de fer teràpia (TE) o no fer-ne (NT) dirigides a 10 persones Se’ls aplica una escala les puntuacions de la qual oscil·len.
entre 1 i 10.
Com podem determinar aquell punt de tall que optimitzi les seves classificacions fetes per l’escala? Per cada possible punt de tall, calcular el numero de FP, FN i el numero total d’errors Escollir el punt de tall que minimitzi el numero d’errors En cas d’empat, valorar la implicació de cometre un FP o un FN 30 PSICOMETRIA EXERCICI I. Validesa de decisió – PUNT DE TALL En una residencia d’avis es posa a prova la validesa d’una escala d’observació dissenyada per a detectar la dependència funcional dels residents i assignar-los a un grup de rehabilitació (R) o no (NR).
Es disposa de les puntuacions obtingudes per 11 residents en l’escala d’observació, així com del diagnòstic emes per un especialista (R o NR).
Determinar el punt de tall òptim en l’escala d’observació, en compte que la rehabilitació no es considera nociva per l’individu.
31 PSICOMETRIA 3 Tracta d’inferir el grau en què un subjecte té el tret o atribut mesurat a partir del test, és a dir, obtenció d’evidències on es demostri que aquelles condicions observades (indicis del constructe) realment ho són. Per tant, mesurem si el test avalua realment allò que pretén mesurar.
El tipus de relació que es busca pot ser: - Interna. Respecte als diferents ítems.
- Externa. Puntuació ítems amb alguna variable externa.
Es basa en evidències múltiples i contingents: ANÀLISI FACTORIAL – identificació (AFE) o confirmació (AFC) dels trets psicològics que mesura el test.
Es tracta d’una tècnica d’agrupació d’ítems que permet identificar o confirmar trets o factors que mesura el test. Es duu a terme una anàlisi interna.
Matemàticament busquem correlacions entre diferents trets psicològics (constructes) mesurats mitjançant diferents mètodes com l’entrevista, l’autoinforme o l’observació.
I es busquen les correlacions dels trets avaluats amb aquests diferents mètodes (estructura externa).
MATRIU MULTITRET – MULTIMÈTODE (Campbell i Fiske, 1959) . validesa convergent (mateix tret – diferent mètode) . validesa discriminant (diferent tret – mateix mètode) PASSOS: 1.
2.
3.
4.
Definir i formular hipòtesis sobre la naturalesa del constructe i altres.
Seleccionar indicadors representatius i rellevants més adients per mesurar el constructe.
Recollir dades per comprovar les hipòtesis.
Consistència de les dades amb les hipòtesis formulades o altres alternatives. És a dir, relacions estables a les hipòtesis si es compleixen i en quin grau  indicador de validesa del constructe que s’avalua al test.
VALIDESA DE CONSTRUCTE: ANÀLISI FACTORIAL: 32 PSICOMETRIA EXEMPLE: ANÀLISI FACTORIAL EXPLORATÒRIA “Se efectuó un análisis factorial exploratorio mediante extracción de ejes principales y rotación oblimin. Teniendo en cuenta el elevado número de ítems que se desarrollaron al inicio, se depuro la escala eliminando todos aquellos ítems que presentaran saturaciones inferiores a 0,35 o saturaciones complejas (superiores a 0,35 en más de un factor).” EXEMPLE: ANÀLISI FACTORIAL CONFIRMATÒRIA 33 PSICOMETRIA “El primero de los objetivos era comprobar si la estructura factorial de la escala era la esperada, con las 4 dimensiones descritas anteriormente. Para ello se llevó a cabo un análisis factorial confirmatorio mediante el programa AMOS 4. Los parámetros del modelo original fueron estimados siguiendo el criterio de Máxima Verosimilitud.” EXERCICI: AFE I AFC Tenint en compte que… L’Escala d’insomni d’Atenes pretén mesurar les dificultats en el dormir en dos moment diferents: a) aquells problemes que sorgeixen durant la nit 34 PSICOMETRIA b) aquells problemes que sorgeixen durant el dia.
I analitzant l’enunciat dels ítems del test… Proposar una hipotètica matriu factorial resultant d’una AFE i una altra resultant d’una AFC EXEMPLE AFE AMB SPSS (ATHENS INSOMNIA SCALE) EXEMPLE AFE AMB SPSS EXEMPLE AFE ESCALA INSMONI D’ATENES AMB SPSS 35 PSICOMETRIA VALIDESA DE CONSTRUCTE: MATRIU MULTITRET-MULTMÈTODE 36 PSICOMETRIA EXEMPLE: MATRIU MULTITRET-MULTIMÈTODE • En la següent matriu mutitret-multimetode hi ha tres trets: – Extraversió – Lideratge – Intel·ligència social • Cada tret esta mesurat amb tres metodes: – Autoinforme (AI) – Observació sistemàtica (OS) – Entrevista personal (EP) 37 PSICOMETRIA • A la diagonal principal apareixen les correlacions dels tests amb si mateixos, això ens indica, els coeficients de fiabilitat.
• En l’anàlisi de la validesa convergent, es a dir en el cas que un mateix tret es mesura amb diferents mètodes, s’obtenen valors iguals o superiors a 0.60 en tots els casos.
• Les correlacions entre les mesures de diferents trets mesurades amb el mateix mètode ens informen de la validesa discriminant. En l’exemple la màxima correlació es de 0.20.
EXERCICI: MATRIU MULTITRET – MULTIMÈTODE • Mesurem tres trets: – Raonament numèric (RN) – Factors espacial (FE) – Raonament abstracte (RA) • Cada tret esta mesurat amb tres mètodes: – Ítems V/F (VF) – Ítems d’elecció múltiple (EM) – Ítems de format incomplet (FI) 38 PSICOMETRIA • Identificar els coeficients de fiabilitat • Identificar els valors monotret-heteromètode • Identificar els valors multitret-monomètode • Valorar la validesa convergent i la validesa discriminant 39 ...