Modelo Lineal Múltiple Colinealidad (2014)

Apunte Español
Universidad Universidad Politécnica de Cataluña (UPC)
Grado Administración y Dirección de Empresas - 2º curso
Asignatura Estadística 2
Año del apunte 2014
Páginas 18
Fecha de subida 11/09/2014
Descargas 3
Subido por

Descripción

Apuntes explícitos y detallados

Vista previa del texto

Estadística II Tema 4 Regresión múltiple (III) Multicolinealidad 1 Multicolinealidad El grado de colinealidad es el grado de dependencia lineal entre las variables explicativas del modelo.
Tenemos 3 casos: 1. Multicolinealidad perfecta 2. Ausencia de Multicolinealidad 3. Multicolinealidad imperfecta Los dos primeros son casos muy particulares, el caso 3 es el más habitual! 2 1- Multicolinealidad perfecta Indicará una relación lineal perfecta entre variables explicativas.
Esto provocaría que no se pudiera estimar el modelo porque: X = 0 → X ′X = 0 En este caso, no se puede calcular (X’X)-1, y, por lo tanto, no podemos obtener βˆi .
Recordemos que b = ( X′ ⋅ X ) −1 ⋅ X′ ⋅ Y Cuando ocurrirá la multicolinealidad perfecta? 3 2- Ausencia de Multicolinealidad Indicará una ausencia de relación lineal entre variables explicativas.
Consecuencias prácticas: 1.
2.
Los coeficientes del modelo, βˆi , pueden interpretarse independientemente (uno a uno) Si quitamos una variable del modelo, los valores de los coeficientes de las variables en el modelo no varían.
Por ejemplo, ajustamos el Modelo1: Yˆi = β 0 + β1 ⋅ X 1i + β 2 ⋅ X 2 i + β 3 ⋅ X 3i + β 4 ⋅ X 4 i Y ajustamos el Modelo2 (eliminamos X2): Yˆi = β 0 + β1 ⋅ X 1i + β 3 ⋅ X 3i + β 4 ⋅ X 4 i Los valores de los coeficientes βˆi no variarán 4 3- Multicolinealidad imperfecta Es el caso más habitual Consecuencias prácticas: 1.
2.
Los coeficientes del modelo, βˆi , NO pueden interpretarse independientemente (uno a uno) Si quitamos una variable del modelo, los valores de los coeficientes de las variables en el modelo SÍ varían.
Por ejemplo, ajustamos el Modelo1: Yˆi = β 0 + β1 ⋅ X 1i + β 2 ⋅ X 2 i + β 3 ⋅ X 3i + β 4 ⋅ X 4 i Y ajustamos el Modelo2 (eliminamos X2): Yˆi = β 0 + β1 ⋅ X 1i + β 3 ⋅ X 3i + β 4 ⋅ X 4 i Los valores de los coeficientes βˆi SÍ variarán 5 3- Ejemplo de Multicolinealidad imperfecta >Call: lm(formula = Preu ~ AmpCa + Antig + Bany + Dorm + Gar + Nou + Superf + Terr) Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) -23243.250 3907.831 -5.948 1.38e-08 *** AmpCa 20.243 33.157 0.611 0.542 Antig -6.271 7.066 -0.888 0.376 Bany 2554.016 1288.645 1.982 0.049 * Dorm -7049.817 1311.742 -5.374 2.36e-07 *** Gar 1410.187 952.242 1.481 0.140 Nou 13190.899 2519.051 5.236 4.53e-07 *** Superf 569.285 33.343 17.074 < 2e-16 *** Terr 33.962 49.349 0.688 0.492 Call: lm(formula = Preu ~ AmpCa + Antig + Bany + Dorm + Gar + Nou + Superf) Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) -23625.420 3862.545 -6.117 5.76e-09 *** AmpCa 24.146 32.621 0.740 0.4601 Antig -4.890 6.765 -0.723 0.4707 Bany 2578.742 1286.269 2.005 0.0465 * Dorm -7066.094 1309.620 -5.396 2.12e-07 *** Gar 1534.144 933.692 1.643 0.1021 Nou 13300.671 2510.338 5.298 3.37e-07 *** Superf 571.623 33.121 17.259 < 2e-16 *** 6 Multicolinealidad (imperfecta): consecuencias Tener mucha colinealidad es no es deseable porqué: 1.
dificulta la interpretación del modelo final a través de los coeficientes del modelo ajustado. A menudo los coeficientes tienen signo contrario al que diría el sentido común.
2.
aumenta la varianza de las βˆi y la de predicción, 3.
si la dependencia entre explicativas es muy, muy fuerte, puede complicar el cálculo de la inversa de la matriz X’X, y habrá que eliminar alguna de las variables del modelo.
La presencia de un cierto grado de colinealidad es ley de vida, y la mayoría de veces es imposible de evitar.
7 Multicolinealidad (imperfecta): consecuencias Tener mucha colinealidad es no es deseable porqué: • Les estimaciones de βˆi son poco precisas y menos fiables: se pueden alejar más de su valor auténtico al incrementar la dispersión.
• Disminuye la precisión del intervalo de confianza: aumenta su amplitud.
• El test de la t-student no es fiable: el incremento de la varianza aumenta la tendencia a NO rechazar la H0.
8 Medida de la multicolinealidad Podemos medir el grado de colinealidad ajustando un modelo lineal para cada una de les variables explicativas en función de todas les otras explicativas del modelo, (sin la respuesta), y usar el coeficiente de determinación de este modelo.
Ajustando modelos tomando como respuesta las explicativas, a parte de poder calcular este coeficiente de determinación, podemos descubrir qué variables explicativas están relacionadas con cuáles mirando cuáles son los coeficientes del modelo per cada xi que tienen mayores ˆ ti = βi S βˆ i Esta información es muy útil al interpretar el modelo ajustado final.
9 Ejemplo: Precio de los pisos > model=lm(Preu~Superf+Dorm+Bany+Nou) > summary(model) Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) -22985.10 3687.70 -6.233 3.05e-09 *** Superf 581.52 32.42 17.937 < 2e-16 *** Dorm -6866.97 1307.11 -5.254 4.10e-07 *** Bany 2928.36 1269.67 2.306 0.0222 * Nou 13438.74 2297.93 5.848 2.23e-08 *** --Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 Residual standard error: 13080 on 184 degrees of freedom Multiple R-squared: 0.7886, Adjusted R-squared: 0.7841 F-statistic: 171.6 on 4 and 184 DF, p-value: < 2.2e-16 Superf es una variable explicativa Ajustamos el modelo con Superf como respuesta y las otras tres var. explicativas > model1=lm(Superf~Dorm+Bany+Nou) > summary(model1) Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) -5.935 8.351 -0.711 0.478 Dorm 13.813 2.785 4.960 1.59e-06 *** Bany 19.715 2.488 7.925 2.08e-13 *** Nou 23.178 4.925 4.707 4.92e-06 *** --Residual standard error: 29.66 on 185 degrees of freedom Multiple R-squared: 0.5234, Adjusted R-squared: 0.5156 F-statistic: 67.71 on 3 and 185 DF, p-value: < 2.2e-16 Indica que hay relación entre Superf y Dorm, Bany y Nou y, por lo tanto, el efecto de estas variables sobre Preu usando el modelo que hemos ajustado no se pueden interpretar por separado, hay que interpretarlos conjuntamente Medida de la multicolinealidad La tolerancia de una variable explicativa Xj del modelo respecto al modelo en el que está es 1 menos el coeficiente de determinación que acabamos de describir. Es, por lo tanto, la proporción de la variabilidad de la Xj no explicada por las otras explicativas del modelo.
Por ejemplo si el modelo ajustado es: Yˆi = b0 + b1 x1 + b2 x2 entonces: Tol(X2) = 1 – R22 donde R22 es el coeficiente de determinación del modelo: Xˆ 2 = a0 + a1 x1 12 En general: 2 ˆ = a + a X + ... + a X ( ) Tol = − X 1 R X j j j 0 1 1 p −1 p −1 i Para saber qué variables están más relacionadas con Xj, sólo hay que mirar cuáles son les variables con los p-valores mas pequeños de este modelo.
Si Tol(Xj) = 0 ⇒ Xj es una combinación lineal de las otras variables explicativas del modelo (multicolinealidad perfecta).
Si Tol(Xj) ≠ 0 ⇒ Cuanto más pequeña es esta tolerancia, más fuerte es la dependencia lineal (multicolinealidad imperfecta) Si Tol(Xj) = 1 ⇒ Xj es ortogonal a las otras variables explicativas del modelo (ausencia de multicolinealidad).
13 Otro estadístico que mide el grado de colinealidad de Xj es el “variance inflation factor”: VIF( X j ) = 1 TOL( X j ) que siempre toma valores entre 1 y infinito.
Cuando el VIF(Xj) vale 1, Xj es ortogonal a las otras explicativas (ausencia de multicolinealidad).
Cuanto mayor VIF(Xj), mayor es la dependencia entre Xj y las otras explicativas del modelo, y más difícil es interpretar el papel de Xj al explicar la respuesta Y.
14 Ejemplo: Precio de los pisos > model=lm(Preu~Superf+Dorm+Bany+Nou) > summary(model) Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) -22985.10 3687.70 -6.233 3.05e-09 *** Superf 581.52 32.42 17.937 < 2e-16 *** Dorm -6866.97 1307.11 -5.254 4.10e-07 *** Bany 2928.36 1269.67 2.306 0.0222 * Nou 13438.74 2297.93 5.848 2.23e-08 *** --Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 Residual standard error: 13080 on 184 degrees of freedom Multiple R-squared: 0.7886, Adjusted R-squared: 0.7841 F-statistic: 171.6 on 4 and 184 DF, p-value: < 2.2e-16 Superf es una variable explicativa Ajustamos el modelo con Superf como respuesta y las otras tres var. explicativas > model1=lm(Superf~Dorm+Bany+Nou) > summary(model1) Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) -5.935 8.351 -0.711 0.478 Dorm 13.813 2.785 4.960 1.59e-06 *** Bany 19.715 2.488 7.925 2.08e-13 *** Nou 23.178 4.925 4.707 4.92e-06 *** --Residual standard error: 29.66 on 185 degrees of freedom Multiple R-squared: 0.5234, Adjusted R-squared: 0.5156 F-statistic: 67.71 on 3 and 185 DF, p-value: < 2.2e-16 Indica que hay relación entre Superf y Dorm, Bany y Nou y, por lo tanto, el efecto de estas variables sobre Preu usando el modelo que hemos ajustado no se pueden interpretar por separado, hay que interpretarlos conjuntamente Ajustamos el modelo con Superf como respuesta y las otras tres var. explicativas > model1=lm(Superf~Dorm+Bany+Nou) > summary(model1) Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) -5.935 8.351 -0.711 0.478 Dorm 13.813 2.785 4.960 1.59e-06 *** Bany 19.715 2.488 7.925 2.08e-13 *** Nou 23.178 4.925 4.707 4.92e-06 *** --Residual standard error: 29.66 on 185 degrees of freedom Multiple R-squared: 0.5234, Adjusted R-squared: 0.5156 F-statistic: 67.71 on 3 and 185 DF, p-value: < 2.2e-16 >vif(model) Superf Dorm Bany Nou 2.098053 1.687284 2.065818 1.368196 Interpretación del modelo Interpretar el modelo ajustado a través de sus coeficientes es muy complicado porqué: 1.
Si hay dependencia entre variables explicativas, al variar una Xj del modelo varían otras Xk y esto hay que tenerlo en cuenta.
2.
Si al modelo ajustad le faltan variables explicativas importantes, el valor de un coeficiente, bj, del modelo ajustado no tiene porqué ser igual que el valor del parámetro, βj, del modelo teórico. A veces incluso pueden tener signos diferentes! 3.
Correlación no es sinónimo de causalidad, y es prácticamente imposible distinguir entre un tipo de relación y el otro sólo en base a la información presente en los datos. Que una variable Xj esté en el modelo final no quiere decir que aquella variable cause Y.
18 ...