잔차 분석은 선형 회귀 분석에서 가장 어려운 부분 가운데 하나입니다. 여기서는 상세한 통계학적 설명은 하지 않지만, 잔차 분석은 오차항의 등분산 가정, 독립성 가정, 정규성 가정을 추정하는 것으로 선형 회귀 분석이 올바른지 확인할 수 있는 중요한 과정입니다. 잔차 분석에 대한 이론적 기초는 통계 관련 공부를 통해서 어느 정도 알아야 아래 내용을 읽는 의미가 있을 것입니다.
이미 학교에서 수업을 들었다면 상관없지만 만약 그렇지 않다하더라도 최근에는 책도 잘 나와있고 유튜브 강좌도 찾아보면 꽤 있어 아마도 그렇게 공부하기가 어렵지 않을 것입니다. 단지 시간은 좀 걸리겠지만 말이죠. 아무튼 앞서 예제를 다시 이용해서 잔차를 구해보겠습니다.
R에서 잔차를 구하는 기본 명령어는 resid () 입니다. 하지만 통계학의 다른 분야에서도 그렇듯이 잔차 역시 표준화시켜 더 쉽게 비교하고 분석할 수 있습니다. 표준화잔차는 rstandard를 이용해서 구할 수 있습니다. 일반적으로 분석에서 사용되는 잔차는 표준화잔차이지만, 사실 이것도 두 가지로 구분할 수 있습니다. 내표준화잔차와 외표준화잔차가 그것으로 t 분포를 따르는 스튜던트화 잔차가 외표준화잔차입니다. rstudent를 이용해서 구할 수 있지만, 보통 잘 사용하지는 않는다고 보면 되겠습니다.
> resid(model)
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
-4.99523168 -5.41017316 0.59223001 1.43790043 5.91801097 7.17862820 1.07824279 -0.07281897 -2.89655990 6.40431170 6.48300547 4.89862513 -2.90113554 0.78259057 -0.18819380
16 17 18 19 20 21 22 23 24 25 26 27 28 29 30
0.72349344 -0.24052964 3.76472643 -9.48381750 -7.51090879 -0.01610210 -2.04868283 -1.36494583 2.53891342 7.43506988 4.40222275 -0.91758512 0.26194462 -0.88387647 -2.98201598
31 32 33 34 35 36 37 38 39 40 41 42 43 44 45
7.96162645 -1.68071249 -3.55918670 4.75756275 2.95477475 -6.81946007 -6.29919979 -1.41379266 -0.83797353 -0.13238184 -4.12124116 0.24750870 2.07943483 -6.53182107 1.92509002
46 47 48 49 50
1.35984666 0.75503846 -4.20291743 5.51540124 -3.94493560
> rstandard(model)
1 2 3 4 5 6 7 8 9 10 11 12 13 14
-1.200744111 -1.299874249 0.145939371 0.360618505 1.426603488 1.733826453 0.257270312 -0.017373316 -0.691101404 1.531670216 1.546562088 1.173236231 -0.693041927 0.187358702
15 16 17 18 19 20 21 22 23 24 25 26 27 28
-0.046134787 0.172862797 -0.057381990 0.900608722 -2.266857723 -2.027229762 -0.003858953 -0.488731703 -0.325614642 0.612488552 1.775036540 1.064273892 -0.222034166 0.062760282
29 30 31 32 33 34 35 36 37 38 39 40 41 42
-0.211392269 -0.713588699 1.963470257 -0.400944229 -0.849802873 1.134973047 0.718202607 -1.637968405 -1.566072670 -0.340857909 -0.199969362 -0.031580353 -1.034158736 0.059344006
43 44 45 46 47 48 49 50
0.497129263 -1.558811491 0.461037996 0.325549388 0.181151554 -1.011241702 1.315811384 -0.941106125
> rstudent(model)
1 2 3 4 5 6 7 8 9 10 11 12 13 14
-1.206427533 -1.309517618 0.144443217 0.357326670 1.442578686 1.772058259 0.254752010 -0.017191446 -0.687292521 1.554085269 1.569983474 1.177963627 -0.689241827 0.185464606
15 16 17 18 19 20 21 22 23 24 25 26 27 28
-0.045652699 0.171105934 -0.056783063 0.898804281 -2.373778753 -2.097816188 -0.003818544 -0.484821747 -0.322561413 0.608457234 1.817099283 1.065779279 -0.219822052 0.062105637
29 30 31 32 33 34 35 36 37 38 39 40 41 42
-0.209276114 -0.709891850 2.025972542 -0.397411786 -0.847302198 1.138468470 0.714531554 -1.668105784 -1.590849024 -0.337697565 -0.197957859 -0.031249985 -1.034924029 0.058724740
43 44 45 46 47 48 49 50
0.493194872 -1.583078697 0.457223714 0.322496628 0.179315933 -1.011485023 1.326170000 -0.939963671
R에서 그대로 표를 가져오면 잘 보이지 않을 수도 있는데, 각 관측값의 잔차와 이를 표준화한 잔차를 보여주고 있습니다.
(클릭하면 원본)
그런데 사실 이것만보면 이게 회귀모형이 적합한 것인지 아닌지 전혀 판단할 수 없습니다. 따라서 잔차 분석을 위해 기본적인 그림을 그려 파악하게 되는데, R에서는 편리하게도 plot에 회귀모형을 넣기만 해도 알아서 그려줍니다. 기본적으로 나오는 네 개의 그림을 동시에 파악하기 위해 한 화면에 네 개의 잔차도를 그려달라고 하는 것이 기본입니다.
par(mfrow=c(2,2))
plot(model)
그림이 작으면 클릭해서 키워 보시면 됩니다. 물론 R에서 그냥 그림 그려서 봐도 좋구요. 여기서는 하나씩 설명을 위해서 확대해 보겠습니다. 참고로 par(mfrow=c(1,1)) 를 이용해서 하나씩 잔차도를 볼 수 있습니다. 처음에 이런 그림이 나오면 당황활 수 있는데, 하다보면 눈에 들어올 것입니다.
첫 번째 그림은 잔차(residuals)와 모델에서 예측된 Y값(fitted value, Yhat)의 분포입니다. 우리가 최소제곱법에서 예측할 때 가능하면 잔차의 크기가 작을 뿐 아니라 분포가 한 곳에 몰리지 않고 일정해야 모델이 좋은 것이라고 할 수 있습니다. 따라서 관측값들이 가능하면 골고루 분포해야 하며 그 평균인 붉은 색 실선이 평행해야 하는데, 이 정도면 어느 정도 통과하는 것 같다고 평가할 수 있지만 완벽하지는 않습니다.
왜냐하면 모델의 예측에서 많이 벗어난 몇 개의 관측치 때문에 약간 모델이 불안정하다고 볼 수 있기 때문이죠. 이 그림에서는 19번, 20번, 31번 관측치가 많이 벗어난 것으로 보입니다. 특히 20번 때문에 붉은 실선이 중앙에서 크게 벗어나 보입니다. 이렇게 잔차도에서 다소 이상한 범위에 속하는 값은 R에서 자동으로 알아서 표시를 해줍니다.
두 번째는 normal Q-Q 플롯으로 흔히 Q-Q 플롯으로 불리는 것입니다. 이는 정규분포에 따르는 Quantile과 표본의 Quantile의 비교를 보여주는 것으로 가능한 직선으로 일치해야 모델이 적합한 것입니다. 다행히 이 그림에서는 19/20/31번 관측치도 직선상에 놓여 있습니다. X축은 이론적 Q이고 Y축이 표준화 잔차의 Q라서 QQ 플롯입니다.
세 번째는 표준화 잔차의 루트를 씌운 값과 회귀식에서 예측값(적합값)의 분포를 보여줍니다. 가능하면 값들이 한 곳에 몰리지 않고 골고루 분포할 뿐 아니라 잔차의 값이 작을수록 회귀 모형이 좋은 것입니다. 여기서 가장 큰 값이 19/20/31이라는 점은 다시 확인할 수 있습니다.
마지막 그림은 지렛값이라고 하는 레버리지 (Leverage) 값을 보여주는 그림입니다. 지렛값은 시소를 타고 있는 사람을 생각해 보면 이해가 쉽습니다. 만약 여러 사람이 탄 시소에서 중앙에서 가장 먼 거리에 누군가 앉게되면 같은 무게라도 시소 기울기에 큰 영향을 주게 됩니다. 지렛값은 이렇게 하나의 관측치인데 예측 모형에서 많이 벗어나 있어 전체 모형의 회귀계수에 큰 영향을 주는 값을 의미합니다. 여기에서는 20번 관측치가 가장 크게 벗어난 것으로 보입니다.
지렛값의 크기를 구하는 가장 중요한 방법으로 쿡의 거리 (Cook's distance)가 있습니다. 관측값들이 회귀 모형에 적합해서 큰 영향을 주지 않으면 쿡의 거리는 작은 반면 적합하지 않아서 많이 영향을 주면 쿡의 거리가 길어집니다. 여기서는 관측치 20이 가장 먼 거리에 있으며 0.5 이상으로 나옵니다. 쿡의 거리가 1 이상이면 매우 큰 것이고 0.5도 무시할 수 없는 수준입니다.
이 값을 찾아보면 349.0210이라고 나옵니다. 이 값을 직접 눈으로 보고 찾을 수도 있지만, 데이터가 커지면 찾기 힘들기 때문에 그냥 '데이터 이름[]' 으로 구하면 됩니다. 여기서는 y[20]이 되겠죠.
> y[20]
[1] 349.021
이 관측치를 제거해야 하는지를 고민하기에 앞서 영향력 관측치에 대해서 이야기 해보겠습니다.
댓글
댓글 쓰기