이제 통계학의 중요한 개념인 정규성에 대해서 이야기해보겠습니다. 선형 회귀 분석을 비롯해서 통계학의 여러 분석 방법은 자료의 분포가 정규 분포 (normal distribution)이거나 정규 분포에 근사한다고 보고 논리를 전개시킵니다. 이 부분은 통계 공부를 해보시면 여러 번 들었을 것으로 생각됩니다. 여기서는 그런 부분에 대해서 다시 설명하기 보다는 실제 R에서 적용을 해서 테스트 하는 것을 이야기해 보겠습니다. (어느 정도 기본적인 개념에 대해선 알고 있다고 보고 이야기를 진행합니다)
데이터는 앞서 본 다이아몬드를 다시 불러내 이 다이아몬드들의 크기 (캐럿)의 분포를 살펴보겠습니다. 당연히 작은 캐럿이 많고 큰 캐럿 다이아몬드는 드문 자료일 것입니다. 따라서 큰 모양은 종 모양으로 좌우대칭인 분포가 아니라 왼쪽으로 치우친 분포를 하고 있을 것입니다. 이미 앞에서 보긴 했지만, 여기서 다시 정리해서 분포를 보겠습니다. 히스토그램, 확률밀도곡선, 일반 분포도, 박스 플롯을 한 번에 출력해보겠습니다.
우선 다이아몬드 데이터셋을 불러 이중에 캐럿만 x라는 데이터셋에 넣어보겠습니다.
library("ggplot2")
x=diamonds$carat
다음에는 다음과 같은 방식으로 네 개의 그래프를 하나의 창에 표시합니다.
par(mfrow=c(2,2))
plot(x)
boxplot(x)
hist(x, breaks=50)
d=density(x)
plot(d)
par(mfrow=c(2,2))는 2x2 방식으로 그래프를 배치하라는 의미입니다.
예상대로 왼쪽으로 치우친 그래프이긴 한데 마치 톱니모양처럼 생긴 것을 알 수 있습니다. 이와 같은 분포는 잘 모르지만, 아무튼 우리가 보는 정규분포와 큰 차이가 있습니다. 이 경우 정규성 검정의 가장 흔한 방식인 shapiro wilk 테스트를 할 수 있을까요? R에서 테스트 방법은 간단해서 아무것도 설치하지 않고 기본 명령어로 shapiro.test()를 해주면 됩니다. 실제 해보면 아래와 같은 메세지가 뜨게 됩니다.
shapiro.test(x)
Error in shapiro.test(x) :
샘플의 크기는 반드시 3 부터 5000 이내에 있어야 합니다
이와 같은 메세지가 뜨는 이유는 샤피로 윌크 테스트는 사실 숫자가 커지면 할 필요가 없는 검사이기 때문입니다. R에서는 5000개 이상 샘플에 대해서도 정규성 검증을 할 수 있는 다른 방법들에 대해서 제시하고 있는데 대표적인 것은 다소 생소할 수 있는 테스트인 앤더슨 - 달링 테스트 입니다. 이를 위해서는 nortest 패키지를 설치해야 합니다. 패키지를 설치한 후 ad.test 명령어로 정규성을 검증합니다.
> nortest::ad.test(x)
Anderson-Darling normality test
data: x
A = 1529.1, p-value < 2.2e-16
앤더슨 달링 테스트는 관측치가 5만개가 넘어도 검증을 해줍니다. 여기서는 결과값은 P-value를 보는 것입니다. p-value < 2.2e-16 은 P 값이 10의 -16승보다 작다는 것으로 대단히 작은 값이라는 의미입니다. 이보다 작은 P값은 굳이 표시할 이유가 없어서 표시를 해주지 않습니다. 즉 이 값이 R에서 볼 수있는 가장 작은 값입니다. (관습적으로 유의성을 판정하는 기준은 0.05 입니다. 즉 20분의 1 확률입니다)
이 결과는 캐럿의 분포가 정규분포가 아니라는 점을 설명해줍니다. P값이 유의하다는 것은 이 분포가 정규분포와 차이가 있다는 점을 설명하는 것이기 때문입니다. 그러면 이제 어떻게 해야 할까요?
사실 아무것도 할 필요가 없습니다. 보통 자료의 갯수가 30이나 120일 넘는 경우 중심극한 정리 (Central limit theorem)을 적용해서 자료가 정규분포에 근사한다고 이야기합니다. 따라서 충분히 큰 자료의 경우 일일이 정규성 검증을 할 필요가 없이 정규분포에 가깝다고 보고 통계적 방법을 적용하게 됩니다. 다만 30개 이하인 경우 분포를 알기 위해 정규성 검정을 해야 하며 만약 정규 분포가 아니라면 모수적 방법 대신 비모수적 방법을 적용해야 합니다.
이 내용은 통계학 책을 보고 공부하는 것이 더 좋을 것입니다. 여기서는 실제로 그렇다는 것을 데이터로 보여주고자 합니다. 이제 캐럿 데이터에서 표본을 무작위 추출하는 경우를 생각해 봅시다. 100개 추출과 20개 추출의 경우 어떤 차이가 있을까요? sample()을 이용해서 확인해 봅니다.
> x2<-sample replace="FALSE)</span" x="">
> shapiro.test(x2)
Shapiro-Wilk normality test
data: x2
W = 0.90481, p-value = 0.0508
> x2<-sample replace="FALSE)</span" x="">
> shapiro.test(x2)
Shapiro-Wilk normality test
data: x2
W = 0.91825, p-value = 1.138e-05
흥미로운 사실은 20개 추출할 때는 P값이 0.05 이상이라는 점입니다. 그리고 100개 추출할 때도 전체 보다 P값이 줄어들었습니다. 즉 샘플의 숫자가 줄어들수록 정규성 검증의 P값이 줄어드는 현상이 발견됩니다. 그래서 무작위 추출을 해서 샘플 수를 줄이면 정규성 검증을 통과할 가능성이 커집니다. 물론 계속해서 해보면 통과 못하는 경우도 나옵니다. 위와 같이 해보시면 무작위 추출이라 매번 할 때 마다 값이 다르게 나옵니다. 그래도 샘플 수에 따라 P 값이 줄어드는 경향은 동일합니다. 아래는 다시 해본 결과입니다.
> x2<-sample replace="FALSE)</span" x="">
> shapiro.test(x2)
Shapiro-Wilk normality test
data: x2
W = 0.88173, p-value = 0.01901
> x2<-sample replace="FALSE)</span" x="">
> shapiro.test(x2)
Shapiro-Wilk normality test
data: x2
W = 0.90052, p-value = 1.496e-06
이 부분은 대개 통계책에서 설명하지 않는 내용입니다. 그런데 사실 그 이유는 간단합니다. 이런 정규성 테스트는 숫자가 커질 수록 정규 분포에서 벗어난 값이 늘어나게 되는 데 이것이 포함되면 정규 분포에서 벗어났다고 검증하기 때문입니다. 따라서 20개 고를 때 보다 100개 고를 때 P값이 낮아지면서 정규성 검증을 통과못할 가능성이 커집니다.
하지만 우리는 샘플 수가 커지면 중심극한 정리를 이용해서 모수적 방법을 적용할 수 있기 때문에 샘플 숫자가 커질수록 왜 정규성 테스트는 더 통과하기 어려운지 고민할 이유가 없습니다.
데이터가 충분히 (이 부분은 다소 논쟁이 있지만 적어도 30개 이상) 크다면 중심극한 정리를 적용할 수 있습니다. 따라서 샤피로 윌크 테스트는 매우 큰 숫자를 테스트할 이유가 없기 때문에 5000개 이상은 R에서도 지원을 하지 않습니다. 테스트의 방식을 고려할 때 이 정도 숫자는 대부분 P 값이 매우 낮게 나와 정규성이 없는 것으로 나오기 때문에 사실 의미가 없기도 합니다.
자료에 분포 및 자료 변환에 대해서는 나중에 다시 언급하게 될 것 같습니다. 사실 자료가 어떻게 분포하는 지 파악하고 이해하는 일은 자료를 분석하는 데 매우 중요해서 계속해서 언급하게 될 것 같습니다.
앞서 설명은 다소 기초적인 내용이었다면 이제는 다소 복잡한 내용로 들어왔다고 할 수 있습니다. 약간 고민이긴 하지만 통계학적인 내용 가운데 복잡한 내용에 대한 설명은 못해도 기초적인 개념에 대한 설명을 하면서 진행하는 것이 좋을 것 같습니다.
댓글
댓글 쓰기