기본 콘텐츠로 건너뛰기

데이터의 정규성 검정 (normality test)


 이제 통계학의 중요한 개념인 정규성에 대해서 이야기해보겠습니다. 선형 회귀 분석을 비롯해서 통계학의 여러 분석 방법은 자료의 분포가 정규 분포 (normal distribution)이거나 정규 분포에 근사한다고 보고 논리를 전개시킵니다. 이 부분은 통계 공부를 해보시면 여러 번 들었을 것으로 생각됩니다. 여기서는 그런 부분에 대해서 다시 설명하기 보다는 실제 R에서 적용을 해서 테스트 하는 것을 이야기해 보겠습니다. (어느 정도 기본적인 개념에 대해선 알고 있다고 보고 이야기를 진행합니다) 


 데이터는 앞서 본 다이아몬드를 다시 불러내 이 다이아몬드들의 크기 (캐럿)의 분포를 살펴보겠습니다. 당연히 작은 캐럿이 많고 큰 캐럿 다이아몬드는 드문 자료일 것입니다. 따라서 큰 모양은 종 모양으로 좌우대칭인 분포가 아니라 왼쪽으로 치우친 분포를 하고 있을 것입니다. 이미 앞에서 보긴 했지만, 여기서 다시 정리해서 분포를 보겠습니다. 히스토그램, 확률밀도곡선, 일반 분포도, 박스 플롯을 한 번에 출력해보겠습니다. 


 우선 다이아몬드 데이터셋을 불러 이중에 캐럿만 x라는 데이터셋에 넣어보겠습니다. 


library("ggplot2")
x=diamonds$carat

 다음에는 다음과 같은 방식으로 네 개의 그래프를 하나의 창에 표시합니다. 

par(mfrow=c(2,2))
plot(x)
boxplot(x)
hist(x, breaks=50)
d=density(x)
plot(d)


 par(mfrow=c(2,2))는 2x2 방식으로 그래프를 배치하라는 의미입니다. 




 예상대로 왼쪽으로 치우친 그래프이긴 한데 마치 톱니모양처럼 생긴 것을 알 수 있습니다. 이와 같은 분포는 잘 모르지만, 아무튼 우리가 보는 정규분포와 큰 차이가 있습니다. 이 경우 정규성 검정의 가장 흔한 방식인 shapiro wilk  테스트를 할 수 있을까요? R에서 테스트 방법은 간단해서 아무것도 설치하지 않고 기본 명령어로 shapiro.test()를 해주면 됩니다. 실제 해보면 아래와 같은 메세지가 뜨게 됩니다. 


 shapiro.test(x)
Error in shapiro.test(x) : 
  샘플의 크기는 반드시 3 부터 5000 이내에 있어야 합니다


 이와 같은 메세지가 뜨는 이유는 샤피로 윌크 테스트는 사실 숫자가 커지면 할 필요가 없는 검사이기 때문입니다. R에서는 5000개 이상 샘플에 대해서도 정규성 검증을 할 수 있는 다른 방법들에 대해서 제시하고 있는데 대표적인 것은 다소 생소할 수 있는 테스트인 앤더슨 - 달링 테스트 입니다. 이를 위해서는 nortest 패키지를 설치해야 합니다. 패키지를 설치한 후 ad.test 명령어로 정규성을 검증합니다. 


> nortest::ad.test(x)

Anderson-Darling normality test

data:  x
A = 1529.1, p-value < 2.2e-16

 앤더슨 달링 테스트는 관측치가 5만개가 넘어도 검증을 해줍니다. 여기서는 결과값은 P-value를 보는 것입니다. p-value < 2.2e-16 은 P 값이 10의 -16승보다 작다는 것으로 대단히 작은 값이라는 의미입니다. 이보다 작은 P값은 굳이 표시할 이유가 없어서 표시를 해주지 않습니다. 즉 이 값이 R에서 볼 수있는 가장 작은 값입니다. (관습적으로 유의성을 판정하는 기준은 0.05 입니다. 즉 20분의 1 확률입니다) 


 이 결과는 캐럿의 분포가 정규분포가 아니라는 점을 설명해줍니다. P값이 유의하다는 것은 이 분포가 정규분포와 차이가 있다는 점을 설명하는 것이기 때문입니다. 그러면 이제 어떻게 해야 할까요? 


 사실 아무것도 할 필요가 없습니다. 보통 자료의 갯수가 30이나 120일 넘는 경우 중심극한 정리 (Central limit theorem)을 적용해서 자료가 정규분포에 근사한다고 이야기합니다. 따라서 충분히 큰 자료의 경우 일일이 정규성 검증을 할 필요가 없이 정규분포에 가깝다고 보고 통계적 방법을 적용하게 됩니다. 다만 30개 이하인 경우 분포를 알기 위해 정규성 검정을 해야 하며 만약 정규 분포가 아니라면 모수적 방법 대신 비모수적 방법을 적용해야 합니다. 


 이 내용은 통계학 책을 보고 공부하는 것이 더 좋을 것입니다. 여기서는 실제로 그렇다는 것을 데이터로 보여주고자 합니다. 이제 캐럿 데이터에서 표본을 무작위 추출하는 경우를 생각해 봅시다. 100개 추출과 20개 추출의 경우 어떤 차이가 있을까요? sample()을 이용해서 확인해 봅니다. 


> x2<-sample replace="FALSE)</span" x="">
> shapiro.test(x2)

Shapiro-Wilk normality test

data:  x2
W = 0.90481, p-value = 0.0508

> x2<-sample replace="FALSE)</span" x="">
> shapiro.test(x2)

Shapiro-Wilk normality test

data:  x2
W = 0.91825, p-value = 1.138e-05


 흥미로운 사실은 20개 추출할 때는 P값이 0.05 이상이라는 점입니다. 그리고 100개 추출할 때도 전체 보다 P값이 줄어들었습니다. 즉 샘플의 숫자가 줄어들수록 정규성 검증의 P값이 줄어드는 현상이 발견됩니다. 그래서 무작위 추출을 해서 샘플 수를 줄이면 정규성 검증을 통과할 가능성이 커집니다. 물론 계속해서 해보면 통과 못하는 경우도 나옵니다. 위와 같이 해보시면 무작위 추출이라 매번 할 때 마다 값이 다르게 나옵니다. 그래도 샘플 수에 따라 P 값이 줄어드는 경향은 동일합니다. 아래는 다시 해본 결과입니다. 


> x2<-sample replace="FALSE)</span" x="">
> shapiro.test(x2)

Shapiro-Wilk normality test

data:  x2
W = 0.88173, p-value = 0.01901

> x2<-sample replace="FALSE)</span" x="">
> shapiro.test(x2)

Shapiro-Wilk normality test

data:  x2
W = 0.90052, p-value = 1.496e-06


 이 부분은 대개 통계책에서 설명하지 않는 내용입니다. 그런데 사실 그 이유는 간단합니다. 이런 정규성 테스트는 숫자가 커질 수록 정규 분포에서 벗어난 값이 늘어나게 되는 데 이것이 포함되면 정규 분포에서 벗어났다고 검증하기 때문입니다. 따라서 20개 고를 때 보다 100개 고를 때 P값이 낮아지면서 정규성 검증을 통과못할 가능성이 커집니다. 


 하지만 우리는 샘플 수가 커지면 중심극한 정리를 이용해서 모수적 방법을 적용할 수 있기 때문에 샘플 숫자가 커질수록 왜 정규성 테스트는 더 통과하기 어려운지 고민할 이유가 없습니다. 


 데이터가 충분히 (이 부분은 다소 논쟁이 있지만 적어도 30개 이상) 크다면 중심극한 정리를 적용할 수 있습니다. 따라서 샤피로 윌크 테스트는 매우 큰 숫자를 테스트할 이유가 없기 때문에 5000개 이상은 R에서도 지원을 하지 않습니다. 테스트의 방식을 고려할 때 이 정도 숫자는 대부분 P 값이 매우 낮게 나와 정규성이 없는 것으로 나오기 때문에 사실 의미가 없기도 합니다.  


 자료에 분포 및 자료 변환에 대해서는 나중에 다시 언급하게 될 것 같습니다. 사실 자료가 어떻게 분포하는 지 파악하고 이해하는 일은 자료를 분석하는 데 매우 중요해서 계속해서 언급하게 될 것 같습니다. 


 앞서 설명은 다소 기초적인 내용이었다면 이제는 다소 복잡한 내용로 들어왔다고 할 수 있습니다. 약간 고민이긴 하지만 통계학적인 내용 가운데 복잡한 내용에 대한 설명은 못해도 기초적인 개념에 대한 설명을 하면서 진행하는 것이 좋을 것 같습니다. 



댓글

이 블로그의 인기 게시물

통계 공부는 어떻게 하는 것이 좋을까?

 사실 저도 통계 전문가가 아니기 때문에 이런 주제로 글을 쓰기가 다소 애매하지만, 그래도 누군가에게 도움이 될 수 있다고 생각해서 글을 올려봅니다. 통계학, 특히 수학적인 의미에서의 통계학을 공부하게 되는 계기는 사람마다 다르긴 하겠지만, 아마도 비교적 흔하고 난감한 경우는 논문을 써야 하는 경우일 것입니다. 오늘날의 학문적 연구는 집단간 혹은 방법간의 차이가 있다는 것을 객관적으로 보여줘야 하는데, 그려면 불가피하게 통계적인 방법을 쓸 수 밖에 없게 됩니다. 이런 이유로 분야와 주제에 따라서는 아닌 경우도 있겠지만, 상당수 논문에서는 통계학이 들어가게 됩니다.   문제는 데이터를 처리하고 분석하는 방법을 익히는 데도 상당한 시간과 노력이 필요하다는 점입니다. 물론 대부분의 학과에서 통계 수업이 들어가기는 하지만, 그것만으로는 충분하지 않은 경우가 많습니다. 대학 학부 과정에서는 대부분 논문 제출이 필요없거나 필요하다고 해도 그렇게 높은 수준을 요구하지 않지만, 대학원 이상 과정에서는 SCI/SCIE 급 논문이 필요하게 되어 처음 논문을 작성하는 입장에서는 상당히 부담되는 상황에 놓이게 됩니다.  그리고 이후 논문을 계속해서 쓰게 될 경우 통계 문제는 항상 나를 따라다니면서 괴롭히게 될 것입니다.  사정이 이렇다보니 간혹 통계 공부를 어떻게 하는 것이 좋겠냐는 질문이 들어옵니다. 사실 저는 통계 전문가라고 하기에는 실력은 모자라지만, 대신 앞서서 삽질을 한 경험이 있기 때문에 몇 가지 조언을 해줄 수 있을 것 같습니다.  1. 입문자를 위한 책을 추천해달라  사실 예습을 위해서 미리 공부하는 것은 추천하지 않습니다. 기본적인 통계는 학과별로 다르지 않더라도 주로 쓰는 분석방법은 분야별로 상당한 차이가 있을 수 있어 결국은 자신이 주로 하는 부분을 잘 해야 하기 때문입니다. 그러기 위해서는 학과 커리큘럼에 들어있는 통계 수업을 듣는 것이 더 유리합니다. 잘 쓰지도 않을 방법을 열심히 공부하는 것은 아무래도 효율

R 스튜디오 설치 및 업데이트

 R을 설치한 후 기본으로 제공되는 R 콘솔창에서 코드를 입력해 작업을 수행할 수도 있지만, 보통은 그렇게 하기 보다는 가장 널리 사용되는 R 개발환경인 R 스튜디오가 널리 사용됩니다. 오픈 소스 무료 버전의 R 스튜디오는 누구나 설치가 가능하며 편리한 작업 환경을 제공하기 때문에 R을 위한 IDE에서 가장 널리 사용되어 있습니다. 아래 링크에서 다운로드 받습니다.    https://www.rstudio.com/  다운로드 R 이나 혹은 Powerful IDE for R로 들어가 일반 사용자 버전을 받습니다. 오픈 소스 버전과 상업용 버전, 그리고 데스크탑 버전과 서버 버전이 있는데, 일반적으로는 오픈 소스 버전에 데스크탑 버전을 다운로드 받습니다. 상업 버전의 경우 데스크탑 버전의 경우 년간 995달러, 서버 버전은 9995달러를 받고 여러 가지 기술 지원 및 자문을 해주는 기능이 있습니다.   데스크탑 버전을 설치하는 과정은 매우 쉽기 때문에 별도의 설명이 필요하지 않을 것 같습니다. 인스톨은 윈도우, 맥, 리눅스 (우분투/페도라)에 따라 설치 파일이 나뉘지만 설치가 어렵지는 않을 것입니다. 한 가지 주의할 점이라면 R은 사전에 반드시 따로 설치해야 한다는 점입니다. R 스튜디오만 단독 설치하면 아무것도 할 수 없습니다. 뭐 당연한 이야기죠.   설치된 R 스튜디오는 자동으로 업데이틀 체크하지 않습니다. 따라서 업데이트를 위해서는 R 스튜디오에서 Help 로 들어가 업데이트를 확인해야 합니다.     만약 업데이트 할 내용이 없다면 최신 버전이라고 알려줄 것이고 업데이트가 있다면 업데이트를 진행할 수 있도록 도와주게 됩니다. R의 업데이트와 R 스튜디오의 업데이트는 모두 개별적이며 앞서 설명했듯이 R 업데이트는 사실 기존 버전과 병행해서 새로운 버전을 새롭게 설치하는 것입니다. R 스튜디오는 실제로 업데이트가 이뤄지기 때문에 구버전을 지워줄 필요는

R 패키지 설치 및 업데이트 오류 (1)

 R 패키지를 설치하거나 업데이트 하다보면 여러 가지 문제가 생기는 경우들이 있습니다. 이 경우 아예 R을 재설치하는 것도 방법이지만, 어떤 경우에는 이렇게해도 해결이 안되고 계속해서 사용자는 괴롭히는 경우도 있습니다. 이런 경우 중 하나를 소개합니다.  새로운 패키지를 설치, 혹은 업데이트 하는 과정에서 같이 설치하는 패키지 중 하나가 설치가 되지 않는다는 메세지가 계속 나왔는데, 사실은 백신 프로그램 때문이었던 경우입니다.   dplyr 패키지를 업데이트 하려고 했는데, 제대로 되지 않아 다시 설치를 진행했습니다. 그런데 일부 패키지가 제대로 설치되지 않는다는 메세지가 나왔습니다.  > install.packages("dplyr") Error in install.packages : Updating loaded packages > install.packages("dplyr") Installing package into ‘C:/Users/jjy05_000/Documents/R/win-library/3.4’ (as ‘lib’ is unspecified) also installing the dependencies ‘bindr’, ‘bindrcpp’, ‘Rcpp’, ‘rlang’, ‘plogr’ trying URL ' https://cran.rstudio.com/bin/windows/contrib/3.4/bindr_0.1.1.zip ' Content type 'application/zip' length 15285 bytes (14 KB) downloaded 14 KB trying URL ' https://cran.rstudio.com/bin/windows/contrib/3.4/bindrcpp_0.2.2.zip ' Content type 'application/zip' length 620344 b