표본수에 따른 P 값의 변화

 통계 검정이나 분석 방법은 표본수에 따라서 큰 영향을 받게 됩니다. 이를 보정하기 위한 여러 가지 통계적인 방법들이 개발되긴 했지만, 그래도 역시 표본수에 따른 차이가 매우 커서 이를 잘 이해하는 것이 중요합니다. 통계학적으로 유의성을 판정하는 기준이 되는 P 값 (P value) 역시 마찬가지입니다. P 값에 대해서는 많은 오해가 있으며 사실 저 역시 완전히 이해하지 못하는 부분이 있지만, 이를 정확하게 이해하는 일은 타인의 연구 결과는 물론 본인의 연구 결과를 이해하는데 매우 중요합니다. 

 이를 위해서 '직관으로 이해하는 의학 통계학' 같은 책을 권장합니다. 최대한 수학적 설명을 배제하고 P 값이나 95% 신뢰구간처럼 연구자가 흔히 사용하지만 오해하기 쉬운 부분을 잘 이해할 수 있습니다. 

 아무튼 샘플수에 따른 P값의 변화는 t검정이나 카이 제곱 검정에도 쉽게 볼 수 있습니다. 이를 R에서 테스트해보겠습니다. 일단 앞의 예제를 조금 바꿔서 샘플수를 10배씩 늘려보겠습니다. 각각 표본수가 15, 150, 1500개일때 차이를 t 검정을 통해서 알아보겠습니다. 

> set.seed(1234)

> A<-rnorm span="">

> set.seed(1234)

> B<-rnorm span="">

> 

> t.test(A,B)

Welch Two Sample t-test

data:  A and B

t = 1.2119, df = 28, p-value = 0.2357

alternative hypothesis: true difference in means is not equal to 0

95 percent confidence interval:

 -1.38035  5.38035

sample estimates:

mean of x mean of y 

 168.3135  166.3135 

> set.seed(1234)

> A<-rnorm span="">

> set.seed(1234)

> B<-rnorm span="">

> 

> t.test(A,B)

Welch Two Sample t-test

data:  A and B

t = 3.6087, df = 298, p-value = 0.0003608

alternative hypothesis: true difference in means is not equal to 0

95 percent confidence interval:

 0.9093365 3.0906635

sample estimates:

mean of x mean of y 

 169.5108  167.5108 

> set.seed(1234)

> A<-rnorm span="">

> set.seed(1234)

> B<-rnorm span="">

> 

> t.test(A,B)

Welch Two Sample t-test

data:  A and B

t = 11.202, df = 2998, p-value < 2.2e-16

alternative hypothesis: true difference in means is not equal to 0

95 percent confidence interval:

 1.649925 2.350075

sample estimates:

mean of x mean of y 

 169.9641  167.9641 

 잘 눈에 띄지 않기 때문에 P 값만 붉은색으로 표시했습니다. 차이가 매우 심하게 나는 것을 볼 수 있습니다. 키가 170cm인 그룹과 168cm인 그룹이 통계적으로 차이가 있는지 보기 위해 15명씩 비교할 때는 차이가 없다는 결론이 나왔지만, 150명, 1500명에서는 통계적으로 유의한 차이가 나왔습니다. 특히 1500명씩 비교할 때는 P값이 너무 작아 p-value < 2.2e-16로 표시하고 있습니다. 

 우리의 직관과는 다르지만, 통계적 검정 방법은 바로 이렇게 표본수에 큰 영향을 받습니다. 따라서 결과를 해석할 때는 항상 표본의 숫자에 주의할 필요가 있습니다. 

 카이 제곱 검정도 마찬가지입니다. 

> x<-matrix c="" nrow="2)</span">

> chisq.test(x, correct=F)

Pearson's Chi-squared test

data:  x

X-squared = 1.5238, df = 1, p-value = 0.217

> x<-matrix c="" nrow="2)</span">

> chisq.test(x, correct=F)

Pearson's Chi-squared test

data:  x

X-squared = 15.238, df = 1, p-value = 9.477e-05

> 

 샘플수를 10배로 늘리자 통계적 유의성이 정반대의 결과가 나왔음을 알 수 있습니다. 따라서 카이제곱 검정이나 t 검정에서 유의한 결과를 얻기 위해서는 단지 표본의 수를 늘리기만 하면 됩니다. 하지만 이것이 검증이 잘못되었다는 의미보다는 우리가 해석에 주의해야 함을 보여줍니다. 여기에서는 표본수가 많으면 그룹간의 작은 차이도 검증할 수 있다는 이야기로 해석해야 합니다. 그리고 이는 차이를 검증하기 위한 최소한의 표본수를 계산하는 문제와도 연관성이 있습니다. 

 앞으로 표본수에 대한 이야기는 계속해서 하게 될 것입니다.