사후 검정 - 본페로니 교정

 사후 검정에서 가장 널리 사용되는 방법은 역시 본페로니 교정 (Bonferroni correction)일 것입니다. 가장 이해하기 쉽고 통계적으로 논란의 여지가 적은 방법이기 때문입니다. 앞서 본 세 가지 사후 검정법은 미국에서 개발된 반면 본페로니는 이탈리아의 수학자인 카를로 에밀리오 본페로니(Carlo Emilio Bonferroni)에 의해 주장되었습니다. 

 본페로니 교정은 검정하는 가설의 숫자가 늘어나면 귀무가설이 기각될 확률이 증가하는 (즉 귀무가설이 옳은데도 기각하는) 제 1종 오류의 가능성을 보정하기 위해 통계적 유의확률을 0.05에서 훨씬 낮추는 방법입니다. 대략적으로 1/n로 낮춘다고 할 수 있는데, 그러면 가설 검정을 많이해서 통계적 유의성을 지닌 값이 지나치게 많이 나올 가능성을 쉽게 줄일 수 있습니다. 

 본페로니는 매우 많은 가설 검정을 하게 되는 분야. 예를 들어 유전체 분석 등에서 가장 기본으로 사용되는 검정법이라고 할 수 있습니다. 단점은 위음성 (false negative)의 가능성을 높일 수 있다는 것이지만, 여러 가지 다른 가정이 필요없이 적용이 가능해 가장 안전하게 사용할 수 있습니다. 

 R에서도 당연히 기본 방법 중 하나로 제시하는데, 통상적으로 pairwise.t.test 를 이용해서 본페로니 검정을 하게 됩니다. 앞서 예제와 함께 적용해 보겠습니다. 

#n=50

set.seed(1234)

A<-rnorm span="">

set.seed(123)

B<-rnorm span="">

set.seed(12345)

C<-rnorm span="">

DFA<-data .frame="" class="" height="" span="">

colnames(DFA)<-c height="" lass="" span="">

DFB<-data .frame="" class="" height="" span="">

colnames(DFB)<-c height="" lass="" span="">

DFC<-data .frame="" class="" height="" span="">

colnames(DFC)<-c height="" lass="" span="">

DF2<-rbind span="">

out=aov(height~Class, data=DF2)

summary(out)

#Bonferroni test

pairwise.t.test(DF2$height,DF2$Class,p.adjust.method = "bonferroni")

 여기서 주의할 점은 pairwise.t.test(x, g, p.adjust.method = "") 의 형식으로 사용해야 한다는 것입니다. x는 반응변수이고 g는 그룹 벡터나 요인입니다. 예를 들어 여기서는 A/B/C 세반의 키의 비교이기 때문에 키가 반응변수고 반이 그룹이라고 할 수 있습니다. 

 따라서 pairwise.t.test(DF2$height,DF2$Class,p.adjust.method = "bonferroni") 의 순서로 적어야지 반대로 pairwise.t.test(DF2$Class, DF2$height,p.adjust.method = "bonferroni")로 적으면 에러가 나게 됩니다. 어떤 에러가 나는지 직접 해봐도 좋겠지만, 여기서는 비교하고자 하는 그룹을 나중에 적는다 정도로 요약하면 될 것 같습니다. 결과를 보겠습니다. 

> #Bonferroni test

> 

> pairwise.t.test(DF2$height,DF2$Class,p.adjust.method = "bonferroni")

Pairwise comparisons using t tests with pooled SD 

data:  DF2$height and DF2$Class 

  A      B     

B 0.4259 -     

C 0.0001 0.0174

P value adjustment method: bonferroni 

 A-B 반은 차이가 없고 A-C 반, 그리고 B-C 반은 차이가 있는 것으로 나타났습니다. 참고로 pairwise.t.test는 본페로니 이외에 여러가지 보정 방법을 사용할 수 있게 도와줍니다. 다만 본페로니만큼 널리 사용되지는 않아 보통은 본페로니 교정을 하는 방법이라고 이해하면 될 것 같습니다. 교정 방법은 p.adjust.methods = 에 적으면 되며 ""를 하는 것을 잊으면 안됩니다. 

p.adjust.methods = ("holm", "hochberg", "hommel", "bonferroni", "BH", "BY",  "fdr", "none")

 각각의 방법에 대한 설명입니다. 

The adjustment methods include the Bonferroni correction ("bonferroni") in which the p-values are multiplied by the number of comparisons. Less conservative corrections are also included by Holm (1979) ("holm"), Hochberg (1988) ("hochberg"), Hommel (1988) ("hommel"), Benjamini & Hochberg (1995) ("BH" or its alias "fdr"), and Benjamini & Yekutieli (2001) ("BY"), respectively. A pass-through option ("none") is also included. The set of methods are contained in the p.adjust.methods vector for the benefit of methods that need to have the method as an option and pass it on to p.adjust.

The first four methods are designed to give strong control of the family-wise error rate. There seems no reason to use the unmodified Bonferroni correction because it is dominated by Holm's method, which is also valid under arbitrary assumptions.

Hochberg's and Hommel's methods are valid when the hypothesis tests are independent or when they are non-negatively associated (Sarkar, 1998; Sarkar and Chang, 1997). Hommel's method is more powerful than Hochberg's, but the difference is usually small and the Hochberg p-values are faster to compute.

The "BH" (aka "fdr") and "BY" method of Benjamini, Hochberg, and Yekutieli control the false discovery rate, the expected proportion of false discoveries amongst the rejected hypotheses. The false discovery rate is a less stringent condition than the family-wise error rate, so these methods are more powerful than the others.

Note that you can set n larger than length(p) which means the unobserved p-values are assumed to be greater than all the observed p for "bonferroni" and "holm" methods and equal to 1 for the other methods.

 다음에는 사후 검정에 대한 일반적인 이야기를 진행하고 다음 주제로 넘어가겠습니다.