앞서 영향력 관측치나 이상치에 대한 이야기를 했지만, 사실 한 가지 방법만으로 이상치(outlier)를 판단하는 것은 위험할수도 있습니다. 만약 데이터 입력의 오류로 발생하는 이상치라면 우리가 쉽게 판단할 수 있는 것과 아닌 것이 있습니다. 예를 들어 소수점을 잘못찍어 키를 180.0cm가 아니라 1800cm로 입력하는 오류입니다. 이는 있을 수 없는 값이기 때문에 우리는 쉽게 오류임을 알 수 있습니다. 이상치가 발견되면 항상 데이터를 다시 확인해야 하는 이유입니다.
하지만 공복 혈당이 144mg/dl인 경우는 어떨까요. 이 값이 실제 공복 혈당이라면 우리는 당뇨라고 진단 내릴 수 있을 것입니다. 그러나 실제로는 실험 대상자가 금식을 제대로 하지 않고 아침에 음료수를 먹은 결과일수도 있습니다. 그래도 우리는 이것이 가능한 값인지 아닌지 쉽게 알 수 있으며 검사 전 제대로 금식을 지켰는지 설문 조사를 통해서 오류를 잡아낼 수 있습니다.
문제는 정상 범위값이 잘 알려지지 않은 데이터나 정상 범위값이라도 그 범위가 매우 큰 경우 발생합니다. 이 경우 선형 회귀 모델은 물론이고 다른 통계적 모델에 넣어도 전체 결과를 크게 움직이는 지렛대로 작용해서 결과를 왜곡하게 됩니다.
예를 들어 고졸, 대학 중퇴, 대졸, 대학원졸 순으로 소득에 관한 연구를 진행하는 경우를 생각해 보겠습니다. 소득에 영향을 미치는 요인들을 조사하는 데 만약 빌 게이츠나 스티브 잡스가 끼어 있다면 어떻게 될까요. 어떤 통계 분석 방법을 써도 결과가 크게 왜곡될 가능성이 큽니다. 잘못하면 대학을 중간에 그만두는 것이 평생 기대 소득을 가장 크게 올릴 수 있는 방법이 될 수 있습니다.
이런 경우 이 관측치를 제거하는 것이 가장 좋은 방법이 될 수 있습니다. 데이터는 정확하지만, 이를 가지고 학력과 소득의 일반적인 상관 관계를 조사하는 것은 상당한 오류를 일으킬 수 있기 때문입니다. 하지만 관측치의 숫자가 많으면 이를 일일이 보고 제거하기는 어려울 수 있습니다. 또 여러 개의 변수가 있는 경우 해당 값 (예를 들어 소득)만 잘못되고 나머지는 정상적인 데이터가 있을 수 있습니다. 이 경우 소득값만 결측치 (NA)로 대체하는 것이 데이터를 살릴 수 있는 가장 이상적인 방법입니다.
이상치를 처리하는 패키지와 통계학적 방법은 매우 다양하지만, 여기서는 outliers 패키지를 이용해서 Z값 (Z-score) 이상값을 결측치로 대체하는 방법을 알아보겠습니다. Z값은 통계학에서 매우 기본이 되는 값이므로 굳이 설명이 필요 없겠지만, z=(x-μ)/σ로 구해지는 값입니다. 이를 통해 서로 단위나 크기가 다른 값을 모두 표준화시킬 수 있습니다. 따라서 표준점수, 표준값이라고도 합니다.
표준점수 0.0(=편차치 50) 이상은 전체의 50％이다.
표준점수 1.0(=편차치 60) 이상은 전체의 15.866％이다.
표준점수 2.0(=편차치 70) 이상은 전체의 2.275％이다.
표준점수 3.0(=편차치 80) 이상은 전체의 0.13499％이다.
표준점수 4.0(=편차치 90) 이상은 전체의 0.00315％이다.
표준점수 5.0(=편차치 100) 이상은 전체의 0.00002％이다. 라는 것은 대부분의 통계 서적에서 소개하고 있지만, 여기서 추가로 설명드립니다.
아무튼 Z값 3.0 이상은 전체 관측치의 0.13% 정도로 매우 드물기 때문에 이 정도 범위에서 벗어나는 값은 이상치라는 의심을 지닐 수 있습니다. 물론 더 엄격한 기준을 제시할 수 있는데, 미 국립표준 기술 연구소 (NIST, National Institute of Standards and Technology)의 경우 4.0을 제시하고 있으며 연구자에 따라서는 3.5를 사용할 수 있습니다.
이는 자료의 특성에 따라서 달라지는데, 아무래도 관측값의 숫자가 많아지면 하나 튀는 녀석이 미치는 영향 자체가 작아져 그렇게 적극적으로 제거할 필요가 줄어들게 됩니다. 따라서 표본이 커질수록 Z값도 따라서 키우는 것이 합리적입니다. 물론 관측치가 1만명이라도 빌 게이츠는 제거해야 하겠죠. 하지만 100만 달러 소득을 지닌 사람까지 굳이 제거할 이유는 줄어드는 것입니다.
아무튼 거두 절미하고 outliers 패키지를 설치한 후 다음의 코드를 실행합니다.
require(outliers)
set.seed(1234)
x<-rnorm span="">
plot(x)
x
정규분포를 따르더라도 확률적으로 Z값이 3을 넘을 수 있습니다. 다만 이 코드에서는 쉽게 확인할 수 없으므로 outliers 패키지를 이용해서 찾아보겠습니다. Z값을 나타내는 Z라는 새로운 데이터를 만듭니다. Z를 실행해보면 Z값들을 다 볼 수 있지만, 우리가 궁금한 것은 3을 넘는 값의 존재 유무입니다.
Z<-scores span="" type="z" x="">
plot(Z)
Z
플롯이 도움을 주긴 하지만, 더 쉽게 아는 방법은 which 함수를 사용하는 것입니다.
which(Z %in% Z[Z>3])
[1] 178
which의 문법을 눈여겨 보시기 바랍니다. 아무튼 178번 관측치가 이상치인 것 같습니다. replace를 사용해서 이를 NA로 변경합니다.
replace(x,Z>3,NA)->x
x[178]
x
확인하면 NA 값으로 변경된 것을 볼 수 있습니다. 이렇게 표준에서 크게 벗어난 값을 보다 논리적으로 해결할 수 있게 되었습니다. 물론 이렇게 제거한 후 회귀계수 및 P값에 얼마나 영향을 미치는지는 경우에 따라 다를 것입니다. 문제는 너무 많은 값을 제거하게 되는 경우입니다. 사실상 데이터가 본래 데이터와 완전 달라질 수 있기 때문입니다. 따라서 이상치 제거는 항상 신중해야 합니다. 계속해서 이상치에 대한 이야기를 해보겠습니다.
댓글
댓글 쓰기