이제 앞서 예제로 쓴 다이아몬드 데이터에서 carat의 이상치를 위에서 열거한 방법으로 찾아보겠습니다. 데이터 해석을 간단하게 하기 위해 일단 다이아몬드 캐럿과 가격과의 관계를 알아보되 일부 표본만 추출해서 진행해 보겠습니다. 표본을 50개 정도 추출해서 이상치에 해당하는 데이터를 알아보겠습니다. 그런데 X와 Y, 혹은 독립 변수와 종속 변수 (원인과 결과) 중 어느 것이 이상치에 해당할까요.
정답은 둘 다 가능합니다. 예를 들어 비만과 혈압의 관계를 알기 위해 BMI와 수축기/이완기 혈압의 관계를 알아 볼 때 BMI 150이나 수축기 혈압 300mmHg 모두 있을 수 없는 값이므로 이상치에 속합니다. 캐럿 역시 100캐럿 다이아몬드나 100만 달러 다이아몬드가 있을 수 있는 값이긴 하나 극히 예외적인 경우에 속하므로 이를 이상치로 판단해도 무방할 것입니다. 일단 한번 데이터를 보겠습니다.
set.seed(3311)
diamonds1<-sample 50="" diamonds="" nrow="" span="">
D1<-diamonds diamonds1="" span="">
D1
> D1
# A tibble: 50 x 10
carat cut color clarity depth table price x y z
1 0.600 Ideal F VS1 62.9 57.0 2142 5.35 5.31 3.35
2 0.550 Very Good E SI1 64.2 55.0 1417 5.18 5.20 3.33
3 1.01 Ideal D SI2 62.5 57.0 5206 6.39 6.35 3.98
4 0.330 Ideal G IF 60.9 57.0 946 4.45 4.48 2.72
5 0.910 Very Good E SI2 58.6 63.0 2963 6.38 6.32 3.72
6 0.910 Good G VVS2 64.1 58.0 4543 6.06 6.10 3.90
7 1.50 Good F VS2 63.6 55.0 13853 7.27 7.22 4.61
8 0.740 Ideal D VS2 61.8 56.0 3858 5.79 5.82 3.59
9 1.51 Premium H SI2 60.4 59.0 7864 7.30 7.27 4.40
10 0.450 Good E VS1 61.7 63.0 1241 4.88 4.91 3.02
# ... with 40 more rows
이 코드를 통해 제대로 추출이 되었는지 확인한 후 연관성을 확인하기 위해 기본 플롯을 그립니다.
plot(D1$carat, D1$price)
이 표에서는 가격과 캐럿 사이의 상관 관계가 확인됩니다. 당연한 이야기지만, 캐럿이 증가하면 다이아몬드 가격이 증가하는 것으로 보입니다. 그리고 대부분의 다이아몬드는 1.5 캐럿 이하 10000달러 이하라는 것도 알 수 있습니다. 이제 Z 값과 수정된 Z값을 알아보겠습니다. 이상치 판정 기준은 절대값 3으로 하겠습니다. 다만 그 전에 자료 분포를 보기 위해 박스 플롯을 그려 보겠습니다.
par(mfrow=c(1,2))
boxplot(D1$carat,col="yellow")
text(0.7,median(D1$carat,na.rm=T),"median")
text(0.7,quantile(D1$carat,na.rm=T)[2],"Q1")
text(0.7,quantile(D1$carat,na.rm=T)[4],"Q3")
text(0.7,fivenum(D1$carat,na.rm=T)[2]-1.5*IQR(diamonds$carat,na.rm=T),"(1)Q1-1.5*IQR")
text(0.7,fivenum(D1$carat,na.rm=T)[4]+1.5*IQR(diamonds$carat,na.rm=T),"(2)Q3+1.5*IQR")
boxplot(D1$price,col="yellow")
text(0.7,median(D1$price,na.rm=T),"median")
text(0.7,quantile(D1$price,na.rm=T)[2],"Q1")
text(0.7,quantile(D1$price,na.rm=T)[4],"Q3")
text(0.7,fivenum(D1$price,na.rm=T)[2]-1.5*IQR(diamonds$price,na.rm=T),"(1)Q1-1.5*IQR")
text(0.7,fivenum(D1$price,na.rm=T)[4]+1.5*IQR(diamonds$price,na.rm=T),"(2)Q3+1.5*IQR")
아무래도 캐럿보다는 가격쪽에 더 많은 이상치가 있어 보입니다. 이제 Z값과 수정된 Z값으로 이상치를 판별해 보겠습니다.
require(outliers)
Z<-scores carat="" span="" type="z">
which(Z %in% Z[Z>3|Z< -3])
Zm<-scores carat="" span="" type="mad">
which(Zm %in% Zm[Zm>3|Zm< -3])
> Z<-scores carat="" span="" type="z">
> which(Z %in% Z[Z>3|Z< -3])
[1] 21
>
> Zm<-scores carat="" span="" type="mad">
> which(Zm %in% Zm[Zm>3|Zm< -3])
[1] 21
두 가지 방법 모두 21번째 관측치가 이상치라고 하네요. 어떤 값인지 살펴보겠습니다.
> D1[21,]
# A tibble: 1 x 10
carat cut color clarity depth table price x y z
1 2.48 Very Good F SI2 63.4 56.0 18692 8.64 8.55 5.45
2.48 캐럿 다이아몬드로 컷팅도 좋고 가격도 18692달러나 됩니다. 당연히 비쌀만 하겠죠. 따라서 데이터 자체가 잘못된 것은 아닙니다. 앞서 포스팅에서 빌게이츠처럼 자료에는 문제가 없지만, 이 사람을 포함해서 소수의 사람에서 평균 소득을 구하는 일은 상당히 편향된 자료가 될 가능성이 큽니다. 그러면 이 수치를 제외시켜야 할까요. 판단을 위해 가격에서도 이상치를 구해보겠습니다.
> Z<-scores price="" span="" type="z">
> which(Z %in% Z[Z>3|Z< -3])
[1] 21
>
> Zm<-scores price="" span="" type="mad">
> which(Zm %in% Zm[Zm>3|Zm< -3])
[1] 7 14 18 21 24
수정된 Z 값에서 예상보다 많은 이상치가 나왔습니다. 어떤 값인지 확인해 보겠습니다.
> D2<-subset zm="">3|Zm< -3)
> D2
# A tibble: 5 x 10
carat cut color clarity depth table price x y z
1 1.50 Good F VS2 63.6 55.0 13853 7.27 7.22 4.61
2 1.28 Very Good G VVS1 60.3 59.0 11214 6.99 7.03 4.23
3 2.00 Premium H SI2 60.7 60.0 15312 8.07 8.11 4.91
4 2.48 Very Good F SI2 63.4 56.0 18692 8.64 8.55 5.45
5 2.05 Premium G SI1 61.6 59.0 15291 8.20 8.16 5.04
이제보니 1.5 캐럿 이상인 다이아몬드와 1만 달러 이상인 다이아몬드가 이상치로 잡혔습니다. 이는 수정된 Z 값이 평균보다 훨씬 낮은 중앙값을 이용하기 때문에 생기는 현상입니다. 그런데 이상치가 전체의 10%나 되서 과연 다 제거해야 하는지 의문이 생길 수 있습니다. 이를 모두 제거할 경우 사실상 데이터가 달라지는 것이나 마찬가지입니다. 판단을 위해 IQR을 이용한 이상치도 같이 구해 봅니다.
removeOutliers = function(x) {
qnt = quantile(x, probs=c(.25, .75))
iqt = 1.5 * IQR(x)
y = x
y[x < (qnt[1] - iqt)] = NA
y[x > (qnt[2] + iqt)] = NA
return(y)
}
D1$carat2<-removeoutliers carat="" span="">
sum(is.na(D1$carat2))
D3<-d1 carat2="" is.na="" span="">
D3
D1$price2<-removeoutliers price="" span="">
sum(is.na(D1$price2))
D3<-d1 is.na="" price2="" span="">
D3
여기서 결측치가 있는 값을 구하기 위해서 subset이 아니라 is.na 명령어를 사용했다는 점에 주목해야 합니다. 이는 유용한 팁 가운데 하나입니다. 아무튼 결과를 보겠습니다.
> D1$carat2<-removeoutliers carat="" span="">
> sum(is.na(D1$carat2))
[1] 1
> D3<-d1 carat2="" is.na="" span="">
> D3
# A tibble: 1 x 11
carat cut color clarity depth table price x y z carat2
1 2.48 Very Good F SI2 63.4 56.0 18692 8.64 8.55 5.45 NA
>
> D1$price2<-removeoutliers price="" span="">
> sum(is.na(D1$price2))
[1] 4
> D3<-d1 is.na="" price2="" span="">
> D3
# A tibble: 4 x 12
carat cut color clarity depth table price x y z carat2 price2
1 1.50 Good F VS2 63.6 55.0 13853 7.27 7.22 4.61 1.50 NA
2 2.00 Premium H SI2 60.7 60.0 15312 8.07 8.11 4.91 2.00 NA
3 2.48 Very Good F SI2 63.4 56.0 18692 8.64 8.55 5.45 NA NA
4 2.05 Premium G SI1 61.6 59.0 15291 8.20 8.16 5.04 2.05 NA
어떻게 보면 비슷한 결과입니다. 전체적으로 봤을 때 21번 관측치, 즉 2.48캐럿 다이아몬드는 전체 데이터와 거리가 있는 이상치로 보입니다. 과연 제거가 필요할까요. 이를 알기 위해서 분석이 필요합니다.
댓글
댓글 쓰기