기본 콘텐츠로 건너뛰기

이상치의 처리 (2)


 앞서 Z>3인 경우를 이상치로 보고 NA 값으로 대체하는 예제를 이야기했습니다. 표준값을 이용하는 방법은 가장 일반적이고 간단한 접근이긴 하지만, 문제점도 있습니다. 대표적인 것은 관측값/표본의 숫자가 적은데 이상치가 매우 정상에서 벗어난 경우입니다. 예를 들어 20명의 소득을 조사했는데, 그 가운데 빌게이츠가 끼어 있는 경우입니다. 이 경우 소득의 평균값이 수백만 달러로 올라가 5만 달러, 10만 달러 연봉을 받는 사람까지 이상치가 될 수 있습니다. 


 이렇게 평균을 내면 본래 이상치가 아닌 것도 이상치로 만들 수 있는데, 이를 회피하는 가장 좋은 방법은 평균 대신 중앙값(median)을 이용하는 것입니다. 집단에서 중간 위치에 있는 값을 기준으로 잡으면 평균의 함정에서 벗어날 수 있습니다. 이 역시 outliers 패키지에서 지원합니다. 


require(outliers)

set.seed(1234)
x<-rnorm span="">


 여러 개의 이상치를 다루기 위해 3000개의 관측치를 지닌 예제를 실행해 보겠습니다. 그리고 Zm이라는 새로운 값에 type="mad"를 지정합니다. 그 다음 역시 which를 써서 3 이상인 값을 알아봅니다. 참고로 median인데 mad 인 이유는 중앙값 절대 편차 median absolute deviation (MAD)라는 단어의 약자이기 때문입니다. 이를 수정된 Z값 (modified Z score)라고 하며 구하는 방식에 대해서는 링크를 참조하시면 됩니다. 




Zm<-scores span="" type="mad" x="">
which(Zm %in% Zm[Zm>3|Zm< -3])


> Zm<-scores span="" type="mad" x="">
> which(Zm %in% Zm[Zm>3|Zm< -3])
[1]  178  237  392  486 1660 1815 2111 2414


 그리고 이전 시간에 설명을 잘못했는데, 표준값의 절대값이 3 이상인 경우이므로 3이상만이 아니라 -3 이하 값도 필요합니다. Zm< -3을 넣어야 하는데 실수했네요. 중요한 점은 <-3 -3="" span="">


 아무튼 이번엔 이상치의 갯수가 8개로 늘었습니다. 수정된 Z 값에서는 더 많은 이상치가 나왔는데, 각각의 값을 보기 위해 이번에는 데이터 프레임의 형태로 바꿔보겠습니다. x값을 이용해 DF라는 데이터 프레임을 만들고 다시 수정된 Z값(Zm 변수)로 넣어보겠습니다. 


DF<-as .data.frame="" span="" x="">
DF$Zm<-scores span="" type="mad" x="">

head(DF)

          x         Zm
1  96.37880 -1.2328145
2 100.83229  0.2683791
3 103.25332  1.0844689
4  92.96291 -2.3842547
5 101.28737  0.4217810
6 101.51817  0.4995776


 이제 subset 을 이용해 표준값의 절대값이 3이상인 값을 구해보겠습니다. 


DF1=subset(DF,Zm>3|Zm< -3)
DF1

> DF1=subset(DF,Zm>3|Zm< -3)
> DF1
             x        Zm
178  109.13130  3.065834
237   90.30054 -3.281692
392   89.81181 -3.446436
486  109.58770  3.219680
1660  90.63523 -3.168874
1815 109.50381  3.191402
2111  90.71603 -3.141637
2414 109.06743  3.044304


 각각의 값을 확인할 수 있었습니다. 이를 모두 NA 값으로 바꿔보겠습니다. 

replace(x,Zm>3,NA)->x


 이후 각각의 값이 정상적으로 바뀌었는지 확인할 수도 있지만, 일괄적으로 확인하기 위해 데이터 프레임으로 확인하겠습니다. 

replace(DF$x,DF$Zm>3|DF$Zm< -3,NA)->DF$x
DF1=subset(DF,Zm>3|Zm< -3)
DF1


> DF1
      x        Zm
178  NA  3.065834
237  NA -3.281692
392  NA -3.446436
486  NA  3.219680
1660 NA -3.168874
1815 NA  3.191402
2111 NA -3.141637
2414 NA  3.044304


 데이터 프레임에서 값이 모두 NA로 변경된 것을 볼 수 있습니다. 이 코드 그대로 사용하되 Type만 Z로 바꿔주면 Z 값에서 그대로 사용이 가능합니다. 비교해보면 비슷한 결과가 나오는 것을 알 수 있는데, 표준 정규분포를 따르는 예제이기 때문입니다. 물론 이런 경우는 거의 없을 것이기 때문에 실제로 그렇지 않은 예제를 진행해 보겠습니다. 




라벨:

댓글

댓글 쓰기

이 블로그의 인기 게시물

100 테슬라급 자기장 도달

 미국의 로스 알라모스 국립 연구소 (Los Alamos National Laboratory) 에서 과학자들이 지금까지 인간이 개발한 가장 강력한 자기장을 발생시키는 장치 개발에 도전하고 있습니다. 자기장의 세기를 나타내는 방법으로 자기력선의 밀도를 나타내기 위해 단위 면적당 자기력선의 수를 표시하는 단위인 테슬라 (T) 가 있습니다. (1T = 1Wb/㎡  웨버 (Wb) 는 자속의 단위)   의료용으로 사용되는 초전도체를 이용한 MRI 의 경우 1.5 - 3 테슬라급의 강력한 자기장으로 인체 내부를 볼 수 있게 만들지만 과학 연구용으로 이보다 더 강력한 자기장이 필요할 수 있습니다. 최근에 등장한 90 테슬라급 자기장에 이어 이번에 로스 알라모스 국립 연구소에서는 100 테슬라급인 100.75 T 를 실현 했다고 합니다.   이를 구현한 것은 18000 파운드 (8.16 톤 정도) 의 코일과 여기에 에너지를 공급할 1200 메가줄 (Megajoule) 급 모터 제네레이터등의 설비입니다.  (   The 1,200-megajoule motor generator that powers the magnetic pulse.  )  이와 같은 연구를 통해 알아내고자 하는 것은  Quantum Phase transitions and new ultra high field magnetic states Electronic Structure determination Topologically protected states of matter  로 요약할 수 있다고 합니다.   아무튼 수 T 급 MRI 만 해도 자기장의 힘이 엄청난데 100 T 라니 엄청난 자기장이네요. 이는 지구 자기장 세기보다 200만배 강력한 (물론 좁은 범위에서 작용하는 자기장이라 지구 전체...
댓글 쓰기
자세한 내용 보기

고대 양서류 이야기 (2) - 악어를 닮은 거대 양서류들

  페름기에는 다양한 양막류가 진화해서 앞서 소개한 육상형 템노스폰딜리는 점차 설 자리를 잃게 됩니다. 하지만 양서류는 본래 자신의 서식지인 물과 습지에서 여전히 번성을 누렸습니다. 당시에는 악어류 같은 대형 양서형 파충류도 없던 시절이었기 때문에 이와 비슷한 생태학적 지위는 여전히 양서류의 몫이었습니다. 이들에 대한 이야기는 제 책인 포식자에서 비교적 간단히 다뤘는데, 오늘은 여기에 대한 보충 설명입니다.  책 정보:  http://book.naver.com/bookdb/book_detail.nhn?bid=13347200 Yes 24:  http://www.yes24.com/24/goods/58772859 11번가:  http://books.11st.co.kr/product/SellerProductDetail.tmall?method=getSellerProductDetail&prdNo=1977867160 알라딘:  http://www.aladin.co.kr/shop/wproduct.aspx?ItemId=134877825 교보문고:  http://www.kyobobook.co.kr/product/detailViewKor.laf?ejkGb=KOR&mallGb=KOR&barcode=9788970447988&orderClick=LAG&Kc= 인터파크 :  http://book.interpark.com/product/BookDisplay.do?_method=detail&sc.prdNo=279593764&sc.saNo=003002003&bid1=search_auto&bid2=detail&bid3=prd_img&bid4=001 영풍문고:  http://www.ypbooks.co.kr/book.yp?bookcd=100843205&gubun=NV ...
댓글 쓰기
자세한 내용 보기

이빨이 다시 진화한 개구리

  ( CT scans of Gastrotheca guentheri skulls revealed what appeared to be identical rows of teeth on both the upper and lower jaws, which researchers later confirmed through dissection. Credit: Florida Museum/Daniel Paluh )  개구리는 2억년 전 진화 과정에서 이빨을 잃어버리고 큰 턱과 혀를 이용해 곤충 같은 작은 먹이를 잡아 먹는 방향으로 진화했습니다. 파충류나 포유류 같은 다른 사지류와의 경쟁에서 밀려 양서류가 쇠퇴하고 멸종하던 시기에도 개구리는 여전히 생존할 수 있었던 비결입니다.   이빨이 없는 덕분에 큰 혀를 발사하기 편해졌을지는 모르지만, 이빨이 없으면 종종 불편할 때가 있습니다. 씹는 대신 삼키기 때문에 음식을 씹을 수 없다는 점은 문제되지 않지만, 필사적으로 달아나려는 먹이를 잡기 힘들기 때문입니다. 이런 이유 때문에 일부 개구리는 이빨 같이 보이는 엄니 (fang)을 지니고 있으나 이는 사라진 이빨이 다시 난 것이 아니라 다른 부분이 진화한 것입니다.   이는 돌로의 법칙 ( Dollo's Law )으로 알려져 있습니다. 진화 과정에서 퇴화한 부분이 다시 생겨나지 않으며 대신 필요하면 다른 부분이 진화해 그 역할을 대신한다는 것입니다. 예를 들어 아가미가 사라진 사지 동물은 다시 물에 들어온다고 해도 아가미가 다시 생기진 않습니다. 대신 고래처럼 폐가 커져서 그 기능을 대신하게 됩니다.   하지만 모든 법칙엔 예외가 있기 마련입니다. 남미에서 발견된 멸종 위기 개구리 중 하나인 구엔터 유대류 개구리 ( Gastrotheca guentheri, Guenther's marsupial frog, dentate marsupial frog)는 완전한 형태의 이빨을 지니고 있습니다. 참고로 유대류 개구리라는 명칭은...
댓글 쓰기
자세한 내용 보기