기본 콘텐츠로 건너뛰기

R에서 결측값(NA)의 기본 성질



 결측값(NA)는 데이터 분서에서 매우 중요한 부분입니다. 여러 형태의 데이터를 수집하는 경우 100% 모든 값이 다 있는 경우보다는 그렇지 못한 경우가 더 많습니다. 예를 들어 설문 조사를 하는데 모든 항목에 다 응답을 하지 않는 경우가 생길 수 있습니다. 


 예를 들어 거주지나 소득, 교육 수준에 대한 질문 중 응답자가 꺼릴 만한 내용은 대답을 하지 않을 수 있습니다. 실험 데이터 역시 일부 값이 읽을 수 없게 나오거나 에러로 나와 측정을 못하는 경우가 생깁니다. 


 이와 같은 결측값을 제대로 다루는 것은 통계 분석에서 매우 중요한 문제입니다. 우선 결측값이 있는 간단한 데이터를 만들어보겠습니다. 결측치 입력은 NA로 하면 됩니다. 


x<-c span="">

 그런데 이 데이터에 결측치가 있는지는 어떻게 확인할까요?  is.na 함수는 결측치가 있으면 true 값을 반환합니다. 

> is.na(x)

[1] FALSE FALSE FALSE FALSE  TRUE FALSE FALSE

 참고로 값을 합치는 경우 결측치가 있으면 이 값도 같이 결측치가 됩니다. 이는 데이터 프레임을 이용한 계산에서 주로 영향을 받습니다. 예를 들어 키와 몸무게를 이용해서 체질량지수(BMI)를 구하는 경우를 생각해 보면 키와 몸무게 중 하나가 없을 때 BMI 값은 당연히 결측치가 될 것입니다. 

> NA+3
[1] NA
> NA*3

[1] NA

 위에서 보듯이 NA를 곱하가 더하거나 모두 결측값이 되는 것입니다. 앞서 설명한 논리를 적용하면 쉽게 이해가 되는 이야기입니다. 결측값은 통계 분석을 하거나 데이터를 처리하는데 많은 어려움을 만들 수 있습니다. 결측치가 있는 데이터의 평균을 구하려면 어떻게 해야 할까요? 

> mean(x)

[1] NA

 결측치가 있으면 평균도 NA값으로 반환됩니다. 결측치를 처리할 가장 간단한 방법은 물론 이걸 빼고 계산하는 것입니다. na.rm 함수로 지정합니다. 

> mean(x,na.rm=TRUE)
[1] 3.833333
> mean(x,na.rm=T)

[1] 3.833333

na.rm=TRUE를 입력하면 NA값을 제외하고 평균을 구하게 됩니다. TRUE 대신 T를 넣어도 같은 방식으로 처리합니다. 물론 제외하지 않으려면 FALSE나 F를 입력하면 되는데, 보통 그렇게 사용할 일은 많지 않을 것입니다. 


 한편 데이터 프레임에서 아예 결측치를 제거하는 방법도 있습니다. na.omit 혹은 na.exclude 함수를 사용합니다. 


> y=na.omit(x)
> y
[1] 1 2 3 4 6 7
attr(,"na.action")
[1] 5
attr(,"class")
[1] "omit"
> y=na.exclude(x)
> y
[1] 1 2 3 4 6 7
attr(,"na.action")
[1] 5
attr(,"class")

[1] "exclude"



 na.omit와 na.exclude는 사실 약간 사용법이 다르지만, 결측치를 제외한 데이터 프레임을 만들때는 동일하게 사용할 수 있습니다. 이 둘의 차이는 선형 회귀 분석을 다룰 때 다시 이야기할 기회가 있을 것 같네요. 

댓글

이 블로그의 인기 게시물

100 테슬라급 자기장 도달

 미국의 로스 알라모스 국립 연구소 (Los Alamos National Laboratory) 에서 과학자들이 지금까지 인간이 개발한 가장 강력한 자기장을 발생시키는 장치 개발에 도전하고 있습니다. 자기장의 세기를 나타내는 방법으로 자기력선의 밀도를 나타내기 위해 단위 면적당 자기력선의 수를 표시하는 단위인 테슬라 (T) 가 있습니다. (1T = 1Wb/㎡  웨버 (Wb) 는 자속의 단위)   의료용으로 사용되는 초전도체를 이용한 MRI 의 경우 1.5 - 3 테슬라급의 강력한 자기장으로 인체 내부를 볼 수 있게 만들지만 과학 연구용으로 이보다 더 강력한 자기장이 필요할 수 있습니다. 최근에 등장한 90 테슬라급 자기장에 이어 이번에 로스 알라모스 국립 연구소에서는 100 테슬라급인 100.75 T 를 실현 했다고 합니다.   이를 구현한 것은 18000 파운드 (8.16 톤 정도) 의 코일과 여기에 에너지를 공급할 1200 메가줄 (Megajoule) 급 모터 제네레이터등의 설비입니다.  (   The 1,200-megajoule motor generator that powers the magnetic pulse.  )  이와 같은 연구를 통해 알아내고자 하는 것은  Quantum Phase transitions and new ultra high field magnetic states Electronic Structure determination Topologically protected states of matter  로 요약할 수 있다고 합니다.   아무튼 수 T 급 MRI 만 해도 자기장의 힘이 엄청난데 100 T 라니 엄청난 자기장이네요. 이는 지구 자기장 세기보다 200만배 강력한 (물론 좁은 범위에서 작용하는 자기장이라 지구 전체...

고대 양서류 이야기 (2) - 악어를 닮은 거대 양서류들

  페름기에는 다양한 양막류가 진화해서 앞서 소개한 육상형 템노스폰딜리는 점차 설 자리를 잃게 됩니다. 하지만 양서류는 본래 자신의 서식지인 물과 습지에서 여전히 번성을 누렸습니다. 당시에는 악어류 같은 대형 양서형 파충류도 없던 시절이었기 때문에 이와 비슷한 생태학적 지위는 여전히 양서류의 몫이었습니다. 이들에 대한 이야기는 제 책인 포식자에서 비교적 간단히 다뤘는데, 오늘은 여기에 대한 보충 설명입니다.  책 정보:  http://book.naver.com/bookdb/book_detail.nhn?bid=13347200 Yes 24:  http://www.yes24.com/24/goods/58772859 11번가:  http://books.11st.co.kr/product/SellerProductDetail.tmall?method=getSellerProductDetail&prdNo=1977867160 알라딘:  http://www.aladin.co.kr/shop/wproduct.aspx?ItemId=134877825 교보문고:  http://www.kyobobook.co.kr/product/detailViewKor.laf?ejkGb=KOR&mallGb=KOR&barcode=9788970447988&orderClick=LAG&Kc= 인터파크 :  http://book.interpark.com/product/BookDisplay.do?_method=detail&sc.prdNo=279593764&sc.saNo=003002003&bid1=search_auto&bid2=detail&bid3=prd_img&bid4=001 영풍문고:  http://www.ypbooks.co.kr/book.yp?bookcd=100843205&gubun=NV ...

이빨이 다시 진화한 개구리

  ( CT scans of Gastrotheca guentheri skulls revealed what appeared to be identical rows of teeth on both the upper and lower jaws, which researchers later confirmed through dissection. Credit: Florida Museum/Daniel Paluh )  개구리는 2억년 전 진화 과정에서 이빨을 잃어버리고 큰 턱과 혀를 이용해 곤충 같은 작은 먹이를 잡아 먹는 방향으로 진화했습니다. 파충류나 포유류 같은 다른 사지류와의 경쟁에서 밀려 양서류가 쇠퇴하고 멸종하던 시기에도 개구리는 여전히 생존할 수 있었던 비결입니다.   이빨이 없는 덕분에 큰 혀를 발사하기 편해졌을지는 모르지만, 이빨이 없으면 종종 불편할 때가 있습니다. 씹는 대신 삼키기 때문에 음식을 씹을 수 없다는 점은 문제되지 않지만, 필사적으로 달아나려는 먹이를 잡기 힘들기 때문입니다. 이런 이유 때문에 일부 개구리는 이빨 같이 보이는 엄니 (fang)을 지니고 있으나 이는 사라진 이빨이 다시 난 것이 아니라 다른 부분이 진화한 것입니다.   이는 돌로의 법칙 ( Dollo's Law )으로 알려져 있습니다. 진화 과정에서 퇴화한 부분이 다시 생겨나지 않으며 대신 필요하면 다른 부분이 진화해 그 역할을 대신한다는 것입니다. 예를 들어 아가미가 사라진 사지 동물은 다시 물에 들어온다고 해도 아가미가 다시 생기진 않습니다. 대신 고래처럼 폐가 커져서 그 기능을 대신하게 됩니다.   하지만 모든 법칙엔 예외가 있기 마련입니다. 남미에서 발견된 멸종 위기 개구리 중 하나인 구엔터 유대류 개구리 ( Gastrotheca guentheri, Guenther's marsupial frog, dentate marsupial frog)는 완전한 형태의 이빨을 지니고 있습니다. 참고로 유대류 개구리라는 명칭은...