기본 콘텐츠로 건너뛰기

데이터 가공 및 분석 - dplyr 패키지 (2)




 계속해서 dplyr 패키지를 이용한 데이터 가공에 대해서 이야기해 보겠습니다. subset과 다른 dplyr의 추가 기능 중 하나는 변수를 가공해서 새로운 변수를 만들 수 있다는 것입니다. 예를 들어 몸무게와 키를 이용해 체질량 지수 (BMI)를 계산하거나 혹은 달러 표시와 원화 표시를 동시에 할 수 있습니다. mutate 기능을 사용한 것으로 여기서는 1달러당 1100원으로 원화를 표시해 보겠습니다. mutate(price_kr=price*1100)%>%의 문법으로 앞에서 봤던 사용법과 크게 다르지 않습니다. 


D1%>%
  filter(cut=="Ideal")%>%  #Ideal 추출 
  select(carat,cut,color,clarity,price)%>% # 캐럿, 컷, 칼러, 채도, 가격 추출
  mutate(price_kr=price*1100)%>% #원화표시 가격
  arrange(carat) #오름차순 정렬

> D1%>%
+   filter(cut=="Ideal")%>%  #Ideal 추출 
+   select(carat,cut,color,clarity,price)%>% # 캐럿, 컷, 칼러, 채도, 가격 추출
+   mutate(price_kr=price*1100)%>% #원화표시 가격
+   arrange(carat) #오름차순 정렬
# A tibble: 18 x 6
   carat cut   color clarity price price_kr
          
 1  0.3  Ideal F     VS1       570   627000
 2  0.31 Ideal H     IF        772   849200
 3  0.31 Ideal D     VS2       942  1036200
 4  0.32 Ideal E     VVS1     1020  1122000
 5  0.33 Ideal G     IF        946  1040600
 6  0.33 Ideal H     VVS1      713   784300
 7  0.41 Ideal J     VS1       648   712800
 8  0.44 Ideal G     SI1       772   849200
 9  0.54 Ideal D     VS2      1993  2192300
10  0.6  Ideal F     VS1      2142  2356200
11  0.62 Ideal H     VS1      1808  1988800
12  0.7  Ideal F     SI1      2573  2830300
13  0.74 Ideal D     VS2      3858  4243800
14  1.01 Ideal D     SI2      5206  5726600
15  1.09 Ideal G     VVS2     8970  9867000
16  1.09 Ideal J     SI2      5034  5537400
17  1.11 Ideal F     VS2      9057  9962700
18  1.2  Ideal I     VS2      5699  6268900


 단순 계산 뿐 아니라 범주형 자료로 만들 수 있습니다. ifelse를 사용해 100만원을 기준으로 high와 low 그룹으로 나눠보겠습니다. mutate(price_group=ifelse(price_kr>1000000,"high","low"))%>%를 추가하면 됩니다. 

D1%>%
  filter(cut=="Ideal")%>%  #Ideal 추출 
  select(carat,cut,color,clarity,price)%>% # 캐럿, 컷, 칼러, 채도, 가격 추출
  mutate(price_kr=price*1100)%>% #원화표시 가격
  mutate(price_group=ifelse(price_kr>1000000,"high","low"))%>% #가격분류
  arrange(carat) #오름차순 정렬

> D1%>%
+   filter(cut=="Ideal")%>%  #Ideal 추출 
+   select(carat,cut,color,clarity,price)%>% # 캐럿, 컷, 칼러, 채도, 가격 추출
+   mutate(price_kr=price*1100)%>% #원화표시 가격
+   mutate(price_group=ifelse(price_kr>1000000,"high","low"))%>% #가격분류
+   arrange(carat) #오름차순 정렬
# A tibble: 18 x 7
   carat cut   color clarity price price_kr price_group
                 
 1  0.3  Ideal F     VS1       570   627000 low        
 2  0.31 Ideal H     IF        772   849200 low        
 3  0.31 Ideal D     VS2       942  1036200 high       
 4  0.32 Ideal E     VVS1     1020  1122000 high       
 5  0.33 Ideal G     IF        946  1040600 high       
 6  0.33 Ideal H     VVS1      713   784300 low        
 7  0.41 Ideal J     VS1       648   712800 low        
 8  0.44 Ideal G     SI1       772   849200 low        
 9  0.54 Ideal D     VS2      1993  2192300 high       
10  0.6  Ideal F     VS1      2142  2356200 high       
11  0.62 Ideal H     VS1      1808  1988800 high       
12  0.7  Ideal F     SI1      2573  2830300 high       
13  0.74 Ideal D     VS2      3858  4243800 high       
14  1.01 Ideal D     SI2      5206  5726600 high       
15  1.09 Ideal G     VVS2     8970  9867000 high       
16  1.09 Ideal J     SI2      5034  5537400 high       
17  1.11 Ideal F     VS2      9057  9962700 high       
18  1.2  Ideal I     VS2      5699  6268900 high       


 dplyr를 통해 데이터를 쉽게 추출하고 가공할 수 있다는 점은 큰 매력이라고 하겠습니다. 물론 이렇게 가공한 내용은 데이터프레임 이름<- csv="" nbsp="" span="">


 또 다른 중요한 기능은 그룹별 통계를 내서 새로운 데이터 프레임으로 만들 수 있는 기능입니다. group_by()와 summarise()를 통해 그룹별로 분류하고 평균이나 표준 편차 등 중요한 기본 통계량을 계산할 수 있습니다. 여기서는 cut 그룹별로 분류하고 가격을 알아보겠습니다. 


D1%>%
  select(carat,cut,color,clarity,price)%>% # 캐럿, 컷, 칼러, 채도, 가격 추출
  group_by(cut)%>% #cut 그룹별 분류 
  summarise(cut_price=mean(price)) #그룹별 평균 가격 

> D1%>%
+   select(carat,cut,color,clarity,price)%>% # 캐럿, 컷, 칼러, 채도, 가격 추출
+   group_by(cut)%>% #cut 그룹별 분류 
+   summarise(cut_price=mean(price)) #그룹별 평균 가격
# A tibble: 5 x 2
  cut       cut_price
           
1 Fair          3608 
2 Good          3850.
3 Very Good     4586 
4 Premium       6083.
5 Ideal         2929.

 의외로 프리미엄보다 아이디얼의 가격이 낮습니다. 아마도 캐럿 등 다른 요인이 있을 것 같은데 같이 표시해보겠습니다. summarise는 줄을 바꿔서 계속해서 명령을 추가할 수 있습니다. 

D1%>%
  select(carat,cut,color,clarity,price)%>% # 캐럿, 컷, 칼러, 채도, 가격 추출
  group_by(cut)%>% #cut 그룹별 분류 
  summarise(cut_price=mean(price),
            cut_carat=mean(carat)) #그룹별 평균 가격 및 캐럿 

> D1%>%
+   select(carat,cut,color,clarity,price)%>% # 캐럿, 컷, 칼러, 채도, 가격 추출
+   group_by(cut)%>% #cut 그룹별 분류 
+   summarise(cut_price=mean(price),
+             cut_carat=mean(carat)) #그룹별 평균 가격 및 캐럿
# A tibble: 5 x 3
  cut       cut_price cut_carat
                
1 Fair          3608      0.87 
2 Good          3850.     0.767
3 Very Good     4586      0.895
4 Premium       6083.     1.19 
5 Ideal         2929.     0.636


 역시 그런 결과가 나왔습니다. Ideal이 캐럿이 작습니다. 이에 여기에 각 값별로 숫자가 얼마나 되는지 알아보겠습니다. N=n()을 이용하면 됩니다. 


> D1%>%
+   select(carat,cut,color,clarity,price)%>% # 캐럿, 컷, 칼러, 채도, 가격 추출
+   group_by(cut)%>% #cut 그룹별 분류 
+   summarise(cut_price=mean(price),
+             cut_carat=mean(carat),
+             N=n()) #그룹별 평균 비교
# A tibble: 5 x 4
  cut       cut_price cut_carat     N
                
1 Fair          3608      0.87      2
2 Good          3850.     0.767     9
3 Very Good     4586      0.895    11
4 Premium       6083.     1.19     10
5 Ideal         2929.     0.636    18


이렇게 얻은 통계 데이터를 D3라는 새로운 데이터 프레임으로 만들어보겠습니다. 


D3<-d1>%
  select(carat,cut,color,clarity,price)%>% # 캐럿, 컷, 칼러, 채도, 가격 추출
  group_by(cut)%>% #cut 그룹별 분류 
  summarise(cut_price=mean(price),
            cut_carat=mean(carat),
            N=n()) #그룹별 평균 비교 

D3

> D3<-d1>%
+   select(carat,cut,color,clarity,price)%>% # 캐럿, 컷, 칼러, 채도, 가격 추출
+   group_by(cut)%>% #cut 그룹별 분류 
+   summarise(cut_price=mean(price),
+             cut_carat=mean(carat),
+             N=n()) #그룹별 평균 비교 
> 
> D3
# A tibble: 5 x 4
  cut       cut_price cut_carat     N
                
1 Fair          3608      0.87      2
2 Good          3850.     0.767     9
3 Very Good     4586      0.895    11
4 Premium       6083.     1.19     10
5 Ideal         2929.     0.636    18


 앞서 소개한 aggregate 역시 데이터 분석에서 유용하게 쓰일 수 있지만, 이렇게 데이터 프레임으로 저장하기는 어렵습니다. dplyr의 유용성이 여기서 드러납니다. 


이제 마지막으로 diamonds 데이터 전체에 대해서도 비슷한 결과가 나오는지 알아보겠습니다. 표준편차까지 추가해서 알아보겠습니다. 

diamonds%>%
  select(carat,cut,color,clarity,price)%>% # 캐럿, 컷, 칼러, 채도, 가격 추출
  group_by(cut)%>% #cut 그룹별 분류 
  summarise(cut_price=mean(price),
            cut_carat=mean(carat),
            N=n()) #그룹별 평균 비교 

> diamonds%>%
+   select(carat,cut,color,clarity,price)%>% # 캐럿, 컷, 칼러, 채도, 가격 추출
+   group_by(cut)%>% #cut 그룹별 분류 
+   summarise(cut_price=mean(price),
+             cut_carat=mean(carat),
+             N=n()) #그룹별 평균 비교
# A tibble: 5 x 4
  cut       cut_price cut_carat     N
                
1 Fair          4359.     1.05   1610
2 Good          3929.     0.849  4906
3 Very Good     3982.     0.806 12082
4 Premium       4584.     0.892 13791
5 Ideal         3458.     0.703 21551


 전체 결과를 보니 표본이 전체 경향을 대표하기는 하지만 약간은 다르다는 점을 알 수 있습니다. 아무튼 각 그룹별 통계를 비롯한 여러 가지 데이터를 dplyr로 확인하고 저장할 수 있다는 점이 큰 매력이라고 할 수 있습니다. 다음에는 데이터 가공 및 정리에서 매우 중요한 데이터 합치기에 대해서 설명해 보겠습니다. 
라벨:

댓글

댓글 쓰기

이 블로그의 인기 게시물

세상에서 가장 큰 벌

( Wallace's giant bee, the largest known bee species in the world, is four times larger than a European honeybee(Credit: Clay Bolt) ) (Photographer Clay Bolt snaps some of the first-ever shots of Wallace's giant bee in the wild(Credit: Simon Robson)  월리스의 거대 벌 (Wallace’s giant bee)로 알려진 Megachile pluto는 매우 거대한 인도네시아 벌로 세상에서 가장 거대한 말벌과도 경쟁할 수 있는 크기를 지니고 있습니다. 암컷의 경우 몸길이 3.8cm, 날개너비 6.35cm으로 알려진 벌 가운데 가장 거대하지만 수컷의 경우 이보다 작아서 몸길이가 2.3cm 정도입니다. 아무튼 일반 꿀벌의 4배가 넘는 몸길이를 지닌 거대 벌이라고 할 수 있습니다.   메가칠레는 1981년 몇 개의 표본이 발견된 이후 지금까지 추가 발견이 되지 않아 멸종되었다고 보는 과학자들도 있었습니다. 2018년에 eBay에 표본이 나왔지만, 언제 잡힌 것인지는 알 수 없었습니다. 사실 이 벌은 1858년 처음 발견된 이후 1981년에야 다시 발견되었을 만큼 찾기 어려운 희귀종입니다. 그런데 시드니 대학과 국제 야생 동물 보호 협회 (Global Wildlife Conservation)의 연구팀이 오랜 수색 끝에 2019년 인도네시아의 오지에서 메가칠레 암컷을 야생 상태에서 발견하는데 성공했습니다.   메가칠레 암컷은 특이하게도 살아있는 흰개미 둥지가 있는 나무에 둥지를 만들고 살아갑니다. 이들의 거대한 턱은 나무의 수지를 모아 둥지를 짓는데 유리합니다. 하지만 워낙 희귀종이라 이들의 생태에 대해서는 거의 알려진 바가 없습니다.  (동영상)...
댓글 쓰기
자세한 내용 보기

몸에 철이 많으면 조기 사망 위험도가 높다?

 철분은 인체에 반드시 필요한 미량 원소입니다. 헤모글로빈에 필수적인 물질이기 때문에 철분 부족은 흔히 빈혈을 부르며 반대로 피를 자꾸 잃는 경우에는 철분 부족 현상이 발생합니다. 하지만 철분 수치가 높다는 것은 반드시 좋은 의미는 아닙니다. 모든 일에는 적당한 수준이 있게 마련이고 철 역시 너무 많으면 여러 가지 질병을 일으킬 수 있습니다. 철 대사에 문제가 생겨 철이 과다하게 축적되는 혈색소증 ( haemochromatosis ) 같은 드문 경우가 아니라도 과도한 철분 섭취나 수혈로 인한 철분 과잉은 건강에 문제를 일으킬 수 있습니다. 하지만 높은 철 농도가 수명에 미치는 영향에 대해서는 잘 알려지지 않았습니다.   하버드 대학의 이야스 다글라스( Iyas Daghlas )와 임페리얼 칼리지 런던의 데펜더 길 ( Dipender Gill )은 체내 철 함유량에 영향을 미치는 유전적 변이와 수명의 관계를 조사했습니다. 연구팀은 48972명의 유전 정보와 혈중 철분 농도, 그리고 기대 수명의 60/90%에서 생존 확률을 조사했습니다. 그 결과 유전자로 예측한 혈중 철분 농도가 증가할수록 오래 생존할 가능성이 낮은 것으로 나타났습니다. 이것이 유전자 자체 때문인지 아니면 높은 혈중/체내 철 농도 때문인지는 명확하지 않지만, 높은 혈중 철 농도가 꼭 좋은 뜻이 아니라는 것을 시사하는 결과입니다.   연구팀은 이 데이터를 근거로 건강한 사람이 영양제나 종합 비타민제를 통해 과도한 철분을 섭취할 이유는 없다고 주장했습니다. 어쩌면 높은 철 농도가 조기 사망 위험도를 높일지도 모르기 때문입니다. 그러나 임산부나 빈혈 환자 등 진짜 철분이 필요한 사람들까지 철분 섭취를 꺼릴 필요가 없다는 점도 강조했습니다. 연구 내용은 정상보다 높은 혈중 철농도가 오래 유지되는 경우를 가정한 것으로 본래 철분 부족이 있는 사람을 대상으로 한 것이 아니기 때문입니다. 낮은 철분 농도와 빈혈이 건강에 미치는 악영향은 이미 잘 알려져 있기 때문에 철...
댓글 쓰기
자세한 내용 보기

인슐린 주사 일주일에 한 번만 맞아도 된다?

   당뇨병은 관리가 까다로운 만성 질병 중 하나입니다. 특히 인슐린 주사가 필요한 경우에는 더 관리가 어렵습니다. 하루에 주사를 몇 번씩 맞아야 하면 찌르는 것도 고통이고 실수로 건너뛰거나 용량을 실수하는 경우도 드물지 않습니다. 특히 고령 환자의 경우 더 위험할 수 있습니다. 이런 문제를 극복하기 위해 여러 제약 회사들이 새로운 투여 방법과 인슐린 제제를 내놓고 있습니다.   최근 2상 임상 시험을 마친 노보 노디스크 ( Novo Nordisk )의 인슐린 아이코덱 ( icodec )은 일주일에 한 번 투여하는 장시간 인슐린 제제입니다. 아이코덱은 효소에 의해 분해되는 것을 막는 변형 인슐린 분자로 혈액에서 알부민과 결합해 서서히 분리되기 때문에 한 번 주사로도 일주일이나 효과를 유지할 수 있습니다.   하지만 이렇게 장시간 작용하는 인슐린 제제의 경우 환자의 식사나 운동 같은 상황 변화에 인슐린 농도가 적절하게 유지되지 않을 가능성이 있습니다. 이번 2상 임상시험에서는 247명의 당뇨 환자를 두 그룹으로 나눈 후 실험군은 일주일에 한 번씩 아이코덱을 투여받고 매일 위약을 투여받았습니다. 그리고 대조군은 반대로 일주일에 한 번씩 위약을 투여받고 하루에 한 번씩 장시간 인슐린 제제인 란투스 (Lantus, glargine) 100U을 투여받았습니다.   26주에 걸친 임상 실험 결과 하루에 한 번 란투스를 투여받은 그룹이나 일주일에 한 번 아이코덱을 투여받은 그룹에서 특별한 합병증 차이를 발견할 수 없었습니다. 혈당 조절의 지표인 당화 혈색소 (HbA1c) 농도 역시 아이코덱 그룹에서 1.33% 감소한 반면 란투스 그룹에서 1.15% 정도 감소해서 큰 차이는 없었습니다. 그렇다면 하루에 한 번 투여하는 대신 일주일에 한 번 투여하는 것이 더 편리하고 실수로 두 번 투여하거나 건너 뛸 위험성이 적을 것입니다. 이 연구 결과는 뉴잉글랜드 저널 오브 메디슨 ( New England Journal...
댓글 쓰기
자세한 내용 보기