R 언어는 기계 학습처럼 데이터 분석 이외의 용도로도 얼마든지 사용이 가능합니다. 하지만 주 용도가 데이터의 통계적 분석이라는 점에서 의문의 여지가 없을 것입니다. 프로그래밍 언어라는 측면에서 R은 최고라곤 할 수 없지만, 통계 분석에 있어서는 지금까지 나온 언어 가운데 가장 훌륭한 선택입니다.
그러면 실제 분석을 해보기 위해서 흔한 예제 데이터 가운데 하나인 다이아몬드를 불러보겠습니다. R에는 패키지의 사용법을 설명하기 위한 다양한 예제 데이터가 풍부합니다. 앞으로 여러 가지 예제 데이터를 불러올 계획인데 설치하는 방법은 간단합니다. 이 예제가 들어있는 패키지를 다운로드 하면 자동으로 설치됩니다.
대표적인 데이터 시각화 툴로 사용되는 ggplot2에 다이아몬드 데이터가 존재합니다. ggplot2를 R 스튜디오에서 tools -> install packages 로 들어가 설치하거나 혹은 install.packages("ggplot2") 명령어를 사용해서 설치합니다.
> install.packages("ggplot2")
Installing package into ‘C:/Users/jjy05_000/Documents/R/win-library/3.3’
(as ‘lib’ is unspecified)
Content type 'application/zip' length 2003352 bytes (1.9 MB)
downloaded 1.9 MB
package ‘ggplot2’ successfully unpacked and MD5 sums checked
The downloaded binary packages are in
C:\Users\jjy05_000\AppData\Local\Temp\RtmpiE9HPZ\downloaded_packages
참고로 ggplot2 패키지는 R의 역사를 이 패키지가 개발되기 전과 후로 나눌 만큼 매우 중요한 역할을 하는 패키지입니다. 그 기능을 모두 이해하는 일은 상당한 시간과 노력을 필요로할 만큼 많은 데이터 시각화 기술을 지원합니다. 앞으로 그 일부를 포스트에서 다루게 될 것입니다. 아무튼 설치후에는 역시 사용을 위해서 library 명령어로 불러와야 합니다. 그리고 다이아몬드 데이터를 보기 위해 str 명령로 살펴봅니다.
> library("ggplot2")
> str(diamonds)
Classes ‘tbl_df’, ‘tbl’ and 'data.frame': 53940 obs. of 10 variables:
$ carat : num 0.23 0.21 0.23 0.29 0.31 0.24 0.24 0.26 0.22 0.23 ...
$ cut : Ord.factor w/ 5 levels "Fair"<"Good"<..: 5 4 2 4 2 3 3 3 1 3 ...
$ color : Ord.factor w/ 7 levels "D"<"E"<"F"<"G"<..: 2 2 2 6 7 7 6 5 2 5 ...
$ clarity: Ord.factor w/ 8 levels "I1"<"SI2"<"SI1"<..: 2 3 5 4 2 6 7 3 4 5 ...
$ depth : num 61.5 59.8 56.9 62.4 63.3 62.8 62.3 61.9 65.1 59.4 ...
$ table : num 55 61 65 58 58 57 57 55 61 61 ...
$ price : int 326 326 327 334 335 336 336 337 337 338 ...
$ x : num 3.95 3.89 4.05 4.2 4.34 3.94 3.95 4.07 3.87 4 ...
$ y : num 3.98 3.84 4.07 4.23 4.35 3.96 3.98 4.11 3.78 4.05 ...
$ z : num 2.43 2.31 2.31 2.63 2.75 2.48 2.47 2.53 2.49 2.39 ...
str 명령어는 이름처럼 데이터의 구조를 알 수 있는 명령어 입니다. 보니까 53940개의 관찰 데이터(observations, obs.)가 있고 각각의 데이터는 10개의 변수(variables)가 있네요. 잘은 모르지만, carat은 다이아몬드 캐럿일 것이고 cut은 다이아몬트 컷팅, color는 색상 등 인 것 같습니다.
하지만 솔직히 이것만 보고 데이터의 구조를 다 이해하기는 어렵습니다. 보통 R 관련 서적에는 잘 설명이 나와있지 않지만 (참고로 여러 책을 보면 비슷한 예제를 모두 따라하고 있어서 거기서 거기인 것 같은 내용이 많습니다. 너무 많은 책을 사기 보다는 목적에 맞게 책을 사기 위해 노력해야 합니다) ?diamonds가 새로운 팁을 줄 수 있습니다.
R 스튜디오 사용시 ?와 데이터 이름을 적으면 예제 데이터에 대한 설명을 볼 수 있습니다. ?diamonds 입력시 우측 하단의 창에 설명이 나오니 여기를 참조해야 합니다. 이상한 일이지만, 이걸 설명해주는 책이 별로 없습니다.
이렇게 보니 더 상세히 알 수 있습니다. 이 데이터는 54000개 남짓한 다이아몬드의 가격 (US 달러) 캐럿, 컷, 색생, 선명도에 대한 데이터를 담고 있습니다. 그리고 x,y,z는 너비, 길이, 높이를 mm로 표시한 것이었네요. depth와 테이블은 잘 몰라도 다이아몬드의 모양으로 가격에 영향을 미치는 인자인 것 같습니다.
가격과 캐럿은 연속 변수고 컷과 색상, 선명도는 순서형 변수 자료입니다. 컷은 Fair, Good, Very Good, Premium, Ideal 다섯 등급으로 나누네요. 색상은 D, E, F, G, H, I, J의 7등급으로 나누되 D가 가장 좋은 등급이라고 합니다. 투명도는 I1, SI1, SI2, VS1,VS2, VVS1, VVS2, IF의 8 등급으로 나누고 IF가 가장 좋은 등급이라고 합니다. 나머지는 모두 연속 변수인 것 같네요.
앞서 통계적인 이야기를 하지 않았기 때문에 변수의 종류에 대해서도 이야기 하지 않았지만, 변수는 여러 가지 기준에 따라 분류하게 됩니다. 일단 숫자로 셀수 있는 수치형 변수는 온도나 키처럼 연속된 변수인 경우에는 연속변수로 분류합니다. 다이아몬드의 가격이나 크기 등이 그런 수치겠죠.
그런데 변수 가운데는 숫자로 나타낼 수 없는 변수도 존재합니다. 이를 범주형 변수라고 하는데, 남녀나 인종처럼 순서를 만들 수 없는 것도 있고 다이아몬드 등급처럼 순서를 있는 순서형 변수도 존재합니다. 수량으로 나타낼 수 있는 변수와 범주형 변수는 서로 다르게 처리해야 하며 이를 어떻게 분석하는지는 앞으로 실제 분석편에서 상세히 다뤄보겠습니다. 아무튼 다이아몬드의 컷, 색상, 투명도에 따라서 순서를 지닌 등급으로 나눈다는 것을 알았습니다. 이 모두가 가격에 영향을 미칠 것 같네요.
이제 실제 자료가 어떻게 입력되어 있는지를 보기 위해 diamonds를 입력해 보겠습니다. 이 상태에서 diamonds라고 콘솔창에 입력하고 실행시키면 첫 1000 열이 출력됩니다. 물론 모두 출력하기에는 공간이 모자라기 때문이죠. 출력되지 않은 내용은 omitted 52940 rows라고 표시됩니다.
이렇게 보면 다소 보기가 어렵기 때문에 첫 5줄만 출력하기 위해 head 명령어만 사용합니다.
> head(diamonds)
carat cut color clarity depth table price x y z
1 0.23 Ideal E SI2 61.5 55 326 3.95 3.98 2.43
2 0.21 Premium E SI1 59.8 61 326 3.89 3.84 2.31
3 0.23 Good E VS1 56.9 65 327 4.05 4.07 2.31
4 0.29 Premium I VS2 62.4 58 334 4.20 4.23 2.63
5 0.31 Good J SI2 63.3 58 335 4.34 4.35 2.75
6 0.24 Very Good J VVS2 62.8 57 336 3.94 3.96 2.48
하지만 역시 데이터의 구체적인 내용을 보기에는 다소 미흡해 보입니다. 그냥 데이터 입력이 실제로 어떻게 되었다 정도까지만 파악이 가능하네요. 또 결측값이 몇개인지도 알기 어렵습니다. 이제 데이터의 대략적인 구조를 알기 위해서 summary 명령어를 사용해봅니다.
글자가 작아서 잘 안보이는데, 몇개만 확대해 보겠습니다.
여기서 보면 Min은 최소값, Mean은 평균, Median은 중앙값, Max는 최대값이라는 점을 알 수 있습니다. 그리고 1st Qu와 3rd Qu는 사분위수(Quartile)로 각각 25%, 75%에 해당하는 값입니다. 이는 전체적인 분포를 쉽게 가늠할 수 있는 방식입니다. 왜 이런 식으로 표기하는지는 통계 수업을 들었다면 간단하게 이해가 가능할 것입니다.
소득 평균을 내는데, 대부분 연수입이 5천만원 이하인 집단에 10억 이상인 사람이 1% 정도 있다고 가정합시다. 그렇다면 평균 소득은 대다수 집단 구성원의 평균보다 높아질 것입니다. 극단적인 경우 빌게이츠아 웨런 버핏 같은 사람이 그 집단에 끼면 한 명만으로도 평균을 크게 높일 수 있습니다. 그러면 평균은 그 집단의 특성을 왜곡하는 셈이죠.
하지만 연소득 5천인 사람 100명과 빌게이츠를 합산해서 중위값 (가운데에 위치하는 값, 이 경우는 소득 순위 51번째) 이 나와도 그 값은 5천만원 수준일 것입니다. 1분위수와 3분위수까지 같이 표시해주면 더 확실하게 알 수 있습니다. 위에서 평균과 중위값의 차이가 별로 크지 않고 1/3 분위수가 어느 정도 예측 범위인 점으로 봐서는 캐럿의 분포는 비교적 균등한 것 같습니다. 참고로 최소값, 1/3 사분위값, 중앙값, 평균, 최대값은 다섯 숫자 요약이라고 부르며 수치형 데이터를 이해하는 기본입니다. summary를 명령하면 보여주는 이유가 있는 것이죠.
다만 이것만 가지고 데이터의 구조를 다 파악하기하는 것은 무리입니다. 다음에 더 자세히 데이터를 파악할 수 있는 방법을 알아보겠습니다.
댓글
댓글 쓰기