R을 이용해 간단한 신경망 만들기 (15)

 이전 포스트: https://blog.naver.com/jjy0501/221484739346

 H2O를 이용한 신경망에 대해서 간단히 알아보기 위해 앞서 다룬 주제인 피마 인디언 데이터를 다시 다뤄보겠습니다. 필요한 패키지를 불러들인 후 H2O를 시작합니다. 그리고 데이터를 전처리해 H2O에 업로드해야 합니다. 여기서 주의할 점은 컴퓨터 사양에 맞게 자원을 할당하는 것으로 만약 모든 자원을 할당하거나 혹은 잘 모를 때는 min_mem_size = "10G",nthreads = 8 는 안써도 무방합니다. 

#PIMA

library(h2o)

library(caret)

library(mlbench)

localH2O = h2o.init(ip = "localhost", port = 54321, startH2O = TRUE,min_mem_size = "10G",nthreads = 8)

data(PimaIndiansDiabetes)

pima <- pimaindiansdiabetes="" span="">

pima<-pima age="" c="" diabetes="" glucose="" mass="" pedigree="" pregnant="" pressure="" span="">

pima=subset(pima,glucose>0)

pima=subset(pima,pressure>0)

pima=subset(pima,mass>0)

set.seed(1234)

n = nrow(pima)

train <- 600="" n="" sample="" span="">

test <- pima="" span="" train="">

train <- pima="" span="" train="">

 여기까지는 데이터 전처리 과정입니다. test와  train 셋으로 데이터를 나눈 후 이를 다시 H2O에 올려야 합니다. JAVA 기반이기 때문에 바로 R에서 연산하지 못하는 것입니다. 

# Define input (x) and output (y) variables"

x = c("pregnant","glucose","pressure","mass","pedigree","age")

y = "diabetes"

# Convert the outcome variable into factor

train$diabetes <- as.factor="" diabetes="" span="" train="">

test$diabetes <- as.factor="" diabetes="" span="" test="">

train.hex <- as.h2o="" destination_frame="train.hex" span="" x="train,">

test.hex <- as.h2o="" destination_frame="test.hex" span="" x="test,">

 입력 변수와 결과 변수를 먼저 입력한 후 다시 결과 변수를 범주형 변수로 바꾸고 이를 다시 as.h2o 명령어를 이용해서 h2o 형식으로 변경해 신경망 모델에 넣습니다. 

# Train the model

DNN <- h2o.deeplearning="" style="white-space: pre;" x="x,<span">    

                        y = y,   

                        training_frame = train.hex,    

                        validation_frame = test.hex,    

                        standardize = T,    

                        activation = "Rectifier",    

                        epochs = 50,    

                        seed = 1234567,    

                        hidden = c(6,6),    

                        variable_importances = T,

                        nfolds = 5)

h2o.deeplearning의 옵션은 상당히 많습니다. ?h2o.deeplearning를 통해 여러 옵션을 보고 추가하거나 뺄 수 있습니다. 모델 성능을 평가하기 위한 여러 가지 툴도 같이 제공하는 점이 앞서 본 다른 R 기반 신경망 패키지와 다른 점입니다. AUC를 구하는 옵션도 간단합니다. 

# Get the validation accuracy (AUC)

xval_performance <- h2o.performance="" xval="T)</span">

xval_performance@metrics$AUC

# Get the training accuracy (AUC)

train_performance <- h2o.performance="" train="T)</span">

train_performance@metrics$AUC

# Get the testing accuracy(AUC)

test_performance <- h2o.performance="" valid="T)</span">

test_performance@metrics$AUC

> # Get the validation accuracy (AUC)

> xval_performance <- h2o.performance="" xval="T)</span">

> xval_performance@metrics$AUC

[1] 0.8362052

> 

> # Get the training accuracy (AUC)

> train_performance <- h2o.performance="" train="T)</span">

> train_performance@metrics$AUC

[1] 0.8652332

> 

> # Get the testing accuracy(AUC)

> test_performance <- h2o.performance="" valid="T)</span">

> test_performance@metrics$AUC

[1] 0.8014065

 AUC 값이 높을 수록 모델의 예측력이 높고 좋은 모델입니다. 하지만 이렇게 보면 각각의 경우 어떻게 신경망이 평가했는지 판단이 어려울 수 있습니다. 이제 각각의 관측치의 예측값을 보겠습니다. 

# now make a prediction

predictions <- h2o.predict="" span="" test.hex="">

predictions

result<-round predictions="" span="">

result<-as .data.frame="" predictions="" span="">

> result

    predict        neg         pos

1       pos 0.05613899 0.943861012

2       neg 0.97136753 0.028632475

3       pos 0.27311100 0.726889000

4       neg 0.91237584 0.087624155

5       neg 0.79314701 0.206852986

6       pos 0.49058933 0.509410667

7       neg 0.98318380 0.016816201

8       neg 0.80189409 0.198105908

9       pos 0.26699916 0.733000838

10      pos 0.49015022 0.509849778

11      neg 0.98171246 0.018287544

12      neg 0.68528909 0.314710910

13      pos 0.48619757 0.513802434

14      pos 0.45985143 0.540148569

15      neg 0.72237140 0.277628601

16      neg 0.78442054 0.215579462

17      neg 0.94280224 0.057197760

18      pos 0.62492024 0.375079758

19      pos 0.60563906 0.394360937

20      neg 0.94259129 0.057408707

 이하 생략 

 결과값은 0과 1이 아니라 소수접 이하값으로 나오기 때문에 round를 이용해서 결과를 정리하거나 predict 값을 이용할 수 있습니다. 여기서 H2O 객체를 다시 R 객체로 바꾸기 위해 as.data.frame을 사용한 부분을 주목해 주십시요. 참고로 웹 브라우저 상에서도 결과를 확인할 수 있습니다. http://localhost:54321로 들어가 여러 가지 옵션을 선택해 인공지능 관련 연산을 수행하거나 결과를 볼 수 있습니다. 

 여기서 getPredictions 탭을 열면 예측 결과를 볼 수 있습니다. 

 specificity 와 sensitivity, 분류 정확도 역시 쉽게 구할 수 있습니다. 

h2o.accuracy(test_performance, thresholds = 0.5)

h2o.specificity(test_performance, thresholds = 0.5)

h2o.sensitivity(test_performance, thresholds = 0.5)

h2o.confusionMatrix(test_performance)

> h2o.accuracy(test_performance, thresholds = 0.5)

[[1]]

[1] 0.7419355

There were 50 or more warnings (use warnings() to see the first 50)

> h2o.specificity(test_performance, thresholds = 0.5)

[[1]]

[1] 0.8481013

Warning message:

In h2o.find_row_by_threshold(object, t) :

  Could not find exact threshold: 0.5 for this set of metrics; using closest threshold found: 0.498582185722662. Run `h2o.predict` and apply your desired threshold on a probability column.

> h2o.sensitivity(test_performance, thresholds = 0.5)

[[1]]

[1] 0.5555556

Warning message:

In h2o.find_row_by_threshold(object, t) :

  Could not find exact threshold: 0.5 for this set of metrics; using closest threshold found: 0.498582185722662. Run `h2o.predict` and apply your desired threshold on a probability column.

> h2o.confusionMatrix(test_performance)

Confusion Matrix (vertical: actual; across: predicted)  for max f1 @ threshold = 0.375079757767963:

       neg pos    Error     Rate

neg     58  21 0.265823   =21/79

pos     12  33 0.266667   =12/45

Totals  70  54 0.266129  =33/124

 분류 기준을 0.5 정도로 잡아주면 약간 다르다고 경고가 뜰 수 있으나 사실 큰 차이가 없습니다. 아무튼 분류 정확도는 74% 정도로 앞서 본 nnet 예제의 결과와 크게 다르지 않습니다. 아무리 여러 개의 CPU를 할당하고 메모리를 많이 써도 기본적으로 학습 데이터의 질이 높지 않기 때문에 한계가 있는 것입니다. 당뇨의 위험 인자는 여기서 넣은 변수만이 아닐 것입니다. 유전적 요인이나 운동 습관, 식이 패턴 등 매우 여러 가지 요소가 당뇨 발생에 영향을 미치지만, 여기서는 몇 가지 변수만 가지고 예측을 해야 하니 예측력이 이보다 더 높아지기 어려운 것이죠. 다른 데이터 분석과 마찬가지도 신경망을 이용한 예측 모델 역시 데이터의 양과 질이 중요합니다.