H2O를 이용한 신경망에 대해서 간단히 알아보기 위해 앞서 다룬 주제인 피마 인디언 데이터를 다시 다뤄보겠습니다. 필요한 패키지를 불러들인 후 H2O를 시작합니다. 그리고 데이터를 전처리해 H2O에 업로드해야 합니다. 여기서 주의할 점은 컴퓨터 사양에 맞게 자원을 할당하는 것으로 만약 모든 자원을 할당하거나 혹은 잘 모를 때는 min_mem_size = "10G",nthreads = 8 는 안써도 무방합니다.
#PIMA
library(h2o)
library(caret)
library(mlbench)
localH2O = h2o.init(ip = "localhost", port = 54321, startH2O = TRUE,min_mem_size = "10G",nthreads = 8)
data(PimaIndiansDiabetes)
pima <- pimaindiansdiabetes="" span="">
pima<-pima age="" c="" diabetes="" glucose="" mass="" pedigree="" pregnant="" pressure="" span="">
pima=subset(pima,glucose>0)
pima=subset(pima,pressure>0)
pima=subset(pima,mass>0)
set.seed(1234)
n = nrow(pima)
train <- 600="" n="" sample="" span="">
test <- pima="" span="" train="">
train <- pima="" span="" train="">
여기까지는 데이터 전처리 과정입니다. test와 train 셋으로 데이터를 나눈 후 이를 다시 H2O에 올려야 합니다. JAVA 기반이기 때문에 바로 R에서 연산하지 못하는 것입니다.
# Define input (x) and output (y) variables"
x = c("pregnant","glucose","pressure","mass","pedigree","age")
y = "diabetes"
# Convert the outcome variable into factor
train$diabetes <- as.factor="" diabetes="" span="" train="">
test$diabetes <- as.factor="" diabetes="" span="" test="">
train.hex <- as.h2o="" destination_frame="train.hex" span="" x="train,">
test.hex <- as.h2o="" destination_frame="test.hex" span="" x="test,">
입력 변수와 결과 변수를 먼저 입력한 후 다시 결과 변수를 범주형 변수로 바꾸고 이를 다시 as.h2o 명령어를 이용해서 h2o 형식으로 변경해 신경망 모델에 넣습니다.
# Train the model
DNN <- h2o.deeplearning="" style="white-space: pre;" x="x,<span">
y = y,
training_frame = train.hex,
validation_frame = test.hex,
standardize = T,
activation = "Rectifier",
epochs = 50,
seed = 1234567,
hidden = c(6,6),
variable_importances = T,
nfolds = 5)
h2o.deeplearning의 옵션은 상당히 많습니다. ?h2o.deeplearning를 통해 여러 옵션을 보고 추가하거나 뺄 수 있습니다. 모델 성능을 평가하기 위한 여러 가지 툴도 같이 제공하는 점이 앞서 본 다른 R 기반 신경망 패키지와 다른 점입니다. AUC를 구하는 옵션도 간단합니다.
# Get the validation accuracy (AUC)
xval_performance <- h2o.performance="" xval="T)</span">
xval_performance@metrics$AUC
# Get the training accuracy (AUC)
train_performance <- h2o.performance="" train="T)</span">
train_performance@metrics$AUC
# Get the testing accuracy(AUC)
test_performance <- h2o.performance="" valid="T)</span">
test_performance@metrics$AUC
> # Get the validation accuracy (AUC)
> xval_performance <- h2o.performance="" xval="T)</span">
> xval_performance@metrics$AUC
[1] 0.8362052
>
> # Get the training accuracy (AUC)
> train_performance <- h2o.performance="" train="T)</span">
> train_performance@metrics$AUC
[1] 0.8652332
>
> # Get the testing accuracy(AUC)
> test_performance <- h2o.performance="" valid="T)</span">
> test_performance@metrics$AUC
[1] 0.8014065
AUC 값이 높을 수록 모델의 예측력이 높고 좋은 모델입니다. 하지만 이렇게 보면 각각의 경우 어떻게 신경망이 평가했는지 판단이 어려울 수 있습니다. 이제 각각의 관측치의 예측값을 보겠습니다.
# now make a prediction
predictions <- h2o.predict="" span="" test.hex="">
predictions
result<-round predictions="" span="">
result<-as .data.frame="" predictions="" span="">
> result
predict neg pos
1 pos 0.05613899 0.943861012
2 neg 0.97136753 0.028632475
3 pos 0.27311100 0.726889000
4 neg 0.91237584 0.087624155
5 neg 0.79314701 0.206852986
6 pos 0.49058933 0.509410667
7 neg 0.98318380 0.016816201
8 neg 0.80189409 0.198105908
9 pos 0.26699916 0.733000838
10 pos 0.49015022 0.509849778
11 neg 0.98171246 0.018287544
12 neg 0.68528909 0.314710910
13 pos 0.48619757 0.513802434
14 pos 0.45985143 0.540148569
15 neg 0.72237140 0.277628601
16 neg 0.78442054 0.215579462
17 neg 0.94280224 0.057197760
18 pos 0.62492024 0.375079758
19 pos 0.60563906 0.394360937
20 neg 0.94259129 0.057408707
이하 생략
결과값은 0과 1이 아니라 소수접 이하값으로 나오기 때문에 round를 이용해서 결과를 정리하거나 predict 값을 이용할 수 있습니다. 여기서 H2O 객체를 다시 R 객체로 바꾸기 위해 as.data.frame을 사용한 부분을 주목해 주십시요. 참고로 웹 브라우저 상에서도 결과를 확인할 수 있습니다. http://localhost:54321로 들어가 여러 가지 옵션을 선택해 인공지능 관련 연산을 수행하거나 결과를 볼 수 있습니다.
여기서 getPredictions 탭을 열면 예측 결과를 볼 수 있습니다.
specificity 와 sensitivity, 분류 정확도 역시 쉽게 구할 수 있습니다.
h2o.accuracy(test_performance, thresholds = 0.5)
h2o.specificity(test_performance, thresholds = 0.5)
h2o.sensitivity(test_performance, thresholds = 0.5)
h2o.confusionMatrix(test_performance)
> h2o.accuracy(test_performance, thresholds = 0.5)
[[1]]
[1] 0.7419355
There were 50 or more warnings (use warnings() to see the first 50)
> h2o.specificity(test_performance, thresholds = 0.5)
[[1]]
[1] 0.8481013
Warning message:
In h2o.find_row_by_threshold(object, t) :
Could not find exact threshold: 0.5 for this set of metrics; using closest threshold found: 0.498582185722662. Run `h2o.predict` and apply your desired threshold on a probability column.
> h2o.sensitivity(test_performance, thresholds = 0.5)
[[1]]
[1] 0.5555556
Warning message:
In h2o.find_row_by_threshold(object, t) :
Could not find exact threshold: 0.5 for this set of metrics; using closest threshold found: 0.498582185722662. Run `h2o.predict` and apply your desired threshold on a probability column.
> h2o.confusionMatrix(test_performance)
Confusion Matrix (vertical: actual; across: predicted) for max f1 @ threshold = 0.375079757767963:
neg pos Error Rate
neg 58 21 0.265823 =21/79
pos 12 33 0.266667 =12/45
Totals 70 54 0.266129 =33/124
분류 기준을 0.5 정도로 잡아주면 약간 다르다고 경고가 뜰 수 있으나 사실 큰 차이가 없습니다. 아무튼 분류 정확도는 74% 정도로 앞서 본 nnet 예제의 결과와 크게 다르지 않습니다. 아무리 여러 개의 CPU를 할당하고 메모리를 많이 써도 기본적으로 학습 데이터의 질이 높지 않기 때문에 한계가 있는 것입니다. 당뇨의 위험 인자는 여기서 넣은 변수만이 아닐 것입니다. 유전적 요인이나 운동 습관, 식이 패턴 등 매우 여러 가지 요소가 당뇨 발생에 영향을 미치지만, 여기서는 몇 가지 변수만 가지고 예측을 해야 하니 예측력이 이보다 더 높아지기 어려운 것이죠. 다른 데이터 분석과 마찬가지도 신경망을 이용한 예측 모델 역시 데이터의 양과 질이 중요합니다.
댓글
댓글 쓰기