기본 콘텐츠로 건너뛰기

R을 이용해 간단한 신경망 만들기 (16)





 점점 인공지능 관련 포스팅이 복잡해지고 있어서 간단한 신경망 만들기는 아마도 이번까지 하고 다음부터는 로지스틱 회귀 분석을 진행하면서 R을 이용한 딥러닝으로 해야 할 것 같습니다. 아무튼 H2O 패키지는 상업용 인공지능 툴 답게 여러 가지 기능을 제공하는데, 그 중 흥미로운 것 가운데 하나가 바로 AutoML 기능입니다. 


 앞서 살펴본 것과 같이 인공 신경망에는 여러 가지 옵션이 존재하며 이 옵션을 어떻게 조정하는지에 따라 다른 결과가 나오게 됩니다. 최적의 결과를 얻기 위해서는 여러 번의 시행 착오를 거쳐야만 하는데, 상당히 많은 시간과 노력을 소모하게 됩니다. 따라서 여러 가지 모델을 테스트하고 이를 비교해서 최적 모델을 찾는 과정도 자동화할 수 있는 기법이 개발되었습니다. H2O의 AutoML 이 바로 그런 기능으로 딥러닝은 물론 랜덤 포레스트나 GBMs (Gradient Boosting Machines), Stacked Ensemble 같은 인공 지능 기법을 이용한 모델을 제시합니다. H2O.ai 에서 제시한 예제를 살펴보겠습니다. 


#autoML

library(h2o)

localH2O = h2o.init()

# Import a sample binary outcome train/test set into H2O
train <- a="" class="con_link" h2o.importfile="" href="https://s3.amazonaws.com/erin-data/higgs/higgs_train_10k.csv" style="overflow-wrap: break-word; text-decoration-line: none;" target="_blank">https://s3.amazonaws.com/erin-data/higgs/higgs_train_10k.csv
")
test <- a="" class="con_link" h2o.importfile="" href="https://s3.amazonaws.com/erin-data/higgs/higgs_test_5k.csv" style="overflow-wrap: break-word; text-decoration-line: none;" target="_blank">https://s3.amazonaws.com/erin-data/higgs/higgs_test_5k.csv
")

# Identify predictors and response
y <- response="" span="">
x <- names="" setdiff="" span="" train="" y="">

# For binary classification, response should be a factor
train[,y] <- as.factor="" span="" train="" y="">
test[,y] <- as.factor="" span="" test="" y="">

# Run AutoML for 20 base models (limited to 1 hour max runtime by default)
aml <- h2o.automl="" x="x," y="y,</span">
                  training_frame = train,
                  max_models = 20,
                  seed = 1)

# View the AutoML Leaderboard
lb <- aml="" leaderboard="" span="">
print(lb, n = nrow(lb))  # Print all rows instead of default (6 rows)

# The leader model is stored here
aml@leader

# If you need to generate predictions on a test set, you can make
# predictions directly on the `"H2OAutoML"` object, or on the leader
# model object directly

pred <- also="" aml="" h2o.predict="" nbsp="" predict="" span="" test="" works="">

pred


 이 예제는 테스트에 상당한 시간이 걸립니다. 논리 CPU 8개를 할당해도 20분 이상 걸리니 참고하시기 바랍니다. 아무튼 아래와 같은 결과를 얻을 수 있습니다. 




> print(lb, n = nrow(lb))  # Print all rows instead of default (6 rows)
                                              model_id       auc   logloss mean_per_class_error      rmse       mse
1     StackedEnsemble_AllModels_AutoML_20190324_225820 0.7890978 0.5524149            0.3196844 0.4326267 0.1871658
2  StackedEnsemble_BestOfFamily_AutoML_20190324_225820 0.7854526 0.5561179            0.3255787 0.4343390 0.1886503
3                         GBM_5_AutoML_20190324_225820 0.7808367 0.5599029            0.3408479 0.4361915 0.1902630
4                         GBM_2_AutoML_20190324_225820 0.7800364 0.5598060            0.3399258 0.4364149 0.1904580
5                         GBM_1_AutoML_20190324_225820 0.7798268 0.5608570            0.3350957 0.4366159 0.1906335
6                         GBM_3_AutoML_20190324_225820 0.7786685 0.5617903            0.3255378 0.4371886 0.1911339
7            GBM_grid_1_AutoML_20190324_225820_model_4 0.7777929 0.6275684            0.3187812 0.4667522 0.2178576
8            GBM_grid_1_AutoML_20190324_225820_model_1 0.7772185 0.6008910            0.3227162 0.4535716 0.2057272
9                         GBM_4_AutoML_20190324_225820 0.7714230 0.5697120            0.3374203 0.4410703 0.1945430
10           GBM_grid_1_AutoML_20190324_225820_model_2 0.7698263 0.6070157            0.3072613 0.4566813 0.2085578
11                        DRF_1_AutoML_20190324_225820 0.7428924 0.5958832            0.3554027 0.4527742 0.2050045
12                        XRT_1_AutoML_20190324_225820 0.7420910 0.5993457            0.3565826 0.4531168 0.2053148
13  DeepLearning_grid_1_AutoML_20190324_225820_model_5 0.7351121 0.6072728            0.3589475 0.4570660 0.2089094
14           GBM_grid_1_AutoML_20190324_225820_model_3 0.7279124 0.6889933            0.3598375 0.4763117 0.2268729
15           GBM_grid_1_AutoML_20190324_225820_model_5 0.7167078 0.6865927            0.3871737 0.4967212 0.2467320
16               DeepLearning_1_AutoML_20190324_225820 0.7041353 0.6277710            0.3983563 0.4669145 0.2180092
17  DeepLearning_grid_1_AutoML_20190324_225820_model_1 0.6959598 0.7166216            0.3989566 0.4849767 0.2352024
18  DeepLearning_grid_1_AutoML_20190324_225820_model_4 0.6945008 0.7056079            0.4041671 0.4878114 0.2379600
19           GLM_grid_1_AutoML_20190324_225820_model_1 0.6826524 0.6385205            0.3972341 0.4726827 0.2234290
20  DeepLearning_grid_1_AutoML_20190324_225820_model_3 0.6807204 0.6708166            0.4045776 0.4810438 0.2314031
21  DeepLearning_grid_1_AutoML_20190324_225820_model_2 0.6801893 0.7273539            0.4073531 0.4926833 0.2427368


 이 결과를 보면 1번에 StackedEnsemble_AllModels_AutoML_20190324_225820 모델이 가장 좋은 결과를 얻었습니다. 아래에서 이 모델에 대한 더 상세한 정보가 나옵니다. 


> # The leader model is stored here
> aml@leader
Model Details:
==============

H2OBinomialModel: stackedensemble
Model ID:  StackedEnsemble_AllModels_AutoML_20190324_225820 
NULL


H2OBinomialMetrics: stackedensemble
** Reported on training data. **

MSE:  0.1049423
RMSE:  0.323948
LogLoss:  0.3599495
Mean Per-Class Error:  0.1240032
AUC:  0.9527414
pr_auc:  0.9548414
Gini:  0.9054828

Confusion Matrix (vertical: actual; across: predicted) for F1-optimal threshold:
          0    1    Error         Rate
0      3906  799 0.169819    =799/4705
1       414 4881 0.078187    =414/5295
Totals 4320 5680 0.121300  =1213/10000

Maximum Metrics: Maximum metrics at their respective thresholds
                        metric threshold    value idx
1                       max f1  0.488791 0.889476 208
2                       max f2  0.369647 0.931987 253
3                 max f0point5  0.616275 0.897052 160
4                 max accuracy  0.517914 0.879400 197
5                max precision  0.948386 1.000000   0
6                   max recall  0.171604 1.000000 346
7              max specificity  0.948386 1.000000   0
8             max absolute_mcc  0.514976 0.757984 198
9   max min_per_class_accuracy  0.551951 0.877620 185
10 max mean_per_class_accuracy  0.536136 0.878565 190

Gains/Lift Table: Extract with `h2o.gainsLift(, )` or `h2o.gainsLift(, valid=, xval=)`

H2OBinomialMetrics: stackedensemble
** Reported on cross-validation data. **
** 5-fold cross-validation on training data (Metrics computed for combined holdout predictions) **

MSE:  0.1871658
RMSE:  0.4326267
LogLoss:  0.5524149
Mean Per-Class Error:  0.3196844
AUC:  0.7890978
pr_auc:  0.8047692
Gini:  0.5781957

Confusion Matrix (vertical: actual; across: predicted) for F1-optimal threshold:
          0    1    Error         Rate
0      2301 2404 0.510946   =2404/4705
1       680 4615 0.128423    =680/5295
Totals 2981 7019 0.308400  =3084/10000

Maximum Metrics: Maximum metrics at their respective thresholds
                        metric threshold    value idx
1                       max f1  0.350203 0.749553 274
2                       max f2  0.179339 0.860131 348
3                 max f0point5  0.614417 0.738955 156
4                 max accuracy  0.518482 0.713400 198
5                max precision  0.948036 1.000000   0
6                   max recall  0.067843 1.000000 393
7              max specificity  0.948036 1.000000   0
8             max absolute_mcc  0.535747 0.425420 190
9   max min_per_class_accuracy  0.531468 0.712181 192
10 max mean_per_class_accuracy  0.535747 0.713052 190

Gains/Lift Table: Extract with `h2o.gainsLift(, )` or `h2o.gainsLift(, valid=, xval=)`


 이 베스트 모델은 aml@leader에 저장되어 있으며 다른 모델을 지정하는 방법은 h2o.getModel()을 통해 가능합니다. 모델을 저장하는 방법은 h2o.saveModel()를 사용합니다 .이 때 경로도 같이 정해주어야 합니다. 



# save the model
model_path <- force="TRUE)</span" h2o.savemodel="" object="model," path="getwd(),">


# load the model
saved_model <- h2o.loadmodel="" model_path="" span="">



 참고 



라벨:

댓글

댓글 쓰기

이 블로그의 인기 게시물

중등도 코로나 19 환자에서 제한적인 효과만을 확인한 렘데시비르

   현재 렘데시비르는 인공 호흡기 치료가 필요한 환자 등 중증 코로나 19 환자의 치료제로 사용되고 있습니다. 다만 공급이 부족해서 갑자가 중증 코로나 19 환자가 늘어날 경우 수급 문제가 불거질 수밖에 없습니다. 따라서 이를 중등도 코로나 19 환자 (경증이나 무증상은 당연히 치료가 필요없거나 대증 요법 정도) 사용한다는 것은 지금 당장에 급한 연구는 아니지만, 나중에 수급량이 많아지고 가격이 낮아질 때를 생각하면 의미 있는 연구 결과입니다.   렘데시비르 제조사인 길리어드 사이언스의 다아애나 브레이너드 박사 ( Dr. Diana Brainard of Gilead Sciences )는 병원에 입원이 필요했던 중등도 코로나 19 환자 584명을 렘데시비르 5일, 10일 투여 실험군과 위약을 투여한 대조군으로 나눠 임상 경과, 사망 등 중요한 합병증 발생 등에서 차이를 보이는지 조사했습니다. 연구 대상자의 40% 이상은 당뇨 같은 만성 질환이 있었으며 평균 연령은 57세였습니다.   연구 결과 대조군의 2%, 5일 투여군의 2%, 10일 투여군의 1%가 사망했으나 사망자 수가 4명, 3명, 2명 정도로 통계적 차이를 판단하기에는 사망자 수가 적어 결론을 내리기 어려웠습니다. 연구팀은 5일 투여군에서 임상 경과가 다소 호전되는 것을 판단했으나 10일 투여군에서는 통계적 차이를 검증할 수 없었습니다. 결론적으로 말해 중등도 코로나 19 환자에서 렘데시비르 투여는 확실한 임상적 이득이 없었습니다.     5일 투여량만 해도 가격이 3120달러라는 점을 감안할 때 중등도 환자에서 렘데시비르 투여는 설령 공급이 원활하다고 해도 적절한 치료법이 아닌 것으로 판단됩니다. 더구나 지금처럼 공급이 불안해 중증 환자 투여 물량 확보가 아쉬운 상황에서는 말할 것도 없습니다.  이번 연구는 렘데시비르보다 효과가 뛰어나면서 저렴한 차세대 항바이러스 치료제의 필요성을 다시 보여준 것으로 생각됩니다....
댓글 쓰기
자세한 내용 보기

178Tb/s - 광섬유 통신 신기록 수립

  ( Lidia Galdino, lead researcher on the study. Credit: James Tye / UCL )  현재 가정에 들어오는 초고속 광통신은 10Gb/s 정도가 가장 빠른 편입니다. 그러나 사실 광섬유를 통해서 보낼 수 있는 정보량은 이것보다 훨씬 많습니다. 현재 개발 중인 기술 가운데서는 이미 1Tb/s 이상이 속도를 지닌 것들이 많아 미래에는 테라 인터넷 시대가 가능할 것으로 예상됩니다. 그런 가운데 영국 유니버시티 칼리지 런던 (UCL)의 리디아 갈디노( Lidia Galdino )가 이끄는 연구팀이 178Tb/s라는 신기록을 세웠다는 소식입니다.   광섬유 통신을 위한 주파수는 4.5THz까지 높일 수 있습니다. 최근에 개발된 신기술은 9THz 벽도 돌파했습니다. 그러나 연구팀은 16.8THz라는 새로운 영역에 도달했습니다. 주파수가 높을 수록 더 많은 정보를 전송할 수 있습니다. 하지만 16.8THz의 주파수로도 178Tb/s의 데이터 전송 속도는 사실 불가능합니다. 연구팀은  Geometric Shaping (GS) 방식으로 레이저 신호의 페이즈, 밝기, 편광 수준을 조절해 여러 신호가 서로 간섭 없이 전달되게 만들어 이런 신기록을 수립했습니다.   물론 새로운 기술이 항상 그렇듯이 바로 상용화가 가능한 것은 아닙니다. 특히 광섬유는 장거리 정보 전송이 가능해야 할 뿐 아니라 오류 없이 장시간 작동이 가능해야 합니다. 자꾸 에러가 생기거나 고장난다면 아무리 속도가 빨라도 무용지물입니다. 이 단계를 극복하고 경제성까지 갖춰 실용화 되는 경우는 사실 소수에 지나지 않습니다.   하지만 경쟁적으로 Tb 급 대역폭을 지닌 광통신 기술이 개발되고 있어 테라바이트 급 정보도 순식간에 전송할 수 있는 시대가 올 것은 분명합니다. 과거 전화선을 이용한 56K 모뎀에서 지금의 광섬유 기반 초고속 인터넷이 온 것처럼 속도는 계속 빨라질 수밖에 없기 때문입니다...
댓글 쓰기
자세한 내용 보기

코로나 19 감염 위험성이 큰 동물은?

  ( A new genomic study ranks the potential of the SARS-CoV-2 spike protein to bind to the ACE2 receptor site in 410 vertebrate animals. Old World primates and great apes, which have identical amino acids at the binding site as humans, are predicted to have a very high propensity for binding ACE2 and are likely susceptible to SARS-CoV-2 infection. Credit: Matt Verdolivo/UC Davis )    코로나 19를 일으키는  SARS-CoV-2는 사스 및 메르스와 마찬가지로 박쥐를 자연 숙주로 삼는 베타 코로나바이러스 계통입니다. 따라서 본래 박쥐에 살던 바이러스가 중간 단계를 거쳐 사람으로 넘어온 것으로 추정됩니다. 그런데 이 이야기는 SARS-CoV-2 역시 사람에만 감염되는 것이 아니라 종을 넘어 다른 포유류나 조류, 혹은 척추동물에 감염될 수 있음을 시사합니다. 코로나 바이러스가 침투하는 경로인 ACE2 수용체는 다른 척추동물에서도 볼 수 있기 때문입니다. 다만 SARS-CoV-2와 ACE2 수용체의 결합 수준은 동물마다 큰 차이가 있어 감염 위험도는 모두 다를 수밖에 없습니다.   캘리포니아 대학 데이비스 캠퍼스 (UC Davis)의 조안나 다마스 (Joana Damas)와 그 동료들은 410종의 척추동물에서 ACE2 수용체 유전자를 조사해 코로나 19 감염 위험도를 조사했습니다. 연구팀에 따르면 ACE2 수용체 전체가 아니라 25개의 아미노산 배열이 특히 결합력에 큰 영향을 미쳐 감염 가능성을 결정합니다.   연구 결과 쉽게 예상할 수 있듯이 사람과 가까운 침팬치, 고릴라, 보노보...
댓글 쓰기
자세한 내용 보기