뉴럴넷 패키지는 비교적 단순하기는 하지만 시각화 기능도 제공합니다. 앞서 간단한 예제에서 좀 더 다양한 기능을 알아보겠습니다. 기본 여제는 동일합니다.
x<-seq span="">
set.seed(4567)
b<-rnorm span="">
y=3*x+b
y
model=lm(y~x)
summary(model)
data1<-as .data.frame="" span="" x="">
data2<-as .data.frame="" span="" y="">
data3<-cbind data1="" data2="" span="">
data3$pred=2.96*data3$x+22
data3$error=data3$pred-data3$y
summary(data3)
뉴럴넷 패키지를 불러내 예제를 실행시킵니다.
library(neuralnet)
fit<-neuralnet data="data3," fit2="" hidden="c(3,3)," span="" stepmax="1e6)" threshold="0.08" x="" y="">
pred<-compute fit="" span="" x="">
시각화는 간단히 plot으로 할 수 있습니다.
plot(fit)
이 그림에서 알 수 있는 사실은 입력 (x)는 하나 뿐이고 출력도 하나 뿐이며 (y) 은닉층은 2개이고 총 240762단계를 거쳐 적합했다는 사실입니다. 에러의 합도 볼 수 있습니다. 다만 숫자는 해석이 좀 어려운데 뉴런 간의 양 혹은 음의 상관성을 보여줍니다. 솔직히 말하면 알고리즘을 개선하는데 그렇게 큰 도움이 되는 것 같지는 않습니다. 다만 에러가 작고 단계가 작은 모델이 더 빠르고 정확할 것입니다. 아무튼 여기서 간단한 방법으로 신경망을 더 깊게 만들 수 있습니다. DNN (Deep Neural Network)의 층을 깊게 만드는 방법은 그냥 한 층 더 써주는 것 뿐입니다.
fit2<-neuralnet data="data3," hidden="c(3,3,3)," stepmax="1e6) </span" threshold="0.08" x="" y="">
pred<-compute fit2="" span="" x="">
> fit2<-neuralnet data="data3," hidden="c(3,3,3)," stepmax="1e6) </span" threshold="0.08" x="" y="">
Warning message:
algorithm did not converge in 1 of 1 repetition(s) within the stepmax
이런 메세지가 뜨면 stepmax 값을 조정해 주어야 합니다.
fit2<-neuralnet data="data3," hidden="c(3,3,3)," stepmax="1e7) </span" threshold="0.08" x="" y="">
그런데 이렇게 해보면 결국 값을 찾지 못하고 계속해서 시간을 끄는 것을 볼 수 있습니다. 이렇게 간단한 예제를 실행하는데 상당히 오랜 시간이 걸린다면 솔직히 좋은 방법이 아닌 것이죠. 이 경우 은닉층 (hidden)의 숫자를 줄이는 것이 합리적인 해결책입니다.
은닉층의 수를 늘려 더 깊은 (deep) 신경망을 만드는 것은 복잡한 데이터를 분류하는데 도움이 되기도 하지만 결국 더 많은 연산 능력을 요구할 뿐 아니라 경우에 따라서는 원하는 답을 찾지 못하고 시간을 끄는 문제를 만들 수 있습니다. 딥러닝이라고 해서 무조건 뉴런의 수를 늘리고 층을 많이 만드는 것은 단순히 시간 낭비에서 끝나지 않고 성능을 떨어뜨리는 결과를 가져올 수 있습니다.
아무튼 여기서 뉴럴넷의 기본 옵션을 더 확장해서 사용해 보겠습니다.
f=y~x
fit<-neuralnet f="" span="">
data=data3,
hidden=c(3,3),
algorithm = "rprop+",
err.fct = "sse",
act.fct = "logistic",
threshold = 0.08,
stepmax=1e6,
linear.output = TRUE)
fit
plot(fit)
모델의 공식은 neuralnet() 안에 넣을 수도 있지만, 만약 복잡한 모델을 사용하는 경우 f=y~x+.... 하는 식으로 만들어 넣는 것도 더 간결한 모델을 위한 방법입니다. 알고리즘의 경우 기본적인 역전파 알고리즘 (backprop)보다 더 강건한 알고리즘인 resilient backpropagation with backtracking (rprop+) 이 기본이고 오차 함수 (err.fct)는 기본이 sse (sum of squared errors) 입니다. 마지막으로 임계치 0.08에 로지스틱 함수가 적용되고 stepmax는 1e5가 기본이지만, 1e6을 쓰는 것이 더 좋기 때문에 수정했습니다.
algorithm
a string containing the algorithm type to calculate the neural network. The following types are possible: 'backprop', 'rprop+', 'rprop-', 'sag', or 'slr'. 'backprop' refers to backpropagation, 'rprop+' and 'rprop-' refer to the resilient backpropagation with and without weight backtracking, while 'sag' and 'slr' induce the usage of the modified globally convergent algorithm (grprop).
err.fct
a differentiable function that is used for the calculation of the error. Alternatively, the strings 'sse' and 'ce' which stand for the sum of squared errors and the cross-entropy can be used.
act.fct
a differentiable function that is used for smoothing the result of the cross product of the covariate or neurons and the weights. Additionally the strings, 'logistic' and 'tanh' are possible for the logistic function and tangent hyperbolicus.
기본 옵션은 당연히 가장 좋은 결과를 가져올 것으로 예상되는 것들의 모임이기 때문에 수정해도 더 좋은 결과를 얻기는 어렵지만, 경우에 따라 수정하는 것이 더 유리할수도 있습니다. 위의 코드를 실행하면 여러 가지 결과를 얻을 수 있습니다. 아무튼 결론은 아래와 같은 것이죠.
$data
x y pred error
1 1 19.32087507 24.96 5.6391249299
2 2 21.48726966 27.92 6.4327303370
3 3 30.26207572 30.88 0.6179242799
4 4 35.07512927 33.84 -1.2351292690
5 5 41.77267197 36.80 -4.9726719682
6 6 46.01159271 39.76 -6.2515927149
7 7 43.21601820 42.72 -0.4960181969
8 8 45.05702925 45.68 0.6229707451
9 9 45.23831404 48.64 3.4016859563
10 10 57.63100882 51.60 -6.0310088222
11 11 60.59327016 54.56 -6.0332701591
12 12 62.15587921 57.52 -4.6358792125
13 13 57.29347172 60.48 3.1865282758
14 14 63.74009627 63.44 -0.3000962681
15 15 65.51689005 66.40 0.8831099451
16 16 69.73028132 69.36 -0.3702813150
17 17 71.87927221 72.32 0.4407277887
18 18 78.99739051 75.28 -3.7173905083
19 19 68.72797008 78.24 9.5120299247
20 20 72.78345121 81.20 8.4165487874
21 21 83.92176640 84.16 0.2382335953
22 22 85.06538727 87.12 2.0546127307
23 23 88.73498412 90.08 1.3450158799
24 24 95.38498261 93.04 -2.3449826076
25 25 103.60640064 96.00 -7.6064006413
26 26 103.78633665 98.96 -4.8263366466
27 27 100.89600437 101.92 1.0239956334
28 28 105.52632525 104.88 -0.6463252532
29 29 107.09607757 107.84 0.7439224349
30 30 108.25762910 110.80 2.5423708974
31 31 121.62643622 113.76 -7.8664362212
32 32 115.42910107 116.72 1.2908989302
33 33 116.61657742 119.68 3.0634225792
34 34 127.87461446 122.64 -5.2346144593
35 35 129.38990366 125.60 -3.7899036572
36 36 122.48552181 128.56 6.0744781930
37 37 126.29130943 131.52 5.2286905742
38 38 133.94008492 134.48 0.5399150841
39 39 137.22070921 137.44 0.2192907912
40 40 140.97469733 140.40 -0.5746973328
41 41 139.44565008 143.36 3.9143499243
42 42 147.52457677 146.32 -1.2045767736
43 43 152.29635326 149.28 -3.0163532649
44 44 146.52300615 152.24 5.7169938456
45 45 158.18120293 155.20 -2.9812029311
46 46 160.60867608 158.16 -2.4486760753
47 47 163.04301396 161.12 -1.9230139580
48 48 161.12585790 164.08 2.9541421018
49 49 173.63881825 167.04 -6.5988182540
50 50 167.17087291 170.00 2.8291270883
신경망이 어느 정도 실제와 유사한 값을 예측하기는 하지만, 이보다 더 성능을 향상시키기 위해 여기서 적극 노력할 필요는 없을 것입니다. 실제 현실에서 보기 힘든 예제이기 때문이죠. 다음에는 좀 더 현실적인 예제를 다뤄보겠습니다.
댓글
댓글 쓰기