앞서 scale을 이용해서 데이터를 정규화 한 후 신경망의 정확도를 높이고 에러를 없애는 방법을 알아보겠습니다. 연속형 데이터를 범주형으로 바꿔 신경망이 더 쉽게 학습할 수 있게 하는 것도 하나의 방법입니다. 그렇게 만든 결과값을 확인하는 방법까지 이야기했습니다. 그런데 신경망의 정확도와 성능을 높이는 방법은 여러 가지입니다. 우선 은닉층의 숫자와 뉴런의 갯수를 조절하는 것이 하나의 방법이라고 할 수 있습니다. 앞서 예제에서 은닉층이 3개일 때와 4개일 때를 서로 비교해 보겠습니다. 비교를 위해 결과값과 예측값을 서로 빼서 평균과 표준 편차를 알아보는 코드를 하나 더 추가합니다.
library(neuralnet)
library(MASS)
data("Boston", package = "MASS")
data<-boston span="">
data<-scale data="" span="">
set.seed(1234)
n = nrow(data)
train <- 400="" n="" sample="" span="">
test <- data="" span="" train="">
train <- data="" span="" train="">
f=medv ~ lstat + rm + ptratio + dis + nox + chas + black + zn + crim + tax
fit<-neuralnet f="" span="">
data=train,
hidden=c(10,10,10),
algorithm = "rprop+",
err.fct = "sse",
act.fct = "logistic",
threshold = 0.1,
stepmax=1e6,
linear.output = TRUE)
pred<-compute black="" c="" chas="" crim="" dis="" fit="" lstat="" nox="" ptratio="" rm="" span="" tax="" test="" zn="">
result<-cbind net="" pred="" span="" test="">
result
data("Boston", package = "MASS")
data<-boston span="">
set.seed(1234)
n = nrow(data)
train <- 400="" n="" sample="" span="">
test <- data="" span="" train="">
train <- data="" span="" train="">
test$medv2=pred$net*sd(train$medv)+mean(train$medv)
test$medv3=test$medv-test$medv2
mean(test$medv3);sd(test$medv3)
마지막 두 줄이 그런 목적입니다. 그리고 내친 김에 신경망의 구조 역시 확인해 보겠습니다.
앞서 이 그림으로는 사실 신경망을 개선할 방법을 정확히 알기 아렵다고 했는데, 여기서도 그런 점을 다시 확인할 수 있습니다. 각각의 입력 -> 은닉층 -> 출력으로 넘어가는 과정에서 입력 -> 가중치 (검은선) + 편향(bias, 파란색 실선) 을 통해 다음 층으로 입력을 넘기고 최종적으로 집값(medv)의 예상치를 출력한다는 것은 알겠지만, 솔직히 한 눈에 들어오지 않는 과정입니다. 추정된 값과 실제값의 평균 및 표준편차는 좀 더 쉽게 들어오는 수치로 나타납니다.
> data("Boston", package = "MASS")
> data<-boston span="">
>
> set.seed(1234)
> n = nrow(data)
> train <- 400="" n="" sample="" span="">
> test <- data="" span="" train="">
> train <- data="" span="" train="">
>
> test$medv2=pred$net*sd(train$medv)+mean(train$medv)
> test$medv3=test$medv-test$medv2
> mean(test$medv3);sd(test$medv3)
[1] 0.6216883105
[1] 3.551668804
평균 0.62에 표준편차 3.55는 오차의 크기가 평균 620 달러에 표준 편차는 3550달러 수준이라는 점을 보여줍니다. 아주 나쁜 수준은 아닌 것 같지만, 은닉층을 3개에서 4개로 늘릴 경우 더 좋아질 수 있는지 확인해 보겠습니다.
data("Boston", package = "MASS")
data<-boston span="">
data<-scale data="" span="">
set.seed(1234)
n = nrow(data)
train <- 400="" n="" sample="" span="">
test <- data="" span="" train="">
train <- data="" span="" train="">
f=medv ~ lstat + rm + ptratio + dis + nox + chas + black + zn + crim + tax
fit<-neuralnet f="" span="">
data=train,
hidden=c(10,10,10,10),
algorithm = "rprop+",
err.fct = "sse",
act.fct = "logistic",
threshold = 0.1,
stepmax=1e6,
linear.output = TRUE)
pred<-compute black="" c="" chas="" crim="" dis="" fit="" lstat="" nox="" ptratio="" rm="" span="" tax="" test="" zn="">
result<-cbind net="" pred="" span="" test="">
result
data("Boston", package = "MASS")
data<-boston span="">
set.seed(1234)
n = nrow(data)
train <- 400="" n="" sample="" span="">
test <- data="" span="" train="">
train <- data="" span="" train="">
test$medv2=pred$net*sd(train$medv)+mean(train$medv)
test$medv3=test$medv-test$medv2
mean(test$medv3);sd(test$medv3)
[1] 0.3493332456
[1] 4.082403695
은닉층을 하나 더 늘리자 오차의 평균은 줄었지만, 표준 편차는 다소 늘었습니다. 오차의 크기가 줄어들면서 상대적으로 표준 편차는 약간 늘어날 수 있지만 과연 더 좋은 신경망인지 직관적으로 판단하기는 어렵습니다. 더 객관적인 판단을 위해서 예측값과 실제값의 상관 계수를 구할 수 있습니다. 피어슨 상관계수가 1에 가까울수록 실제값이 가깝게 예측한 것입니다. 이제 다시 값을 구해보겠습니다. result를 데이터 프레임으로 바꾸고 상관계수의 제곱을 해 양수로 나타나게 합니다. (데이터 프레임으로 바꾸지 않으면 에러가 납니다)
data("Boston", package = "MASS")
data<-boston span="">
data<-scale data="" span="">
set.seed(1234)
n = nrow(data)
train <- 400="" n="" sample="" span="">
test <- data="" span="" train="">
train <- data="" span="" train="">
f=medv ~ lstat + rm + ptratio + dis + nox + chas + black + zn + crim + tax
fit<-neuralnet f="" span="">
data=train,
hidden=c(10,10,10,10),
algorithm = "rprop+",
err.fct = "sse",
act.fct = "logistic",
threshold = 0.1,
stepmax=1e6,
linear.output = TRUE)
pred<-compute black="" c="" chas="" crim="" dis="" fit="" lstat="" nox="" ptratio="" rm="" span="" tax="" test="" zn="">
result<-cbind net="" pred="" span="" test="">
result
result<-data .frame="" result="" span="">
round(cor(result[,15], result$medv)^2,6)
[1] 0.832975
은닉층이 3개일 경우는 어떨까요? hidden=c(10,10,10), 만 변경해서 시행해 보겠습니다.
[1] 0.870892
상관계수가 더 1에 가깝다는 결론이 나왔습니다. 이 정도면 상당히 근접한 결과입니다.
여기에 더해서 평균 제곱 오차 MSE (Mean Squared Error)와 제곱근 평균 제곱 오차 RMSE (Root Mean Square Error)도 유용한 지표가 됩니다. MSE는 오차(잔차)의 제곱에 대해서 평균을 구한 것이고 RMSE는 오차(잔차)의 제곱에 대해 평균을 구한 후 다시 제곱근을 구한 것입니다. 상관 계수와 달리 이것이 작을 수록 추정의 정확성이 높다고 평가합니다. 이를 구하기 위해선 Metrics 패키지가 필요합니다. mse, rmse 함수는 이 패키지에서 가져올 수 있습니다.
library(neuralnet)
library(MASS)
library(Metrics)
data("Boston", package = "MASS")
data<-boston span="">
data<-scale data="" span="">
set.seed(1234)
n = nrow(data)
train <- 400="" n="" sample="" span="">
test <- data="" span="" train="">
train <- data="" span="" train="">
f=medv ~ lstat + rm + ptratio + dis + nox + chas + black + zn + crim + tax
fit<-neuralnet f="" span="">
data=train,
hidden=c(10,10,10),
algorithm = "rprop+",
err.fct = "sse",
act.fct = "logistic",
threshold = 0.1,
stepmax=1e6,
linear.output = TRUE)
pred<-compute black="" c="" chas="" crim="" dis="" fit="" lstat="" nox="" ptratio="" rm="" span="" tax="" test="" zn="">
result<-cbind net="" pred="" span="" test="">
result
result<-data .frame="" result="" span="">
round(cor(result[,15], result$medv)^2,6)
mse(result[,15], result$medv)
rmse(result[,15], result$medv)
> round(cor(result[,15], result$medv)^2,6)
[1] 0.870892
> mse(result[,15], result$medv)
[1] 0.154431442
> rmse(result[,15], result$medv)
[1] 0.3929776609
상관계수는 1에 가깝기 때문에 예측값과 추정값의 상관성이 높다는 것을 보여주고 있습니다. MSE 값과 RMSE 값 역시 오차가 그렇게 크지 않다는 것을 보여주고 있지만, 이를 굳이 보여준 이유는 모델간 비교를 위한 것이죠. hidden=c(10,10,10,10), 로 바꿔 테스트를 해보겠습니다.
> round(cor(result[,15], result$medv)^2,6)
[1] 0.832975
> mse(result[,15], result$medv)
[1] 0.1996586154
> rmse(result[,15], result$medv)
[1] 0.4468317529
은닉층을 늘리자 상관계수는 작아진 반면 오차는 커졌다는 것을 알 수 있습니다. 따라서 은닉층이 3개인 경우 더 유리하다는 결론이 나옵니다. 이런 식으로 여러 가지를 변경하면서 최적의 신경망을 개발해 나가야 합니다.
다소 어려울 수 있지만, 이렇게 해서 실제 신경망으로 집값을 어떻게 추정하는지 그리고 모델을 어떻게 개선해 나갈 수 있을지를 살펴봤습니다. 좀 더 신경망을 테스트하기 위해 몇 가지 예제를 더 해 보겠습니다.
댓글
댓글 쓰기