앞서 많이 다뤘던 다이아몬드 데이터를 이용해서 다이아몬드 가격을 예측하는 신경망을 만들어보겠습니다. 인공 지능이 다루는 영역은 매우 다양하지만, 가장 흔한 적용은 바로 예측과 분류입니다. 예를 들어 사람인지 고릴라인지 분류하고 거기에 맞게 반응하는 것이죠. 사용자의 취향을 분류해서 가장 가능성 있는 연관 상품을 광고하는 것 역시 마찬가지입니다.
전통적인 선형 회귀 혹은 로지스틱 회귀 분석 방법에 비해서 신경망을 이용한 예측은 기존의 방식으로는 해결하기 어려웠던 여러 가지 예측과 분류를 가능하게 합니다. 독립 변수와 종속 변수의 관계가 비선형이거나 혹은 여러 가지 통계적 가정을 만족시키지 않는 자료라도 학습시키는데 문제가 없습니다. 특히 이미지, 음성, 언어 등 기존의 방식으로는 예측이나 분류가 어려운 비정형 데이터 학습에도 큰 효과를 발휘해 신경망은 현재 인공 지능의 대세로 떠오르고 있습니다. 하지만 막상 공부하려면 쉽지 않은 분야인 것도 사실입니다.
여기서는 가장 간단한 형태의 패키지인 neuralnet을 이용해서 다시 한 번 시도해보겠습니다.
#diamonds
library(ggplot2)
library(neuralnet)
다이아몬드 패키지에는 cut, color, clarity 등 여러 정보가 들어가 있는데 이 정보는 neuralnet 패키지에는 그대로 인식하지 못하기 때문에 이를 아래처럼 문자형이 아니라 숫자형으로 변경해 주어야 합니다.
diamonds$cut2[diamonds$cut=="Fair"]=0
diamonds$cut2[diamonds$cut=="Good"]=1
diamonds$cut2[diamonds$cut=="Very Good"]=2
diamonds$cut2[diamonds$cut=="Premium"]=3
diamonds$cut2[diamonds$cut=="Ideal"]=4
diamonds$color2[diamonds$color=="D"]=0
diamonds$color2[diamonds$color=="E"]=1
diamonds$color2[diamonds$color=="F"]=2
diamonds$color2[diamonds$color=="G"]=3
diamonds$color2[diamonds$color=="H"]=4
diamonds$color2[diamonds$color=="I"]=5
diamonds$color2[diamonds$color=="J"]=6
diamonds$clartiy2[diamonds$clarity=="I1"]=0
diamonds$clartiy2[diamonds$clarity=="SI1"]=1
diamonds$clartiy2[diamonds$clarity=="SI2"]=2
diamonds$clartiy2[diamonds$clarity=="VS1"]=3
diamonds$clartiy2[diamonds$clarity=="VS2"]=4
diamonds$clartiy2[diamonds$clarity=="VVS1"]=5
diamonds$clartiy2[diamonds$clarity=="VVS2"]=6
diamonds$clartiy2[diamonds$clarity=="IF"]=7
일단 학습을 위해 1000개 정도 샘플을 뽑아 보겠습니다.
set.seed(1000)
diamonds1<-sample 1000="" diamonds="" nrow="" replace="FALSE)</span">
train<-diamonds diamonds1="" span="">
이렇게 뽑은 샘플은 train이라는 객체에 저장했습니다. 그리고 학습을 시킵니다.
start_time <- span="" sys.time="">
f=price~carat
fit<-neuralnet f="" span="">
data=train,
hidden=c(3,3,3),
algorithm = "rprop+",
err.fct = "sse",
act.fct = "logistic",
threshold = 0.1,
stepmax=1e6,
linear.output = TRUE)
fit
end_time <- span="" sys.time="">
end_time - start_time
여기서는 각각의 뉴런이 3개인 3개의 층을 지닌 DNN을 만들었습니다. 일단 기본값을 이용해서 만들었는데, 보통 신경망은 일반적인 통계 분석 방법에 비해 시간이 오래 걸립니다. 따라서 시간을 측정하기 위해 코드를 삽입했습니다. 이 내용은 이전에 설명한 적이 있죠.
start_time <- span="" sys.time="">
(시간을 측정하려는 코드)
end_time <- span="" sys.time="">
end_time - start_time
해보면 저는 5.5초 걸렸습니다. 아무래도 캐럿과 가격이라는 비교적 단순한 데이터다보니 시간이 짧게 걸린 것 같습니다. data=diamonds로 바꾸면 전체 데이터를 학습하게 되는데 저는 5분 정도 걸렸습니다. 여기서는 시간이 없으니 일부 샘플만 이용해서 진행해 보겠습니다. 학습을 한 신경망이 실제로 얼마나 예측을 잘 하는지 보기 위해 20개 정도 샘플을 다시 다이아몬드 데이터에 뽑아 예측을 시켜 보겠습니다. 일부 값은 중복될 수 있지만, 관측치가 5만개 이상이라 대부분은 겹치지 않을 것입니다.
set.seed(111)
diamonds1<-sample 20="" diamonds="" nrow="" replace="FALSE)</span">
test<-diamonds diamonds1="" span="">
pred<-compute carat="" fit="" span="" test="">
pred
result<-cbind net="" pred="" span="" test="">
result
결과는 다소 황당하게 나왔습니다. 예측한 가격이 모두 3841 달러로 나온 것이죠. 보통 텍스트북이나 혹은 다른 사이트에서 볼 수 있는 예제들은 대부분 잘 되는 것을 보여주지만, 실제로 해보면 그렇게 되지 않습니다. 여기서는 왜 안되는지 하나씩 알아 보겠습니다. 신경망이 학습을 하면서 분류를 한 게 아니라 오히려 하나로 잘못 수렴된 값을 보여주는 경우인데, 어쩌면 정보가 너무 부족한 것이 원인일 수도 있습니다. 이번에는 cut, color, clarity, depth 값을 넣어 보겠습니다. (clarity가 오타라서 수정해야 겠네요. 저도 지금 봤습니다)
f=price~carat+cut2+color2+clarity2+depth 이렇게만 바꿔서 코드를 넣으면 됩니다.
start_time <- span="" sys.time="">
f=price~carat+cut2+color2+clarity2+depth
fit<-neuralnet f="" span="">
data=train,
hidden=c(3,3,3),
algorithm = "rprop+",
err.fct = "sse",
act.fct = "logistic",
threshold = 0.1,
stepmax=1e6,
linear.output = TRUE)
fit
end_time <- span="" sys.time="">
end_time - start_time
이번에도 5.5 초 정도 나오네요. 그러면 예측력은 좋아졌을까요. 이를 측정하기 위해서는 carat 이외에 다른 정보도 같이 주고 테스트를 해야 합니다.
set.seed(111)
diamonds1<-sample 20="" diamonds="" nrow="" replace="FALSE)</span">
test<-diamonds diamonds1="" span="">
test1<-test c="" carat="" clarity2="" color2="" cut2="" depth="" span="">
pred<-compute fit="" span="" test1="">
result<-cbind net="" pred="" span="" test1="">
result
> result
carat cut2 color2 clarity2 depth pred$net
1 0.30 3 2 4 61.4 3841.03705
2 0.50 2 3 2 63.3 3841.03705
3 1.51 4 6 3 61.9 3841.03705
4 0.32 3 4 4 61.0 3841.03705
5 1.56 4 6 3 62.5 3841.03705
6 1.03 4 2 7 63.1 3841.03705
7 0.70 4 2 1 60.7 3841.03705
8 0.38 4 1 1 60.7 3841.03705
9 1.56 3 4 3 62.0 3841.03705
10 0.31 3 4 1 61.1 3841.03705
11 0.32 4 0 1 60.9 3841.03705
12 0.34 4 4 5 61.8 3841.03705
13 0.80 3 2 4 61.6 3841.03705
14 0.90 1 2 2 64.3 3841.03705
15 1.00 1 4 1 61.6 3841.03705
16 2.01 1 4 2 57.6 3841.03705
17 1.01 3 4 4 61.9 3841.03705
18 0.75 2 2 1 60.6 3841.03705
19 1.25 4 1 2 62.3 3841.03705
20 0.31 3 3 5 60.7 3841.03705
역시 달라진게 없습니다. 이는 근본적으로 알고리즘에 문제가 있기 때문으로 이런 방식으로는 절대 원하는 결과를 얻기 어려울 것입니다. 문제를 해결하는 방법은 여러 가지가 있겠지만, 여기서는 간단한 근사치를 통해서 해결을 시도해 보겠습니다. 아무래도 가격의 분포가 너무 넓어 학습이 제대로 이뤄지지 않는 것으로 보입니다. 이를 범주형으로 바꾸면 어떨까요?
mygroup<-function k="4){</span" y="">
count=length(y)
z=rank(y,ties.method = "min")
return(floor((z-1)/(count/k))+1)
}
diamonds$price2<-mygroup diamonds="" price="" span="">
가격에 따라 10개의 그룹으로 나누고 price2라고 명명합니다.
set.seed(1000)
diamonds1<-sample 1000="" diamonds="" nrow="" replace="FALSE)</span">
train<-diamonds diamonds1="" span="">
다시 1000개의 샘플을 구해 학습을 시킵니다.
f=price2~carat
start_time <- span="" sys.time="">
fit<-neuralnet f="" span="">
data=train,
hidden=c(3,3,3),
algorithm = "rprop+",
err.fct = "sse",
act.fct = "logistic",
threshold = 0.1,
stepmax=1e6,
linear.output = TRUE)
fit
end_time <- span="" sys.time="">
end_time - start_time
set.seed(111)
diamonds1<-sample 20="" diamonds="" nrow="" replace="FALSE)</span">
test<-diamonds diamonds1="" span="">
pred<-compute carat="" fit="" span="" test="">
pred
result<-cbind net="" pred="" span="" test="">
result
이렇게 하면 pred$net의 값이 소수점 이하로 나와 보기 어려우니 round로 반올림 하겠습니다.
result$`pred$net`<-round net="" pred="" result="" span="">
result
완벽하지는 않지만 얼추 비슷하게 추정을 한다는 사실을 알 수 있습니다. 20개 중 7개를 잘못 분류했습니다. 그러면 정보를 더 주면 개선될 수 있을까요?
f=price2~carat+cut2+color2+clarity2+depth
start_time <- span="" sys.time="">
fit<-neuralnet f="" span="">
data=train,
hidden=c(3,3,3),
algorithm = "rprop+",
err.fct = "sse",
act.fct = "logistic",
threshold = 0.1,
stepmax=1e6,
linear.output = TRUE)
fit
end_time <- span="" sys.time="">
end_time - start_time
set.seed(111)
diamonds1<-sample 20="" diamonds="" nrow="" replace="FALSE)</span">
test<-diamonds diamonds1="" span="">
test1<-test c="" carat="" clarity2="" color2="" cut2="" depth="" span="">
pred<-compute fit="" span="" test1="">
result<-cbind net="" pred="" span="" test="">
result$`pred$net`<-round net="" pred="" result="" span="">
result
시간은 3배 더 걸렸는데, 예측력은 엄청나게 개선된 것 같지는 않아 보입니다. 역시 20개 중 7개를 잘못 분류했습니다. 아무튼 이전처럼 하나로 수렴되어 하나도 예측을 못하는 것보다는 좋아 보입니다. 또 잘못 분류했다고 해도 비교적 근사치에 가까운 모습을 보이는 것 역시 그렇습니다. 재미있는 사실은 오히려 샘플 수를 늘리거나 정보를 더 준다고 꼭 더 좋은 결과가 나오지 않는다는 점입니다. 이 부분도 코드를 수정해가면서 직접 알아볼 수 있을 것입니다.
좀 더 알아보기 위해 다른 예제도 같이 해보겠습니다.
댓글
댓글 쓰기