기본 콘텐츠로 건너뛰기

R을 이용해 간단한 신경망 만들기 (11)




 신경망의 학습 결과는 학습시킨 데이터에 따라서 많이 달라지게 됩니다. 당연히 원하는 결과를 얻으려면 알맞는 데이터를 학습시켜야 합니다. 여기서는 다이아몬드 예제에서 1만 달러가 넘는 다이아몬드의 가격을 더 정확히 예측하는 것이 목표라고 가정하고 1만 달러가 넘는 다이아몬드를 학습 데이터에 많이 포함시켜보겠습니다. 


set.seed(1234)
diamonds2<-sample 800="" diamonds1="" nrow="" replace="FALSE)</span">
diamonds2<-diamonds1 diamonds2="" span="">

diamonds3<-subset diamonds1="" price="">10000)
set.seed(1234)
diamonds4<-sample 200="" diamonds3="" nrow="" replace="FALSE)</span">
diamonds4<-diamonds3 diamonds4="" span="">

diamonds5<-rbind diamonds2="" diamonds4="" span="">

set.seed(1234)

n = nrow(diamonds5)
train <- 900="" n="" sample="" span="">
test <- diamonds5="" span="" train="">
train <- diamonds5="" span="" train="">

f<-price2 carat2="" color2="" cut2="" span="">

fit<-neuralnet f="" span="">
               data=train, 
               hidden=c(3,3,3),
               algorithm = "rprop+",
               err.fct = "sse",
               act.fct = "logistic",
               threshold = 0.1,
               stepmax=1e7,
               linear.output = TRUE)

pred<-compute c="" carat2="" color2="" cut2="" fit="" span="" test="">
result1<-cbind net="" pred="" span="" test="">
result1$price3=pred$net*sd(train$price)+mean(train$price)
result1[,c("price","price3")]

result1$price4=result1$price-result1$price3
mean(result1$price4);sd(result1$price4)

result2=subset(result1, price>10000)
result2
mean(result2$price4);sd(result2$price4)


 데이터 전처리를 통해 800개의 샘플은 그냥 수집하고 200개는 1만 달러가 넘는 집단에서 뽑아서 하나로 합쳤습니다. 나머지는 코드는 그대로 동일한데, 마지막에 result2를 통해 1만 달러가 넘는 경우를 따로 뽑은 것입니다. 


> result1$price4=result1$price-result1$price3
> mean(result1$price4);sd(result1$price4)
[1] -3004.491525
[1] 2672.829038
> 
> result2=subset(result1, price>10000)
> result2
    price carat cut2 color2      price2       carat2    pred$net      price3         price4
4   15428  2.26    3      4 2.881407173 3.0844421296 3.081619450 22478.01842  -7050.0184201
13  15485  2.00    3      3 2.895694894 2.5359319348 2.997435762 22023.97741  -6538.9774121
14  16532  2.47    3      6 3.158137760 3.5274695946 3.096604897 22558.84176  -6026.8417645
23  16733  2.01    4      4 3.208520774 2.5570284807 3.007765902 22079.69257  -5346.6925689
26  15783  2.27    3      4 2.970392099 3.1055386755 3.083801098 22489.78504  -6706.7850420
30  12791  1.71    2      4 2.220412103 1.9241321021 2.078183587 17066.03140  -4275.0314049
34  10076  2.52    0      3 1.539865415 3.6329523244 3.099342356 22573.60613 -12497.6061308
36  15312  2.00    2      4 2.852330409 2.5359319348 2.822225689 21078.98962  -5766.9896243
38  10316  1.15    4      2 1.600024238 0.7427255287 1.003786500 11271.31816   -955.3181609
58  10913  2.24    3      4 1.749669311 3.0422490377 3.077025504 22453.24118 -11540.2411754
62  12150  1.13    4      0 2.059737912 0.7005324368 1.867727109 15930.94368  -3780.9436808
68  15079  1.53    2      2 2.793926218 1.5443942750 2.101720217 17192.97518  -2113.9751800
69  13196  1.54    2      0 2.321930117 1.5654908209 2.436366257 18997.87382  -5801.8738150
72  16100  2.31    3      6 3.049851878 3.1899248593 2.980002382 21929.95125  -5829.9512487
79  14359  2.10    3      6 2.613449748 2.7468973943 2.299409546 18259.20385  -3900.2038460
80  16657  2.21    3      2 3.189470480 2.9789593998 3.050175342 22308.42601  -5651.4260111
81  11737  1.71    2      0 1.956214604 1.9241321021 2.636600061 20077.82600  -8340.8259975
82  13675  2.00    3      6 2.441997102 2.5359319348 2.215612407 17807.24767  -4132.2476722
83  13221  1.73    3      4 2.328196661 1.9663251940 2.292362747 18221.19724  -5000.1972435
84  10833  2.00    3      3 1.729616370 2.5359319348 2.997435762 22023.97741 -11190.9774121
85  15145  2.01    2      5 2.810469894 2.5570284807 2.310738782 18320.30758  -3175.3075801
86  10359  1.31    4      3 1.610802694 1.0802702640 1.230782925 12495.61336  -2136.6133564
87  11846  1.09    4      2 1.983536736 0.6161462530 1.134730477 11977.55872   -131.5587182
88  10177  1.21    4      2 1.565182253 0.8693048045 1.826376913 15707.92323  -5530.9232250
89  11184  1.18    4      1 1.817598649 0.8060151666 1.487940757 13882.58277  -2698.5827653
90  17353  1.93    3      4 3.363931068 2.3882561131 2.811410554 21020.65867  -3667.6586717
91  13034  1.50    4      3 2.281322911 1.4811046371 2.156912621 17490.65297  -4456.6529692
92  13165  1.20    4      0 2.314159602 0.8482082585 2.053136435 16930.94070  -3765.9406959
93  14294  1.51    3      2 2.597156733 1.5022011831 2.460649863 19128.84637  -4834.8463742
94  18215  2.09    2      5 3.580001508 2.7258008484 3.094804962 22549.13389  -4334.1338926
95  15510  2.00    2      5 2.901961438 2.5359319348 2.314235717 18339.16814  -2829.1681446
96  15520  2.01    3      5 2.904468055 2.5570284807 2.997021421 22021.74268  -6501.7426842
97  13609  1.72    3      4 2.425453425 1.9452286481 2.295478682 18238.00290  -4629.0029002
98  12939  2.27    4      5 2.257510044 3.1055386755 3.079126925 22464.57509  -9525.5750925
99  10389  1.27    3      3 1.618322547 0.9958840802 1.512744487 14016.36059  -3627.3605876
100 16813  1.71    3      3 3.228573715 1.9241321021 2.625187272 20016.27162  -3203.2716221
> mean(result2$price4);sd(result2$price4)
[1] -5208.207308
[1] 2757.611139
> 


 결과는 의외로 다이아몬드의 가격을 과대 평가하는 것으로 나타났습니다. 비교를 위해 샘플을 별도로 뽑지 않았을 때를 보겠습니다. 


> result2=subset(result1, price>10000)
> result2
   price carat cut2 color2      price2       carat2     pred$net       price3         price4
4  15428  2.26    3      4 2.881407173 3.0844421296 3.1022028017 16419.509200  -991.50920004
13 15485  2.00    3      3 2.895694894 2.5359319348 3.0119402536 16055.074975  -570.07497528
14 16532  2.47    3      6 3.158137760 3.5274695946 2.9974045163 15996.387067   535.61293325
23 16733  2.01    4      4 3.208520774 2.5570284807 3.2033568661 16827.917824   -94.91782366
26 15783  2.27    3      4 2.970392099 3.1055386755 3.1106627080 16453.665996  -670.66599567
30 12791  1.71    2      4 2.220412103 1.9241321021 1.8884862416 11519.139522  1271.86047812
34 10076  2.52    0      3 1.539865415 3.6329523244 2.2320297131 12906.193194 -2830.19319361
36 15312  2.00    2      4 2.852330409 2.5359319348 2.3617131319 13429.788829  1882.21117145
38 10316  1.15    4      2 1.600024238 0.7427255287 0.8681213901  7399.425626  2916.57437427
58 10913  2.24    3      4 1.749669311 3.0422490377 3.0850028618 16350.064598 -5437.06459769
62 12150  1.13    4      0 2.059737912 0.7005324368 1.0233657257  8026.223232  4123.77676770
68 15079  1.53    2      2 2.793926218 1.5443942750 1.9785069077 11882.597151  3196.40284937
69 13196  1.54    2      0 2.321930117 1.5654908209 2.5229419644 14080.748787  -884.74878739
72 16100  2.31    3      6 3.049851878 3.1899248593 2.8330181342 15332.678530   767.32146993
87 17153  2.02    3      5 3.313798715 2.5781250267 2.6798192610 14714.139459  2438.86054056
90 12339  1.88    2      4 2.107112986 2.2827733833 2.1827474975 12707.216692  -368.21669201
> mean(result2$price4);sd(result2$price4)
[1] 330.3268325
[1] 2397.554842
> set.seed(1234)




 되려 별도 샘플링을 하지 않고 학습시킨 결과가 더 좋았습니다. 아무래도 비싼 다이아몬드를 많이 포함시켜 학습시키면 신경망이 높은 가격을 추정하도록 유도하는 것으로 보입니다. 이렇게 데이터를 따로 샘플링하는 것은 도움이 될 때도 있지만, 반대로 더 결과가 나쁘게 나타날 가능성도 있어 상황에 따라 사용해야 합니다. 아무튼 그 때마다 예상치 못한 결과가 나온다는 점에서 신경망 공부가 재미있는 것 같습니다. 
라벨:

댓글

댓글 쓰기

이 블로그의 인기 게시물

세상에서 가장 큰 벌

( Wallace's giant bee, the largest known bee species in the world, is four times larger than a European honeybee(Credit: Clay Bolt) ) (Photographer Clay Bolt snaps some of the first-ever shots of Wallace's giant bee in the wild(Credit: Simon Robson)  월리스의 거대 벌 (Wallace’s giant bee)로 알려진 Megachile pluto는 매우 거대한 인도네시아 벌로 세상에서 가장 거대한 말벌과도 경쟁할 수 있는 크기를 지니고 있습니다. 암컷의 경우 몸길이 3.8cm, 날개너비 6.35cm으로 알려진 벌 가운데 가장 거대하지만 수컷의 경우 이보다 작아서 몸길이가 2.3cm 정도입니다. 아무튼 일반 꿀벌의 4배가 넘는 몸길이를 지닌 거대 벌이라고 할 수 있습니다.   메가칠레는 1981년 몇 개의 표본이 발견된 이후 지금까지 추가 발견이 되지 않아 멸종되었다고 보는 과학자들도 있었습니다. 2018년에 eBay에 표본이 나왔지만, 언제 잡힌 것인지는 알 수 없었습니다. 사실 이 벌은 1858년 처음 발견된 이후 1981년에야 다시 발견되었을 만큼 찾기 어려운 희귀종입니다. 그런데 시드니 대학과 국제 야생 동물 보호 협회 (Global Wildlife Conservation)의 연구팀이 오랜 수색 끝에 2019년 인도네시아의 오지에서 메가칠레 암컷을 야생 상태에서 발견하는데 성공했습니다.   메가칠레 암컷은 특이하게도 살아있는 흰개미 둥지가 있는 나무에 둥지를 만들고 살아갑니다. 이들의 거대한 턱은 나무의 수지를 모아 둥지를 짓는데 유리합니다. 하지만 워낙 희귀종이라 이들의 생태에 대해서는 거의 알려진 바가 없습니다.  (동영상)...
댓글 쓰기
자세한 내용 보기

몸에 철이 많으면 조기 사망 위험도가 높다?

 철분은 인체에 반드시 필요한 미량 원소입니다. 헤모글로빈에 필수적인 물질이기 때문에 철분 부족은 흔히 빈혈을 부르며 반대로 피를 자꾸 잃는 경우에는 철분 부족 현상이 발생합니다. 하지만 철분 수치가 높다는 것은 반드시 좋은 의미는 아닙니다. 모든 일에는 적당한 수준이 있게 마련이고 철 역시 너무 많으면 여러 가지 질병을 일으킬 수 있습니다. 철 대사에 문제가 생겨 철이 과다하게 축적되는 혈색소증 ( haemochromatosis ) 같은 드문 경우가 아니라도 과도한 철분 섭취나 수혈로 인한 철분 과잉은 건강에 문제를 일으킬 수 있습니다. 하지만 높은 철 농도가 수명에 미치는 영향에 대해서는 잘 알려지지 않았습니다.   하버드 대학의 이야스 다글라스( Iyas Daghlas )와 임페리얼 칼리지 런던의 데펜더 길 ( Dipender Gill )은 체내 철 함유량에 영향을 미치는 유전적 변이와 수명의 관계를 조사했습니다. 연구팀은 48972명의 유전 정보와 혈중 철분 농도, 그리고 기대 수명의 60/90%에서 생존 확률을 조사했습니다. 그 결과 유전자로 예측한 혈중 철분 농도가 증가할수록 오래 생존할 가능성이 낮은 것으로 나타났습니다. 이것이 유전자 자체 때문인지 아니면 높은 혈중/체내 철 농도 때문인지는 명확하지 않지만, 높은 혈중 철 농도가 꼭 좋은 뜻이 아니라는 것을 시사하는 결과입니다.   연구팀은 이 데이터를 근거로 건강한 사람이 영양제나 종합 비타민제를 통해 과도한 철분을 섭취할 이유는 없다고 주장했습니다. 어쩌면 높은 철 농도가 조기 사망 위험도를 높일지도 모르기 때문입니다. 그러나 임산부나 빈혈 환자 등 진짜 철분이 필요한 사람들까지 철분 섭취를 꺼릴 필요가 없다는 점도 강조했습니다. 연구 내용은 정상보다 높은 혈중 철농도가 오래 유지되는 경우를 가정한 것으로 본래 철분 부족이 있는 사람을 대상으로 한 것이 아니기 때문입니다. 낮은 철분 농도와 빈혈이 건강에 미치는 악영향은 이미 잘 알려져 있기 때문에 철...
댓글 쓰기
자세한 내용 보기

사막에서 식물을 재배하는 온실 Ecodome

 지구 기후가 변해가면서 일부 지역에서는 비가 더 많이 내리지만 반대로 비가 적게 내리는 지역도 생기고 있습니다. 일부 아프리카 개도국에서는 이에 더해서 인구 증가로 인해 식량과 물이 모두 크게 부족한 현상이 지속되고 있습니다. 이를 해결하기 위한 여러 가지 아이디어들이 나오고 있는데, 그 중 하나가 사막 온실입니다.   사막에 온실을 건설한다는 아이디어는 이상해 보이지만, 실제로는 다양한 사막 온실이 식물재배를 위해서 시도되고 있습니다. 사막 온실의 아이디어는 낮과 밤의 일교차가 큰 사막 환경에서 작물을 재배함과 동시에 물이 증발해서 사라지는 것을 막는데 그 중요한 이유가 있습니다.   사막화가 진행 중인 에티오피아의 곤다르 대학( University of Gondar's Faculty of Agriculture )의 연구자들은 사막 온실과 이슬을 모으는 장치를 결합한 독특한 사막 온실을 공개했습니다. 이들은 이를 에코돔( Ecodome )이라고 명명했는데, 아직 프로토타입을 건설한 것은 아니지만 그 컨셉을 공개하고 개발에 착수했다고 합니다.   원리는 간단합니다. 사막에 건설된 온실안에서 작물을 키움니다. 이 작물은 광합성을 하면서 수증기를 밖으로 내보네게 되지만, 온실 때문에 이 수증기를 달아나지 못하고 갖히게 됩니다. 밤이 되면 이 수증기는 다시 응결됩니다. 그리고 동시에 에코돔의 가장 위에 있는 부분이 열리면서 여기로 찬 공기가 들어와 외부 공기에 있는 수증기가 응결되어 에코돔 내부로 들어옵니다. 그렇게 얻은 물은 식수는 물론 식물 재배 모두에 사용 가능합니다.  (에코돔의 컨셉.  출처 : Roots Up)   (동영상)   이 컨셉은 마치 사막 온실과 이슬을 모으는 담수 장치를 합쳐놓은 것이라고 말할 수 있습니다. 물론 실제로도 잘 작동할지는 직접 테스트를 해봐야 알 수...
댓글 쓰기
자세한 내용 보기