기본 콘텐츠로 건너뛰기

R에서 데이터 저장하기와 불러내기



 앞서 데이터의 특성을 살펴보는 예제를 실행해봤습니다. 하지만 사실 더 중요한 이야기가 빠졌습니다. 그것은 바로 데이터를 불러내거나 혹은 저장하는 일이죠. 처음에 R을 공부할 때 데이터를 어떻게 불러내는지를 몰라서 고생했던 기억이 있습니다. R은 현존하는 거의 모든 데이터 파일을 불러낼 수 있는 능력이 있지만, 기본적으로 많이 사용하는 파일 구조는 CSV 입니다. 


 CSV에 익숙하지 않은 분들도 있겠지만, 사실 데이터에 있어서 여러 소프트웨어와 어플리케이션에서 취급하는 범용 형식입니다. Comma Separated Value 의 약자로 쉼표를 기준으로 항목을 구분하여 저장한 데이터를 이야기 합니다. 사실 엑셀에서도 기본 저장 형식인 xlsx 외에 csv 형식으로 파일 저장이 가능합니다. 


 일단 첫 번째 단계로 csv 형식으로 파일을 저장해 보겠습니다. 저장할 데이터는 앞서 다룬 예제인 다이아몬드입니다. 


library("ggplot2")
write.csv(diamonds,"H:/data/diamond.csv",row.names=F,na="")


 저장을 위한 기본 명령은 write.csv 입니다. 간단하죠. () 안에 저장할 데이터 프레임 이름을 적고 그 다음에 "" 안에 경로를 지정합니다. row.names=F,na="" 를 지정한 이유는 R 이 기본 상태에서는 열 이름과 더불어 NA (결측값) 을 같이 저장하기 때문입니다. 그러면 데이터가 변형될 뿐 아니라 데이터 크기가 커지면서 본래 원하는 형태와 데이터가 달라질 수 있습니다. 물론 반대로 이것을 원할 때는 지정하지 않아도 됩니다. 아무튼 이렇게 저장한 파일을 한 번 열어보겠습니다. 




 우리가 흔히 보는 엑셀에서 파일을 열어서 볼 수 있습니다. 사용하는 사람 입장에서는 xlsx 파일이나 csv 파일이나 사실 체감되는 차이는 없습니다. 하지만 R에서 불러내는 속도는 csv 파일이 훨씬 빠릅니다. 따라서 왠만하면 엑셀 파일이더라도 다른 이름으로 저장을 눌러서 csv 파일로 변환해서 처리하는 것이 훨씬 좋습니다. 


 여기서 한 가지 더 사족이라고 하면 이렇게 실제 데이터를 저장한 후 엑셀 같은 스프레드시트 프로그램에서 한번 데이터를 보는 것이 좋다는 것입니다. 앞서 본 데이터 기본 구조를 보는 과정에서 누락된 사실이 여기서 밝혀질 수 있습니다. 데이터 구조 파악을 위해서는 실제 데이터를 육안으로 한 번 확인하는 과정이 필요하다는 것이 개인적인 경험에서 나온 생각입니다. 


 이제 이렇게 저장한 파일을 읽어보겠습니다. 읽기 명령어 역시 간단합니다. read.csv를 사용하면 됩니다. 경로와 데이터를 지정하면 끝입니다. 


data=read.csv("H:/data/diamond.csv")


 데이터라는 새로운 데이터 프레임에 저장한 내용을 로드했습니다. 그러면 R 스튜디오에서는 이 데이터 프레임을 직접 볼 수 있는 스프레드시트를 제공합니다. 기본적인 환경에서는 우측 상단에 데이터 프레임이 표시되고 이를 클릭하면 좌측 상단에 그 내용이 표시됩니다. 따라서 엑셀 없이도 저장된 파일을 직접 볼 수 있는 것이죠. 다만 자세히 보려면 엑셀이 더 편할 수 있습니다. (아래 그림. 클릭하면 원본) 




 그런데 사용하다보면 부득이 엑셀 파일을 바로 읽어들이거나 저장해야 하는 경우도 있을 것입니다. 이 경우 xlsx 패키지를 설치한 후 write.xlsx와 read.xlsx를 사용해서 같은 방식으로 저장하고 불러올 수 있습니다. 


install.packages("xlsx")
require(xlsx)
write.xlsx(diamonds,"H:/data/diamond.xlsx",row.names=F)
data=read.xlsx("H:/data/diamond.xlsx")


 그런데 한 번 해보면 알겠지만, xlsx는 생각보다 저장에 시간이 오래 걸립니다. R에서는 csv 파일이 훨씬 편리하기 때문에 가능하면 엑셀 파일이더라도 csv 파일로 변경해서 사용하는 것이 좋습니다. 변경하는 것은 매우 간단합니다. 그냥 다른 이름으로 저장을 하면서 파일 형식에서 csv (쉼표로 분리)를 선택하면 그만입니다. 


 데이터를 입력할 때는 분명 엑셀이 좋은 도구입니다. 하지만 파일이 커질수록 속도가 상당히 느려지는 단점이 있어 빅데이터 처리를 위해서 좋은 도구라고 보기는 어렵습니다. 따라서 마이크로소프트도 액세스(Access)라는 별도의 프로그램을 개발한 것이죠. 액세스 파일은 물론 다양한 파일을 R에서 불러올 수 있으나 속도면에서는 csv 파일이 가장 좋다고 말씀드리고 싶습니다. 엑셀 파일을 R에서 저장하면 엑셀에서 하는 것보다 훨씬 오랜 시간이 걸립니다. 





댓글

이 블로그의 인기 게시물

렘 수면이 식이 패턴에 영향을 준다?

  ( Using a techniqu e called optogenetics, the activity of cells in the brain can be specifically suppressed with light pulses. Credit: Pascal Gugler / Insel Gruppe )  수면 중 빠른 안구 운동이 발생하는 렘 (REM) 수면은 아직도 그 기능이 완전히 밝혀지지 않았지만, 수면에서 매우 중요한 부분이라는 사실은 확실합니다. 렘 수면은 꿈과 관련이 깊으며 전체 수면 시간이 부족하지 않더라도 렘 수면 시간이 짧으면 다음날 집중력이 떨어지고 많이 피곤하게 됩니다. 아마도 렘 수면 시간 동안 여러 가지 기능과 작업이 이뤄짐을 시사하는 결과입니다.   베른 대학교 ( University of Bern )의 과학자들은 쥐를 이용한 동물 모델을 통해서 렘 수면이 식이 패턴에 미치는 영향을 조사했습니다. 연구팀은 렘 수면이 외측 시상하부 ( lateral hypothalamus)에 영향을 주어 식욕을 조절할 수 있다는 증거를 발견했습니다. 외측 시상하부는 모든 포유류에서 볼 수 있는 시상하부의 작은 핵으로 식욕을 조절하는데 중요한 역할을 하는 것으로 생각됩니다. 과거 과학자들은 렘 수면 동안 외측 시상하부가 활성화되는 것을 확인했지만, 렘 수면이 실제 식욕을 조절하는지에 대해서는 알지 못했습니다. 렘 수면 동안 외측 시상하부만 차단할 방법이 없었기 때문입니다.   연구팀은 빛으로 살아있는 세포를 조절하는 기술인 광유전학 (optogenetic) 방식으로 렘 수면 중인 쥐의 외측 시상하부 활동을 차단했습니다. 그 결과 쥐의 식욕이 저하되는 것을 확인할 수 있었습니다. 불과 하루 간 차단만으로도 4일 정도 효과가 지속될 정도로 식욕에 대한 영향이 컸습니다. 이는 렘 수면이 식욕을 적절하게 유지하는 데 도움을 준다는 점을 시사합니다.   사실 최근에 다이어트에 대한 수요가 폭발해서 ...

몸에 철이 많으면 조기 사망 위험도가 높다?

 철분은 인체에 반드시 필요한 미량 원소입니다. 헤모글로빈에 필수적인 물질이기 때문에 철분 부족은 흔히 빈혈을 부르며 반대로 피를 자꾸 잃는 경우에는 철분 부족 현상이 발생합니다. 하지만 철분 수치가 높다는 것은 반드시 좋은 의미는 아닙니다. 모든 일에는 적당한 수준이 있게 마련이고 철 역시 너무 많으면 여러 가지 질병을 일으킬 수 있습니다. 철 대사에 문제가 생겨 철이 과다하게 축적되는 혈색소증 ( haemochromatosis ) 같은 드문 경우가 아니라도 과도한 철분 섭취나 수혈로 인한 철분 과잉은 건강에 문제를 일으킬 수 있습니다. 하지만 높은 철 농도가 수명에 미치는 영향에 대해서는 잘 알려지지 않았습니다.   하버드 대학의 이야스 다글라스( Iyas Daghlas )와 임페리얼 칼리지 런던의 데펜더 길 ( Dipender Gill )은 체내 철 함유량에 영향을 미치는 유전적 변이와 수명의 관계를 조사했습니다. 연구팀은 48972명의 유전 정보와 혈중 철분 농도, 그리고 기대 수명의 60/90%에서 생존 확률을 조사했습니다. 그 결과 유전자로 예측한 혈중 철분 농도가 증가할수록 오래 생존할 가능성이 낮은 것으로 나타났습니다. 이것이 유전자 자체 때문인지 아니면 높은 혈중/체내 철 농도 때문인지는 명확하지 않지만, 높은 혈중 철 농도가 꼭 좋은 뜻이 아니라는 것을 시사하는 결과입니다.   연구팀은 이 데이터를 근거로 건강한 사람이 영양제나 종합 비타민제를 통해 과도한 철분을 섭취할 이유는 없다고 주장했습니다. 어쩌면 높은 철 농도가 조기 사망 위험도를 높일지도 모르기 때문입니다. 그러나 임산부나 빈혈 환자 등 진짜 철분이 필요한 사람들까지 철분 섭취를 꺼릴 필요가 없다는 점도 강조했습니다. 연구 내용은 정상보다 높은 혈중 철농도가 오래 유지되는 경우를 가정한 것으로 본래 철분 부족이 있는 사람을 대상으로 한 것이 아니기 때문입니다. 낮은 철분 농도와 빈혈이 건강에 미치는 악영향은 이미 잘 알려져 있기 때문에 철...

새롭게 발견된 초대형 등각류 (혐짤 주의)

  (Credit:  SJADE 2018 )  등각류 (isopod)는 절지동물 갑각강의 한 종류로 쥐며느리 같은 절지동물들이 대부분이지만, 예외적으로 큰 종들도 있습니다. 심해 등각류 (giant isopod, Bathynomus)는 어른 손보다 큰 거대한 크기와 무서운 외모로 인해 종종 인터넷에서 화제가 되곤 합니다. 그런데 최근 과학자들이 거대한 크기의 심해 등각류 신종을 찾아냈다는 소식입니다.   인도네시아 자바 섬 남쪽에서 진행된 심해 생물 다양성 연구인 South Java Deep Sea Biodiversity Expedition 2018 (SJADES 2018)를 진행하던 중 연구팀은 950-1260m 수심에서 발견된 한 쌍의 심해 등각류가 이제까지 보고된 적이 없는 신종이란 사실을 발견했습니다. 바티노무스 라크사카 Bathynomus raksasa로 명명된 신종 (사진)의 수컷은 36.3cm이고 암컷은 29.8cm에 달해 대개 10mm 정도 크기인 등각류의 30배에 달하는 크기를 지니고 있습니다.  이 신종은 흔히 가장 큰 심해 등각류로 소개되는 Bathynomus giganteus의 근연종으로 크기와 외형 역시 비슷합니다. 전체적인 외형은 영화 스타쉽 스투퍼스에 나오는 외계 곤충 종족을 떠올리게 하는 것 같습니다. 사람에게 해를 끼치는 종은 아니지만 아무튼 뭔가 무섭긴 한 것 같습니다.   참고  https://newatlas.com/environment/supergiant-isopod-new-species/ https://en.wikipedia.org/wiki/Giant_isopod