기본 콘텐츠로 건너뛰기

R에서 데이터 저장하기와 불러내기



 앞서 데이터의 특성을 살펴보는 예제를 실행해봤습니다. 하지만 사실 더 중요한 이야기가 빠졌습니다. 그것은 바로 데이터를 불러내거나 혹은 저장하는 일이죠. 처음에 R을 공부할 때 데이터를 어떻게 불러내는지를 몰라서 고생했던 기억이 있습니다. R은 현존하는 거의 모든 데이터 파일을 불러낼 수 있는 능력이 있지만, 기본적으로 많이 사용하는 파일 구조는 CSV 입니다. 


 CSV에 익숙하지 않은 분들도 있겠지만, 사실 데이터에 있어서 여러 소프트웨어와 어플리케이션에서 취급하는 범용 형식입니다. Comma Separated Value 의 약자로 쉼표를 기준으로 항목을 구분하여 저장한 데이터를 이야기 합니다. 사실 엑셀에서도 기본 저장 형식인 xlsx 외에 csv 형식으로 파일 저장이 가능합니다. 


 일단 첫 번째 단계로 csv 형식으로 파일을 저장해 보겠습니다. 저장할 데이터는 앞서 다룬 예제인 다이아몬드입니다. 


library("ggplot2")
write.csv(diamonds,"H:/data/diamond.csv",row.names=F,na="")


 저장을 위한 기본 명령은 write.csv 입니다. 간단하죠. () 안에 저장할 데이터 프레임 이름을 적고 그 다음에 "" 안에 경로를 지정합니다. row.names=F,na="" 를 지정한 이유는 R 이 기본 상태에서는 열 이름과 더불어 NA (결측값) 을 같이 저장하기 때문입니다. 그러면 데이터가 변형될 뿐 아니라 데이터 크기가 커지면서 본래 원하는 형태와 데이터가 달라질 수 있습니다. 물론 반대로 이것을 원할 때는 지정하지 않아도 됩니다. 아무튼 이렇게 저장한 파일을 한 번 열어보겠습니다. 




 우리가 흔히 보는 엑셀에서 파일을 열어서 볼 수 있습니다. 사용하는 사람 입장에서는 xlsx 파일이나 csv 파일이나 사실 체감되는 차이는 없습니다. 하지만 R에서 불러내는 속도는 csv 파일이 훨씬 빠릅니다. 따라서 왠만하면 엑셀 파일이더라도 다른 이름으로 저장을 눌러서 csv 파일로 변환해서 처리하는 것이 훨씬 좋습니다. 


 여기서 한 가지 더 사족이라고 하면 이렇게 실제 데이터를 저장한 후 엑셀 같은 스프레드시트 프로그램에서 한번 데이터를 보는 것이 좋다는 것입니다. 앞서 본 데이터 기본 구조를 보는 과정에서 누락된 사실이 여기서 밝혀질 수 있습니다. 데이터 구조 파악을 위해서는 실제 데이터를 육안으로 한 번 확인하는 과정이 필요하다는 것이 개인적인 경험에서 나온 생각입니다. 


 이제 이렇게 저장한 파일을 읽어보겠습니다. 읽기 명령어 역시 간단합니다. read.csv를 사용하면 됩니다. 경로와 데이터를 지정하면 끝입니다. 


data=read.csv("H:/data/diamond.csv")


 데이터라는 새로운 데이터 프레임에 저장한 내용을 로드했습니다. 그러면 R 스튜디오에서는 이 데이터 프레임을 직접 볼 수 있는 스프레드시트를 제공합니다. 기본적인 환경에서는 우측 상단에 데이터 프레임이 표시되고 이를 클릭하면 좌측 상단에 그 내용이 표시됩니다. 따라서 엑셀 없이도 저장된 파일을 직접 볼 수 있는 것이죠. 다만 자세히 보려면 엑셀이 더 편할 수 있습니다. (아래 그림. 클릭하면 원본) 




 그런데 사용하다보면 부득이 엑셀 파일을 바로 읽어들이거나 저장해야 하는 경우도 있을 것입니다. 이 경우 xlsx 패키지를 설치한 후 write.xlsx와 read.xlsx를 사용해서 같은 방식으로 저장하고 불러올 수 있습니다. 


install.packages("xlsx")
require(xlsx)
write.xlsx(diamonds,"H:/data/diamond.xlsx",row.names=F)
data=read.xlsx("H:/data/diamond.xlsx")


 그런데 한 번 해보면 알겠지만, xlsx는 생각보다 저장에 시간이 오래 걸립니다. R에서는 csv 파일이 훨씬 편리하기 때문에 가능하면 엑셀 파일이더라도 csv 파일로 변경해서 사용하는 것이 좋습니다. 변경하는 것은 매우 간단합니다. 그냥 다른 이름으로 저장을 하면서 파일 형식에서 csv (쉼표로 분리)를 선택하면 그만입니다. 


 데이터를 입력할 때는 분명 엑셀이 좋은 도구입니다. 하지만 파일이 커질수록 속도가 상당히 느려지는 단점이 있어 빅데이터 처리를 위해서 좋은 도구라고 보기는 어렵습니다. 따라서 마이크로소프트도 액세스(Access)라는 별도의 프로그램을 개발한 것이죠. 액세스 파일은 물론 다양한 파일을 R에서 불러올 수 있으나 속도면에서는 csv 파일이 가장 좋다고 말씀드리고 싶습니다. 엑셀 파일을 R에서 저장하면 엑셀에서 하는 것보다 훨씬 오랜 시간이 걸립니다. 





댓글

이 블로그의 인기 게시물

통계 공부는 어떻게 하는 것이 좋을까?

 사실 저도 통계 전문가가 아니기 때문에 이런 주제로 글을 쓰기가 다소 애매하지만, 그래도 누군가에게 도움이 될 수 있다고 생각해서 글을 올려봅니다. 통계학, 특히 수학적인 의미에서의 통계학을 공부하게 되는 계기는 사람마다 다르긴 하겠지만, 아마도 비교적 흔하고 난감한 경우는 논문을 써야 하는 경우일 것입니다. 오늘날의 학문적 연구는 집단간 혹은 방법간의 차이가 있다는 것을 객관적으로 보여줘야 하는데, 그려면 불가피하게 통계적인 방법을 쓸 수 밖에 없게 됩니다. 이런 이유로 분야와 주제에 따라서는 아닌 경우도 있겠지만, 상당수 논문에서는 통계학이 들어가게 됩니다.   문제는 데이터를 처리하고 분석하는 방법을 익히는 데도 상당한 시간과 노력이 필요하다는 점입니다. 물론 대부분의 학과에서 통계 수업이 들어가기는 하지만, 그것만으로는 충분하지 않은 경우가 많습니다. 대학 학부 과정에서는 대부분 논문 제출이 필요없거나 필요하다고 해도 그렇게 높은 수준을 요구하지 않지만, 대학원 이상 과정에서는 SCI/SCIE 급 논문이 필요하게 되어 처음 논문을 작성하는 입장에서는 상당히 부담되는 상황에 놓이게 됩니다.  그리고 이후 논문을 계속해서 쓰게 될 경우 통계 문제는 항상 나를 따라다니면서 괴롭히게 될 것입니다.  사정이 이렇다보니 간혹 통계 공부를 어떻게 하는 것이 좋겠냐는 질문이 들어옵니다. 사실 저는 통계 전문가라고 하기에는 실력은 모자라지만, 대신 앞서서 삽질을 한 경험이 있기 때문에 몇 가지 조언을 해줄 수 있을 것 같습니다.  1. 입문자를 위한 책을 추천해달라  사실 예습을 위해서 미리 공부하는 것은 추천하지 않습니다. 기본적인 통계는 학과별로 다르지 않더라도 주로 쓰는 분석방법은 분야별로 상당한 차이가 있을 수 있어 결국은 자신이 주로 하는 부분을 잘 해야 하기 때문입니다. 그러기 위해서는 학과 커리큘럼에 들어있는 통계 수업을 듣는 것이 더 유리합니다. 잘 쓰지도 않을 방법을 열심히 공부하는 것은 아무래도 효율

9000년 전 소녀의 모습을 복원하다.

( The final reconstruction. Credit: Oscar Nilsson )  그리스 아테나 대학과 스웨덴 연구자들이 1993년 발견된 선사 시대 소녀의 모습을 마치 살아있는 것처럼 복원하는데 성공했습니다. 이 유골은 그리스의 테살리아 지역의 테오페트라 동굴 ( Theopetra Cave )에서 발견된 것으로 연대는 9000년 전으로 추정됩니다. 유골의 주인공은 15-18세 사이의 소녀로 정확한 사인은 알 수 없으나 괴혈병, 빈혈, 관절 질환을 앓고 있었던 것으로 확인되었습니다.   이 소녀가 살았던 시기는 유럽 지역에서 수렵 채집인이 초기 농경으로 이전하는 시기였습니다. 다른 시기와 마찬가지로 이 시기의 사람들도 젊은 시절에 다양한 질환에 시달렸을 것이며 평균 수명 역시 매우 짧았을 것입니다. 비록 젊은 나이에 죽기는 했지만, 당시에는 이런 경우가 드물지 않았을 것이라는 이야기죠.   아무튼 문명의 새벽에 해당하는 시점에 살았기 때문에 이 소녀는 Dawn (그리스어로는  Avgi)라고 이름지어졌다고 합니다. 연구팀은 유골에 대한 상세한 스캔과 3D 프린팅 기술을 적용해서 살아있을 당시의 모습을 매우 현실적으로 복원했습니다. 그리고 그 결과 나타난 모습은.... 당시의 거친 환경을 보여주는 듯 합니다. 긴 턱은 당시를 살았던 사람이 대부분 그랬듯이 질긴 먹이를 오래 씹기 위한 것으로 보입니다.   강하고 억센 10대 소녀(?)의 모습은 당시 살아남기 위해서는 강해야 했다는 점을 말해주는 듯 합니다. 이렇게 억세보이는 주인공이라도 당시에는 전염병이나 혹은 기아에서 자유롭지는 못했기 때문에 결국 평균 수명은 길지 못했겠죠. 외모 만으로 평가해서는 안되겠지만, 당시의 거친 시대상을 보여주는 듯 해 흥미롭습니다.   참고  https://phys.org/news/2018-01-teenage-girl-years-reconstructed.html

150년 만에 다시 울린 희귀 곤충의 울음 소리

  ( The katydid Prophalangopsis obscura has been lost since it was first collected, with new evidence suggesting cold areas of Northern India and Tibet may be the species' habitat. Credit: Charlie Woodrow, licensed under CC BY 4.0 ) ( The Museum's specimen of P. obscura is the only confirmed member of the species in existence. Image . Credit: The Trustees of the Natural History Museum, London )  과학자들이 1869년 처음 보고된 후 지금까지 소식이 끊긴 오래 전 희귀 곤충의 울음 소리를 재현하는데 성공했습니다. 프로팔랑곱시스 옵스큐라 ( Prophalangopsis obscura)는 이상한 이름만큼이나 이상한 곤충으로 매우 희귀한 메뚜기목 곤충입니다. 친척인 여치나 메뚜기와는 오래전 갈라진 독자 그룹으로 매우 큰 날개를 지니고 있으며 인도와 티벳의 고산 지대에 사는 것으로 보입니다.   유일한 표본은 수컷 성체로 2005년에 암컷으로 생각되는 2마리가 추가로 발견되긴 했으나 정확히 같은 종인지는 다소 미지수인 상태입니다. 현재까지 확실한 표본은 수컷 성체 한 마리가 전부인 미스터리 곤충인 셈입니다.   하지만 과학자들은 그 형태를 볼 때 이들 역시 울음 소리를 통해 짝짓기에서 암컷을 유인했을 것으로 보고 있습니다. 그런데 높은 고산 지대에서 먼 거리를 이동하는 곤충이기 때문에 낮은 피치의 울음 소리를 냈을 것으로 보입니다. 문제는 이런 소리는 암컷 만이 아니라 박쥐도 잘 듣는다는 것입니다. 사실 이들은 중생대 쥐라기 부터 존재했던 그룹으로 당시에는 박쥐가 없어 이런 방식이 잘 통했을 것입니다. 하지만 신생대에 박쥐가 등장하면서 플로팔랑곱