사실 좀 더 먼저 소개했어야 하는 내용이 바로 이 내용입니다. R이나 꼭 R이 아니더라도 통계 분석 공부를 하는 경우에 몇 가지 먼저 생각해야 할 내용들이 있습니다. 저 역시 공부하는 중이고 사실 공부한지 그렇게 오래된 것도 아니기 때문에 이런 이야기를 꺼내는 것이 적절한지는 좀 고민이지만, 혹시 누군가에게 도움이 될지도 모르기 때문에 적어 봅니다.
1. 왜 R을 공부하는가?
가장 중요한 질문이지만, 상당수에서 진지하게 고려하지 않고 넘어가는 문제입니다. 사실 가장 흔한 경우는 뭔지 잘 모르지만, 그냥 대학이나 대학원 강의에 포함되어 있어 우연히 시작하게 되는 경우도 드물지 않을 것입니다.
이런 경우 만약 R을 이용해서 실제 분석 작업을 꾸준히 하지 않으면, 수업 듣는 학기만 어렴풋이 알게 되다가 몇 년 후에는 뭔지 잘 모르는 상태가 되는 경우가 대부분입니다. 물론 이 경우 실제로 사용할 일이 없는 R 강좌를 들은 셈이므로 당연한 결과일지도 모르겠습니다.
실제로 사용한다면 대부분의 경우 1) 연구를 위한 R - 이 경우 결과물은 논문이 될 것입니다 2) 경영이나 혹은 다른 이유에서의 데이터 분석 - 이 경우 결과물은 보고서나 차트, 표가 될 것입니다. 인 경우가 대부분일 것입니다. (물론 그 이외에도 다양한 이유가 있겠지만) 그 중에서 앞으로 주로 설명하게 될 내용은 연구와 연관된 내용입니다.
그런데 연구도 사실 하나의 카테고리가 아닙니다. 사회 과학 연구를 하는지 아니면 과학 연구를 하는지에 따라서 접근 방법이 좀 달라집니다. 물론 더 큰 차이가 있는 것은 바로 세부적인 학문 분야입니다.
제가 주로 하게 되는 의학/역학(epidemiology)는 샘플 숫자가 매우 큰 편입니다. 만약 데이터가 유전체 등도 포함하게 되면 사실상 빅데이터라고 봐도 무방하고 그렇지 않더라도 GB 급 데이터를 다뤄야 하는 경우가 생깁니다. 반면, 실험 연구의 경우 샘플 숫자가 20~30개에 불과한 경우도 많습니다.
흔히 하는 오해는 다뤄야하는 데이터와 표본의 수가 많을수록 더 통계 분석이 어렵다는 것입니다. 실제로는 큰 연관성은 없지만, 분석 방법은 상당한 차이가 생길 수밖에 없습니다. 여러 가지 검증 기법 역시 표본수에 큰 영향을 받습니다.
따라서 R 공부를 할 때는 자신이 주로 쓰게 될 영역에 맞는 책을 골라야 합니다. 기본적인 내용은 다 동일하겠지만, 주로 사용하지 않게 될 통계적 방법을 공부할 여유가 없을 수 있기 때문입니다. 더 중요한 것은 열심히 공부했는데, 알고 보니 내가 필요한 내용은 빠졌다면 허탈하기 짝이 없을 것입니다.
R 공부를 시작하기 전에는 왜 하는 것이고 뭘 분석할 것인가를 먼저 생각해서 거기에 맞는 공부를 먼저 하라고 권유드리고 싶습니다.
2. 어떤 컴퓨터가 필요한가?
두 번째로 생각할 것은 분석에 사용할 컴퓨터입니다. 이것 역시 분석하는 데이터의 종류에 따라 요구 사양에 큰 차이가 존재합니다.
만약 분석해야하는 데이터의 크기가 수 MB 정도이고 관측값도 수백~수천개 정도의 비교적 작은 데이터라면 컴퓨터의 사양은 그다지 문제되지 않을 것입니다.
R은 모든 데이터를 메인 메모리에 상주시키는데, 데이터 자체가 작으면 메모리에서 차지하는 비중 역시 작기 때문입니다. 물론 CPU 속도 역시 대개의 경우 문제되지 않을 것입니다. 요즘 나오는 CPU는 많이 빨라졌으니까요.
하지만 데이터가 100MB, 1GB, 10GB 하는 식으로 커진다면 당연히 메모리 문제가 심각하게 될 수 있습니다. 이 경우 속도를 보장받고 싶다면 메모리를 증설하는 것 이외에는 방법이 없습니다. 다행히 처음부터 대규모 데이터를 다루는 경우는 많지 않을 것이라서 이 문제가 아주 심각하지는 않을 것이라고 생각합니다.
CPU의 경우 멀티 코어가 훨씬 유리할 것 같지만, 반드시 그렇지 않을수도 있습니다. R은 기본 상태에서는 모두 싱글 쓰레드로 작동합니다. 만약 멀티 쓰레드로 사용하고 싶다면 필요한 패키지와 세팅을 한 이후 거기에 맞게 코딩을 해줘야 합니다.
문제는 만약 데이터가 작은 경우 오히려 쓸데 없는 작업이 될 수 있다는 것입니다. 아낄 수 있는 시간이 1~2초에 불과하다면 그냥 작성과 유지 보수가 쉬운 코드를 사용하는 것이 훨씬 현명한 선택입니다.
이런 이유에서 대부분의 책이 싱글 쓰레드를 기준으로 설명하고 있으며 병렬화나 하둡과 연계된 빅데이터 분석은 별도의 전문서적을 찾아서 봐야만 합니다. 저도 마찬가지로 싱글 쓰레드 기준으로 설명하지만, 하둡까지는 어렵더라도 멀티 쓰레드 활용은 설명할 날이 있을 것 같습니다. 참고로 하둡은 당연히 여러 개의 컴퓨터를 연결할 수 있는 환경에서 사용하는 것인만큼 그런 업무나 연구에 종사하지 않는 사람은 사실 쓸 기회가 없을 수도 있습니다.
하나 더 첨언하면 멀티 쓰레드를 사용하는 경우 메모리는 더 많이 필요하게 됩니다. 1GB 데이터 4개의 워커에 분할한다고 하면 사실 4GB 이상의 데이터가 필요하게 될 수도 있습니다. 만약 대규모 데이터를 이용해서 여러 가지 분석을 해야 하는 경우라면 이점을 염두에 두어야 할 것입니다. CPU 코어만큼 넉넉한 메모리가 필요합니다.
결론을 내리면 컴퓨터의 사양은 어떤 연구나 분석을 하느냐에 따라 다르다고 할 수 있습니다. 가장 현명한 방법은 일단 써보고 현재 컴퓨터로 작업 속도가 너무 느리다고 판단되면 업그레이드를 고려하는 것입니다. 단 속도 문제가 생기는 원인을 정확히 알아야 하는데, CPU 속도 때문인지 메모리 문제인지 (드물기는 하겠지만) 저장장치 문제인지 알 수 있는 방법은 앞으로 설명할 기회가 있을 것 같습니다.
댓글
댓글 쓰기