(CERN’s Data Centre. Credit: Robert Hradil, Monika Majer/ProStudio22.ch)
빅데이터의 시대라고는 하지만, 사실 200페타바이트는 한 기관에서 수집할 수 있는 데이터로는 아주 큰 크기의 데이터일 것입니다. 최근 유럽 원자핵 공동 연구소(CERN)은 자기 테이프에 저장한 대형 강입자 충돌기 Large Hadron Collider (LHC) 연구 데이터가 200페타바이트를 넘어섰다고 발표했습니다.
대형 강입자 충돌기는 엄청난 속도로 입자를 충돌시켜 막대한 수의 파편을 관측하는데, 그 데이터 양이 엄청나서 보통의 컴퓨터로는 처리가 불가능한 수준입니다. 200페타바이트 데이터라고하면 감이 잘 오지 않지만, 진실은 대형 강입자 충돌기에서 나오는 데이터 양은 그보다 훨씬 많다는 것입니다.
사실 입자 충돌은 초당 10억 번 일어날 수 있으며 여기서 초당 1페타바이트 데이터가 수집된다고 합니다. 다만 이렇게 많은 데이터를 처리할 방법이 없어 과학자들은 이 가운데 흥미로운 데이터만 모아 수집하고 있습니다. 이렇게 필터를 거친 데이터는 CERN 데이터 센터에 모이는데, 하루 1페타바이트의 데이터 처리가 가능하다고 합니다.
물론 LHC는 24시간 365일 가동되는 장치가 아니지만, 그래도 2016년까지 총 500만초의 실험 데이터 수집이 이뤄졌기 때문에 지금까지 생성된 데이터의 양은 엄청난 상태입니다. 최근 업그레이드 후 가동을 시작한 LHC는 더 많은 데이터를 생성하고 있으며 이로 인해 다시 실험 데이터가 증가해 이제는 750만초 데이터가 수집되었다고 합니다. 데이터 센터 역시 업그레이드를 지속해서 이제 200페타바이트 데이터를 백업하게 된 것이라고 합니다.
동시에 멀리 떨어진 유럽의 다른 연구소의 데이터 연결 속도 역시 개선되어 세 번째 100Gb/s 급 데이터링크가 CERN에서 1800km 떨어진 헝가리의 Wigner Research Centre for Physics (RCP)로 연결되었다고 합니다.
이렇게 큰 데이터는 수집은 물론 분석도 간단한 문제가 아닐 것입니다. 과학자들이 더 강력한 컴퓨터와 더 대규모의 스토리지를 필요로 하는 이유일 것입니다.
참고
댓글
댓글 쓰기