기본 콘텐츠로 건너뛰기

오픈 AI와 손잡은 세레브라스 - 실제 게임 체인가 될 수 있을까?


 

(출처: 오픈 AI)

​

​

과거 소개한 바 있는 세레브라스 시스템스 (Cerebras Systems)는 웨이퍼 스케일 엔진 (WSE, Wafer-scale engine)이라는 독특한 기술을 기반으로 한 스타트업입니다. 일반적인 프로세서가 웨이퍼에서 조금씩 다이를 잘라서 만드는 반면 웨이퍼 스케일 엔진은 이름처럼 웨이퍼 한장이 하나의 프로세서를 만들도록 계획되었습니다. 이를 통해 전통적인 방식으로는 불가능한 고성능 프로세서를 만들고자 하는 꿈은 오래전부터 있어왔으나 기술적 한계로 어려웠던 부분에 도전한 것입니다.

​

웨이퍼 스케일 엔진의 특징은 반복적인 하드웨어 구조로 코어 하나가 고장나도 충분히 백업할 수 있도록 한 것과 동시에 독특한 배선 구조로 고장난 부분이 있어도 활성화된 모든 코어가 서로 연결될 수 있는 구조 덕분에 웨이퍼 크기의 멀티 프로세서를 구현할 수 있었습니다.

​

이전 포스트: https://blog.naver.com/jjy0501/222317973435

​

2024년 공개된 세레브라스의 WSE - 3 (웨이퍼 스케일 엔진 3)는 4조 개의 트랜지스터와 90만 개의 AI 최적화 코어를 탑재하고 있습니다. 이는 엔비디아 H100보다 약 57배 더 큰 면적을 자랑합니다. 물론 이렇게 많은 코어를 내장하면 메모리 연결은 매우 어려워집니다. 따라서 칩 내부에 거대한 메모리(44GB SRAM)와 통신망을 직접 통합하여, 여러 개의 작은 칩을 연결할 때 발생하는 데이터 이동 병목 현상을 줄였다는 게 제조사의 주장입니다.

​

본래 웨이퍼 스케일 엔진은 슈퍼컴퓨터와 HPC 시장을 노리고 시작되었으나 AI 연산처렴 거대한 행렬 연산을 처리하기에는 이런 구조가 유리하다는 판단하에 최근에는 방향을 틀었습니다. 그리고 최근 WSE - 3에서 실행되는 첫 번째 AI 모델인 GPT-5.3-Codex-Spark를 출시했습니다 .

​

GPT-5.3-Codex-Spark는 ChatGPT 개발사인 OpenAI가 오랜 기간 사용해 온 Nvidia 코어 스택 외의 다른 실리콘에 제품을 배포한 첫 사례입니다. 이 제품은 코딩 작업을 위해 설계된 Codex의 간소화되고 저전력 버전이며, 초기에는 ChatGPT Pro 구독자를 대상으로 연구용 미리보기 버전으로 제공됩니다.

​

OpenAI에 따르면 GPT-5.3-Codex-Spark는 코드의 특정 부분을 편집하거나 특정 테스트를 실행하는 등의 대화형 개발 워크플로에 최적화되어 있으며, 초저지연 하드웨어에서 실행될 때 높은 처리량을 발휘하도록 설계되었습니다. 적절한 구성에서 초당 1,000개 이상의 토큰을 처리할 수 있습니다.

​

오픈 AI는 2028년까지 WSE - 3 기반의 750MW의 데이터 센터를 구축하고 대규모의 투자를 계획했습니다. 하지만 이 역시 현재 오픈 AI의 재정 상태를 고려하면 의구심이 드는 대목이기도 합니다. 수익이 나지 않는 상태에서 자꾸 새로운 하드웨어에 대한 투자를 발표하는데 과연 성공을 거둘 수 있을지 의문입니다.

​

​

참고

​

https://www.tomshardware.com/tech-industry/artificial-intelligence/openai-lauches-gpt-53-codes-spark-on-cerebras-chips

​

라벨:

댓글

댓글 쓰기

이 블로그의 인기 게시물

중등도 코로나 19 환자에서 제한적인 효과만을 확인한 렘데시비르

   현재 렘데시비르는 인공 호흡기 치료가 필요한 환자 등 중증 코로나 19 환자의 치료제로 사용되고 있습니다. 다만 공급이 부족해서 갑자가 중증 코로나 19 환자가 늘어날 경우 수급 문제가 불거질 수밖에 없습니다. 따라서 이를 중등도 코로나 19 환자 (경증이나 무증상은 당연히 치료가 필요없거나 대증 요법 정도) 사용한다는 것은 지금 당장에 급한 연구는 아니지만, 나중에 수급량이 많아지고 가격이 낮아질 때를 생각하면 의미 있는 연구 결과입니다.   렘데시비르 제조사인 길리어드 사이언스의 다아애나 브레이너드 박사 ( Dr. Diana Brainard of Gilead Sciences )는 병원에 입원이 필요했던 중등도 코로나 19 환자 584명을 렘데시비르 5일, 10일 투여 실험군과 위약을 투여한 대조군으로 나눠 임상 경과, 사망 등 중요한 합병증 발생 등에서 차이를 보이는지 조사했습니다. 연구 대상자의 40% 이상은 당뇨 같은 만성 질환이 있었으며 평균 연령은 57세였습니다.   연구 결과 대조군의 2%, 5일 투여군의 2%, 10일 투여군의 1%가 사망했으나 사망자 수가 4명, 3명, 2명 정도로 통계적 차이를 판단하기에는 사망자 수가 적어 결론을 내리기 어려웠습니다. 연구팀은 5일 투여군에서 임상 경과가 다소 호전되는 것을 판단했으나 10일 투여군에서는 통계적 차이를 검증할 수 없었습니다. 결론적으로 말해 중등도 코로나 19 환자에서 렘데시비르 투여는 확실한 임상적 이득이 없었습니다.     5일 투여량만 해도 가격이 3120달러라는 점을 감안할 때 중등도 환자에서 렘데시비르 투여는 설령 공급이 원활하다고 해도 적절한 치료법이 아닌 것으로 판단됩니다. 더구나 지금처럼 공급이 불안해 중증 환자 투여 물량 확보가 아쉬운 상황에서는 말할 것도 없습니다.  이번 연구는 렘데시비르보다 효과가 뛰어나면서 저렴한 차세대 항바이러스 치료제의 필요성을 다시 보여준 것으로 생각됩니다....
댓글 쓰기
자세한 내용 보기

178Tb/s - 광섬유 통신 신기록 수립

  ( Lidia Galdino, lead researcher on the study. Credit: James Tye / UCL )  현재 가정에 들어오는 초고속 광통신은 10Gb/s 정도가 가장 빠른 편입니다. 그러나 사실 광섬유를 통해서 보낼 수 있는 정보량은 이것보다 훨씬 많습니다. 현재 개발 중인 기술 가운데서는 이미 1Tb/s 이상이 속도를 지닌 것들이 많아 미래에는 테라 인터넷 시대가 가능할 것으로 예상됩니다. 그런 가운데 영국 유니버시티 칼리지 런던 (UCL)의 리디아 갈디노( Lidia Galdino )가 이끄는 연구팀이 178Tb/s라는 신기록을 세웠다는 소식입니다.   광섬유 통신을 위한 주파수는 4.5THz까지 높일 수 있습니다. 최근에 개발된 신기술은 9THz 벽도 돌파했습니다. 그러나 연구팀은 16.8THz라는 새로운 영역에 도달했습니다. 주파수가 높을 수록 더 많은 정보를 전송할 수 있습니다. 하지만 16.8THz의 주파수로도 178Tb/s의 데이터 전송 속도는 사실 불가능합니다. 연구팀은  Geometric Shaping (GS) 방식으로 레이저 신호의 페이즈, 밝기, 편광 수준을 조절해 여러 신호가 서로 간섭 없이 전달되게 만들어 이런 신기록을 수립했습니다.   물론 새로운 기술이 항상 그렇듯이 바로 상용화가 가능한 것은 아닙니다. 특히 광섬유는 장거리 정보 전송이 가능해야 할 뿐 아니라 오류 없이 장시간 작동이 가능해야 합니다. 자꾸 에러가 생기거나 고장난다면 아무리 속도가 빨라도 무용지물입니다. 이 단계를 극복하고 경제성까지 갖춰 실용화 되는 경우는 사실 소수에 지나지 않습니다.   하지만 경쟁적으로 Tb 급 대역폭을 지닌 광통신 기술이 개발되고 있어 테라바이트 급 정보도 순식간에 전송할 수 있는 시대가 올 것은 분명합니다. 과거 전화선을 이용한 56K 모뎀에서 지금의 광섬유 기반 초고속 인터넷이 온 것처럼 속도는 계속 빨라질 수밖에 없기 때문입니다...
댓글 쓰기
자세한 내용 보기

코로나 19 감염 위험성이 큰 동물은?

  ( A new genomic study ranks the potential of the SARS-CoV-2 spike protein to bind to the ACE2 receptor site in 410 vertebrate animals. Old World primates and great apes, which have identical amino acids at the binding site as humans, are predicted to have a very high propensity for binding ACE2 and are likely susceptible to SARS-CoV-2 infection. Credit: Matt Verdolivo/UC Davis )    코로나 19를 일으키는  SARS-CoV-2는 사스 및 메르스와 마찬가지로 박쥐를 자연 숙주로 삼는 베타 코로나바이러스 계통입니다. 따라서 본래 박쥐에 살던 바이러스가 중간 단계를 거쳐 사람으로 넘어온 것으로 추정됩니다. 그런데 이 이야기는 SARS-CoV-2 역시 사람에만 감염되는 것이 아니라 종을 넘어 다른 포유류나 조류, 혹은 척추동물에 감염될 수 있음을 시사합니다. 코로나 바이러스가 침투하는 경로인 ACE2 수용체는 다른 척추동물에서도 볼 수 있기 때문입니다. 다만 SARS-CoV-2와 ACE2 수용체의 결합 수준은 동물마다 큰 차이가 있어 감염 위험도는 모두 다를 수밖에 없습니다.   캘리포니아 대학 데이비스 캠퍼스 (UC Davis)의 조안나 다마스 (Joana Damas)와 그 동료들은 410종의 척추동물에서 ACE2 수용체 유전자를 조사해 코로나 19 감염 위험도를 조사했습니다. 연구팀에 따르면 ACE2 수용체 전체가 아니라 25개의 아미노산 배열이 특히 결합력에 큰 영향을 미쳐 감염 가능성을 결정합니다.   연구 결과 쉽게 예상할 수 있듯이 사람과 가까운 침팬치, 고릴라, 보노보...
댓글 쓰기
자세한 내용 보기