(출처: 오픈 AI)
과거 소개한 바 있는 세레브라스 시스템스 (Cerebras Systems)는 웨이퍼 스케일 엔진 (WSE, Wafer-scale engine)이라는 독특한 기술을 기반으로 한 스타트업입니다. 일반적인 프로세서가 웨이퍼에서 조금씩 다이를 잘라서 만드는 반면 웨이퍼 스케일 엔진은 이름처럼 웨이퍼 한장이 하나의 프로세서를 만들도록 계획되었습니다. 이를 통해 전통적인 방식으로는 불가능한 고성능 프로세서를 만들고자 하는 꿈은 오래전부터 있어왔으나 기술적 한계로 어려웠던 부분에 도전한 것입니다.
웨이퍼 스케일 엔진의 특징은 반복적인 하드웨어 구조로 코어 하나가 고장나도 충분히 백업할 수 있도록 한 것과 동시에 독특한 배선 구조로 고장난 부분이 있어도 활성화된 모든 코어가 서로 연결될 수 있는 구조 덕분에 웨이퍼 크기의 멀티 프로세서를 구현할 수 있었습니다.
이전 포스트: https://blog.naver.com/jjy0501/222317973435
2024년 공개된 세레브라스의 WSE - 3 (웨이퍼 스케일 엔진 3)는 4조 개의 트랜지스터와 90만 개의 AI 최적화 코어를 탑재하고 있습니다. 이는 엔비디아 H100보다 약 57배 더 큰 면적을 자랑합니다. 물론 이렇게 많은 코어를 내장하면 메모리 연결은 매우 어려워집니다. 따라서 칩 내부에 거대한 메모리(44GB SRAM)와 통신망을 직접 통합하여, 여러 개의 작은 칩을 연결할 때 발생하는 데이터 이동 병목 현상을 줄였다는 게 제조사의 주장입니다.
본래 웨이퍼 스케일 엔진은 슈퍼컴퓨터와 HPC 시장을 노리고 시작되었으나 AI 연산처렴 거대한 행렬 연산을 처리하기에는 이런 구조가 유리하다는 판단하에 최근에는 방향을 틀었습니다. 그리고 최근 WSE - 3에서 실행되는 첫 번째 AI 모델인 GPT-5.3-Codex-Spark를 출시했습니다 .
GPT-5.3-Codex-Spark는 ChatGPT 개발사인 OpenAI가 오랜 기간 사용해 온 Nvidia 코어 스택 외의 다른 실리콘에 제품을 배포한 첫 사례입니다. 이 제품은 코딩 작업을 위해 설계된 Codex의 간소화되고 저전력 버전이며, 초기에는 ChatGPT Pro 구독자를 대상으로 연구용 미리보기 버전으로 제공됩니다.
OpenAI에 따르면 GPT-5.3-Codex-Spark는 코드의 특정 부분을 편집하거나 특정 테스트를 실행하는 등의 대화형 개발 워크플로에 최적화되어 있으며, 초저지연 하드웨어에서 실행될 때 높은 처리량을 발휘하도록 설계되었습니다. 적절한 구성에서 초당 1,000개 이상의 토큰을 처리할 수 있습니다.
오픈 AI는 2028년까지 WSE - 3 기반의 750MW의 데이터 센터를 구축하고 대규모의 투자를 계획했습니다. 하지만 이 역시 현재 오픈 AI의 재정 상태를 고려하면 의구심이 드는 대목이기도 합니다. 수익이 나지 않는 상태에서 자꾸 새로운 하드웨어에 대한 투자를 발표하는데 과연 성공을 거둘 수 있을지 의문입니다.
참고
댓글
댓글 쓰기