(출처: Cerebras)
웨이퍼 전체를 하나의 프로세서로 사용하는 독특한 디자인을 지닌 세레브라스 (Cerebras)의 웨이퍼 스케일 엔진이 최신 WSE-3 터보 (WSE-3T)로 업그레이드 됐습니다. 그리고 이 칩이 탑재된 랙 시스템인 CS-4 솔루션이 함께 공개되었는데, 올해 AMD의 헬리오스 AI 랙 시스템과 연동되어 출시될 예정으로 토큰 생성 속도를 최대 5배 까지 높일 수 있다는 게 세레브라스의 주장입니다.
AMD 헬리오스 AI 랙 시스템 : https://blog.naver.com/jjy0501/224353663800
이번에 공개한 WSE-3T는 2년 전 공개한 WSE-3와 동일하게 TSMC의 5nm 공정으로 제조되어 트랜지스터 집적도나 온칩 SRAM (44GB) 용량은 동일하지만, 아키텍처를 개선해 성능을 높이고 랙 시스템으로 만들어 실제 AI 데이터 센터에서 사용할 수 있는 형태로 만들었다는 데 큰 의의가 있습니다. WSE-3T 아키텍처는 아래와 같이 정리할 수 있습니다.
(AI 요약, 그록)
WSE-3 Turbo(WSE-3T)는 기존 WSE-3의 개선 버전으로, 새로운 공정이나 전면 재설계가 아니라 동일 실리콘을 더 높은 클럭과 전력으로 구동한 것이 핵심입니다. 아키텍처 기본 구조는 WSE-3와 동일합니다.
1. 아키텍처 개요
웨이퍼 스케일 통합(Wafer-Scale Integration): 300mm 웨이퍼 전체를 하나의 거대한 단일 칩으로 사용합니다. 레티클 한계(약 800~858mm²)를 넘는 방식으로, 약 84개의 동일한 스텝핑/다이를 12×7 그리드로 배열한 후 다이싱하지 않고 그대로 연결합니다. 면적은 46,225mm²입니다.
코어 구성:
90만 개 AI 최적화 코어(Sparse Linear Algebra Core, SLAC 등).
각 코어는 약 0.05mm² 크기의 소형 설계로, 텐서 기반 희소 선형 대수 연산에 특화되어 있습니다.
코어마다 로컬 48KB SRAM이 할당되어 단일 사이클 접근이 가능합니다.
전체 실리콘 면적의 약 50%가 SRAM, 나머지 50%가 컴퓨팅 로직에 할당됩니다.
메모리와 인터커넥트:
온칩 SRAM 총용량: 44GB (분산 배치).
메모리 대역폭: WSE-3T 기준 43.2 PB/s (WSE-3의 21PB/s에서 2배).
온칩 패브릭 대역폭: 53.5 PB/s.
메쉬 인터커넥트: 코어 간 저지연·고대역폭 연결. 스크라이브 라인(다이를 자르는 영역)을 배선으로 재사용해 다이 간 연결을 구현합니다.
결함 허용(Fault-Tolerant) 설계: 약 1%의 여유 코어를 두고, 제조 후 결함을 매핑해 우회 라우팅합니다. 코어가 매우 작아 결함으로 인한 손실 면적이 최소화됩니다.
WSE-3T의 차별점: 동일 공정·동일 트랜지스터 수(4조 개)·동일 코어 수·동일 44GB SRAM을 유지하면서 클럭 속도 약 2배(추정 1.4GHz → 2.8GHz 수준)와 전력 공급 강화를 통해 연산 성능(Sparse FP16 기준 125 → 250 PFLOPS)과 대역폭을 2배로 끌어올렸습니다. 이는 CS-4의 전력·냉각 개선으로 가능해졌습니다.
이 구조는 GPU처럼 공유 캐시 + 외부 HBM에 의존하지 않고, 분산 SRAM 중심의 데이터플로우 아키텍처입니다. 가중치와 활성값의 이동을 최소화하고, 희소성(sparsity)을 네이티브로 가속합니다.
2. 제조 공정
공정 노드: TSMC 5nm (N5) FinFET. WSE-3와 동일하며, WSE-3T도 같은 공정을 사용합니다(새로운 공정 전환이 아님).
주요 특징:
표준 스텝-앤드-리피트 리소그래피로 레티클을 반복 노출한 후, 상부 메탈 레이어에 오프셋 레티클을 사용해 다이 간 배선을 “스티칭”합니다.
스크라이브 라인을 배선으로 활용해 수백만 개의 마이크로 와이어로 다이를 하나의 연속 표면으로 연결합니다.
배치별 커스텀 마스크: 각 웨이퍼 배치마다 결함 패턴에 맞춰 상부 메탈 레이어 마스크를 새로 제작합니다. 배치 내 공정 편차가 작기 때문에 수율을 거의 100%에 가깝게 유지할 수 있습니다.
전력 공급과 냉각이 핵심 과제였으며, WSE-3T에서는 더 높은 전력(추정 웨이퍼당 ~33kW 수준)을 공급하면서 직접 액체 냉각으로 안정화합니다.
이전 세대 비교: WSE-1(16nm) → WSE-2(7nm) → WSE-3/3T(5nm). SRAM 용량은 공정 미세화에도 불구하고 크게 늘지 않았습니다(SRAM 셀 크기 스케일링 한계).
3. 44GB 온칩 SRAM의 한계와 보조 방식
44GB는 GPU의 온칩 캐시(수십 MB)에 비해 압도적으로 크지만, 현대 프론티어 모델(수십~수백억~조 단위 파라미터)을 통째로 담기에는 부족합니다. (예: FP16 기준 70B 모델만 해도 ~140GB 필요)
Cerebras는 이를 계산과 저장의 분리(Disaggregation) + Weight Streaming 방식으로 해결합니다.
온칩 44GB의 역할:
주로 활성화(activations), KV 캐시, 현재 레이어의 중간 결과물을 저장하는 “워킹 버퍼”로 사용.
모든 코어가 단일 사이클에 로컬 SRAM에 접근 → 극도로 높은 대역폭(43.2 PB/s) 활용.
작은 모델은 전체가 온칩에 올라갈 수 있지만, 대형 모델은 레이어 단위로 처리.
외부 메모리 보조: MemoryX:
모델 가중치(weights) 전체를 외부 대용량 저장 장치(MemoryX)에 보관.
계산이 진행되는 동안 필요한 가중치를 레이어 단위로 스트리밍해 온칩으로 가져옵니다.
온칩 SRAM은 현재 레이어의 데이터만 보유하고, 다음 레이어로 넘어가면 교체.
이 방식은 “activation-stationary” 접근으로, GPU의 “weight-stationary”(가중치를 HBM에 두고 계속 읽어오는 방식)와 대비됩니다. 병목은 HBM 대역폭이 아니라 MemoryX에서 웨이퍼로의 주입 대역폭이 됩니다.
다중 웨이퍼/클러스터 확장:
CS-4 랙은 3개의 WSE-3T를 탑재해 총 ~132GB SRAM을 확보.
더 큰 모델은 여러 CS-4를 클러스터로 연결(Direct Wafer Links로 웨이퍼 간 지연을 2μs 수준까지 낮춤)해 지원합니다. 50조 파라미터 이상 모델도 가능하다고 주장합니다.
일부 추론 시나리오에서는 GPU가 prefill을 담당하고 Cerebras가 decode를 담당하는 이종(heterogeneous) 구성도 언급됩니다.
요약
WSE-3T는 TSMC 5nm 웨이퍼 스케일 단일 칩으로, 90만 개의 소형 AI 코어와 분산 44GB SRAM, 초고속 온칩 패브릭을 결합한 구조입니다. 제조상 핵심은 다이 간 스티칭과 결함 우회, 배치별 커스텀 마스크입니다. 44GB의 용량 한계는 Weight Streaming + 외부 MemoryX로 극복하며, 온칩 메모리는 고대역폭 작업 공간으로, 가중치는 외부에서 스트리밍하는 방식으로 대형 모델을 처리합니다. 이로 인해 GPU 대비 매우 낮은 지연과 높은 토큰 생성 속도를 목표로 합니다.
WSE-3T는 이전과 동일한 4조의 트랜지스터와 5nm 공정을 사용하면서도 웨이퍼당 125 PFLOPs(희소성 처리 시 250 PFLOPS)의 연산 성능으로 AI 연산 능력을 두 배로 향상시키고 대역폭도 43.2 PB/s로 증가시켰습니다. 온칩 패브릭은 53.5 PB/s의 대역폭을, 오프칩 I/O는 2.4 Tb/s의 대역폭을 제공합니다. 웨이퍼 스케일 엔진의 개선으로 지연 시간도 5ms에서 2ms로 단축되었습니다.
하지만 프로세서만으로는 바로 AI 데이터 센터에 통합된 솔루션을 제공할 수 없습니다. 같이 공개된 CS-4 랙 시스템은 컴퓨팅, 전원, I/O의 세 가지 계층으로 구성된 모듈식 개념을 중심으로 하는 새로운 넥서스 (Nexus) 플랫폼 아키텍처를 기반으로 구축되었습니다. 각 랙은 플러그형 백팩 디자인을 채택하여 컴퓨팅 서브시스템이 전원 어레이에 수직으로 부착되는 3 개의 백팩 형태로 후면에 장착됩니다. (사진 참조)
만약 CS-4 랙 시스템에서 GPT-OSS 120B를 돌릴 경우 초당 4,400개 이상의 토큰을 생성할 수 있습니다. 만약 모든 모델을 올릴 수 있다면 CS-4 랙 시스템은 GPU보다 최대 30배 빠른 속도를 자랑하는데, 사실 그런 용도로 쓰기에는 온칩 메모리 용량이 작은 편입니다.
대신 진짜 용도는 엔비디아의 그록3 LPX (Groq 3 LPX)와 비슷하게 디코드 (토큰 생성) 부분을 빠르게 가속하는 용도입니다.
그록3 LPX : https://blog.naver.com/jjy0501/224219728744
WSE-3T는 매우 빠른 메모리 대역폭을 지니고 있기 때문에 이런 업무에 최적화되어 있습니다. 따라서 헬리오스 AI 랙만 사용하는 경우보다 5배 많은 토큰 생성이 가능하다는 것입니다. 참고로 GPU는 연산 위주인 프리필 단계를 담당하고 WSE-3T는 디코드 단계를 담당하는 식으로 파이프라인을 구성합니다.
프리필 vs 디코드 단계 (AI 생성 요약, 그록)
프리필(Prefill)과 디코드(Decode) 단계 설명
AI 대규모 언어 모델(LLM) 추론(Inference)은 크게 두 단계로 나뉩니다. 이 두 단계는 계산 특성과 병목이 완전히 다르기 때문에, 최근 AMD Helios + Cerebras CS-4 같은 분리형 추론(Disaggregated Inference) 아키텍처에서 서로 다른 하드웨어에 할당됩니다.
1. 프리필 (Prefill) 단계
정의: 사용자가 입력한 프롬프트(질문·지시문) 전체를 한 번에 처리하는 단계입니다.
주요 작업:
프롬프트의 모든 토큰을 모델에 입력
각 토큰에 대한 Key와 Value를 계산해 KV 캐시(Key-Value Cache)를 생성
긴 컨텍스트 윈도우(수만~수십만 토큰)를 처리할 때 특히 중요
계산 특성:
고도로 병렬적이고 연산 집약적(Compute-bound)
행렬 곱셈(Matrix Multiplication)이 대규모로 발생
한 번에 많은 데이터를 처리하므로 GPU의 높은 연산 성능(FLOPS)과 대규모 병렬성이 유리
메모리 대역폭보다는 연산량이 병목이 되는 경우가 많음
비유: 책을 처음부터 끝까지 빠르게 읽고 요약·색인(KV 캐시)을 만드는 과정과 비슷합니다.
담당 하드웨어 예시:
AMD Helios (Instinct GPU 랙)
NVIDIA GPU 클러스터
AWS Trainium 등
2. 디코드 (Decode) 단계
정의: KV 캐시를 활용해 응답 토큰을 하나씩 순차적으로 생성하는 단계입니다.
주요 작업:
이미 생성된 이전 토큰들과 KV 캐시를 참고해 다음 토큰 1개를 예측
새 토큰을 생성할 때마다 KV 캐시를 업데이트
이 과정을 응답이 끝날 때까지 반복 (autoregressive generation)
계산 특성:
메모리 대역폭 집약적(Memory-bandwidth-bound)
연산량은 상대적으로 적지만, 모델 가중치와 KV 캐시를 반복적으로 읽어야 함
지연 시간(Latency)이 매우 중요 → 사용자가 체감하는 “응답 속도”를 결정
배치 크기가 작을수록(특히 단일 사용자) 메모리 대역폭의 영향이 커짐
비유: 색인된 책을 참고하면서 한 문장씩 천천히 글을 써 나가는 과정입니다.
담당 하드웨어 예시:
Cerebras WSE / CS-4 (온칩 44GB SRAM + 초고대역폭)
Groq LPU
기타 SRAM 중심 또는 초저지연 특화 가속기
두 단계의 핵심 차이 요약
왜 분리하는가?
Prefill은 GPU의 강한 연산 능력을 활용해 빠르게 처리
Decode는 Cerebras처럼 온칩 메모리가 크고 대역폭이 극단적으로 높은 아키텍처가 훨씬 유리
두 단계를 분리하면 전력 효율(T/s/W)과 지연 시간을 동시에 크게 개선할 수 있음
이 때문에 AMD Helios(프리필) + Cerebras CS-4(디코드) 조합이 “고처리량 + 초저지연”을 동시에 추구하는 대표적인 분리형 추론 구조로 제시되고 있습니다.
아무튼 이렇게 파이프라인을 갖춘 만큼 앞으로 세레브라스와 AMD가 AI 데이터 센터에서 어떤 성과를 거둘 수 있을지 주목됩니다.
참고
댓글
댓글 쓰기