(출처 : 샌디스크)
AI 연산에서 중요한 것은 대용량의 데이터를 빠르게 불러오는 일입니다. 현재의 낸드 플래시 스토리지 (SSD 같은)는 CPU와 GPU와 멀리 떨어져 있어 대규모 AI 데이터 처리에 사실 적합한 형태가 아닙니다. 스토리지 전문 제조사인 샌디스크는 이 병목 문제를 해소하기 위해 2025년부터 고대역폭 플래시 (High Bandwidth Flash (HBF)) 기술에 투자하고 있습니다. SK 하이닉스 역시 HBF에 관심이 있어 샌디스크와 협력 중입니다.
이전 포스트: https://blog.naver.com/jjy0501/223760693153
https://blog.naver.com/jjy0501/224057373483
HBF는 HBM과 유사한 스택킹 아키텍처를 낸드 플래시 메모리에 적용한 기술이라고 할 수 있습니다. HBM이 D램을 여러 층으로 쌓아(Stacking) TSV(Through Silicon Vias)로 연결한 것과 달리 HBF는 플래시 메모리를 TSV로 쌓아 적층한 구조입니다. HBM이 현재 스택당 32~64GB 정도의 용량을 지닌 데 비해 HBF의 목표 용량은 최대 4TB 수준으로 매우 높기 때문에 대규모 데이터 학습 및 추론에 적합합니다.
다만 기본적으로 낸드 플래시 메모리는 비휘발성인 대신 D램과 비교해서 속도가 느리고 지연 시간이 길다는 문제점이 있었습니다. HBF는 이러한 낸드 플래시 메모리의 단점을 스택킹과 고대역폭 인터페이스로 보완합니다. 특히 핵심은 샌디스크의 최근 특허 (US 12,430,274 B2)에 있습니다. 이 특허는 단순한 적층을 넘어 Compute(연산)와 낸드 다이를 하나의 칩/패키지에 통합하는 방법입니다. (사진 참조)
궁극적으로 CBA (CMOS Bonded Array) 기술을 통해 낸드 메모리 타일과 CMOS 로직 회로 타일을 결합하고 3D 적층으로 이 타일을 컴퓨트 타일 (GPU 또는 AI 가속기) 바로 아래/위에 직접 3D 적층하는 것이 목표입니다. 그리고 인터포저에 HBM 메모리 역시 함께 배치하는 하이브리드 구성 역시 가능합니다. 이 경우 즉각적인 고속 메모리 작업에는 HBM 메모리가 대용량 데이터 저장과 데이터셋 처리에는 HBF가 함께 작동해 성능을 높이면서도 비용과 전력 소모를 줄인다는 것입니다.
(미국 특허)
다만 초기에는 HBM처럼 인터포저를 이용해 HBF 메모리를 옆에 붙여 사용하다가 프로세서 위로 올릴 가능성이 높은데, 발열 제어라는 또 다른 문제가 있기 때문에 실제로 GPU 위에 HBF를 올리기는 쉽지 않을 수 있다는 게 개인적 생각입니다.
HBF는 아직 초기 연구 단계로 실제로 작동하는 샘플도 공개된 적이 없습니다. 앞으로 실제 작동하는 샘플이나 시제품, 그리고 구체적인 로드맵이 공개될 수 있을지 주목됩니다.
참고
https://wccftech.com/sandisk-bets-on-stacking-nand-and-compute-on-one-chip/
댓글
댓글 쓰기