(출처: 샌디스크)
앞서 소개한 고대역폭 플래시 메모리 (HBF, High Bandwidth Flash)가 좀 더 구체적인 모습을 드러냈습니다. 아직 실물이나 양산 시점이 공개된 것은 아니지만, 이 표준을 주도하는 샌디스크와 SK 하이닉스에 따르면 HBF는 낸드 다이를 8층 또는 16층으로 쌓고, TSV(Through Silicon Via)로 연결한 뒤, 컨트롤러 로직 다이를 아래에 본딩합니다. (사진 참조)
이 방법으로 HBF는 HBM 보다 훨씬 큰 최대 512GB까지 단일 칩을 만들 수 있으면서도 0.4TB/s ~ 3TB/s (최대 3TB/s 목표)의 높은 대역폭을 확보할 수 있습니다. 그리고 UCIe(Universal Chiplet Interconnect Express)를 지원해 CPU·GPU 등 다양한 칩렛과 유연하게 연결할 수 있습니다.
이전 포스트: https://blog.naver.com/jjy0501/224323563708
사실 낸드 플래시 메모리의 개별 셀 읽기 속도는 D램보다 약 1,000배 느립니다(SRAM ~1ns, DRAM ~100ns, NAND ~100μs). 그러나 HBF는 수천 개의 낸드 셀을 동시에 병렬로 읽는 방식으로 대역폭을 크게 끌어올립니다.
AI 시스템에서 HBF가 하는 일은 바로 모델 가중치 (Weight)를 저장하는 것입니다. 예를 들어 매개변수가 1000억 개(100B)이고 fp16 연산 수준(매개변수당 2바이트)에서 작동하는 AI 모델은 모델 가중치를 저장하는 데만 200GB의 HBM 메모리가 필요한데, 아무래도 너무 비쌀 수밖에 없습니다.
참고로 가중치는 모델이 특정 개념이나 단어들의 조합에 얼마나 중요한 비중을 두어야 하는지를 나타냅니다. 기본적으로 가중치는 모델에 저장된 모든 지식의 총합으로 모델의 크기가 클수록 저장해야 하는 가중치의 양도 많아집니다.
그런데 AI 모델에게 필요한 것은 가중치만이 전부가 아닙니다. KV 캐시(Key-Value Cache)는 대규모 언어 모델(LLM)이 텍스트를 생성할 때 이전 토큰들의 연산 결과인 Key와 Value 텐서를 저장해 두고 재사용하는 핵심 최적화 기술입니다. 매번 전체 문맥을 다시 계산하지 않아 추론 속도를 획기적으로 높여줍니다. 다만 대화가 길어지거나 배치 크기가 커질수록 KV 캐시가 차지하는 GPU 메모리양은 크게 늘어납니다. 결국 이로 인해 메모리가 부족해지면 시스템 성능 저하나 OOM(Out-Of-Memory) 오류가 발생할 수 있습니다.
HBM 메모리는 빠르게 자주 접근해야 하는 KV 캐시를 저장하는데 제격입니다. 따라서 가중치는 HBF에 KV 캐시는 HBM에 저장한다면 단일 GPU에서 처리할 수 있는 모델의 크기를 대폭 늘릴 수 있습니다.
어떤 GPU가 HBF를 최초 적용하게 될진 모르지만, 아무튼 현재 계획으로는 올해 하반기 초기 샘플 출하가 시작되어 2027년 실제 시스템 (AI 추론 가속기)에서 테스트할 예정입니다. SK하이닉스는 HBF 및 차세대 AI 스토리지의 핵심 기술이 되는 10세대(V10) 375단 4D 낸드 기반 고성능 eSSD 제품을 2027년 초부터 본격 양산할 계획입니다. 첫 고객사는 구글의 TPU 등이 거론되고 있습니다.
과연 HBF가 HBM 같은 새로운 차세대 고대역 메모리 규격으로 자리잡을 수 있을지 주목됩니다.
참고
https://wccftech.com/hbf-is-for-ai-model-weights-hbm-is-for-kv-cache/
https://wccftech.com/sk-hynix-sandisk-high-bandwidth-flash-hbf-standard-3tbs/
댓글
댓글 쓰기