(출처: 엔비디아) 구글 딥마인드가 젬마 26B A4B 모델 (Gemma 26B A4B) 기반으로 개발한 디퓨전 젬마 26B A4B를 공개했습니다. 디퓨전 젬마의 특징은 병렬 토큰 생성 (Parallel generation) 기술입니다. 매 단계마다 단 하나의 토큰(텍스트 단위)을 순차적으로 예측하는 기존의 자동회귀(Autoregressive) 모델과 달리, 디퓨전 젬마는 한 단계에 최대 256개의 토큰을 동시에 병렬로 디노이징(denoising)하여 텍스트를 생성합니다. 병렬 처리 방식 덕분에 토큰 생성 속도가 4배 정도 빨라졌다는 게 엔비디아와 딥마인드의 설명입니다. 덕분에 H100 같은 고성능 GPU에서 로컬 AI 모델 토큰 속도가 초당 1000 이상으로 빨라졌으며 DGX 스테이션에서는 초당 800, DGX 스파크에서는 초당 150 정도의 속도를 지원합니다. 과거 텍스트 기반의 LLM이 하나씩 토큰을 순차적으로 생성하는 것과 달리 AI 이미지 생성의 디노이징처럼 여러 개를 동시 생성하는 방식으로 속도를 대폭 높인 것인데, 덕분에 로컬 모델에서 클라우드 서버에 맞먹는 빠른 속도를 경험할 수 있게 됐습니다. 여기서 흥미로운 사실은 디퓨전 젬마가 사실 젬마 4 26B A4B 기반이라는 사실입니다. 총 매개변수 25.2B (약 252억 개), 활성 매개변수 3.8B (약 38억 개), 컨텍스트 길이 최대 256K 토큰, 정밀도 포맷 (Precision format) BF16, NVFP4이라는 점은 동일하다는 뜻으로 속도만 빠른 것이지 기본적인 답변 품질은 기존의 젬마 4와 같을 것으로 예상할 수 있습니다. 또 모델 자체가 엔비디아 GPU에 최적화된 것으로 보입니다. 다만 로컬 컴퓨터에서는 용량 때문에 약간 제약이 따를 수 있는데 구글과 언슬로스(Unsloth)의 공식 개발자 가이드에 따르면, 디퓨전 젬마(26B MoE)를 양자화하여 로컬에서 원활하게 구동하기 위한 최소 권장 VRAM(또는 통합 메모리)은 18GB입니다. 4-bit...
(심해 거대 등각류. Credit: Prof. Li Xinzheng ) ( 심해 등각류의 에너지 배분 재프로그래밍에서 생존 전략과 수평적으로 획득된 에너지 대사 관련 유전자를 보여주는 메커니즘 다이어그램. 출처: Yuan Jianbo 외. ) 가끔 뉴스에도 나오는 심해 거대 등각류 (isopod)는 마치 지구를 침공한 외계인 같은 외형을 지닌 생물로 유명합니다. 하지만 과학자들을 진짜 놀라게한 대목은 외형이 아니라 크기입니다. 단순히 크기가 커서 놀라는 것이 아니라 먹이가 부족한 심해 환경에서 몸집을 키웠기 때문입니다. 이전 포스트: https://blog.naver.com/jjy0501/222060991702 초대형 심해 등각류인 바티노미드(bathynomid)는 먹이가 부족한 심해에서 몸집을 키웠을 뿐 아니라 더 놀랍게도 먹이 없이 5년 이상 생존할 수 있습니다. 심해의 불규칙적인 먹이 공급 속에서 이처럼 몸집을 키운 이유는 과학자들의 연구 대상이었습나다. 중국과학원 해양학연구소(IOCAS, Institute of Oceanology of the Chinese Academy of Sciences )의 연구팀은 심해 거대 생물들이 극심한 영양 부족 속에서도 번성할 수 있도록 하는 메커니즘을 밝혀냈습니다. 연구팀 다중 오믹스 분석(multi-omics analyses)과 기능 분석을 결합하여 심해 등각류가 영양분이 부족한 환경에서도 몸집을 키우고 생존할 수 있는 두 가지 생존 전략을 밝혀냈습니다. 하나는 많은 양의 먹이를 저장할 수 있는 커진 위이고, 다른 하나는 극도로 낮은 기초대사율(BMR, basal metabolic rate)입니다. 연구팀은 이번 연구에서 서로 다른 수심에서 서식하는 두 종의 등각류, 즉 약 898미터 깊이에서 발견된 Bathynomus jamesi와 약 300미터 깊이에서 발견된 Bathynomus doederleini를 분석했습니다. 연구팀에 따르면 심해 등각류의 위는 몸 전체의 약 3분...