고든의 블로그 구글 분점

  ( Two pearlside species that have hybrid photoreceptors in their eyes as larvae and adults, Maurolicus muelleri and Maurolicus mucronatusDr. Wen-Sung Chung / The University of Queensland ) ​ ​ 인간을 비롯한 척추동물의 시세포는 원추 세포(Cone cell)와 간상 세포(rod cell)로 나눌 수 있습니다. 이 세포들은 눈의 망막에 위치하여 빛을 감지합니다. 원추 세포는 밝은 곳에서 색깔과 정밀한 형태를 식별하고, 간상 세포는 어두운 곳에서 명암을 구분하며 형태를 감지합니다. 원추 세포는 중심부에 밀집되어 색상을, 간상 세포는 주변부에 많아 야간 시력을 담당합니다. ​ 대부분의 척추동물에서 시각은 원추세포가 먼저 발달하고 간상세포가 나중에 발달하는 순서를 따릅니다. 하지만 최근 호주 퀸즐랜드 대학의 릴리 포그(Lily Fogg)와 패니 드 부세롤(Fanny de Busserolles), 그리고 동료들은 홍해의 20-200m 정도 되는 바다에서 심해어의 치어에서 예외적인 원추세포와 간상세포의 하이브리드 세포를 발견했습니다. ​ 대부분의 어린 물고기 (치어)들은 보통 얕은 바다에서 성장합니다. 하지만 심해 환경에 적응한 심해어의 경우 얕은 바다라고 해도 중층대 (mesopelagic zone) 또는 약광층 (twilight zone, 해수면 아래 약 200m에서 1,000m 사이)에서 살아갑니다. 아직 미숙한 어린 치어의 시세포로는 이런 어두운 환경에서 제대로 빛을 감지하기 쉽지 않을 것입니다. ​ (( A ) 막대 모양 또는 원추 모양 형태를 가진 광수용체의 개략도. ( B ~ G ) V. mabahiss의 초기 유충 및 성체 광수용체 층의 대표적인 광학 현미경 사진[(B) 및 (E)]과 투과 전자 현미경 사진[(C) 및 (D) 및 (F) 및 (G)] .Fogg 외 / 퀸즐랜드 대학교) ​ 연구...

  (출처: 엔비디아) ​ ​ 엔비디아가 자체 LLM 모델인 네모트론을 공개한 후 다시 얼마되지 않아 네모트론 3 나노 옴니 (Nemotron 3 Nano Omni)를 공개했습니다. 나노 옴니의 가장 큰 특징은 시각, 오디오 및 텍스트에 대해 각각 별도의 모델 스택을 사용하는 대신 하나의 모델로 모든 정보를 처리하고 추론한다는 것입니다. ​ 엔비디아에 의하면 기존 LLM 모델은 음성, 이미지, 영상, 텍스트를 각각 처리했는데 이는 추론 단계와 통합 (오케스트레이션) 복잡성을 증가시켜 비용은 늘리고 각 모달 간 컨텍스트 일관성은 약화시킵니다. ​ 네모트론 3 나노 옴니는 이를 극복하기 위해 30B-A3B 하이브리드 전문가 혼합(MoE) 아키텍처를 기반으로 구축되어 각 작업 및 모달리티에 필요한 전문가를 활성화하여 높은 처리량과 강력한 멀티모달 성능을 대규모로 제공합니다. ​ 간단히 요약하면 음성 인식, 텍스트 인식, 영상 인식, 이미지 인식을 따로 하는 것이 아니라 하나의 모델에서 수행해 복잡한 작업을 한 단계로 해결해 시간과 컴퓨팅 자원을 아끼고 답변의 일관성도 유지한다는 것입니다. ​ 그리고 전체 파라미터는 300억 개(30B) 규모이지만, 추론 시에는 약 30억 개(3B)의 활성 파라미터만 사용하는 효율적인 구조를 채택했습니다. (모델 이름이 30B-A3B인 이유) 이를 통해 모델의 크기는 줄이면서도 성능은 유지하여, 기업들이 낮은 비용으로 대규모 배포를 할 수 있게 합니다. ​ 네모트론 3 나노 옴니는 발표와 동시에 허깅 페이스 등에 무료로 공개됐으며 LM 스튜디오 같은 로컬 LLM 구동 프로그램에서 이를 직접 사용해 볼 수 있습니다. (소개 영상) ​ ​ (출처; 엔비디아) ​ ​ 엔비디아에 의하면 네모트론 3 나노 옴니는 MMlongbench-Doc 및 OCRBenchV2 와 같은 문서 인식 성능 평가에서 최고 수준의 정확도를 제공하며 , 비디오 및 오디오 인식, WorldSense , DailyOmni , VoiceBench 에...