SK하이닉스 “AiM, LLM AI 컴퓨팅 성능 경제적 구현”

SK하이닉스, 'AI 하드웨어 서밋'서 최신 AiM 공개

임의철 SK하이닉스 부사장, AI 서밋 세션 발표 나서

AI 하드웨어 서밋에 전시된 SK하이닉스의 AiM 칩과 AiMX 카드 ⓒSK하이닉스

SK하이닉스는 최근 미국 캘리포니아주 새너제이에서 열린 '인공지능(AI) 하드웨어 & 엣지 AI 서밋 2024'(AI 하드웨어 서밋)에서 가속기 카드인 AiMX 등 AI 시대를 위한 기술을 선보였다고 19일 밝혔다.

이번 행사에서 SK하이닉스는 '데이터센터부터 엣지 디바이스까지 AI 성능을 가속하는 AiM'이라는 슬로건을 내걸고 참가, AiM 설루션과 미래 비전을 제시했다.

AI 하드웨어 서밋은 글로벌 정보기술(IT) 기업과 유망 스타트업 등이 참가해 최신 기술과 연구 결과를 공유하고 네트워킹을 통해 산업 내 협력 기회를 모색하는 장이다.

AiM은 SK하이닉스의 지능형 반도체(PIM) 제품이다. AiMX는 GDDR6-AiM 칩을 사용해 대규모 언어 모델(LLM)에 특화된 SK하이닉스의 가속기 카드다.

SK하이닉스는 “우리의 AiM은 메모리 내 일부 연산을 수행해 기존 메모리 대비 높은 대역폭과 우수한 에너지 효율성을 보인다”며 “LLM 기반의 생성형 AI가 요구하는 높은 컴퓨팅 성능을 더 경제적으로 구현할 수 있게 해준다”고 설명했다.

이어 "기존 엣지 디바이스의 메모리 인터페이스를 변경하지 않고도 성능을 높일 수 있는 것이 이번 설루션의 강점"이라며 "모바일 D램을 SK하이닉스의 AiM으로 대체할 경우 기존 대비 최대 3배 이상의 LLM 속도 향상과 에너지 효율이 기대된다"고 덧붙였다.

전시 부스에서는 메타의 최신 LLM 모델인 '라마(Llama)3 70B'를 활용해 AiMX의 성능을 시연했다.

이번에 공개된 AiMX는 메모리 용량이 16GB(기가바이트)에서 32GB로 기존 대비 2배로 늘어났다.

부스에서는 여러 데이터 그룹을 동시에 처리하는 기법인 멀티 배치(Multi-Batch)로 데이터를 처리해 많은 관심을 받았다.

SK하이닉스는 이번 행사에서 데이터센터뿐만 아니라 엣지 디바이스(온디바이스 AI)에도 적용 가능한 AiM 설루션을 공개했다.

임의철 SK하이닉스 부사장은 세션 발표를 통해 AiM 기술이 LLM 서비스를 위한 핵심 설루션임을 강조하고 모바일 D램 기반 온디바이스 AI용 AiM 제품 개발 계획을 공유했다.