[인공지능 기술] GPU 추가 없이 메모리 확장, 대규모 AI 활용 성능 2배 '업'
2024.07.09 01:56
[인공지능 기술] GPU 추가 없이 메모리 확장, 대규모 AI 활용 성능 2배 '업'
GPU 추가 없이 메모리 확장, 대규모 AI 활용 성능 2배 '업'
입력2024.07.08. 오전 10:54
KAIST는 정명수 전기및전자공학부 교수팀이 차세대 인터페이스 기술인 '컴퓨트 익스프레스 링크(CXL, Compute Express Link)'가 활성화된 고용량 GPU의 메모리 읽기·쓰기 성능을 최적화하는 기술을 개발했다고 8일 밝혔다. 연구결과는 7월 미국 유즈닉스(USENIX) 연합 학회와 핫스토리지 연구 발표장에서 선보일 예정이다.
최신 대규모 언어모델(LLM)은 추론·학습에 수십 테라바이트(TB, 1TB는 1024GB)의 메모리가 필요하다. 단일 GPU의 내부 메모리 용량은 수십 기가바이트(GB) 수준이라 단독으로 언어 모델을 활용하는 것은 불가능하다. 일반적으로 GPU 여러 개를 연결하는 방식을 사용하지만 최신 GPU의 높은 가격이 걸림돌이다.
대용량 메모리 장치를 GPU에 연결해 메모리 크기를 확장하는 'CXL-GPU' 구조가 산업계에서 주목받고 있다. 메모리 용량을 늘리기 위해 값비싼 GPU를 추가로 구매할 필요가 없기 때문이다. 하지만 GPU에 연결된 메모리 확장 장치의 읽기·쓰기 속도가 GPU 내부 메모리와 비슷한 수준으로 구현돼야 대규모 AI 서비스에 활용될 수 있다.
연구팀은 CXL-GPU의 메모리 읽기·쓰기 성능이 저하되는 원인을 분석하고 이를 개선했다. 확장된 메모리의 쓰기 작업 완료 여부를 기다리지 않고도 동시에 GPU 내부 메모리에도 쓰기 작업을 할 수 있도록 해 쓰기 성능을 개선한 것이다. 읽기 작업에서도 확장된 메모리 장치에서 필요한 읽기 작업을 미리 수행할 수 있도록 해 읽기 성능을 향상시켰다.
국내 반도체 팹리스 스타트업인 파네시아(Panmnesia)의 CXL-GPU 프로토타입을 활용해 성능을 검증한 결과 기존 GPU 메모리 확장 기술보다 AI 서비스를 2.36배 빠르게 실행할 수 있는 것으로 나타났다.
정명수 교수는 "CXL-GPU 시장 개화 시기를 앞당겨 대규모 AI 서비스를 운영하는 기업의 메모리 확장 비용을 획기적으로 낮추는 데 기여할 것"이라고 밝혔다.
본 웹사이트는 광고를 포함하고 있습니다.
광고 클릭에서 발생하는 수익금은 모두 웹사이트 서버의 유지 및 관리, 그리고 기술 콘텐츠 향상을 위해 쓰여집니다.
광고 클릭에서 발생하는 수익금은 모두 웹사이트 서버의 유지 및 관리, 그리고 기술 콘텐츠 향상을 위해 쓰여집니다.
