12 4월 2024

[인공지능 기술] 2024년은 온디바이스 AI 시대, 왜 ‘AI PC’는 지금 주목받나?

[인공지능 기술] 2024년은 온디바이스 AI 시대, 왜 ‘AI PC’는 지금 주목받나?

2024년은 온디바이스 AI 시대, 왜 ‘AI PC’는 지금 주목받나?

입력
인공지능(AI)이 전 세계 컴퓨터 시장을 달구고 있지만, 이는 갑작스러운 전개가 아닌 필연적인 흐름이다. 현대 컴퓨터의 아버지 ‘앨런 튜링’은 AI라는 단어가 등장하기도 전인 1950년, ‘계산 기계와 지능(Computing machinery and intelligence)’이라는 논문을 통해 컴퓨터로 동작하는 가상의 지능이 등장할 것을 시사했고, 1956년 다트머스 회의에서 AI라는 용어와 개념이 자리 잡았다.

2024년, 거의 모든 PC 관련 기업들이 AI PC를 슬로건으로 밀고 있다 / 출처=마이크로소프트

2024년, 거의 모든 PC 관련 기업들이 AI PC를 슬로건으로 밀고 있다 / 출처=마이크로소프트
물론 반도체가 눈부시게 발전하며 2000년대까지는 슈퍼컴퓨터와 시뮬레이션에 컴퓨터 공학적 역량이 집중되었으나, 90년대 중반부터는 리처드 벨먼 교수의 기계 제어를 위한 강화학습, 제프리 힌튼 교수의 심층신경망 기술 제안 등이 잇따르며 가능성이 커져왔다. 이어서 2016년, 구글 딥마인드와 이세돌의 바둑 대결로 전 세계인이 AI의 가능성을 목격했고, 22년 11월 오픈 AI가 GPT-3를 내놓으며 비로소 AI가 IT 시장의 핵심으로 등장했다. 그 직후 시장에서 제시한 방향성이 바로 온디바이스 AI, AI PC다.

가장 진보한 AI의 발전상, AI PC의 현재 상황은?

2023년 AI 시장의 핵심은 AI 그 자체였다. 엔비디아를 비롯한 AI 하드웨어 기업들은 새로운 기술과 고성능을 갖춘 제품을 내놓기 바빴고, 개발자들은 빅데이터를 수집해 AI 모델을 구축하고, 이를 활용해 추론하고 후처리에 이르는 모든 과정에 투입됐다. 일반인들을 위한 AI 시장이 대중화하진 않았으나, GPT를 비롯한 다양한 생성형 AI들이 모든 산업을 관통했다.

어도비의 생성형 AI 파이어플라이 생성 화면, 온디바이스 AI가 아닌 어도비 클라우드 서비스로 연결해 처리한다 / 출처=어도비

어도비의 생성형 AI 파이어플라이 생성 화면, 온디바이스 AI가 아닌 어도비 클라우드 서비스로 연결해 처리한다 / 출처=어도비
문제는 이 모든 과정이 클라우드 및 데이터 서버를 거쳐야 한다. AI 모델은 데이터를 매개변수 형태로 가공해서 저장하고, 필요할 때 내놓는 형태다. 이를 위해 막대한 양의 저장공간과 실시간 하드웨어 자원, 즉 데이터 서버가 필요하다. 지금도 대다수 AI 기능은 데이터 서버와 클라우드로 연결돼 동작하며, 네트워크가 없으면 AI 기능을 쓰기 어렵다.

하지만 데이터 서버 구축은 대규모 자본은 물론 구동과 냉각을 위한 전력도 계속 필요하다. 장기적으로 AI 제공 기업의 부담은 커지고, 과부하도 생긴다. 그래서 업계에서는 말단 장치가 AI를 자체 구동하는 온디바이스 AI로 데이터 서버의 부하를 분산하고 있으며, AI PC 역시 이를 위해 등장한 제품군이다. 즉 AI PC는 AI 연산 집중에 따른 서버 부하를 줄이고, 사용자가 통신없이도 간단한 AI 소프트웨어나 애플리케이션, 개발 작업에 쓰기 위한 제품이다.

가트너, 2024년 말까지 전체 PC 중 22%가 AI PC로 예상

주요 프로세서 제조사들이 AI PC의 가능성에 눈을 뜨면서 시장 점유율은 빠르게 늘고 있다. 글로벌 연구 조사 기업 IDC는 AI PC가 올해 전체 PC 출하량의 약 20%인 5000만 대가 출하될 것으로 예측하며, 2027년에는 전체의 60%인 1억 6700만 대가 출하될 것으로 본다. 이미 지난해 12월 인텔 코어 울트라가 출시되며 신제품 노트북이 AI PC로 판매되기 시작했고, 인텔은 2025년까지 약 1억 대의 AI PC를 출하하겠다고 발표했다.

인텔 AI PC의 핵심은 신경망 처리 장치(NPU)다. 오늘날 많은 AI는 GPU의 부동소수점 연산 처리로 구동된다. 하지만 GPU는 AI 용도가 아닌 그래픽 처리용 반도체여서 전력 효율이 크게 떨어진다. NPU는 AI 처리를 위한 반도체로 전력 및 작업 효율이 훨씬 좋다. 현재 인텔 코어 울트라 등의 AI PC는 기존처럼 CPU와 GPU는 물론 NPU까지 탑재한다.

인텔 코어 울트라 5가 탑재된 PC와 13세대 인텔 코어 i5가 탑재된 PC / 출처=IT동아

인텔 코어 울트라 5가 탑재된 PC와 13세대 인텔 코어 i5가 탑재된 PC / 출처=IT동아
인텔 코어 울트라 라인업은 13세대 인텔 코어 제품군과 비교해 UL 프로키온 AI 추론 기능과 어도비 라이트룸을 활용한 AI 사진 편집은 약 1.5배, 어도비 프리미어 프로 AI 비디오 편집 기능은 약 2.2배, 스펙 뷰포트 2020 SNX 등의 엔지니어링 기능에서는 최대 12.1배까지 성능이 차이 난다. 그러면서도 전력 효율은 에너지스타 8.0 요구사항보다 최대 64% 낮고, 마이크로소프트 팀즈 미팅 시 11% 전력을 덜 쓰는 등의 이점이 있다. GPU 성능이 좋아지면서 실사용 성능이 향상되는 부분도 있지만, AI 처리에 최적화된 NPU의 영향도 상당하다.

점차 늘고 있는 AI PC 활용, 현시점 활용도는?

현재 윈도우 11에서 쓸 수 있는 AI 기능, 클라우드에서 연산을 처리하므로 AI PC가 아니더라도 쓸 수 있다. 물론 AI PC 최적화가 적용되면 오프라인에서도 효율적으로 이런 기능들을 쓸 수 있게 된다 / 출처=

현재 윈도우 11에서 쓸 수 있는 AI 기능, 클라우드에서 연산을 처리하므로 AI PC가 아니더라도 쓸 수 있다. 물론 AI PC 최적화가 적용되면 오프라인에서도 효율적으로 이런 기능들을 쓸 수 있게 된다 / 출처=IT동아
사용자들 사이에서는 여전히 AI 기능이 시기상조라는 시각도 있지만, 윈도우 11처럼 발빠르게 AI PC 시대를 준비하는 플랫폼도 있다. 예를 들어 윈도우 11에는 코파일럿을 비롯한 다양한 AI 기능이 내장되고 있으며, 누구나 쓸 수 있다. 코파일럿은 GPT 기반의 생성형 AI로 대화를 통한 질문, 검색이나 글 작성, 이미지 콘텐츠 제작, 윈도우 기능 실행 등을 수행한다. 또 캡처 도구에는 AI 기반의 광학 문자 인식이 탑재돼 이미지 내 글씨를 복사할 수 있고, 그림판에도 AI 배경 제거나 명령어 기반의 이미지 생성형 AI 기능이 추가됐다. 이외에도 많은 AI 기능들이 단계적으로 추가될 예정이다. 현재 시점에서는 네트워크가 필수지만, 추후 NPU에 최적화되면 장치 자체에서 수행한다.

올해 말이면 오프라인 AI PC에서 쓸 수 있는 AI 기능들이 많아질 전망이다 / 출처=마이크로소프트

올해 말이면 오프라인 AI PC에서 쓸 수 있는 AI 기능들이 많아질 전망이다 / 출처=마이크로소프트
아울러 챗GPT나 클로드AI, 라마(Llama), 구글 재미나이 같은 언어 모델을 개발하는 조건에도 앞으로는 AI PC가 더 유리해질 것이다. AI 개발 자체는 이전 세대 고성능 PC로도 할 수 있지만 전력 효율이 떨어진다. 가벼운 작업이고, 전력 효율까지 고려한다면 NPU를 내장한 AI PC에서의 작업이 더 유리하다. AI 기업 업스테이지는 지난 2월, LG전자와 손을 잡고 자체 언어모델 ‘솔라’를 LG 그램에서 온디바이스 AI로 적용하겠다는 발표도 했다. 올해 혹은 내년에는 챗 GPT같은 언어모델을 오프라인 AI PC에서도 쓰게 될 전망이다.

추후 PC 생태계는 AI인가, AI가 아닌가로 나뉠 것

지금까지 PC 성능을 결정짓는 요소는 컴퓨터의 처리 성능이었다. 하지만 AI PC 시대가 도래한 시점부터는 PC 성능은 물론 얼마나 많은 AI 기능과 소프트웨어를 지원하는지도 중요해질 것이다. AI PC 생태계가 올해 막 시작된 만큼 여전히 보여줄 게 많진 않으나, 챗GPT가 보여준 것처럼 PC 기반 작업에서 기대 이상의 결과와 혜택을 제공할 것이다. 이를 누리려면 새 PC를 살 때 NPU를 탑재한 AI PC를 선택하는 게 합당하다.

인텔은 오는 2025년까지 1억 대 이상의 PC에 AI 기능을 제공하겠다는 목표를 세웠다 / 출처=인텔

인텔은 오는 2025년까지 1억 대 이상의 PC에 AI 기능을 제공하겠다는 목표를 세웠다 / 출처=인텔
이미 인텔은 물론 AMD에서도 라이젠 AI 엔진을 탑재한 노트북을 출시했고, 퀄컴 역시 올해 중 스냅드래곤 X 엘리트 기반의 AI PC를 출시한다. 애플 역시 하반기 중 AI 기능을 내재한 차세대 애플 실리콘으로 매킨토시 라인업을 재단장할 예정이다. 과거 어도비가 크리에이티브 클라우드를 도입하면서 소프트웨어 생태계가 SaaS 중심으로 재편된 것처럼, PC 업계 역시 AI PC로 나아가는 것이다.

단순히 마케팅 용어라며 경계하는 시각은 있다. 그럼에도 불구하고 AI는 여러 분야에서 제 기능을 증명했고, 발 빠른 이들은 이미 챗GPT를 비롯한 생성형 AI의 활용법과 시각을 공유하며 우위에 서고 있다. 여전히 많은 기능이 AI PC가 아닌 일반 PC로도 구현이 되지만, 변곡점을 지나면 AI PC의 활용도가 우세해질 것이다. AI PC의 세계는 누구에게나 열려있고, AI PC를 통해 더 많은 일들을 할 수 있다. 올해가 지나면, 더 이상 AI PC는 선택이 아닌 필수가 될 것이다.

IT동아 남시현 기자 (sh@itdonga.com)

[출처] https://n.news.naver.com/mnews/article/020/0003558763

Loading

7 4월 2024

[알아봅시다] 2024년 AI 업계를 달굴 핫 키워드 LAM(대규모 행동 모델)

[알아봅시다] 2024년 AI 업계를 달굴 핫 키워드 LAM(대규모 행동 모델)

[그림 1] LAM을 상상한 이미지 (출처 : 미드저니)

“2024년엔 진정한 에이전트(Agent, 복잡한 동적인 환경에서 목표를 달성하려고 시도하는 시스템)가 몰려온다.”

2023년은 대규모 언어 모델(LLM, Large Language Model, 이하 LLM) 기반의 생성형 AI(Generative AI)가 큰 물결을 일으켰던 해였습니다. 이제 AI는 이메일 작성, 이미지 생성, 검색, 코딩 등 다양한 분야에서 빼놓을 수 없는 기술로 자리 잡았는데요. 2024년, AI 업계에는 또 다른 물결이 일 것으로 보입니다. 바로 대규모 행동 모델(LAM, Large Action Model, 이하 LAM)입니다. LAM은 문자 그대로 사용자 행동 패턴을 학습해 웹과 앱을 직접 작동시킬 수 있는 AI입니다. LLM이 문장과 그림, 비디오 등을 생성하는 데에 특화돼 있다면, LAM은 언어적 유창성과 독립적 작업 수행 능력을 결합해 단순히 무언가를 생성하는 데 그치지 않고 직접 작업을 수행하며 인간을 대신해 줄 에이전트입니다.

이번 글에서는 LAM 기반의 제품 사례와 LAM의 등장으로 바뀔 미래 모습 그리고 LAM의 특징에 대해 살펴보겠습니다.

래빗 R1으로 본 디바이스의 미래

[그림 2] 래빗 R1의 스펙 : LAM, 음성인식, 컴퓨터 비전을 제공 (출처 : 래빗)

미국 라스베이거스 컨벤션센터에서 지난 1월 9일부터 12일까지 열린 세계 최대 IT 박람회 ‘CES 2024’에서 ‘래빗(Rabbit) R1(이하 래빗 R1)’이 AI 업계의 눈길을 끌었습니다. ‘래빗 R1’의 가격은 199달러로, 저렴한 대신 2.88인치의 터치스크린과 회전식 카메라, 휠로 움직이는 물리 버튼 등 장치 곳곳에 비용을 줄인 흔적이 있습니다. 프로세서는 2.3GHz 미디어텍(Media Tek)을 사용했고, 4GB 메모리에 128GB 스토리지를 장착했습니다. 또한 ‘래빗 R1’의 온스크린 인터페이스는 음악, 교통, 화상 채팅 등 카테고리별 카드로 구성된 것이 특징입니다.

현장 테크 관계자들의 미래 기술을 엿보았다는 평가와 함께, ‘래빗 R1’은 2024 CES에서 1만대 판매를 기록했습니다. ‘래빗 R1’은 LAM 기반으로 작동하는 자체 운영체제인 ‘래빗OS’를 탑재했는데요. 웹사이트, 앱, 플랫폼, 데스크톱 상관없이 서비스를 작동할 수 있는 콘트롤러의 역할을 합니다. ‘래빗 R1’을 활용해 음악을 재생하고, 식료품을 구매할 수 있으며, 문자 메시지를 보낼 수 있습니다. 예를 들어, 휴대폰으로 택시를 부른다면 우리는 앱을 열어 위치를 입력하고 차량을 확인한 뒤 기사를 호출해야 하는 등 수많은 클릭을 해야 하는데요. ‘래빗 R1’은 음성만으로 곧바로 택시를 호출할 수 있습니다.

[그림 3] ‘래빗 R1’에서 음성으로 피자를 주문하는 모습 (출처: 래빗)

‘래빗 R1’이 즉석에서 앱을 작동시킬 수 있는 이유는 사용자의 앱 사용 패턴을 AI가 학습했기 때문입니다. ‘래빗 R1’은 택시 호출 앱의 아이콘 모습, 주문 시점, 검색 메뉴, 위치 등을 학습했습니다. 아울러 ‘래빗 홀(Rabbit Hole)’이라는 웹 포털을 통해 다양한 작업을 수행할 수 있도록 지원하는데요. 음성 인식 기능을 갖춰 음성만으로 앱을 제어할 수 있고, 전용 트레이닝 모드로 각종 앱을 직접 훈련시킬 수 있습니다.

이런 디바이스가 현실 세계를 얼마나 파고들지는 알 수 없으나, 테크 업계에서는 이를 또 하나의 혁신적인 이벤트로 받아들였습니다. 챗GPT가 2023년 11월에 LLM이라는 새로운 세상을 열었듯, ‘래빗 R1’이 LAM의 시대를 여는 게 아니냐는 기대를 품고 있습니다. 아직은 단정 짓기 어렵지만 디바이스에 LAM이 부착되면 모든 행동이 자동화될 가능성이 큽니다.

인터넷을 바꿀 어뎁트의 ACT-1 LAM

[그림 4] 어뎁트 ACT-1이 부동산 사이트를 작동시키는 모습 (출처 : ADEPT)

오픈AI에서 부사장으로 근무했던 데이비드 루안이 2022년 창업한 스타트업 어뎁트(ADEPT, 이하 어뎁트)도 있습니다. 어뎁트는 얼마 전 LAM 모델인 액션트랜스포머 ‘ACT-1’을 런칭했습니다.

‘ACT-1’은 디지털 도구를 사용할 수 있도록 훈련된 대규모 트랜스포머입니다. 특히 웹 브라우저 사용법을 학습해 주목을 받았는데요. 현재 ‘ACT-1’은 크롬 확장 프로그램에 연결돼 있습니다. 브라우저에서 일어나는 태스크(task, 작업 단위의 실행 단위)를 모니터링하고 클릭, 입력, 스크롤 등 다양한 동작을 수행할 수 있습니다. 어뎁트는 “모델링 측면과 소프트웨어 측면 모두에서, 더 빠르게 만들 수 있는 여지가 충분하다. 앞으로 인터넷에서 벌어질 일들은 사람이 거의 감지할 수 없을 것이고, 사용자가 원하는 것들은 입력 없이 실시간으로 이뤄질 것이다.”라고 설명했습니다.

1.png
[그림 5] ACT-1에서 스프레드시트를 작동시켜 가게 별 영업 마진을 보여 달라고 요청해 엑셀을 정렬시킨 모습 (출처 : ADEPT)

현재 어뎁트의 ‘ACT-1’은 위젯 형태의 챗봇으로 사용 가능합니다. 사용자가 해당 웹페이지에서 원하는 것을 입력하면 ‘ACT-1’이 알아서 나머지를 처리하는 방식인데요. 예를 들어, 부동산 웹페이지인 레드핀(Redfin.com)에 접속해 원하는 매물을 찾는다고 가정하겠습니다. 그동안 매물을 찾을 땐 사람이 직접 원하는 가격대, 지역, 방 개수 등을 입력한 검색 결과로 판단해야 했는데요. ‘ACT-1’의 위젯 형태의 챗봇은 사용자가 원하는 조건을 입력하기만 하면 원하는 매물을 콕 집어서 추천합니다. 10회 이상 클릭해야 찾을 수 있던 부동산 매물 검색을 이제 문장 입력 한 번에 해결할 수 있게 된 것입니다.

더 놀라운 점은 생산성 도구에도 ‘ACT-1’을 사용할 수 있다는 사실입니다. 예를 들어 스프레드시트를 작업하려면 수많은 클릭과 수많은 입력이 필요하고, 스프레드시트의 고급 기능을 쓰려면 별도로 함수를 배워야 했습니다. 하지만 ‘ACT-1’은 문장을 입력하는 것만으로 셀을 정렬하고 원하는 코드를 삽입할 수 있습니다. 또 지메일에 ‘ACT-1’을 부착해 사용할 경우, 예약 이메일을 자동 발송할 수 있고, 위키피디아에 부착할 경우엔 원하는 정보를 추출할 수 있습니다. 앞으로는 LAM 챗봇으로 원하는 답변만 찾아낼 수 있습니다.

인간을 대신할 AI, LAM의 특징과 미래

지금까지 살펴봤듯이, LLM과 LAM이 결합될 경우 인간의 행동을 대신할 AI 에이전트가 탄생할 수 있습니다. 일례로, 마케팅 분야에서 LLM이 카피 작성, 이미지 생성, 웹 레이아웃 생성 등의 역할을 하면, LAM은 이 과정을 자동화할 수 있습니다. 즉, 음성이나 문자 입력만으로 AI가 마케팅 자료, 고객 데이터, LLM 등에 접근해 이를 직접 다루는 게 가능해지는 것입니다. LAM의 특징은 크게 세 가지입니다.

1. 고급 데이터 처리: LAM은 방대한 데이터 세트를 처리하고 분석할 수 있습니다. 광범위한 데이터 해석이 필요한 애플리케이션에 효과적입니다.

2. 효율적인 의사 결정: LAM은 정교한 알고리즘을 통해 의사 결정 과정을 자동화합니다. AI 시스템이 더 복잡한 작업을 효과적으로 실행할 수 있도록 지원합니다.

3. 확장성과 유연성: LAM은 확장성이 매우 뛰어납니다. 간단한 자동화부터 복잡한 문제 해결까지 다양한 앱에 적용할 수 있습니다.

이와 같은 특징을 가진 LAM을 챗봇에 접목한다면 어떻게 될까요? 현재 자동차 판매 사이트에 부착된 AI 챗봇은 학습한 데이터를 기반으로 사용자 질문에 답변하지만, LAM을 결합한 챗봇은 소비자가 원하는 차량을 판별해 예약 주문까지 수행합니다. 즉, 개인화가 가능해지는 건데요. 사용자의 인터넷 활용 패턴을 학습해 일상 업무를 자동화할 수도 있습니다. LLM이 은행 대출 초안을 작성했다면, LAM은 은행에 대출 서류를 발송하는 일까지 대신하게 되는 것이죠.

LAM 기술은 휴먼 컴퓨터 인터페이스(HCI, Human Computer Interface, 사람의 음성, 뇌파, 근육, 동작 등을 기계가 인식하는 것) 영역을 크게 뒤바꿀 것으로 보입니다. 지금까지 컴퓨터와의 상호작용은 그래픽 유저 인터페이스(GUI, Graphical User Interface, 사용자가 컴퓨터와 정보를 쉽게 교환하고 상호 작용하기 위해 아이콘 등과 같은 그래픽을 이용한 사용자 인터페이스)를 통해 이뤄졌는데요. 버튼의 위치, 하위 레이어의 위치 등을 알고, 이를 작동하기 위해 직접 사람이 움직여야 했습니다. LAM과같이 복잡한 소프트웨어는 시간을 들여 학습해야 하기 때문에 초기에는 오히려 구식으로 느껴질 수 있습니다. 하지만 앞으로의 LAM 기술은 초보자도 전문 지식 없이 자유자재로 사용할 수 있고, 고령자나 장애인도 디지털 장벽 없이 소프트웨어를 작동할 수 있도록 만들 것입니다. LAM이 AI 에이전트의 서막이라고 불리는 이유입니다.

[출처] https://www.lgcns.com/blog/it-trend/52597/

Loading

24 2월 2024

[인공지능 기술] ‘인공지능 판사’에게 꼭 필요한 능력

[인공지능 기술] ‘인공지능 판사’에게 꼭 필요한 능력

‘인공지능 판사’에게 꼭 필요한 능력

입력

게티이미지뱅크 제공

챗GPT가 몰고 온 생성 인공지능(AI) 충격파의 위력은 검색 제국 ‘구글’이 휘청할 정도로 엄청나다. 생성 AI의 대표선수로 자리잡은 챗GPT는 기존의 AI 모델과는 비교가 안되는 엄청난 파라미터를 자랑한다. 강력해진 생성 AI가 변호사나 판사 같은 법률 전문가를 대신할 수 있을까.

생성 AI의 성능은 파라미터가 좌우한다. 파라미터는 AI 모델이 학습할 때 조정되는 가중치로, 파라미터가 수천억 개 이상인 언어모델을 대규모 언어모델(LLM)이라고 한다. 챗GPT는 대규모 언어모델 중 하나인 GPT를 기반으로 작동하므로, 사람의 언어를 이해해 문장을 자유자재로 생성한다.

이런 이유로 우리는 챗GPT에 열광하며 변호사 같은 지식 전문가도 생성 AI의 강력한 언어능력에 빠져든다. 2023년 6월 미국 뉴욕에서 민사소송을 수임한 한 변호사는 챗GPT가 작성한 의견서를 맨해튼 연방법원에 제출했다가 근거로 인용한 판례가 실존하지 않는 가짜라는 사실이 드러나 벌금형을 선고받았다.

● AI 도움을 받아 재판한 판사

언어와 지식이 있는 곳엔 어김없이 GPT가 출몰해 산업, 문화, 예술, 교육 등 모든 분야를 빠른 속도로 바꾸고 있다. 그리고 드디어 언어 기반의 지식 세계에 남은 마지막 성지 격인 ‘재판’까지 챗GPT와 같은 AI가 침투하기 시작했다.

2023년 2월 콜롬비아의 후안 마누엘 파디야 판사는 자폐아의 의료권 관련 소송의 판결문을 작성하면서 챗GPT에게 도움을 받았다고 고백했다. 파디야 판사는 자폐증 어린이의 진료 접수비와 치료비, 교통비를 면제해달라고 청구한 이 사건에 대한 챗GPT의 답변을 참고해서 판결문을 작성했다고 밝혔다. 많은 비난이 쏟아졌지만 파디야 판사는 세계 최초로 AI의 도움을 받아서 재판한 판사로 역사에 이름을 남겼다.

그런가 하면 미국의 한 판사는 최근 변호사들이 챗GPT가 작성한 변론서를 제출하는 사건이 증가하자, GPT를 이용해 문장을 만드는 행위를 일절 금지시키기도 했다.

AI는 방대한 양의 법조문과 판례, 사건 관련 기록, 문서 등을 읽고 기억하고 추론해야 하는 법률 업무에 큰 도움이 된다. 판사나 변호사까지도 챗GPT의 유혹에 빠져드는 이유다. 복잡한 법률 문서를 이해해 법적 판단을 내리고, 판결문까지 작성할 수 있는 AI 판사가 등장하길 기대하는 법조인들이 점점 늘어나는 것도 무리가 아니다.

● 재판 예측 알고리즘의 역사는 무려 60년

학술적인 의미에서 AI 판사는 일반적으로 재판을 ‘예측’하는 알고리즘을 말한다. 사실 재판 예측을 연구한 역사는 매우 길다. 1963년에 리드 롤러라는 학자가 컴퓨터를 이용한 재판 예측 기법에 대한 논문을 발표하면서 이 분야 연구가 본격적으로 시작됐다. 재판 예측 연구에는 그동안 다양한 방법과 기술이 동원됐다. 그중 의미 있는 성과는 2004년에 앤드류 마틴 등이 개발한 미국 연방대법원 재판 예측 알고리즘이었다. 이 알고리즘은 의사결정나무(decision tree)라는 기계학습 기법으로 재판 결과를 예측했다.

그러나 당시의 판사나 법률가들은 기술이 법률에 응용되는 데 대해 매우 회의적이었다. 법률가들의 엄청난 저항에 직면한 롤러 연구팀은 경진대회를 열어 연방대법원 재판에 대한 법률 전문가의 예측과 알고리즘의 예측을 직접 비교했다. 결과는 놀랍게도 법률 전문가의 참패였다. 인간 법률가들이 예측한 재판 예측의 정확도는 59%에 머물렀지만 알고리즘의 예측은 무려 75%의 정확도를 보였다.

이 충격의 재판 예측 대회 이후, 미국의 연방대법원 재판 예측 연구는 대니얼 카츠 미국 일리노이공대 시카고-켄트 로스쿨 교수의 노력에 힘입어 크게 발전했다. 카츠 교수팀은 2014년도에 연방대법원 판결을 약 70%의 정확도로 예측하는 알고리즘을 개발했다. 그리고 2017년엔 연방대법관 개개인의 개성에 좌우되지 않는, 보다 일반화된 예측 방법까지 제안했다. 이때 AI의 학습데이터는 1816~2015년의 모든 미국 연방대법원 자료였다.

2016년의 알파고와 이세돌 대국 이후 딥러닝이란 AI 기술이 널리 세상에 알려질 무렵, 영국 유니버시티칼리지 런던, 셰필드대, 미국 펜실베이니아주립대의 공동 연구팀도 새로운 재판 예측 시스템을 개발했다. 이때 ‘AI 판사’라는 단어도 언론에 공식적으로 등장했다.

이 재판 예측 시스템은 기계학습 알고리즘을 기반으로 유럽인권재판소(ECHR)의 판결 사례를 학습했다. 알고리즘의 예측은 유럽인권재판소의 실제 판결과 약 79% 일치했다.

미국 연방대법관들의 판결물 AI로 예측한 결과. Daniel Katz, Fred Schilling, Collection of the Supreme Court of the United States 제공

● GPT, 미국 변호사시험 합격하다

재판을 예측하는 AI 판사에 관한 이론적 연구가 이처럼 활발했음에도 AI 판사는 실제 재판 제도에 정착되거나 확산되진 못했다. 판결을 할 수 있을 정도의 성능이나 법적, 사회적 신뢰성 등의 문제로 현실에 곧바로 적용하기 어려웠기 때문이다.

그러나 질문을 하면 법적으로 타당하게 답하는 ‘AI 변호사’는 현실에 적용될 가능성이 상대적으로 높다. AI 변호사란 엄밀한 의미에선 법적 추론이 가능한 기계지만 산업계에선 이용자를 법적으로 도울 수 있는 다양한 형태의 법률 AI를 폭넓게 지칭한다.

법률 AI의 목표는 과거의 사법시험이나 현재의 변호사시험을 통과하는 것이었다. 변호사시험 합격은 AI가 인간 언어능력이란 오랜 장벽을 극복했다는 상징적 의미가 있다. 그래서 언어 지능의 완성형에 가까운 챗GPT가 등장하자마자 사람들은 챗GPT가 법률 추론이라는 마지막 벽까지 넘을 수 있을지 큰 관심을 보였다. 그

리고 마침내 확인할 기회가 왔다. 카츠 교수와 마이클 봄마리토 미국 미시간주립대 로스쿨 교수의 공동연구팀이 2022년 12월 챗GPT로 미국 변호사시험을 쳤다. 결과는 불합격. 이 챗GPT는 미국변호사시험위원회(NCBE)의 객관식 시험에서 하위 10%의 성적으로 불합격했다.

그로부터 몇 달 후에 공동연구팀은 미국 스탠퍼드대 법률정보센터 등과 협력해 기존 챗GPT(GPT-3.5)보다 진화한 GPT-4로 다시 미국 변호사시험에 응시했다. 이때는 놀랍게도 상위 10%의 성적으로 합격선에 가뿐히 들었다. GPT-4의 성적은 같은 시험에 응시한 로스쿨 학생들보다도 더 우수했다. 갑자기 나타난 AI의 실력에 미국 변호사들은 충격에 휩싸였다.

● AI 판사의 필수 능력, 검색 증강 해석(RAG)

GPT-4가 미국 변호사시험에 합격했다는 소식이 전 세계로 전해질 무렵 법률과 관련된 다양한 기술들을 개발하는 리걸테크 기업들은 앞다퉈 AI 판사변호사 개발에 뛰어들었다.

인간 판사처럼 의사 결정을 하는 AI는 먼 미래의 일이지만 판사를 위한 법률 정보를 제공하고 판결문 작성을 보조하는 AI는 현재 기술에서 개발이 어렵지 않다. 또한 일반 시민들의 나홀로 소송 절차를 도와주는 다양한 재판 도우미 서비스도 기대할 수 있다. 예를 들어 소장, 고소장 같은 법률 문서 작성, 상황에 따른 법률의 질의 응답, 이혼이나 상속에서 발생하는 재화 계산 등 여러 재판 도우미 서비스가 가능하다.

현재 선진국들은 이런 유형의 AI 판사 개발을 검토하기 시작했다. 2023년 9월 싱가포르 법원은 세계 최초로 GPT 기반의 AI 판사 시스템을 구축할 것이라고 발표했다. 싱가포르 법원이 계획하는 이 AI 판사는 소액 민사 재판을 위한 대국민 재판 도우미다. 예를 들면 세탁기를 구입한 후 제품의 하자로 소비자와 기업 간에 분쟁이 발생한 경우 AI 판사의 도움을 받아 재판을 진행할 수 있다. 이 AI 판사는 재판 절차, 법적 권리, 받을 수 있는 배상 혹은 보상 금액 등을 자세히 설명해주고 서류 작성까지 도와준다.

싱가포르 법원이 기획한 AI 판사는 보편적, 효율적인 AI 법률 서비스라고 보면 적절하다. 일반적인 시민의 입장에서는 인간 변호사처럼 법적 상담을 해주거나 법적 질문을 하면 적절하게 답변해주는 AI 변호사를 선호할 것이다. 사람들이 기대하는 AI 판사의 역할은 재판의 결론을 예측하는 데만 국한되지 않는다.

한편 GPT 자체는 과거 데이터로 학습한 지식에 근거한 확률적 답변을 할 뿐이다. 따라서 GPT는 필연적으로 거짓말을 할 수 있다. 이것을 환각 현상이라고도 한다. 고성능 법률 AI의 개발은 이런 환각 현상을 줄이는 것이 핵심이다.

이를 위한 다양한 연구가 진행 중인데, AI 답변의 근거를 제시하는 검색 증강 생성(RAG)이 최근 주목받고 있다. 이것은 GPT란 뇌에 최신 정보를 외부 기억처럼 결합해서, 질문을 받으면 관계 있는 정보를 검색하고 그 결과를 근거로 답하게 하는 기술이다.

국민들이 신뢰할 수 있는 AI 판사는 방대한 이미지, 사운드, 텍스트를 동시에 이해, 생성할 수 있는 멀티모달 특성(시각, 청각 등 여러 감각으로 정보를 주고받는 특성)과 최신 법률, 판례를 검색해 그 결과를 바탕으로 응답하는 능력을 동시에 갖춘 ‘하이브리드 AI’(예를 들면 RAG-multimodal GPT)일 것이다. 예전엔 상상도 못했던 AI 판사가 현실로 다가오며, 새로운 법률의 풍경을 만들기 시작했다.

2023년 9월 소액 민사 재판을 위한 AI 판사 도입 계획을 발표한 싱가포르 대법원 청사. 이 AI 판사는 재판 당사자에게 절차와 보호받을 법적 권리, 쟁점이 되는 금액 등을 자세히 설명해주고 서류 작성까지 도와주는 역할을 할 것이다. Zairon(W) 제공

※필자소개
임영익
 서울대 생명과학과를 졸업하고 52회 사법시험에 합격해 변호사가 됐다. 현재 (주)인텔리콘연구소의 대표이사로 AI 기반의 리걸테크 솔루션 개발 및 컴퓨테이션 법률학 연구를 진행하고 있다. 2015년 한국 최초로 AI 법률정보 시스템과 법률 챗봇을 개발했다.

임영익 인텔리콘대표·변호사 ceo@intellicon.co.kr

[출처] https://n.news.naver.com/article/584/0000026047?cds=news_media_pc

Loading

1 2월 2024

[인공지능 기술] 인간 추론 능력 극대화하는 AI

[인공지능 기술] 인간 추론 능력 극대화하는 AI

인간 추론 능력 극대화하는 AI

입력 
수정2024.01.31. 오후 1:40
KAIST

게티이미지뱅크 제공

국내 연구진이 인공지능(AI)으로 인간의 추론 능력을 극대화하는 기술을 개발했다. 단번에 추론을 하도록 유도해 학습 효율을 향상하는 방식이다. 스마트 교육, 게임 콘텐츠 개발, 추론 능력 측정, 인지훈련 등 인간의 추론 학습과 관련된 모든 분야에 적용이 가능할 것으로 기대된다.

KAIST는 이상완 뇌인지과학과 교수 연구팀이 인간의 빠른 추론 능력을 유도해 인과관계의 학습 효율을 향상할 수 있는 뇌 기반 AI 기술개발에 성공했다고 31일 밝혔다. 연구 결과는 국제학술지 ‘셀 리포트’ 온라인판에 30일 게재됐다.

연구팀은 이전 연구에서 인간의 원샷 추론 과정을 모델링하고 전두엽과 해마가 이러한 과정에 관여하고 있음을 규명한 바 있다. 이번 연구에서는 이 모델에 인간의 원샷 추론 과정을 특정한 상태로 유도하기 위해 알파고에 사용된 바 있는 심층 강화학습 기술을 접목했다. 강화학습 알고리즘이 인간의 원샷 추론 과정을 수없이 시뮬레이션하면서 전두엽과 해마가 가장 효율적으로 학습할 수 있는 최적의 조건을 탐색하는 과정이다.

인공지능(AI)으로 인간의 추론 능력을 극대화하는 기술을 설명한 개념도. KAIST 제공

연구팀은 126명의 인간 피험자를 대상으로 한 인과관계 학습 및 추론 실험에서 제안 기술을 사용해 학습했을 때 단순 반복 학습 대비 최대 약 40%까지 학습 효율이 향상됨을 확인했다. 나아가 오랜 시간에 걸쳐 신중하게 학습하거나 몇 가지 단서만을 조합해 빠르게 결론을 도출하는 것 같은 개인별 학습 성향을 고려한 맞춤형 설계가 가능함을 보였다.

인간의 사고체계에 대한 뇌과학적인 이해를 바탕으로 원샷 추론과 같은 인간의 잠재적 능력을 극대화하는 이 기술은 차세대 인공지능의 중요한 도전과제 중 하나다. 뇌 기반 인공지능 기술은 인간과 유사한 사고체계를 바탕으로 가치판단을 할 수 있으므로 장기적으로 인간과 인공지능이 협업하는 분야에서 인공지능의 신뢰성 및 윤리성을 높이는 데도 기여할 수 있을 것으로 기대된다.

개발 기술은 스마트 교육, 게임 콘텐츠 개발, 추론 능력 측정, 인지훈련 등 인간의 추론 학습과 관련된 모든 분야에 적용될 수 있다. 기존 기술은 단편적인 기억회상, 특정 인지기능, 정답률 증가와 같은 행동적 측면에 집중해 왔다면 이번 기술은 인공지능을 이용해 과거의 경험을 일반화시키는 인간의 사고체계 자체를 높이는 가능성을 확인한 최초의 사례로 평가된다.

논문의 제1 저자 이지항 상명대 교수는 “인간의 인지기능을 인공지능에 이식해 뇌 기반 인공지능을 실현하는 사례를 확인했다”며 “이를 통해 인간의 고위 수준 인지를 적절한 방향으로 유도할 수 있는 새로운 인간-인공지능 상호작용 패러다임을 제시했다ˮ고 말했다. 이어 “인간중심 인공지능 연구개발뿐만 아니라 바이오메디컬 분야, 특히 정신 건강과 관련된 디지털 치료 분야에 적용했을 때 큰 파급력을 보일 것ˮ이라고 기대했다.

연구 책임자인 이상완 교수는 “이번 기술의 잠재력은 인공지능의 방대한 지식을 인간이 빠르게 흡수할 수 있는 형태로 변환할 수 있다는 데 있다ˮ며 “챗GPT, GPT-4와 같은 언어 인공지능에서 추출되는 다양한 정보를 인간이 빠르게 추론 학습할 수 있게 변환하거나 게임이나 가상현실의 콘텐츠를 인간의 추론 과정에 맞게 최적화해 몰입도를 높일 수 있고, 반대로 몰입도를 적절한 수준에서 제어할 경우 중독을 완화하는 효과를 기대할 수 있다ˮ라고 말했다.

관련 기술은 국내 및 해외에 특허 출원된 상태다. 연구팀은 원천기술의 파급력을 높이기 위해 2019년 KAIST 신경과학-인공지능 융합연구센터를 설립하고 구글 딥마인드, 마이크로소프트 연구소, IBM 연구소, 옥스퍼드 대학 등 다양한 해외 연구팀들과 함께 국제공동연구를 수행해 오고 있다.

Loading

22 1월 2024

[인공지능 기술] 5가지 최고의 오픈 소스 LLM(2024년 XNUMX월)

[인공지능 기술] 5가지 최고의 오픈 소스 LLM(2024년 XNUMX월)

오픈 소스 LLM

빠르게 진화하는 인공 지능(AI) 세계에서 LLM(Large Language Models)은 혁신을 주도하고 기술과 상호 작용하는 방식을 재구성하는 초석으로 부상했습니다.

이러한 모델이 점점 더 정교해짐에 따라 이에 대한 액세스를 민주화하는 데 점점 더 중점을 두고 있습니다. 특히 오픈 소스 모델은 이러한 민주화에서 중추적인 역할을 하며 연구원, 개발자 및 애호가 모두에게 복잡성을 깊이 탐구하고 특정 작업에 맞게 미세 조정하거나 기반을 구축할 수 있는 기회를 제공합니다.

이 블로그에서는 AI 커뮤니티에서 파장을 일으키고 있으며 각각 고유한 강점과 기능을 테이블에 제공하는 최고의 오픈 소스 LLM 중 일부를 살펴보겠습니다.

1. 라마 2

 
Llama 2 알아보기: 조립을 시작하는 데 필요한 모든 것
 
 

Meta의 Llama 2는 AI 모델 라인업에 획기적인 추가 기능입니다. 이것은 단지 다른 모델이 아닙니다. 다양한 최신 응용 프로그램에 연료를 공급하도록 설계되었습니다. Llama 2의 훈련 데이터는 방대하고 다양하여 이전 모델에 비해 크게 발전했습니다. 이러한 교육의 다양성은 Llama 2가 단순한 점진적인 개선이 아니라 AI 기반 상호 작용의 미래를 향한 기념비적인 단계임을 보장합니다.

Meta와 Microsoft 간의 협업은 Llama 2의 지평을 넓혔습니다. 오픈 소스 모델은 이제 Azure 및 Windows와 같은 플랫폼에서 지원되며, 개발자와 조직에 생성적 AI 기반 경험을 생성할 수 있는 도구를 제공하는 것을 목표로 합니다. 이 파트너십은 모두가 AI에 보다 쉽게 ​​접근하고 개방할 수 있도록 하기 위한 두 회사의 헌신을 강조합니다.

Llama 2는 원래 Llama 모델의 후속 제품이 아닙니다. 이는 챗봇 분야의 패러다임 전환을 나타냅니다. 첫 번째 Llama 모델은 텍스트와 코드를 생성하는 데 있어 혁신적이었지만 오용을 방지하기 위해 가용성이 제한되었습니다. 반면에 Llama 2는 더 많은 청중에게 다가갈 예정입니다. AWS, Azure, Hugging Face의 AI 모델 호스팅 플랫폼과 같은 플랫폼에 최적화되어 있습니다. 또한 Meta와 Microsoft의 협력을 통해 Llama 2는 Windows뿐만 아니라 Qualcomm의 Snapdragon 시스템 온 칩으로 구동되는 장치에서도 명성을 떨칠 준비가 되어 있습니다.

안전은 Llama 2 설계의 핵심입니다. 때때로 오해의 소지가 있거나 유해한 콘텐츠를 생성하는 GPT와 같은 초기 대규모 언어 모델이 직면한 문제를 인식하여 Meta는 Llama 2의 안정성을 보장하기 위해 광범위한 조치를 취했습니다. 이 모델은 ‘환각’, 잘못된 정보 및 편견을 최소화하기 위해 엄격한 훈련을 거쳤습니다.

LLaMa 2의 주요 기능:

  • 다양한 학습 데이터: Llama 2의 교육 데이터는 광범위하고 다양하여 포괄적인 이해와 성능을 보장합니다.
  • 마이크로소프트와의 협업: Llama 2는 Azure 및 Windows와 같은 플랫폼에서 지원되므로 적용 범위가 확장됩니다.
  • 가용성: 이전 버전과 달리 Llama 2는 더 많은 사용자가 사용할 수 있으며 여러 플랫폼에서 미세 조정할 준비가 되어 있습니다.
  • 안전 중심 설계: Meta는 안전을 강조하여 Llama 2가 유해한 출력을 최소화하면서 정확하고 신뢰할 수 있는 결과를 생성하도록 합니다.
  • 최적화된 버전: Llama 2는 Llama 2와 Llama 2-Chat의 두 가지 주요 버전으로 제공되며 후자는 양방향 대화를 위해 특별히 설계되었습니다. 이러한 버전의 복잡성은 7억에서 70억 매개변수에 이릅니다.
  • 향상된 교육: Llama 2는 원래 Llama의 1.4조 XNUMX천억 개 토큰에서 크게 증가한 XNUMX만 토큰으로 훈련되었습니다.

2. 

 
오픈소스 Bloom AI 소개
 
 

2022년, 70개국 이상 자원봉사자와 Hugging Face 전문가가 참여한 글로벌 협업 끝에 BLOOM 프로젝트가 공개되었습니다. XNUMX년에 걸친 계획을 통해 만들어진 이 LLM(대형 언어 모델)은 자동 회귀 텍스트 생성을 위해 설계되었으며 주어진 텍스트 프롬프트를 확장할 수 있습니다. 상당한 계산 능력을 활용하여 방대한 텍스트 데이터 모음을 학습했습니다.

BLOOM의 데뷔는 생성 AI 기술의 접근성을 높이는 데 있어 중요한 단계였습니다. 오픈 소스 LLM으로서 176억 개의 매개변수를 자랑하며 동급에서 가장 강력한 LLM 중 하나입니다. BLOOM은 46개 언어와 13개 프로그래밍 언어에 걸쳐 일관되고 정확한 텍스트를 생성하는 능력을 갖추고 있습니다.

이 프로젝트는 투명성을 강조하여 소스 코드와 훈련 데이터에 대한 대중의 접근을 허용합니다. 이러한 개방성은 모델의 지속적인 검토, 활용 및 향상을 유도합니다.

Hugging Face 플랫폼을 통해 무료로 액세스할 수 있는 BLOOM은 AI 분야의 협력적 혁신을 보여주는 증거입니다.

Bloom의 주요 기능:

  • 다국어 기능 : BLOOM은 46개 언어와 13개 프로그래밍 언어로 텍스트를 생성하는 데 능숙하여 광범위한 언어 범위를 보여줍니다.
  • 오픈 소스 액세스: 모델의 소스 코드와 교육 데이터는 공개적으로 제공되므로 투명성과 협업 개선이 촉진됩니다.
  • 자동회귀 텍스트 생성: 주어진 프롬프트에서 텍스트를 이어가도록 설계된 BLOOM은 텍스트 시퀀스를 확장하고 완성하는 데 탁월합니다.
  • 대규모 매개변수 개수: 176억 개의 매개변수를 갖춘 BLOOM은 현존하는 가장 강력한 오픈 소스 LLM 중 하나입니다.
  • 글로벌 협업: 70개 이상 국가의 자원봉사자와 Hugging Face 연구자들의 기여로 XNUMX년간의 프로젝트를 통해 개발되었습니다.
  • 무료 접근성: 사용자는 Hugging Face 생태계를 통해 BLOOM에 무료로 액세스하고 활용할 수 있어 AI 분야의 민주화가 강화됩니다.
  • 산업 규모 교육: 이 모델은 상당한 계산 리소스를 사용하여 방대한 양의 텍스트 데이터에 대해 학습되어 강력한 성능을 보장합니다.

3. MPT-7B

 
MPT-7B – 최초로 상업적으로 사용 가능한 완전히 훈련된 LLaMA 스타일 모델
 
 

MosaicML Foundations는 최신 오픈 소스 LLM인 MPT-7B를 도입하여 이 공간에 크게 기여했습니다. MosaicML Pretrained Transformer의 약어인 MPT-7B는 GPT 스타일의 디코더 전용 변환기 모델입니다. 이 모델은 성능 최적화된 레이어 구현 및 더 큰 교육 안정성을 보장하는 아키텍처 변경을 포함하여 몇 가지 향상된 기능을 자랑합니다.

MPT-7B의 뛰어난 기능은 1조 개의 텍스트 및 코드 토큰으로 구성된 광범위한 데이터 세트에 대한 교육입니다. 이 엄격한 교육은 9.5일 동안 MosaicML 플랫폼에서 실행되었습니다.

MPT-7B의 오픈 소스 특성은 상용 애플리케이션을 위한 귀중한 도구로 자리매김합니다. 비즈니스 및 조직의 예측 분석 및 의사 결정 프로세스에 상당한 영향을 미칠 가능성이 있습니다.

기본 모델 외에도 MosaicML Foundations는 짧은 형식의 지침을 따르는 MPT-7B-Instruct, 대화 생성을 위한 MPT-7B-Chat 및 MPT-7B-StoryWriter-65k+와 같은 특정 작업에 맞춤화된 특수 모델도 출시하고 있습니다. 긴 형식의 스토리 생성을 위해.

MPT-7B의 개발 여정은 MosaicML 팀이 데이터 준비에서 배포까지 모든 단계를 몇 주 내에 관리하는 포괄적인 과정이었습니다. 데이터는 다양한 리포지토리에서 제공되었으며 팀은 EleutherAI의 GPT-NeoX 및 20B 토크나이저와 같은 도구를 활용하여 다양하고 포괄적인 교육 믹스를 보장했습니다.

MPT-7B의 주요 기능 개요:

  • 상업용 라이선스: MPT-7B는 상업적 사용이 허가되어 비즈니스에 귀중한 자산이 됩니다.
  • 광범위한 교육 데이터: 이 모델은 1조 토큰의 방대한 데이터 세트에 대한 교육을 자랑합니다.
  • 긴 입력 처리: MPT-7B는 손상 없이 매우 긴 입력을 처리하도록 설계되었습니다.
  • 속도와 효율성: 이 모델은 신속한 교육 및 추론에 최적화되어 시기 적절한 결과를 보장합니다.
  • 오픈 소스 코드: MPT-7B는 효율적인 오픈 소스 교육 코드와 함께 제공되어 투명성과 사용 편의성을 높입니다.
  • 비교 우수성: MPT-7B는 LLaMA-7B와 일치하는 품질로 20B-7B 범위의 다른 오픈 소스 모델보다 우수함을 입증했습니다.

4. 

 
FALCON-180B를 즉시 배포하세요! 새로운 #1 오픈 소스 AI 모델
 
 

Falcon LLM은 LLM 계층 구조의 최상위로 빠르게 올라간 모델입니다. Falcon LLM, 특히 Falcon-40B는 40억 개의 매개변수를 갖춘 기본 LLM이며 인상적인 3조 개의 토큰에 대해 교육을 받았습니다. 이는 자동 회귀 디코더 전용 모델로 작동합니다. 즉, 본질적으로 이전 토큰을 기반으로 시퀀스에서 후속 토큰을 예측합니다. 이 아키텍처는 GPT 모델을 연상시킵니다. 특히, Falcon의 아키텍처는 GPT-75보다 우수한 성능을 보여주었고, 훈련 컴퓨팅 예산의 XNUMX%만으로 이 위업을 달성했으며 추론 중에 훨씬 적은 컴퓨팅이 필요합니다.

Technology Innovation Institute의 팀은 Falcon을 개발하는 동안 데이터 품질에 중점을 두었습니다. 교육 데이터 품질에 대한 LLM의 민감도를 인식하여 수만 개의 CPU 코어로 확장되는 데이터 파이프라인을 구성했습니다. 이를 통해 광범위한 필터링 및 중복 제거 프로세스를 통해 웹에서 고품질 콘텐츠를 신속하게 처리하고 추출할 수 있었습니다.

TII는 Falcon-40B 외에도 7억 개의 매개변수를 보유하고 7조 1,500억 개의 토큰에 대해 훈련된 Falcon-40B를 비롯한 다른 버전도 도입했습니다. 특정 작업에 맞게 조정된 Falcon-7B-Instruct 및 Falcon-XNUMXB-Instruct와 같은 특수 모델도 있습니다.

훈련 Falcon-40B는 광범위한 과정이었습니다. 이 모델은 TII가 구축한 대규모 영어 웹 데이터 세트인 RefinedWeb 데이터 세트에서 훈련되었습니다. 이 데이터 세트는 CommonCrawl 위에 구축되었으며 품질을 보장하기 위해 엄격한 필터링을 거쳤습니다. 모델이 준비되면 EAI Harness, HELM 및 BigBench를 포함한 여러 오픈 소스 벤치마크에 대해 검증되었습니다.

Falcon LLM의 주요 기능 개요:

  • 광범위한 매개변수: Falcon-40B는 40억 개의 매개변수를 갖추고 있어 포괄적인 학습 및 성능을 보장합니다.
  • 자기회귀 디코더 전용 모델: 이 아키텍처를 통해 Falcon은 GPT 모델과 유사하게 이전 토큰을 기반으로 후속 토큰을 예측할 수 있습니다.
  • 우수한 성능: Falcon은 교육 컴퓨팅 예산의 3%만 활용하면서 GPT-75보다 성능이 뛰어납니다.
  • 고품질 데이터 파이프라인: TII의 데이터 파이프라인은 웹에서 모델 교육에 중요한 고품질 콘텐츠 추출을 보장합니다.
  • 다양한 모델: Falcon-40B 외에도 TII는 Falcon-7B 및 Falcon-40B-Instruct 및 Falcon-7B-Instruct와 같은 특수 모델을 제공합니다.
  • 오픈 소스 가용성: Falcon LLM은 오픈 소스로 제공되어 AI 도메인에서 접근성과 포괄성을 촉진합니다.

5. 비쿠나-13B

 
로컬 컴퓨터에서 Vicuna-13B를 실행하세요 ???? | 튜토리얼(GPU)
 
 

LMSYS ORG는 Vicuna-13B를 도입하여 오픈 소스 LLM 영역에서 중요한 족적을 남겼습니다. 이 오픈 소스 챗봇은 ShareGPT에서 가져온 사용자 공유 대화에서 LLaMA를 미세 조정하여 세심하게 훈련되었습니다. GPT-4가 심사위원으로 참여한 예비 평가에서 Vicuna-13B는 OpenAI ChatGPT 및 Google Bard와 같은 유명한 모델의 90% 이상의 품질을 달성하는 것으로 나타났습니다.

인상적으로, Vicuna-13B는 사례의 90% 이상에서 LLaMA 및 Stanford Alpaca와 같은 다른 주목할만한 모델을 능가합니다. Vicuna-13B에 대한 전체 교육 프로세스는 약 $300의 비용으로 실행되었습니다. 기능 탐색에 관심이 있는 사람들을 위해 코드, 가중치 및 온라인 데모가 비상업적 목적으로 공개되었습니다.

Vicuna-13B 모델은 70K 사용자 공유 ChatGPT 대화로 미세 조정되어 보다 상세하고 잘 구성된 응답을 생성할 수 있습니다. 이러한 응답의 품질은 ChatGPT와 비슷합니다. 그러나 챗봇을 평가하는 것은 복잡한 작업입니다. GPT-4가 발전함에 따라 벤치마크 생성 및 성능 평가를 위한 자동화된 평가 프레임워크 역할을 할 가능성에 대한 호기심이 커지고 있습니다. 초기 결과는 GPT-4가 챗봇 응답을 비교할 때 일관된 순위와 자세한 평가를 생성할 수 있음을 시사합니다. GPT-4를 기반으로 한 예비 평가에서는 Vicuna가 Bard/ChatGPT와 같은 모델의 90% 기능을 달성하는 것으로 나타났습니다.

Vicuna-13B의 주요 특징 개요:

  • 오픈 소스 특성: Vicuna-13B는 공개 액세스가 가능하여 투명성과 커뮤니티 참여를 촉진합니다.
  • 광범위한 교육 데이터: 이 모델은 70개의 사용자 공유 대화에 대해 학습되어 다양한 상호 작용에 대한 포괄적인 이해를 보장합니다.
  • 경쟁력 있는 성능: Vicuna-13B의 성능은 ChatGPT 및 Google Bard와 같은 업계 리더와 동등합니다.
  • 비용 효율적인 교육: Vicuna-13B에 대한 전체 교육 프로세스는 약 $300의 저렴한 비용으로 실행되었습니다.
  • LLaMA 미세 조정: 이 모델은 LLaMA에서 미세 조정되어 향상된 성능과 응답 품질을 보장합니다.
  • 온라인 데모 가용성: 사용자는 대화식 온라인 데모를 통해 Vicuna-13B의 기능을 테스트하고 경험할 수 있습니다.

대규모 언어 모델의 확장 영역

대규모 언어 모델의 영역은 방대하고 지속적으로 확장되며 새로운 모델이 나올 때마다 가능성의 한계를 뛰어넘습니다. 이 블로그에서 논의된 LLM의 오픈 소스 특성은 AI 커뮤니티의 협력 정신을 보여줄 뿐만 아니라 미래 혁신을 위한 길을 열어줍니다.

Vicuna의 인상적인 챗봇 기능에서 Falcon의 우수한 성능 메트릭에 이르기까지 이러한 모델은 현재 LLM 기술의 정점을 나타냅니다. 이 분야의 급속한 발전을 계속 목격하면서 오픈 소스 모델이 AI의 미래를 형성하는 데 중요한 역할을 할 것이 분명합니다.

당신이 노련한 연구원이든, 신진 AI 애호가이든, 이러한 모델의 잠재력에 대해 궁금한 사람이든, 그들이 제공하는 방대한 가능성에 뛰어들어 탐구하기에 더 좋은 시간은 없습니다.

Alex McFarland는 인공 지능의 최신 개발을 다루는 브라질 기반 작가입니다. 그는 전 세계 최고의 AI 회사 및 출판물과 함께 일했습니다.

unite.AI의 창립 파트너이자 포브스 기술 위원회, 앙투안은 미래파 예술가 AI와 로봇공학의 미래에 열정을 갖고 있는 사람입니다.

그는 또한 증권.io 투자 웹사이트, 제너레이티브 AI 플랫폼 이미지.ai, & 그는 현재 출시 작업 중입니다. 천재.ai 프롬프트를 하위 작업으로 나누어 자율 에이전트를 구성하고 배포할 수 있는 기능을 사용자에게 제공하는 플랫폼입니다.

[출처] https://www.unite.ai/ko/%EC%B5%9C%EA%B3%A0%EC%9D%98-%EC%98%A4%ED%94%88-%EC%86%8C%EC%8A%A4-LLM/

Loading

17 1월 2024

[데이터분석 & 데이터 사이언스] 데이터에 관한 꼭 알아야 할 오해와 진실 12가지

[데이터분석 & 데이터 사이언스] 데이터에 관한 꼭 알아야 할 오해와 진실 12가지

데이터에 관한 꼭 알아야 할 오해와 진실 12가지
 
 
1. 양질의 데이터 100개가 이것저것 섞인 데이터 100만 개보다 낫다.
 
 
2. 데이터 분석은 어쨌든 모집단의 일부를 갖고서 분석하는 것으로 아무리 양질의 데이터이고,
많은 양이 있다 하더라도 결국은 진실에 가까운 추정치일 뿐이다.
 
 
3. 데이터 없이 분석결과를 얻을 수 있다면 그것이 최선이다.
 
 
4. 데이터 분석을 할 때 자주 하는 실수 중 하나가 ‘나의 데이터’  ‘남의 데이터’를 구분하지 못하는 것이다.
 
 
5. ‘당선 확률’은 당선의 미래를 예측하는 것이 아니라 미래의 오차 범위를 말하는 것이다.
그래서 “미래를 정확히 예측한다”는 말을 해서는 안 된다
 
 
6. 데이터는 과거의 발자취일 뿐이다. 예측할 수 없다.
빅데이터를 분석한다는 것은 예측을 하기 위한 것이 아니라 패턴을 찾기 위한 것이다.
 
 
7. 분석에만 치중하다 보면 상식적인 판단이 헷갈려 엉뚱한 진단을 하는 수가 있다.
그래서 풀고자 하는 문제에 대한 통찰을 선행하는 것이 중요하다.
통찰은 결국 해당 문제 영역의 경험에서 나온다.
 
 
8. 데이터 리터러시 역량을 키운다는 것은
해결하려는 문제의 주어진 상황이나 인과관계를 논리적으로 추론할 수 있는 소양을 갖추는 것을 말한다.
 
 
9. 지금의 빅데이터가 몇 년 뒤에는 일반 데이터가 될 수도 있다.
그러니 빅데이터가 원가 대단한 것이라고 착각해서는 안 된다.
 
 
10. 인공지능이 표본화된 데이터를 학습한 만큼, 인공지능이 생성한 답이 반드시 진리일 수는 없다.
갈릴레오 시대의 인공지능이라면 “하늘은 돈다”라고 말할 것이다.
 
 
11. 데이터 분석이 보장하는 것은 답의 진실성이 아니라, 데이터의 대표성임을 잊지 말자.
 
 
12. 문제의 본질을 읽는 것, 그래서 문제를 풀기 위해 어떤 도구를 쓸 지 결정하는 능력, 그것이 곧 인문학적 능력이다.
 
 

Loading

12 1월 2024

[IT 혁신 디바이스][소프트웨어] WebAssembly에 대한 2024년 예상 

[IT 혁신 디바이스][소프트웨어] WebAssembly에 대한 2024년 예상 

WebAssembly에 대한 2024년 예상

(thenewstack.io)

15P by xguru 3일전 | favorite | 댓글 2개

  • 2023년을 WebAssembly(Wasm)의 해로 예상했으며, 이는 여러 표준의 진전과 다양한 언어의 지원 확대로 실현됨

  • Python과 Ruby는 Wasm 지원을 포함시켰고, 공식 Go 프로젝트도 Wasm 및 WebAssembly System Interface(WASI)를 지원할 예정

  • 첫 Wasm I/O 컨퍼런스와 WasmCon이 개최되었으며, GlueCon과 DockerCon에서도 WebAssembly 트랙이 마련됨

  • Suborbital이 F5에 인수되고 Adobe가 Figma를 인수하려 했으나 규제로 인해 실패한 사건은 Wasm을 선도하는 기업들의 시장 가치를 입증함

1. Wasm은 AI의 완벽한 파트너

  • Wasm의 플랫폼 중립성, 빠른 시작 시간, 이식성 및 작은 바이너리 크기는 AI 애플리케이션에 이상적임

  • 2024년 AI의 주요 테마 중 하나는 효율성이며, Wasm은 이 분야에서 큰 이점을 제공할 것

2. 세 가지 주요 표준이 완성됨

  • Wasm은 W3C의 감독하에 표준화되었으며, 핵심 Wasm 표준은 몇 년 전에 완성됨

  • WASI, 메모리 관리, 컴포넌트 모델 등 세 가지 추가 표준이 Wasm의 성공에 중요함

  • 2023년에 이 표준들은 큰 발전을 이루었으며, 2024년에는 모두 완성될 것으로 예상됨

3. Wasm의 본거지는 서버 사이드

  • Wasm은 원래 브라우저에서 실행되도록 작성되었지만, 현재는 서버 사이드에서 더 많은 동력을 얻고 있음

  • 서버리스 함수가 강점으로 부상했으며, 이는 확실히 성장하고 있음

  • Wasm은 Kubernetes 생태계에서 중요한 진전을 이룰 것으로 예상되며, 효율성, 확장성, 비용이 중요한 곳에서 등장할 것

4. 클라이언트/서버 양쪽에서 Wasm에 의한 점진적 개선

  • 웹 개발 프레임워크의 부상으로 클라이언트 측, 서버 측 또는 둘 다에서 선택적으로 실행할 수 있는 애플리케이션이 등장

  • 이러한 애플리케이션은 클라이언트 측 렌더링(CSR)과 서버 측 렌더링(SSR)으로 구축될 수 있으며, 일부 프레임워크는 이미 Wasm을 활용하고 있음

  • 2024년에는 이러한 프로젝트가 더 많이 등장할 것이며, Wasm의 강점인 어디에서나 실행 가능한 바이너리 형식을 더욱 활용할 것으로 보임

[출처] https://news.hada.io/topic?id=12766

Loading

12 1월 2024

[인공지능 기술][chatGPT] 20달러만 내면…등산·수학 수업·논문 ‘나만의 AI’ 가질 수 있다 앱처럼 사고 파는 ‘GPT 스토어’ 오픈

[인공지능 기술][chatGPT] 20달러만 내면…등산·수학 수업·논문 ‘나만의 AI’ 가질 수 있다

앱처럼 사고 파는 ‘GPT 스토어’ 오픈

 
오픈AI의 이미지 생성 인공지능 ‘달리(Dall·E)’가 만들어낸 GPT 스토어의 모습.
 
오픈AI의 이미지 생성 인공지능 ‘달리(Dall·E)’가 만들어낸 GPT 스토어의 모습.

10일(현지 시각) 오픈AI가 GPT 스토어를 연 것은 AI 혁명의 기폭제가 될 만한 사건으로 받아들여진다. 누구나 맞춤형 챗GPT를 만들어 사용하고, 스토어에서 사고팔 수 있게 되면서 거대한 AI 생태계가 형성될 수 있기 때문이다. 특히 많은 사람들에게 필요한 맞춤형 챗GPT를 개발한 사람은 오픈AI에서 이익을 배분받으며 AI 시대의 유니콘(기업 가치 10억달러 이상 스타트업)이 될 수도 있다. GPT 스토어가 개발자를 모으고, 이를 활용하기 위해 세계인이 GPT 스토어를 찾는 선순환 구조가 만들어질 수 있다는 것이다.

오픈AI가 GPT 스토어를 열면서 구글과 마이크로소프트 같은 빅테크들도 AI 장터에 뛰어들 가능성이 높아졌다. 모바일 앱 장터는 초창기에 진출한 애플과 구글이 양분하고 있다. 이들은 앱 장터 거래 수수료로만 연간 수십조원을 챙기고 있지만, 후발 주자들은 대부분 사라졌고 남아 있는 일부도 존재감이 미미하다. AI 장터 시장 역시 주도권을 쥐기 위해서는 발 빠르게 움직여야 한다는 것이다.

그래픽=이철원
그래픽=이철원

◇맞춤형 챗GPT 300만개 넘어서

10일 GPT 유료 버전에 접속하면 왼쪽 상단에는 ‘탐색(Explore) GPTs’라는 버튼이 생겼다. 이 버튼을 누르면 GPTs를 검색할 수 있는 검색창과 ‘글쓰기’, ‘생산성 향상’, ‘프로그래밍’, ‘라이프스타일’, ‘교육’ 등의 분야별 추천 맞춤형 챗GPT 추천창이 뜬다. 예컨대 전문가처럼 그래픽 디자인을 할 수 있도록 돕는 ‘캔바’, 산책이나 등산 코스를 추천해주는 ‘올트레일스’, 코딩 교육을 대화하면서 배우는 ‘코드 튜터’, 중고생에게 과학과 수학을 가르치는 ‘CK-12′ 같은 맞춤형 챗GPT들이 있다. 온라인상의 논문을 검색해 분석까지 해주는 ‘컨센서스’처럼 전문가를 위한 챗GPT도 있다.

더 이상 오픈AI가 운영하는 하나의 AI 챗봇 챗GPT가 아니라 챗GPT를 기반으로 만들어진 앱, ‘GPT들(GPTs)’이 넘쳐나고 있는 것이다. 이 같은 맞춤형 챗GPT는 이미 300만개 넘게 만들어졌다. 제작자가 올린 맞춤형 챗GPT가 오픈AI의 사전 검수를 통과해야 등록된다는 것을 감안하면 엄청난 수치이다.

오픈AI는 작년 11월, 누구나 맞춤형 챗GPT를 만들 수 있는 기능을 열었다. 이런 빠른 확산이 가능했던 이유는 코딩을 전혀 모르는 사람도 안내에 따라 버튼 몇 번만 누르면 원하는 챗GPT를 만들 수 있기 때문이다. 애플·구글의 앱은 컴퓨터 언어를 전문적으로 해야만 앱을 만들 수 있었지만, GPTs는 챗GPT와 일상 언어로 대화를 나누는 방식으로 제작한다. ‘GPTs 만들기’를 누르면 챗GPT가 ‘어떤 목적으로 맞춤형 AI를 만드나요?’ ‘학습할 데이터를 업로드해주세요’ 등 말을 하고 사용자는 이에 대답을 하거나 자료를 AI에 입력하면 된다. 오픈AI는 “유료 챗GPT 사용자, 기업 고객들에게 먼저 서비스를 제공하겠다”고 밝혔다. 현재는 20달러를 내는 유료 고객만 이용할 수 있지만, 앞으로는 무료 이용자 등으로 확대할 수도 있다는 것이다.

그래픽=이철원
그래픽=이철원

◇오픈AI, 제작자들과 수익 배분

오픈AI는 조만간 유료·기업 사용자를 통해 얻은 수익을 맞춤형 챗GPT를 만든 제작자들과 분배하는 가이드라인을 공개할 계획이다. 챗GPT 사용량에 따라 유료 고객들이 낸 사용료를 배분해주는 방식이 유력한 것으로 알려졌다. 애플과 구글의 앱 장터에 앱을 올린 기업들이 수익을 내며 성장한 것처럼, 누구나 AI를 만들어 돈을 벌 수 있도록 하겠다는 것이다. 조대곤 KAIST 경영대학 교수는 “앱 장터의 등장으로 수많은 스타트업과 게임 회사, 인터넷 업체 등이 생겨나고 이들 중 상당수가 막대한 부를 거머쥐었다”면서 “이런 동기부여가 AI 혁명을 가속하는 원동력이 될 것”이라고 했다.

당초 오픈AI는 지난해 11월 GPT 스토어를 열 계획이었다. 하지만 스토어 오픈을 앞두고 오픈AI 이사회가 샘 올트먼 최고경영자(CEO)를 해고하고, 이에 직원들이 반발해 올트먼이 복귀하는 등 내홍을 겪으면서 출시가 다소 지연됐다. 테크 업계에서는 오픈AI가 GPT 스토어를 시작으로 여러 수익 사업을 시작할 것으로 본다.

[출처] https://www.chosun.com/economy/tech_it/2024/01/11/TJF3QTH2NBGVPE2R34H2KTERFU/

Loading

4 1월 2024

[時事] “잘못하다간 야후·노키아처럼 사라진다”…’AI 전쟁’ 시작

[時事] “잘못하다간 야후·노키아처럼 사라진다”…’AI 전쟁’ 시작

“잘못하다간 야후·노키아처럼 사라진다”…’AI 전쟁’ 시작

입력 
수정2024.01.03. 오후 8:53
디지털 휴이넘이 온다
(3) 기업 생태계 뒤흔드는 AI

“AI 파도 거스르면 침몰”…산업계 대격변 시작됐다

“인공지능, 선택이 아닌 필수” 산업계 지도 다시 그리는 AI 정보기술(IT) 기업부터 패스트푸드 회사에 이르기까지 산업계의 화두는 인공지능 전환(AIX)이다. AI는 기업의 선택이 아니라 생존 차원의 문제다. 십수 년 전 모바일 혁명과 함께 등장한 빅테크는 헤게모니를 놓지 않기 위해 안간힘이다. 이들의 자리를 차지하기 위한 스타트업의 반격도 거세다. 새로운 시대의 패자는 누가 될 것인가. 이미지 생성형 AI ‘미드저니’에 ‘미래 공장에서 생산을 주도하는 AI’를 그려달라는 프롬프트를 입력했다. 미드저니
역사는 반복된다. 기술 혁명이 일어날 때마다 새로운 스타들이 나타난다. 마이크로소프트, 구글, 애플 등도 변화의 물결을 타고 빅테크로 부상했다. 파도를 거스른 기업은 기억 속으로 사라진다. 한때 시장을 주도한 코닥, 야후, 노키아 등이 그랬다.

인공지능(AI)의 물결은 기업을 두 진영으로 가르고 있다. 흐름에 편승한 기업은 이미 수익을 내기 시작했다. 작년 8월 맥킨지앤드컴퍼니의 조사에 따르면 AI를 도입한 기업 중 63%가 매출 증가 효과를, 32%가 비용 절감 효과를 얻었다. AI와 화학적 결합을 하지 못한 기업도 적지 않다. AI를 업무에 적용했다고 응답한 기업 비율은 2022년 50%로 전년보다 오히려 6%포인트 줄었다. AI 시대가 왔지만, 그 흐름에 올라타는 것은 전혀 다른 문제라는 얘기다.

테크 기업의 주도권 싸움도 치열해지고 있다. 신흥 강자로 떠오른 오픈AI가 AI업계의 터줏대감인 구글과 힘겨루기하고 있다. 앤스로픽, 캐릭터AI, 미드저니, 미스트랄 같은 AI 스타트업도 각자의 강점을 바탕으로 존재감을 키우는 중이다.

국내 AI 스타트업 업스테이지가 자체 개발한 대규모언어모델(LLM) ‘솔라’가 오픈소스 AI 모델의 경연장인 허깅페이스 리더보드에서 최상위권을 기록하는 등 다윗이 골리앗을 꺾은 사례도 심심찮게 등장하고 있다.

전문가들은 생성형 AI로 구현할 수 있는 비즈니스 모델은 상상 이상으로 다양하며, 승자가 누구일지는 점치기 힘들다고 입을 모은다. AI 분야 4대 구루 중 한 명으로 꼽히는 앤드루 응 미국 스탠퍼드대 교수는 한국경제신문과의 인터뷰에서 “LLM부터 휴대폰·노트북에서 구동되는 온디바이스 AI까지 다양한 생태계에서 누구든 주인공이 될 수 있다”고 강조했다.

인공지능은 챗GPT 세상? 소형 AI는 뉴페이스가 앞선다
작지만 강한 ‘sLLM’으로 승부수…”엔비디아 잡자” AI 반도체 각축전

지난해 글로벌 인공지능(AI) 생태계의 최상위 포식자는 오픈AI였다. 전 세계에 챗GPT 열풍을 일으키며 AI 시대 개막을 알렸다. 비영리기관에서 출발한 이 기업 가치는 1000억달러(약 130조원) 선까지 증가했다. 올해에도 오픈AI의 독주가 계속 이어질지는 미지수다. AI와 관련한 비즈니스 모델이 다양한 데다 비슷한 서비스가 우후죽순처럼 쏟아지고 있어서다. 184억달러(약 24조원)의 가치로 자금 조달을 진행 중인 앤스로픽만 하더라도 언제든지 오픈 AI 자리를 위협할 수 있다는 평가를 받는다.

○LLM부터 sLLM까지 각축전

기존 빅테크(대형 정보기술기업)의 반격도 매섭다. 구글과 마이크로소프트(MS), 메타, 아마존 등은 AI 기술을 클라우드에 적용해 기업에 제공하는 방식으로 영토를 확장 중이다. 빅테크가 ‘기술 유통회사’ 전략을 쓰고 있다는 점이 주목할 만하다. 자사 클라우드를 고객이 취향에 따라 다양한 대규모언어모델(LLM)을 고를 수 있게 한 것이다. 오픈AI를 경쟁사가 아니라 클라우드 전위 부대로 활용하고 있는 MS가 대표적인 사례로 꼽힌다.

파라미터(매개변수)가 수천억~1조 개에 달하는 초거대 LLM에 맞선 소규모언어모델(sLLM)도 잠재력이 상당하다. 수백억 개의 파라미터로 구성된 sLLM은 특정 분야에 최적화해 효율적으로 활용할 수 있다는 장점이 있다. 훈련과 운영 비용도 적게 들어간다.

솔라의 파라미터는 107억 개에 불과하다. 파라미터가 1조 개인 오픈AI의 GPT-4와 비교하면 100분의 1 수준이다. sLLM은 프랑스의 미스트랄(79억 개), 영국 스태빌리티AI의 스태이블LM(30억 개), 중국 알리바바의 큐원(140억 개) 등 세계 여러 국가에서 속속 등장하고 있다.

sLLM을 소규모 기업만 만드는 건 아니다. 작년 10월 애플이 미국 컬럼비아대 연구진과 함께 개발해 최근 공개한 생성 AI 패럿은 파라미터가 70억 개, 130억 개 두 종류다. 이보다 앞서 메타가 내놓은 라마2는 70억 개, 130억 개, 700억 개로 구성됐다. 구글이 지난달 공개한 차세대 LLM 제미나이도 18억 개, 32억 개짜리 소형 모델인 ‘제미나이 나노’를 갖추고 있다.

sLLM은 기기 속에서 AI 연산을 처리하는 ‘온디바이스 AI’와 궁합이 맞는다. 데이터센터나 클라우드를 거치지 않아 응답이 빠르고 보안성도 높은 것이 장점이다. 미국 IT 전문 리서치 기업 가트너는 작년 10월 발간한 ‘2024년 10대 전략 기술 보고서’에서 “생성 AI가 손안에 들어오는 에지 AI 기술이 AI산업에서 새로운 화두로 부상할 것”이라고 진단했다.

차상균 서울대 교수(데이터사이언스대학원 초대 원장)는 “얼마나 혁신적이고, 활용도가 높은 기술이냐에 따라 파급효과가 달라질 수 있다”며 “아직 AI산업이 초기 단계인 만큼 후발주자라도 얼마든지 AI 생태계를 재편할 가능성이 있다”고 설명했다.

○AI 반도체도 춘추전국시대

AI 반도체 생태계는 ‘엔비디아 1강 독주체제’에서 각축장으로 변하고 있다. 인텔은 지난달 15일 차세대 AI 반도체인 ‘가우디3’를 공개했다. AI 반도체는 생성형 AI 훈련과 추론을 위한 두뇌 역할을 한다. 이에 앞서 AMD도 지난달 초 새 AI 반도체 MI300X를 내놓으면서 “엔비디아의 H100보다 성능이 뛰어나다”며 테스트 결과를 제시하기도 했다.

엔비디아의 그래픽처리장치(GPU)는 AI 반도체 시장의 90%가량을 점유하고 있다. 여기에 자사 슈퍼컴퓨팅 인프라와 자율주행, 디지털 트윈 등 다양한 소프트웨어가 모여 있는 플랫폼 ‘쿠다’를 활용해 엔비디아만의 생태계를 구축했다. AMD는 이런 열세를 극복하기 위해 AI 개발자를 위한 소프트웨어 제품군 ‘ROCm’도 대거 개선했다.

빅테크는 엔비디아 의존도를 낮추기 위해 자체 역량을 강화하고 있다. 아마존의 클라우드 자회사인 아마존웹서비스(AWS)는 AI 추론용 ‘인퍼런시아’와 훈련용 ‘트레이니엄’을, 구글은 ‘텐서프로세싱유닛(TPU)’이란 AI 반도체를 개발해 활용 중이다. MS는 최근 ‘애저 마이아’를, 메타는 ‘MTIA’를 선보였다. 국내에서 리벨리온, 퓨리오사AI 등이 차세대 AI 반도체를 개발 중이다.

업계에선 누구든 기존 제품을 뛰어넘는 AI 반도체를 개발하면 생성 AI업계의 오픈AI처럼 단숨에 생태계를 주도할 수 있다고 보고 있다. 글로벌 시장조사기관 프레시던스리서치에 따르면 올해 218억달러 규모인 AI 반도체 시장이 10년 뒤인 2023년 2274억달러 규모로 10배 이상 커질 전망이다.

이주현 기자/실리콘밸리=최진석 특파원 deep@hankyung.com

[출처] https://n.news.naver.com/mnews/article/015/0004932642?sid=105

Loading

19 12월 2023

[알아봅시다] 인텔 “AI PC 시대 연다”…노트북·데이터센터용 AI 프로세서 출시

[알아봅시다] 인텔 “AI PC 시대 연다”…노트북·데이터센터용 AI 프로세서 출시

인텔 “AI PC 시대 연다”…노트북·데이터센터용 AI 프로세서 출시

입력

인텔이 데이터센터와 PC용 AI 반도체 칩을 신규 공개하며 엔비디아와 AMD와 본격 경쟁에 돌입했다. 인텔은 18일 서울 여의도 전경련회관에서 기자간담회를 통해 데이터센터용 가우디 3 세부사항과 출시 계획, PC용 온디바이스 AI 제품 사업 전략까지 공개했다. 나승주 인텔코리아 상무(오른쪽)와 최원혁 상무가 인텔4 공정 웨이퍼와 5세대 인텔 제온 프로세서, 인텔 코어 울트라 프로세서를 소개하고 있다. 박지호기자 jihopress@etnews.com
인텔이 인공지능(AI) 기술이 적용된 노트북PC 및 데이터센터용 중앙처리장치(CPU) 칩을 출시했다. 사용자 기기부터 네트워크, 고성능컴퓨팅(HPC)까지 모든 곳에 AI를 적용한다는 인텔 목표의 첫발을 내딛은 것이다. AI 칩을 앞세워 2년 내 1억대 이상 AI PC 보급을 지원, AI 대중화에 기여한다는 포부도 밝혔다.

인텔은 18일 서울 전경련회관에서 ‘AI 에브리웨어(Everywhere)’ 기자간담회를 열고 노트북PC용 CPU ‘인텔 코어 울트라(메테오 레이크)’와 데이터센터용 CPU ‘5세대 제온 프로세서(에메랄드 래피즈)’를 출시했다고 밝혔다.

인텔 코어 울트라는 40여년만에 처음으로 인텔 PC용 CPU 구조가 바뀐 제품이다. 기존 프로세서는 CPU와 그래픽처리장치(GPU), 입출력(I/O) 인터페이스가 혼합된 형태로 설계됐다. 신제품은 이를 각 영역별로 분리, 타일 모양으로 배치했다. 노트북PC용 프로세서 가운데 처음으로 신경망처리장치(NPU)도 탑재했다.

인텔 코어 울트라 칩 구조. 중앙처리장치(CPU), 그래픽처리장치(GPU), 신경망처리장치(NPU), 입출력(I/O) 등 영역별로 ‘타일 구조’로 설계됐다.
최원혁 인텔코리아 상무는 “타일 구조는 특정 작업을 위해 필요한 코어만 가동하고 불필요한 나머지는 구동을 멈춰 전력 효율을 극대화할 수 있다”고 강조했다. 인텔 코어 울트라가 장착된 초경량 노트북으로 넷플릭스 시청이나 동영상 편집 작업 시 전력 소모가 40% 수준 개선됐다고 부연했다. 인텔은 타일 구조를 구현하기 위해 첨단 패키징 기술인 ‘포베로스’를 활용했다.

그래픽 성능도 대폭 향상됐다. 인텔 코어 울트라의 GPU 타일은 ‘인텔 아크’를 기반으로 설계됐다. 인텔 아크는 인텔의 외장형 GPU 브랜드다. 외장형 만큼 뛰어난 그래픽 성능을 신규 프로세서에 적용했다고 인텔은 설명했다. 기존 세대 대비 2배 빠른 그래픽 성능을 구현했다.

인텔 코어 울트라는 ‘AI PC 시대’를 연다는 인텔 비전을 담았다. 인텔은 최근 2025년까지 AI PC 1억대 보급을 지원한다는 계획을 공개했다. 스마트폰이나 노트북·PC 등 사용자 기기에서 AI를 구현한 ‘온 디바이스 AI’ 확산에 대응하려는 포석이다. 인텔 코어 울트라는 이같은 행보의 선봉장 역할을 맡을 것으로 전망된다. 이날 감담회에서는 삼성전자와 LG전자도 참여, 인텔 코어 울트라를 탑재한 노트북 신제품을 공개했다. 인텔 코어 울트라는 삼성·LG·에이서·에이수스·델·HP 등 AI 노트북 230여종에 탑재될 예정이다.

함께 공개된 5세대 제온 프로세서 역시 AI 성능을 대폭 개선했다. 4세대(사파이어 래피즈) 대비 일반 컴퓨팅 성능은 21%, AI 추론 성능은 42% 향상됐다. 나승주 인텔코리아 상무는 “초고속 DDR5 메모리(5600MT/s)와 3배 확장된 캐시 메모리를 지원, 보다 빠른 AI를 구현할 수 있게 됐다”고 밝혔다.

데이터센터 총소유비용(TCO) 경쟁력도 끌어올렸다. 5세대 제온 프로세서가 데이터센터용 CPU인 만큼 전력 소모 개선 등 비용 절감이 관건이다. 나 상무는 “서버 5년 교체 주기로 봤을 때 업계에서 1세대 제온 프로세서를 차세대 제품으로 바꿀 시기가 왔다”며 “1세대를 5세대 제온 프로세서로 전환할 경우 TCO를 최대 77%까지 절감할 수 있다”고 밝혔다. 이는 서버 24대로 운영했던 정보기술(IT) 인프라를 서버 1대로 운용할 수 있는 수준이다.

인텔이 데이터센터와 PC용 AI 반도체 칩을 신규 공개하며 엔비디아와 AMD와 본격 경쟁에 돌입했다. 인텔은 18일 서울 여의도 전경련회관에서 기자간담회를 통해 데이터센터용 가우디 3 세부사항과 출시 계획, PC용 온디바이스 AI 제품 사업 전략까지 공개했다. 최원혁 상무가 발표하고 있다. 박지호기자 jihopress@etnews.com
인텔은 내년 상반기 차세대 AI 가속기인 ‘가우디 3’도 출시한다. AI 전용 반도체로, 대규모언어모델(LLM) 등을 구현할 때 쓰이는 칩이다. 전 세대 대비 처리 속도는 4배, 고대역폭메모리(HBM) 메모리 용량도 1.5배 늘었다. 엔비디아와 AMD와 한판 승부가 예상된다.

권명숙 인텔코리아 대표는 “클라이언트(단말기기)에서 엣지, 네트워크, 데이터센터까지 모든 워크로드에서 쉽게 AI를 사용하도록 하는 것이 인텔 목표”라며 “이를 위해 하드웨어 뿐 아니라 개방형 소프트웨어 생태계를 구축하고 활성화하는 노력도 끊임 없이 추진하고 있다”고 말했다.

Loading