[알아봅시다][COMPUTERS] MS, 세상 뒤집을 양자 칩 공개… 수년내 AI 학습속도 100배

 

미국 마이크로소프트(MS)가 양자 컴퓨터 상용화의 최대 걸림돌로 꼽혀온 양자 오류와 집적도 한계 등을 뛰어넘는 양자컴 칩을 개발했다고 밝혔다. 온도·자기장 등 외부 환경 변화에 극히 민감해 오류가 잦고 보정이 어려웠던 기존 칩의 치명적 단점을 해결해 양자컴 시대를 앞당길 수 있게 됐다는 것이다.

19일 MS는 “세계 최초로 ‘위상(位相) 초전도체’를 사용한 양자 칩 ‘마요라나 1′을 개발했다”며 “반도체 발명이 오늘날의 스마트폰, 컴퓨터, 전자 제품을 가능하게 한 것처럼 이번 개발로 양자컴 시대가 몇 년 안에 실현될 수 있을 것”이라고 밝혔다. MS는 이번 양자 칩 개발을 트랜지스터 발명에 비유했다.

MS는 양자컴 연산의 기본 단위이자 성능 기준으로 꼽히는 ‘큐비트’ 수를 향후 100만개로 확장할 수 있게 됐다고 밝혔다. 현재 IBM과 구글의 양자컴이 1000큐비트급인 점을 감안하면, 1000배에 달하는 규모를 구현할 수 있다고 공언한 것이다. 진공관 시대에 집채만 했던 컴퓨터가 트랜지스터 발명을 계기로 소형화되면서 ‘개인용 컴퓨터’ 시대가 열린 것처럼, 이번 양자컴 기술이 신소재·의료·환경·국방·보안 등 경제·산업·사회 각 분야에 혁명과도 같은 변화를 예고한 것이라는 기대가 나온다.

◇수년내 AI 학습속도 100배… “트랜지스터 발명과 맞먹어”

마이크로소프트(MS)가 19일 자체 개발했다고 공개한 양자컴 칩 ‘마요라나 1’에는 큐비트 8개가 탑재됐다. 큐비트는 양자컴 연산의 기본 단위다. 기존의 일반 컴퓨터는 전자의 유무(有無)에 따라 0과 1의 비트(bit)로 정보를 표현하고 순차적으로 계산하는 반면, 양자컴은 예컨대 0과 1을 동시에 처리(중첩)할 수 있어 연산 속도가 획기적으로 빠르다. 이번에 MS는 큐비트를 100만개 이상으로도 확장할 수 있도록 양자 칩을 설계했다고 밝혔다. 이번 양자 칩의 핵심인 ‘위상 초전도체’는 인듐 비소와 알루미늄 등으로 구현했다. 이를 통해 양자 정보의 손상을 막고 오류 파악과 수정도 디지털로 자동 제어할 수 있게 됐다. 체탄 나약 MS 퀀텀 하드웨어 부사장은 “큐비트 100만개는 양자컴이 산업에 실질적 변화를 가져오기 위한 필수 임계치”라고 했다. 큐비트가 100만개 이상 탑재되는 시기를 ‘양자컴 상용화’가 시작되는 때로 본다는 것이다.

◇양자컴 상용화, 무엇을 바꿀까

MS는 100만 큐비트급 양자컴이 개발되면 분자 간 복잡한 상호작용을 비롯해 오늘날의 컴퓨터로는 풀 수 없는 각종 문제가 해결될 것이라고 했다. 예컨대, 교량이나 항공기의 균열 등을 자가 복구하는 물질을 개발할 수 있고, 각종 플라스틱을 분해하는 만능 촉매도 만들 수 있어 환경오염도 풀 수 있다는 것이다. 토양 비옥도를 획기적으로 높여 식량 부족 문제의 돌파구도 열 수 있다고 했다.

이처럼 수퍼컴퓨터를 월등히 초월하는 양자컴이 상용화되면 인공지능(AI) 분야에서도 근본적 혁신이 가능하다는 분석이 나온다. 막대한 양의 데이터를 학습한 뒤 이를 토대로 연산과 추론을 하는 AI에 양자컴 기술이 접목되면 소비 전력을 비롯해 비용과 시간을 대폭 줄이면서 AI 학습 속도를 100배 가까이 높일 수 있다는 것이다. MS는 “AI와 양자컴이 결합한 시대에는 어떤 물질이나 분자, 제품을 개발하고 싶다고 말하면 즉시 실현 가능한 답을 얻을 수 있게 될 것”이라며 “예전 같은 수년간의 시행착오는 없을 것”이라고 했다.

오로라 기자  

날카롭되 친절한 글을 쓰겠습니다

 

박지민 기자  테크부

테크부에서 과학 분야와 제약·바이오 업계를 맡고 있습니다.

[출처] https://www.chosun.com/economy/tech_it/2025/02/20/WKLWICF2SBHCBNAA2CRK4YECJY/

[chatgpt] 이전 기사 AI타임스 “오픈AI의 AGI 달성 기준은 인간 넘는 ‘코딩 에이전트’ 출시 순간”.

오픈AI가 소프트웨어 개발을 담당하는 코딩 전문 인공지능(AI) 에이전트를 개발 중으로 알려졌다. 그리고 코딩 에이전트가 최고 수준의 프로그래머를 대체하는 순간을 인공일반지능(AGI)에 도달한 것으로 간주할 것으로 전해졌다.

또 이와는 별도로 개발한 범용 GUI 에이전트 ‘오퍼레이터’는 이번 주 정식 출시를 앞뒀다는 소식이다.

디 인포메이션은 22일(현지시간) 오픈AI 임원진과 이야기를 나눈 3명을 인용, 고급 소프트웨어 개발자보다 복잡한 프로그래밍 작업을 처리하는 AI 에이전트를 개발 중이라고 보도했다.

이에 따르면 오픈AI의 목표는 레벨 6 엔지니어, 즉 선임 스태프 급 엔지니어를 복제하는 것이다. 이 수준의 개발자는 관리자로부터 광범위한 지침을 받고 새로운 소프트웨어나 기능의 설계부터 이를 구동하는 시스템까지 전체를 발할 수 있다.

또 오픈AI의 어시스턴트는 코드 출력뿐 아니라, 코드 베이스에 변경 사항을 적용하려는 경우 슬랙을 통해 인간에게 메시지를 보내 알릴 수도 있는 것으로 전해졌다.

오픈AI의 몇개 팀이 이를 개발하고 있으며, 추론 모델 ‘o1’도 일부 활용한 것으로 알려졌다.

이에 대해 제이슨 리우 재피어 AI 컨설턴트는 오픈AI가 최고 수준의 프로그래머를 타깃으로 하는 것이 합리적이라고 말했다. 수석급 엔지니어는 가장 비용이 많이 들고 대체가 어렵기 때문에, 고급 코딩 에이전트가 기업에 재정적으로 확실한 도움이 된다는 것이다.

또 현재 출시된 코딩 에이전트가 기대에 미치지 못한다고도 지적했다. 리우 컨설턴트는 지난해 코그니션이 출시한 세계 최초의 코딩 에이전트 ‘데빈’과 작업하는 것을 “그저 멍청한 인턴 10명의 관리자가 되는 것 같은 느낌이 든다”라고 표현했다. 따라서 성능이 확실히 뛰어나야 한다는 것이다.

앞서 오픈AI는 지난해 하반기부터 코딩 성능 향상에 초점을 맞추고 집중적인 개발에 매달렸다는 말이 나왔다. 당시 오픈AI 제품이 앤트로픽에 비해 코딩 능력이 가장 떨어진다는 판단 때문이었다.

이번 소식으로 인해 샘 알트먼 CEO가 연초 개인 블로그를 통해 ‘리플렉션’이라는 글을 올리며 “AGI에 도달하는 방법을 이미 알고 있다”라고 한 것과 “연말까지 AI가 인력에 합류할 수 있다”라고 말한 것이 어떤 의미인지 확실해졌다는 분석이다.

https://twitter.com/sama/status/1876081442775793984

한편, 디 인포메이션은 내부 관계자를 인용, 오픈AI가 이번 주에 ‘챗GPT’에 AI 에이전트 ‘오퍼레이터’를 통합 출시할 계획이라고 보도했다.

오퍼레이터는 웹 사이트를 검색하고 여행 계획을 짜며 레스토랑을 예약하는 등 사람 대신 마우스와 키보드를 사용해 일반적인 업무를 처리하는 범용 GUI 에이전트다. 

지난 20일에는 티버 블라호라는 소프트웨어 엔지니어가 맥OS용 챗GPT 클라이언트에서 오퍼레이터의 단축키 옵션을 발견했으며, 오픈AI 홈페이지에서는 벤치마크 결과도 확인했다고 전한 바 있다. 이 때문에 오퍼레이터의 출시가 임박한 것으로 파악됐다.

임대준 기자 ydj@aitimes.com

 임대준 기자 ydj@aitimes.com

[출처] https://www.aitimes.com/news/articleView.html?idxno=167422

[ 一日30分 인생승리의 학습법] 기술부채(Technical Debt)는 소프트웨어 개발이나 프로젝트 과정에서, 약속된 것과 실제로 제공된 것 사이에 차이가 발생하는 것을 의미합니다. 

 

현 시점에서 더 오래 소요될 수 있는 더 나은 접근방식을 사용하는 대신 쉬운(제한된) 솔루션을 채택함으로써 발생되는 추가적인 재작업의 비용을 반영하는 소프트웨어 개발의 한 관점이다.

기술 부채는 금전적인 채무와 비유될 수 있다.

– 위키백과

출처 입력

[인공지능 기술] 골칫거리 AI 환각, 과학 연구에서는 혁신적 아이디어 제공

인공지능(AI)의 환각 현상이 과학 연구에서 새로운 아이디어를 낼 때 도움을 주는 것으로 나타났다. 게티이미지뱅크 제공

인공지능(AI)이 실제와 유사한 정보를 지어내거나 조작해 신뢰도에 문제를 일으키는 ‘AI 환각(hallucination)’ 현상이 과학계에서는 창의적 아이디어를 내고 문제를 해결하는 데 유용하게 쓰이고 있다.

23일(현지시간) 미국 뉴욕타임스(NYT) 보도에 따르면 AI 환각 현상은 단백질·의료기기 설계, 기상 예보 등의 분야에서 과학자들이 새로운 아이디어를 구상할 때 도움을 주는 것으로 나타났다.

학습한 데이터를 기반으로 새로운 정보를 만들어내는 생성형 AI는 때때로 진짜와 비슷하지만 존재하지 않는 정보를 지어내거나 조작하는 환각 현상을 보인다. 환각은 특히 AI가 내놓는 답변 신뢰도에 치명적인 영향을 미친다. AI 환각을 억제하려는 노력이 이어지고 있지만 과학계에서는 오히려 AI 환각이 연구활동에 유용하게 쓰이는 사례가 나오고 있다.

올해 노벨화학상을 수상한 데이비드 베이커 미국 워싱턴대 교수는 생명체의 기본 요소인 단백질을 연구하는 과학자다. 새로운 단백질을 설계해 암이나 바이러스와 싸우는 치료제로 활용할수 있다. 베이커 교수는 AI의 ‘상상력’이 새로운 단백질을 만들어내는 핵심이라고 밝혔다.

베이커 교수팀은 인간이 모호한 패턴을 의미 있는 이미지로 변환하려는 현상인 변상증(pareidolia)에서 아이디어를 얻기도 했다. 실제 단백질의 구조적 특징을 인식하도록 훈련된 모델에 임의의 아미노산 서열을 입력하자 자연 구조와 유사하지만 동일하지는 않은 수천 개의 가상 단백질이 생성됐다. 아미노산은 단백질의 기본 재료 물질로 아미노산 서열에 따라 다양한 단백질이 만들어진다.

AI 환각으로 설계된 단백질을 만드는 유전자를 합성해 미생물에 삽입하자 그동안 알려지지 않은 129종의 새로운 단백질이 만들어졌다. 베이커 교수는 “AI로 창의적 상상력을 한 단계 더 발전시켰다”고 밝혔다.

아난드쿠마르 미국 캘리포니아공대(칼텍) 수학·컴퓨팅과학과 교수는 병원균 오염을 줄일 수 있는 새로운 종류의 카테터를 설계하는 데 AI 환각을 활용했다. 카테터는 인체에 삽입할 때 쓰이는 얇은 의료용 관이다. 연구팀은 AI 모델로 수천 개의 카테터 모양을 생성하고 가장 효과적인 선택지를 골랐다. 내벽에 톱니 모양이 달려서 박테리아가 환자의 몸으로 거슬러 올라가는 것을 방지한다.

흐릿한 의료영상 이미지를 선명하게 만들기 위해 AI를 활용한 ‘환각 자기공명영상(MRI)’이라는 연구논문이 발표되기도 했다.

다만 과학자들 대부분은 환각이라는 표현에 대해서 부정확하고 오해의 소지가 있다고 생각해 사용을 피하는 것으로 나타났다. 챗GPT 같은 언어모델에서 모호한 인터넷 정보나 편견·거짓을 기반으로 발생하는 AI 환각과 달리 연구에 쓰이는 AI는 자연 현상과 과학적 데이터를 기반으로 하기 때문에 차이가 있다는 주장이다.

에이미 맥거번 미국 오클라호마대 기상학 및 컴퓨터과학과 교수는 “기상 전문가들이 AI로 미묘한 예보 변화와 확률 범위를 만들어 폭염 같은 극한 현상을 유발하는 요인을 발견할 수 있다”며 “AI 환각을 오래된 용어인 ‘확률 분포’로 설명할 수도 있다”고 말했다.

푸시미트 콜리 영국 구글 딥마인드 연구원은 “AI가 생명의 가장 깊은 비밀을 풀고 질병 치료, 건강 개선, 수명 연장을 위한 강력하고 새로운 기반을 구축할 것”이라고 밝혔다.

이병구 기자 2bottle9@donga.com

[출처] https://n.news.naver.com/article/584/0000030166?cds=news_media_pc

[wordpress, 워드프레스] WordPress 페이지또는 글에 별도 CSS와 JavaScript 추가하기

WordPress 페이지또는 글에 별도 CSS와 JavaScript 추가하기

Free소스  2019년 5월 29일  2  RWDB

//Custom CSS Widget
add_action( 'admin_menu', 'custom_css_hooks' );
add_action( 'save_post', 'save_custom_css' );
add_action( 'wp_head','insert_custom_css' );
function custom_css_hooks() {
  add_meta_box( 'custom_css', 'Custom CSS', 'custom_css_input', 'post', 'normal', 'high' );
  add_meta_box( 'custom_css', 'Custom CSS', 'custom_css_input', 'page', 'normal', 'high' );
}
function custom_css_input() {
  global $post;
  echo '<input type="hidden" name="custom_css_noncename" id="custom_css_noncename" value="'.wp_create_nonce('custom-css').'" />';
  echo '<textarea name="custom_css" id="custom_css" rows="5" cols="30" style="width:100%;">'.get_post_meta($post->ID,'_custom_css',true).'</textarea>';
}
function save_custom_css($post_id) {
  if ( !wp_verify_nonce( $_POST['custom_css_noncename'], 'custom-css' ) ) return $post_id;
  if ( defined( 'DOING_AUTOSAVE' ) && DOING_AUTOSAVE) return $post_id;
  $custom_css = $_POST['custom_css'];
  update_post_meta( $post_id, '_custom_css', $custom_css );
}
function insert_custom_css() {
  if ( is_page() || is_single() ) {
    if ( have_posts() ) : while ( have_posts() ) : the_post();
      echo '<style type="text/css">' . get_post_meta(get_the_ID(), '_custom_css', true) . '</style>';
    endwhile; endif;
    rewind_posts();
  }
}

//Custom JS Widget
add_action( 'admin_menu', 'custom_js_hooks' );
add_action( 'save_post', 'save_custom_js' );
add_action( 'wp_head','insert_custom_js' );
function custom_js_hooks() {
  add_meta_box( 'custom_js', 'Custom JS', 'custom_js_input', 'post', 'normal', 'high' );
  add_meta_box( 'custom_js', 'Custom JS', 'custom_js_input', 'page', 'normal', 'high' );
}
function custom_js_input() {
  global $post;
  echo '<input type="hidden" name="custom_js_noncename" id="custom_js_noncename" value="'.wp_create_nonce('custom-js').'" />';
  echo '<textarea name="custom_js" id="custom_js" rows="5" cols="30" style="width:100%;">'.get_post_meta($post->ID,'_custom_js',true).'</textarea>';
}
function save_custom_js($post_id) {
  if (!wp_verify_nonce($_POST['custom_js_noncename'], 'custom-js')) return $post_id;
  if (defined('DOING_AUTOSAVE') && DOING_AUTOSAVE) return $post_id;
  $custom_js = $_POST['custom_js'];
  update_post_meta($post_id, '_custom_js', $custom_js);
}
function insert_custom_js() {
  if ( is_page() || is_single() ) {
    if ( have_posts() ) : while ( have_posts() ) : the_post();
      echo '<script type="text/javascript">' . get_post_meta(get_the_ID(), '_custom_js', true) . '</script>';
    endwhile; endif;
    rewind_posts();
  }
}

[chatGPT] ChatGPT를 활용한 데이터베이스 설계 및 데이터분석 쿼리 실습 사례 – eCommerce 플랫폼을 위한 데이터 베이스 설계

오늘은 ChatGPT를 데이터베이스 설계 및 데이터 분석 쿼리를 만드데 사용하는 방법을 정리한 첫번째 내용으로 이 글에서는 ChatGPT를 활용하여 eCommerce 플랫폼을 위한 데이터베이스 설계 및 데이터 분석 쿼리를 만드는 방법에 대해 알아보겠습니다.

1. 요구사항 분석​

eCommerce 플랫폼 개발을 위해 가장 먼저 필요한 작업은 데이터베이스 설계를 위한 요구 사항을 파악 하는 일입니다. 실제 요구사항 분석 단계는 고객사의 니즈를 파악하고 사용자 시나리오 분서, 성능, 확장성 등 다양한 조사와 작업들이 필요하지만 오늘은 ChatGPT를 통해 일반적인 요구 사항을 확인해보겠습니다. ChatGPT에게 먼저 eCommerce 플랫폼 개발을 위한 데이터베이스 설계를 위한 요구 사항을 확인해봅니다.

eCommerce 플랫폼 개발을 위한 DB 설계 요구 사항을 정리 해줘

2. 데이터베이스 설계 및 테이블 생성​

1) 설계​

위에서 요구사항을 파악 한 것 처럼 eCommerce 플랫폼을 위한 데이터베이스는 사용자 정보, 제품 정보, 주문 정보, 결제 정보, 배송 정보, 리뷰 및 평점, 장바구니 정보 등을 관리해야 합니다. 이러한 정보를 관리하기 위해 다음과 같은 테이블을 생성할 수 있습니다:

• Users
• Products
• Orders
• OrderDetails
• Payments
• Shipping
• Reviews
• Cart

eCommerce 플랫폼 개발을 위한 DB table 들을 정리 해줘

2) ERD 작성​

이러한 테이블 간의 관계는 ERD(Entity Relationship Diagram)를 통해 시각화할 수 있습니다. ERD는 데이터베이스 테이블 간의 관계를 보여주는 도구로, 데이터베이스 설계 과정에서 중요한 역할을 합니다. eCommerce의 테이블 간의 관계를 파악하기 위한 ERD를 그려보고 위의 테이블들을 만들고 ERD

위의 테이블 목록을 기반으로 데이터베이스 ERD를 그려줘

참고로 ERD를 그리기 위해서는 Show Me 라는 ChatGPT 플러그인을 설치 하셔야 합니다.

• ChatGPT 플러그인 설치 및 사용 방법은 ChatGPT 플러그인(Plugin) 사용방법 및 활용 예시 에서 확인 할수 있습니다.

3. 데이터베이스 쿼리 작성​

먼저 ChatGPT로 위의 요구사항 분석 및 ERD 작성을 통해 도출된 데이터베이스 테이블을 만들기 위한 쿼리를 만들어봅니다.

1) 테이블 생성 쿼리​

위의 테이블 생성을 위한 mysql 쿼리를 작성해줘

2) 주요 동작(Operation) 쿼리​

테이블 생성 후에는 MySQL 쿼리를 사용하여 데이터를 관리할 수 있습니다. 사용자 생성, 제품 조회, 주문 업데이트, 결제 정보 조회, 배송 정보 생성, 리뷰 작성, 장바구니에 제품 추가, 장바구니에서 제품 삭제, 장바구니 조회 등의 작업을 수행하는 데 필요한 기본적인 쿼리를 작성할 수 있습니다.

먼저 ChatGPTfh 주요 동작(Operation)들을 정리해봅니다.

주요 operation 들을 정리 해줘

위에서 정리해준 주요 동작(Operation)을 위한 mysql 쿼리를 정리 해줘

3) 주요 동작(Operation) 상태 관리 및 상태 다이어그램​

주문 관리, 결제 관리, 배송 관리의 경우 상태관리가 중요한 테이블 들이라 상태 관리를 위한 상태 들을 정의 해달라고 요청 합니다.

주문 관리, 결제 관리, 배송 관리 상태 관리를 위한 상태 들을 정리 해줘

ChatGPT가 정리 해준 상태 정의를 기반으로 상태 다이어그램을 작성 해달라고 요청 합니다.

주문 관리, 결제 관리, 배송 관리 상태 관리를 위한 상태 다이어그램을 각각 작성 해줘

마지막으로 ChatGPT에게 주문 관리, 결제 관리, 배송 관리 상태 관리 업데이트를 위한 쿼리문들을 작성해 달라고 요청 합니다.

주문 관리, 결제 관리, 배송 관리 상태 관리 업데이트를 위한 쿼리문들을 작성해줘

이상으로 기본적인 테이블 생성 및 기본 동작 및 주요 테이블들의 상태 관리를 위한 쿼리 까지 작성 해볼 수 있었습니다. 다음으로는 월별 고객 데이터 분석과 판매 실적 분석 등 데이터 분석을 위한 쿼리를 만들어보겠습니다.

3. 데이터 분석 쿼리 만들기​

데이터베이스가 준비 되고나면, 데이터 분석을 위한 쿼리를 작성할 수 있습니다. 월별 신규 고객 수, 월별 총 판매량, 월별 총 판매액, 월별 베스트셀러 상품 등의 정보를 얻는 데 도움이 되는 쿼리를 작성할 수 있습니다.

월별 고객 데이터 분석과 판매 실적 분석을 위한 쿼리들을 정리 해줘

월별 고객 데이터 분석과 판매 실적 분석을 위한 쿼리는 다음과 같습니다:

월별 신규 고객 수(New Customers per Month):

SELECT DATE_FORMAT(creation_date, '%Y-%m') AS month, COUNT(*) AS new_customers
FROM Users
GROUP BY month;

이 쿼리는 각 월별로 신규 가입한 고객 수를 계산합니다. 여기서 creation_date는 사용자가 계정을 생성한 날짜를 나타내는 필드입니다.

월별 총 판매량(Total Sales per Month):

SELECT DATE_FORMAT(order_date, '%Y-%m') AS month, COUNT(*) AS total_sales
FROM Orders
WHERE payment_status = 'Completed'
GROUP BY month;

이 쿼리는 각 월별로 완료된 주문의 총 수를 계산합니다. 여기서 order_date는 주문이 생성된 날짜를 나타내는 필드입니다.

월별 총 판매액(Total Sales Amount per Month):

SELECT DATE_FORMAT(Orders.order_date, '%Y-%m') AS month, SUM(OrderDetails.quantity * Products.price) AS total_sales_amount
FROM Orders
JOIN OrderDetails ON Orders.order_id = OrderDetails.order_id
JOIN Products ON OrderDetails.product_id = Products.product_id
WHERE Orders.payment_status = 'Completed'
GROUP BY month;

이 쿼리는 각 월별로 판매된 제품의 총액을 계산합니다.

월별 베스트셀러 상품(Bestselling Products per Month):

SELECT DATE_FORMAT(Orders.order_date, '%Y-%m') AS month, Products.product_name, SUM(OrderDetails.quantity) AS quantity_sold
FROM Orders
JOIN OrderDetails ON Orders.order_id = OrderDetails.order_id
JOIN Products ON OrderDetails.product_id = Products.product_id
WHERE Orders.payment_status = 'Completed'
GROUP BY month, Products.product_name
ORDER BY quantity_sold DESC;

이 쿼리는 각 월별로 가장 많이 판매된 제품을 찾습니다.

이러한 쿼리는 월별 고객 데이터와 판매 실적을 분석하는 데 도움이 됩니다. 실제 구현시에는 비즈니스 요구 사항에 따라 쿼리가 달라질 수 있습니다.

7. 마치며​

eCommerce 플랫폼 개발은 복잡한 과정이고 데이터베이스 설계 및 상태 관리에도 많은 고민이 필요하지만, ChatGPT를 활용해서 데이터베이스 설계 및 데이터 분석 쿼리 작성 과정을 쉽게 관리할 수 있었습니다. 이 글을 통해 eCommerce 플랫폼을 위한 데이터베이스 설계 및 데이터 분석 쿼리 작성에 대한 기본적인 이해 뿐만 아니라 원하는 시스템을 디자인하고 개발 하는데 도움이 되셨으면 좋겠습니다.

[출처] https://www.developerfastlane.com/docs/backend-database/ecommerce-platform-database-design

[DeepLearning] Learning to generate lyrics and music with Recurrent Neural Networks : 순환 신경망을 사용하여 가사와 음악을 생성하는 방법 배우기

순환 신경망을 사용하여 가사와 음악을 생성하는 방법 배우기

Pytorch와 rnns | 2018년 1월 27일

artists = [
'ABBA',
'Ace Of Base',
'Aerosmith',
'Avril Lavigne',
'Backstreet Boys',
'Bob Marley',
'Bon Jovi',
'Britney Spears',
'Bruno Mars',
'Coldplay',
'Def Leppard',
'Depeche Mode',
'Ed Sheeran',
'Elton John',
'Elvis Presley',
'Eminem',
'Enrique Iglesias',
'Evanescence',
'Fall Out Boy',
'Foo Fighters',
'Green Day',
 'HIM',
 'Imagine Dragons',
 'Incubus',
 'Jimi Hendrix',
 'Justin Bieber',
 'Justin Timberlake',
'Kanye West',
 'Katy Perry',
 'The Killers',
 'Kiss',
 'Lady Gaga',
 'Lana Del Rey',
 'Linkin Park',
 'Madonna',
 'Marilyn Manson',
 'Maroon 5',
 'Metallica',
 'Michael Bolton',
 'Michael Jackson',
 'Miley Cyrus',
 'Nickelback',
 'Nightwish',
 'Nirvana',
 'Oasis',
 'Offspring',
 'One Direction',
 'Ozzy Osbourne',
 'P!nk',
 'Queen',
 'Radiohead',
 'Red Hot Chili Peppers',
 'Rihanna',
 'Robbie Williams',
 'Rolling Stones',
 'Roxette',
 'Scorpions',
 'Snoop Dogg',
 'Sting',
 'The Script',
 'U2',
 'Weezer',
 'Yellowcard',
 'ZZ Top']

Why do you have to leave me?  
I think I know I'm not the only one  
I don't know if I'm gonna stay awake  
I don't know why I go along  
  
I don't know why I can't go on  
I don't know why I don't know  
I don't know why I don't know  
I don't know why I keep on dreaming of you   

Well, I was a real good time  
I was a rolling stone  
I was a rock and roller  
Well, I never had a rock and roll  
There were times I had to do it  
I had a feeling that I was found  
I was the one who had to go  

Why can't we drop out of time?  
We were born for words to see.  
Won't you love this. You're still so amazing.  
This could be that down on Sunday Time.  
Oh, Caroline, a lady floor.  
I thought of love, oh baby.  

Why - won't we grow up naked?  
We went quietly what we would've still give  
That girl you walked before our bedroom room  
I see your mind is so small to a freak  
Stretching for a cold white-heart of crashing  
Truth in the universal daughter  
  
I lose more and more hard  
I love you anytime at all  
Ah come let your help remind me  
Now I've wanted waste and never noticed  
  
I swear I saw you today  
You needed to get by  
But you sold a hurricane  
Well out whispered in store

My fears  
And the moment don't make me sing  
So free from you  
The pain you love me yeah  
  
Whatever caused the warmth  
You smile you're happy  
You sit away  
You say it's all in vain  

Oh, my love it makes me close a thing  
You've been heard, I must have waited  
I hear you  
So I say  
Thank you for the music, that makes me cry  
  
And you moving my bad as me, ah-hang wind in the hell  
I was meant to be with you, I'll never be playing up

Mercy on judgment, we got so much  
  
Alcohol, cry, cry, cry  
Why don't try to find our own  
I want to know, Lord, I wanna give you  
Just saving it, learned  
Is there any more?  
  
All that damage done  
That's all reason, don't worry  
Need a hammer  
I need you more and more  

Look at the stars  
Into life matter where you lay  
Saying no doubt  
I don't want to fly  
In my dreams and fight today

I will fall for you  
  
All I know  
And I want you to stay  
Into the night  
  
I want to live waiting  
With my love and always  
Have I wouldn't wasted  
Would it hurt you

I'm everywhere for you  
The way that it couldn't stop  
I mean it too late and love I made in the world  
I told you so I took the studs full cold-stop  
The hardest stressed growin'  
The hustler raisin' on my tears  
I know I'm true, one of your love

The story ends  
The sound of the blue  
The tears were shining  
The story of my life  
I still believe  
The story of my life 

[출처] https://warmspringwinds.github.io/pytorch/rnns/2018/01/27/learning-to-generate-lyrics-and-music-with-recurrent-neural-networks/

Learning to generate lyrics and music with Recurrent Neural Networks

Pytorch and rnns | Jan 27, 2018

artists = [
'ABBA',
'Ace Of Base',
'Aerosmith',
'Avril Lavigne',
'Backstreet Boys',
'Bob Marley',
'Bon Jovi',
'Britney Spears',
'Bruno Mars',
'Coldplay',
'Def Leppard',
'Depeche Mode',
'Ed Sheeran',
'Elton John',
'Elvis Presley',
'Eminem',
'Enrique Iglesias',
'Evanescence',
'Fall Out Boy',
'Foo Fighters',
'Green Day',
 'HIM',
 'Imagine Dragons',
 'Incubus',
 'Jimi Hendrix',
 'Justin Bieber',
 'Justin Timberlake',
'Kanye West',
 'Katy Perry',
 'The Killers',
 'Kiss',
 'Lady Gaga',
 'Lana Del Rey',
 'Linkin Park',
 'Madonna',
 'Marilyn Manson',
 'Maroon 5',
 'Metallica',
 'Michael Bolton',
 'Michael Jackson',
 'Miley Cyrus',
 'Nickelback',
 'Nightwish',
 'Nirvana',
 'Oasis',
 'Offspring',
 'One Direction',
 'Ozzy Osbourne',
 'P!nk',
 'Queen',
 'Radiohead',
 'Red Hot Chili Peppers',
 'Rihanna',
 'Robbie Williams',
 'Rolling Stones',
 'Roxette',
 'Scorpions',
 'Snoop Dogg',
 'Sting',
 'The Script',
 'U2',
 'Weezer',
 'Yellowcard',
 'ZZ Top']

Why do you have to leave me?  
I think I know I'm not the only one  
I don't know if I'm gonna stay awake  
I don't know why I go along  
  
I don't know why I can't go on  
I don't know why I don't know  
I don't know why I don't know  
I don't know why I keep on dreaming of you   

Well, I was a real good time  
I was a rolling stone  
I was a rock and roller  
Well, I never had a rock and roll  
There were times I had to do it  
I had a feeling that I was found  
I was the one who had to go  

Why can't we drop out of time?  
We were born for words to see.  
Won't you love this. You're still so amazing.  
This could be that down on Sunday Time.  
Oh, Caroline, a lady floor.  
I thought of love, oh baby.  

Why - won't we grow up naked?  
We went quietly what we would've still give  
That girl you walked before our bedroom room  
I see your mind is so small to a freak  
Stretching for a cold white-heart of crashing  
Truth in the universal daughter  
  
I lose more and more hard  
I love you anytime at all  
Ah come let your help remind me  
Now I've wanted waste and never noticed  
  
I swear I saw you today  
You needed to get by  
But you sold a hurricane  
Well out whispered in store

My fears  
And the moment don't make me sing  
So free from you  
The pain you love me yeah  
  
Whatever caused the warmth  
You smile you're happy  
You sit away  
You say it's all in vain  

Oh, my love it makes me close a thing  
You've been heard, I must have waited  
I hear you  
So I say  
Thank you for the music, that makes me cry  
  
And you moving my bad as me, ah-hang wind in the hell  
I was meant to be with you, I'll never be playing up

Mercy on judgment, we got so much  
  
Alcohol, cry, cry, cry  
Why don't try to find our own  
I want to know, Lord, I wanna give you  
Just saving it, learned  
Is there any more?  
  
All that damage done  
That's all reason, don't worry  
Need a hammer  
I need you more and more  

Look at the stars  
Into life matter where you lay  
Saying no doubt  
I don't want to fly  
In my dreams and fight today

I will fall for you  
  
All I know  
And I want you to stay  
Into the night  
  
I want to live waiting  
With my love and always  
Have I wouldn't wasted  
Would it hurt you

I'm everywhere for you  
The way that it couldn't stop  
I mean it too late and love I made in the world  
I told you so I took the studs full cold-stop  
The hardest stressed growin'  
The hustler raisin' on my tears  
I know I'm true, one of your love

The story ends  
The sound of the blue  
The tears were shining  
The story of my life  
I still believe  
The story of my life 

[인공지능 기술] “GPT 성능 향상 속도 둔화”…오픈AI, ‘오라이온’ 개선 위해 전략 수정

“GPT 성능 향상 속도 둔화”…오픈AI, ‘오라이온’ 개선 위해 전략 수정

 

(사진=셔터스톡)
오픈 AI가 내년 초 출시할 차세대 인공지능(AI) 모델 ‘오라이온’의 성능을 끌어 올리기 위해 안간힘을 쓰고 있다는 소식이 전해졌다. 목표는 기존 ‘GPT-4’보다 월등한 성능을 선보이는 것이만, 큰 차이를 내는 것이 어려워지고 있다는 설명이다.

디 인포메이션은 9일(현지시간) “오픈AI가 GPT 모델 개선 속도 둔화에 따라 전략을 변경했다”라고 소개했다. 여기에서 말하는 전략이란 이전처럼 사전 훈련으로 모델 성능을 대폭 끌어올리는 것보다, 사후 강화학습이나 추론 기능 강화에 초점을 맞춘다는 내용이다. 

소식통에 따르면 샘 알트먼 오픈AI CEO는 오라이온이 훈련 과정의 20%만 완료했지만, 지능과 작업 수행 능력은 이미 GPT-4와 동등하다고 말했다. 또 현재는 오라이온의 안전성을 테스트 중으로, 내년 초 출시가 유력한 것으로 알려졌다.

특히 오픈AI는 이번 모델을 기존 GPT 시리즈가 아닌 오라이온으로 명명할 만큼, 다른 차원으로 만드는 것이 목표다. 

그러나 일부 오픈AI 직원은 오라이온의 성능이 이전 모델보다는 우수하지만, GPT-3에서 GPT-4로 넘어가는 과정에 선보인 성능 향상보다 폭이 훨씬 작았다고 말했다.

또 일부 오픈AI 연구원들은 특정 작업에서 이전 모델과 성능이 별 차이가 없다고 전했다. 언어 작업에서는 더 뛰어난 모습을 보였지만, 코딩과 같은 작업에서는 이전 모델보다 성능이 좋지 않을 수 있다는 것이다. 특히 실행 비용이 더 비싸다는 것을 감안하며 사실상 성능 후퇴로 보는 것이 맞다는 입장이다.

이런 문제는 지금까지 대형언어모델(LLM) 개발의 원칙으로 통했던 ‘스케일링 법칙’이 사실상 한계에 달했기 때문이라는 분석이다. 스케일링 법칙은 LLM에 더 많은 학습 데이터를 제공하고 추가 컴퓨팅을 제공하면 성능이 계속 향상될 것이라는 논리다.

이처럼 GPT 모델의 개선 속도가 느려지며 AI 업계에서는 사전 학습보다는 다른 방법을 모델을 개선하는 쪽으로 방향을 전환하고 있으며, 이 가운데 새로운 확장 법칙이 생겨날 가능성이 있다고 전했다.

이에 대해서 마크 저커버그 메타 CEO를 비롯한 일부 관계자들은 “현재 기술이 개선되지 않는 최악의 시나리오를 맞아도 소비자 및 기업용 제품을 만들 여지가 여전히 많이 있을 것”이라고 말했다. 그 대표적인 예가 최근 앤트로픽이 내놓은 ‘컴퓨터 유즈’와 같은 AI 에이전트 기능이다. 에이전트는 분명히 챗GPT 등장만큼 혁신적인 기술이 될 수 있다.

특히 업계에서는 LLM 성장이 한계에 맞았다는 지적이 나오고 있다. 

전설적인 벤처 캐피털리스트 벤 호로비츠는 지난주 한 팟캐스트에 출연해 “AI 훈련에 사용되는 GPU의 수를 계속 늘리고 있지만, 이제는 과거만큼의 지능적인 개선을 전혀 얻지 못하고 있다”라고 지적했다. 동료인 마크 앤드리슨도 “많은 똑똑한 사람들이 한계를 돌파하고 더 높은 수준의 추론 능력에 도달하는 방법을 알아내기 위해 노력하고 있다”라고 말했다.

하지만 저커버그 CEO는 물론 알트먼 CEO와 다른 기술 리더들은 아직 전통적인 확장 법칙이 한계에 도달하지 않았다고 주장한다.

이 때문에 이들은 모델의 사전 훈련에서 최대한 성능을 얻어내기 위해 지금과는 차원이 다른 수십억달러 규모의 투자로 대규모의 데이터센터를 설립하려는 것으로 보고 있다.

물론 투자가 늘어나는 만큼 모델 성능 향상이 뒷받침될지는 의문이다. 비용에 비해 얻을 수 있는 성능 발전이 작다면, 투자 효율성에 의문이 생길 수 밖에 없다.

노암 브라운 오픈AI 연구원이 지난달 TED 컨퍼런스에서 “어느 순간 스케일링 패러다임이 무너질 수 있다”라며 “수천억달러 또는 수조달러의 비용이 드는 모델을 계속 훈련할 것인가”라고 말한 것도 이런 이유에서라는 것이다.

또 사전 훈련에서 얻는 이득이 줄어드는 이유 중 하나로는 고품질 데이터의 공급이 줄어든다는 점이 꼽혔다.

지난 몇 년 동안 LLM은 사전 학습에 웹사이트와 서적, 공개 사용이 가능한 텍스트 등을 사용했지만, 이미 최대한 많은 것을 쥐어 짜냈다는 말이다.

또 데이터 부족의 대안으로 꼽히는 합성 데이터도 한계가 지적됐다. 오라이온은 GPT-4와 최근에 출시된 o1을 포함한 다른 모델이 생성한 합성 데이터로 부분적인 학습을 받은 것으로 알려졌다. 그러나 합성 데이터는 오라이온이 특정 측면에서 이전 모델과 유사해질 수 있는 새로운 문제로 이어지고 있다고 오픈AI 직원은 말했다.

이에 대응해 오픈AI는 사전 학습을 담당했던 닉 라이더가 이끄는 기초 팀을 만들어 학습 데이터 부족 문제를 해결하는 방법과 확장 법칙이 얼마나 오랫동안 적용될지 파악하겠다고 밝혔다.

챗GPT 훈련 과정 (사진=링크드인, Pradeep Menon)
이 때문에 오픈AI는 사전 훈련이 아닌, 다른 방법에 집중하는 것으로 알려졌다. 여기에는 강화 학습과 추론 강화가 주를 이루는 것으로 알려졌다.

오픈AI는 챗GPT부터 인간 피드백을 통한 강화학습(RLHF)으로 유명했다. 최근에는 RLHF를 담당하는 외부 계약직이 1000명에 달하는 것으로 전해졌다. 이를 관리하는 ‘휴먼 데이터 팀’도 운영하고 있다. 

특히 박사급 학위 소지자 등 전문가들이 포함된 것으로 알려졌다. 이들의 검증을 통해 모델 성능의 기준을 높이겠다는 의도로, 이에 따른 비용 증가도 만만치 않은 것으로 알려졌다.

또 o1 모델에 이어 o2를 개발하는 등 추론 성능 향상에도 전념하고 있다. 알트먼 CEO는 최근 “회사의 최우선 순위는 o1과 그 후속 모델의 개발”이라고 밝혔으며, 지난주에는 X(트위터)를 통해 o2의 벤치마크 성능이 비약적으로 좋아졌다는 글을 실수로 올린 바 있다.

즉 추론 성능 향상이 오라이온의 성능을 끌어올릴 핵심으로 보는 것이다. 이 때문에 오라이온은 추론 후속 모델 출시 이후 개발을 마칠 것으로 예측되고 있다.

브라운 연구원도 TED에서 비슷한 내용을 공개한 바 있다. 모델을 변경하지 않고도 사용자 질문에 답하는 동안 모델에 추가 컴퓨팅 리소스와 시간을 제공하면 응답 품질이 계속 향상될 수 있다고 전했다. 이른바 ‘테스트-타임 컴퓨트(Test-Time Compute)’라는 개념이다.

테스트-타임 컴퓨트 (사진=오픈AI)
따라서 오픈AI가 사전 훈련으로 성능 향상을 조금이라도 올릴 수 있다면, 결국 추론 강화로 전반적인 모델 성능 향상을 이뤄내는 구조라고 한 관계자가 전했다.

알트먼 CEO도 결국 이런 방식을 염두에 두는 것으로 분석됐다. 지난 10월 데브데이에서는 “나는 추론이 우리가 수년간 기다려온 많은 것을 가능하게 해주기를 바란다”라고 말했다.

특히 게리 탄 와이 컴비네이터 CEO와의 팟캐스트에서는 “우리는 인공일반지능(AGI)을 달성하기 위해 무엇을 해야 할지 알고 있다”라며 “일부는 창의적인 방식으로 현재 모델을 사용하는 것을 포함한다”라고 말했다.

이에 대해 이온 스토이카 데이터브릭스 공동 창립자 겸 회장은 “LLM의 성과가 특정 면에서는 정점에 도달했지만, 다른 면에서는 그렇지 않을 가능성이 있다”라고 말했다.

그는 AI가 코딩이나 복잡하고 여러 단계로 구성된 문제 해결 등의 작업에서 지속적으로 개선되고 있지만, 텍스트의 감정을 분석하거나 의학적 문제의 증상을 설명하는 등 일반적인 능력에서는 진전이 둔화한 것으로 보인다고 설명했다.

“일반 지식 질문에 대해서는, 지금은 LLM의 성과가 정체돼 있다고 주장할 수 있다. 우리에게는 더 많은 고품질 데이터가 필요하며, 합성 데이터는 그다지 도움이 되지 않는다”라고 말했다.

임대준 기자 ydj@aitimes.com

출처 : AI타임스(https://www.aitimes.com)

[출처] https://www.aitimes.com/news/articleView.html?idxno=165134

[인공지능 기술] WebLLM 소개와 구조 분석

WebLLM 소개와 구조 분석

 

김덕현

 

 

2022년 11월 ChatGPT가 초기 베타버전을 출시한 이후 많은 사용자들이 이러한 언어 모델에 관심을 가지고 한동안 폭발적인 반응과 시장의 변화를 가져오면서 관심이 집중되고 있습니다.

한번쯤 사용해 보셨을(혹은 들어 보셨을) LLM과 컴파일, 빌드 과정에 대해 간단히 소개하고 최근 크롬에 정식 탑재된 WebGPU를 사용한 WebLLM의 구조 형태를 가볍게 분석해보고자 합니다.

관련 용어와 개념 소개

일반적인 어플리케이션 위주의 개발을 수행해온 저는 새로운 도메인이자 엔지니어링 영역이기도 한 AI 및 Machine learning에 대해 학습하면서 다양한 용어와 개념들을 새로 학습해야 했습니다. 이와 같은 분들을 위해 WebLLM의 구조에 대해 이야기하기 전에 먼저 용어와 기반 개념들을 소개하고자 합니다.

LLM

대형 언어 모델(Large Language Model)이라고도 불리는 LLM은 ChatGPT 베타 출시 이후로 더욱 유명해진 딥러닝 모델입니다. 기본적인 개념으로는 입력값으로 들어오는 자연어를 기반으로, 통계학적으로 가장 적절한 출력값을 내는 원리로 되어 있습니다. 간단하게 이야기하자면 다음 단어가 나올 확률을 계산하여 그럴듯한 문장을 만들어내는 것이라고 할 수 있습니다.

MLC-LLM 프로젝트

MLC-LLM 프로젝트는 LLM을 다양한 환경에서 배포하고 범용 API를 통해 쉽게 사용할 수 있도록 돕는 배포 솔루션입니다. 위 이미지와 같은 일련의 과정을 통해 모델을 정의하고 컴파일한 후 각 디바이스 플랫폼별 런타임에서 LLM을 실행할 수 있도록 구성되어 있습니다.

1. MLC에서 미리 정의해 둔 모델(Llama2 등)을 사용하거나, TVM Unity 인터페이스 기반의 파이썬으로 작성된 모델을 구현해야 합니다.
2. 후술할 TVM Unity를 통해 컴파일되며, 이 때 model lib, weights, config 결과물이 export됩니다. 우리가 사용하게 될 웹 브라우저의 라이브러리(WebAssembly)는 .wasm의 형태로 떨어지게 됩니다.
3. 각 디바이스 플랫폼별 런타임에서 컴파일된 모델 라이브러리와 가중치(weights), 설정 등을 로드하여 실행되며, 각 런타임별 API가 제공됩니다.

TVM

이러한 LLM 등의 AI 어플리케이션을 생성하고 하드웨어 장치에서 실행하기 위해서는 우리가 어플리케이션을 만들 때와 동일하게 소스 코드를 변환하여 저수준의 layer에서 인식할 수 있는 코드로 변환하고 실행하는 과정이 필요합니다. 예를 들어 윈도우 환경의 Nvidia 그래픽 연산 카드에서 AI 어플리케이션을 구동해야 할 경우, python으로 설계한 모델 코드는 C++ 및 CUDA 코드로 변환되고 최종적으로 각 하드웨어를 위한 어셈블리 언어로써 변환됩니다.

Apache TVM이라는 end-to-end 오픈소스 컴파일러에서는 이러한 과정(딥러닝 시스템 스택)에 대해 인터페이스를 제공하며 아래에서 살펴볼 WebLLM을 위한 WebAssembly 런타임 또한 제공됩니다.

WebLLM

MLC에서는 TVM에서 제공하는 WebAssembly 런타임 및 자바스크립트 인터페이스를 응용하여 Chat 형식으로 구성된 WebLLM을 배포했습니다. 이를 사용하면 서버와의 통신 없이 오로지 웹 브라우저에서 WebGPU의 가속을 사용하여 LLM을 구동할 수 있습니다.

WebGPU

WebGPU는 WebGL의 후속 버전 API입니다. 이미지 등 그래픽 연산에 집중되던 WebGL과는 다르게 GPU에서 일반적인 계산을 수행하는 데 더 최적화되어 있습니다. 또한 네이티브 API를 직접 미러링하지 않고 자체적인 추상화를 도입하여 웹용 API에 적합하지 않은 개념들(저수준의 메모리 관리 등)을 숨기고 편하게 사용될 수 있도록 설계되었습니다.

WebLLM 환경 구축하기

???? 순서: emscripten 설치 → tvmjs 컴파일 → web-llm 빌드

WebLLM을 로컬에서 빌드하고 패키징하기 위해서는 몇 가지 작업이 필요합니다. WebLLM 빌드에 앞서 의존성 패키지를 살펴보면, tvmjs만 유일하게 패키지로 제공되지 않고 소스 컴파일이 필요합니다.

tvmjs 컴파일을 위해서는 emscripten을 먼저 설치해야 합니다. emscripten은 LLVM을 사용하는 언어(C/C++)를 웹 어셈블리로 컴파일할 수 있도록 제공하는 툴체인이며, TVM의 WebAssembly 런타임을 컴파일하고 시스템 라이브러리 지원을 제공하기 위해 필요합니다.

emscripten 설치가 완료되었다면, WebLLM repo의 스크립트(scripts/prep_deps.sh)를 실행하여 순서대로 tvmjs를 컴파일하고 패키지를 빌드할 수 있습니다.

WebLLM 구조

WebLLM의 Javascript단 API 구조는 상대적으로 단순하게 구성되어 있습니다. 우리가 흔히 접해왔던 ChatGPT와 같은 형태의 LLM을 서포트하기 위해서 아래와 같이 chat 서비스에 초점이 맞춰진 핵심 모듈들로 구성되어 있습니다.

• ChatModule: 사용자 단의 메소드를 제공하는 외부 인터페이스를 구현하고 있으며, LLMChatPipeline을 직접 제어하며 WebLLM 초기화, 프롬프트 전송 등의 추상화된 개념을 구현하고 있습니다.
• LLMChatPipeline: TVM 런타임 인스턴스의 초기화/실행 등의 직접 제어를 수행하고, Conversation 데이터에 접근하면서 프롬프트 메시지를 제어합니다.
• Conversation: 메세지와 관련된 데이터의 제어를 수행하며, 각 LLM별로 적합한 Instruction config를 정의하고 있습니다.

이 외에도 WebLLM에서 사용할 설정의 인터페이스를 구현한 Config, WebWorker 형태로 ChatModule을 사용할 수 있도록 구성된 ChatWorkerHandler 등이 존재합니다.

WebLLM의 Javascript단 API를 실행하는 샘플 로직과 내부 Flow는 아래와 같습니다.

[출처] https://medium.com/@widoint/webllm-%EC%86%8C%EA%B0%9C%EC%99%80-%EA%B5%AC%EC%A1%B0-%EB%B6%84%EC%84%9D-2cfeac159454