10 9월 2024

[인공지능 기술] 이런 것도 다 되네, 알수록 신박한 AI 앱 [스페셜리포트]

[인공지능 기술] 이런 것도 다 되네, 알수록 신박한 AI 앱 [스페셜리포트]

이런 것도 다 되네, 알수록 신박한 AI 앱 [스페셜리포트]

인공지능(AI) 시대가 열렸다는데 무엇부터 어떻게 활용할지 잘 알겠다는 이는 사실 많지 않다. 챗GPT를 몇 번 돌려보다 어느새 흥미를 잃었다는 이도 적잖다. 물어보면 엉뚱한 말(환각 현상)을 하거나 명령어를 AI에 맞춰 써야 하다 보니(프롬프터) 원하는 답을 잘 이끌어내지 못할 때가 많다. 실제 챗GPT 글로벌 MAU(월간 이용자 수)가 출시 당시 대비 떨어지고 있다는 점이 이를 방증한다. 대세니까 활용하기는 해야겠는데 도대체 어느 분야에 어떻게 적용할지 모르겠다는 이들을 위해 정리해봤다. ‘이런 때 이런 AI 서비스’를.

이런 것도 다 되네, 알수록 신박한 AI 앱 [스페셜리포트]

AI로 ‘갓생 직장인’ 되려면

모든 업무에 활용해 효율 극대화~

직장인에게 요구되는 업무 능력은 끝이 없다. 보고서 작성, 기획안 작성, 외국어 번역까지. 능숙하게 다뤄야 할 과제가 끊임없이 이어진다. 하지만 이제 걱정을 조금 덜 듯하다. AI 기술이 빠르게 진화하면서 업무 효율을 극대화할 수 있는 다양한 도구가 쏟아져나온 덕분이다.

무엇보다 해외 거래처와의 원활한 소통은 글로벌 비즈니스에서 필수적이다. 하지만 언어 장벽은 여전히 어려운 도전 과제 중 하나다. 글씨를 일일이 복사해 구글 번역기 같은 번역 프로그램에 입력하는 것도 보통 일이 아니다. 더군다나 여러 번역 프로그램은 종종 의미가 왜곡되거나 부자연스러운 표현을 사용하게 되는 경우가 많다.

이런 말 못할 고민에 등장한 AI 번역 프로그램이 바로 ‘딥엘(DeepL)’이다. 딥엘은 AI 기술을 활용해 비즈니스 영어 데이터를 중점적으로 학습한 번역 서비스다. 특정 산업이나 전문 분야 용어에 대한 정확도에서 뛰어난 성능을 발휘한다. 딥엘의 성능은 ‘AI 교정 기능’에서 확인된다. 영어 문장을 입력하니 문법 교정이 이뤄지고, 더 적절한 단어로 수정까지 일사천리다. ‘APAC(아시아 태평양)’이 포함된 문장에서도 파파고, 구글은 모두 ‘APAC’으로 표현했지만, 딥엘만이 이를 ‘아태 지역’이라고 정확하게 번역한다. 딥엘의 ‘파일 번역’ 기능도 유용하다. 영문으로 적힌 PDF·워드 문서·파워포인트(PPT) 등 파일을 올리면 한글 파일로 순식간에 번역해준다.

시간과 노력이 가장 많이 소요되는 작업 중 하나인 보고서 작성은 직장인에게 고역 그 자체다. 하지만 AI 기반 텍스트 생성 도구를 활용하면 이 작업을 훨씬 더 효율적으로 처리할 수 있다. ‘클로드(Claude)’는 사용자 입력에 따라 보고서나 문서를 자동으로 요약·생성해주는 AI 도구다. 10MB 용량 이하 문서를 첨부하면서 질문하는 기능이 특히 유용하다. 한국은행이 발표한 13쪽 분량 ‘2024년 8월 기업경기조사 결과·경제심리지수(ESI)’ 보고서를 입력하니 기업심리지수(CBSI), 경제심리지수(ESI), 주요 지표 분석 등 내용 요약은 물론, ‘이 보고서의 시사점이 뭐야?’라는 질문에도 척척 대답을 내놓는다.

보고서 초안을 만드는 데는 ‘퍼플렉시티(Perplexity)’가 유용하다. 기업 마케팅 자료나 발표 자료 등을 자동으로 생성해주는 AI 도구다. 사용자 요구에 맞춘 맞춤형 콘텐츠를 제공하는 걸로 유명하다. 퍼플렉시티에 ‘국내 1위 패션 기업의 마케팅 자료를 만들어줘’라고 요청하니 “국내 1위 패션 기업으로는 삼성물산 패션부문이 있다. 2023년 기준 매출 2조510억원을 기록하며 1위 자리를 유지하고 있다”며 각종 출처 표기 그래프는 물론 ‘마케팅 전략 제안’을 상세히 써 내려갔다.

기획안이나 프레젠테이션을 만들 때 시각적 요소 역시 매우 중요하다. 하지만 직장인 누구나 훌륭한 그림을 그리거나 디자인을 만들 수 있는 건 아니다. ‘미드저니(Midjourney)’와 ‘스테이블 디퓨전(Stable Diffusion)’은 이 문제를 해결하기 위해 등장한 AI 기반 이미지 생성 도구다. 텍스트를 입력하면 그에 맞는 이미지를 생성해주는 서비스로, 디자인이나 예술적 감각이 부족한 사람도 손쉽게 이미지를 만들어낼 수 있다. 미드저니에 ‘웹툰을 주제로 한 기획안에 쓸 이미지를 만들어줘’라고 요청하니 30초 내로 고퀄리티 이미지 4장을 뚝딱 만들어낸다.

AI가 상품 정보를 기반으로 한 영상과 이미지를 자동으로 제작하는 ‘브이캣(VCAT)’ 역시 활용해볼 만하다. 이용자가 브이캣에 입력할 사항은 상품 상세페이지의 ‘URL’ 정도다. 이후 브이캣 AI가 페이지 내 정보를 분석해 1분이면 콘텐츠를 생산한다. 그야말로 신통한 서비스다. AI 기술을 설명하는 꽤 어려운 기사를 넣어보니 콘셉트 초안, 이미지 선별, 상품 개요 작성, 광고 문구 생성 등 작업을 거쳐 광고 캠페인을 척척 만들어준다. 이용자가 1000가지 이상 영상 템플릿을 활용해 ‘신상품 소개’나 ‘할인 강조’ 등 프로모션별로 다양하게 제작할 수 있다는 점도 특징이다.

회의 내용을 복기하려면 녹음을 하면 되지만, 녹음 파일을 다시 들으며 하나하나 글로 바꾸는 일은 고역이 아닐 수 없다. 이럴 때 믿을맨으로 ‘다글로(Daglo)’나 ‘클로바노트(Clova Note)’가 있다. 두 서비스 모두 AI 음성 변환 기능을 제공한다. 클로바노트는 초거대 AI ‘하이퍼클로바’를 적용해 회의록 요약, 노트 공유, 하이라이트 표시 등까지 제공하는 AI 회의록 관리 서비스로 발전했다. 다글로는 단순히 녹음한 음성을 넘어 영상에 담긴 소리까지 변환해주는 ‘멀티모달’ 기능을 갖추고 있어 편리하다. 단 두 서비스를 써보면 내놓은 결과물 모두 맞춤법이 틀렸거나, 단어를 잘못 인식한 경우가 존재해 아쉬움이 남는다. 다만 아직 완벽히 만족할 만한 서비스가 등장하지 않은 상태에서, 어찌 됐든 두 서비스 모두 직장인에게 없어서는 안 될 존재다.

이젠 AI로 투자 정보 확보

즉각적인 대답, 자산관리까지

AI 서비스를 활용하면서 열심히 일했다면, 어느새 통장에 월급이 들어온다. 요즘 직장인 사이에서는 자산을 주식, 펀드 등 다양한 금융상품에 투자하는 트렌드가 확산하고 있다. 하지만 바쁜 일상에서 투자 정보를 일일이 찾고 분석하는 것은 결코 쉬운 일이 아닐 터. AI를 활용한 투자 서비스가 선택이 아닌 필수로 자리 잡은 이유다.

투자자에게 가장 중요한 것은 실시간으로 제공되는 정확한 정보다. 두나무의 종합 거래 플랫폼 증권플러스의 AI 투자 챗봇 ‘우디(Woody)’는 이런 니즈를 충족시켜준다. 챗GPT를 기반으로 개발된 우디는 주가 정보, 뉴스, 공시 등 투자에 필요한 다양한 정보를 단순한 대화만으로 제공해준다. 처음 실행해본 후 가장 인상 깊었던 점은 그 즉각적인 반응 속도. “최근 외국인 순매수와 상승률이 높았던 기업들을 알려줘”나 “A종목의 사업보고서를 요약해줘”와 같은 질문을 던지자 우디가 빠르게 핵심 내용을 요약해준다.

우디의 또 다른 주요 기능 중 하나는 ‘개인 맞춤형’ 추천 질문 가이드다. 특정 종목을 조회하는 동안 우디를 실행하면, 해당 종목과 관련된 최신 이슈를 파악할 수 있는 맞춤형 질문이 자동으로 생성된다. 이는 특히 시간에 쫓기며 투자 결정을 해야 하는 순간에 큰 도움이 된다.

비슷한 AI 대화형 증권 서비스로 KB증권의 ‘스톡(Stock) AI’ 역시 눈길을 끈다. 우디처럼 투자자가 특정 종목 주가 전망이나 시장 동향을 신속하게 파악할 수 있도록 돕는다. 특히 스톡 AI는 반복적인 질문은 ‘나만의 질문’ 기능을 통해 저장해두고, 필요할 때마다 간편하게 불러올 수 있어 효율적인 정보 검색이 가능하다. 투자자 개개인의 투자 성향을 분석해 맞춤형 투자 전략을 제안하는 것도 특징이다. 투자자 만족도도 높다. KB증권 관계자는 “스톡 AI는 서비스 시작 이후 약 15만건의 질문과 답변을 기록하며 투자자 사이에서 높은 만족도를 얻고 있다”며 “특히 고객 피드백에서 90% 이상 만족도를 기록해 흩어진 정보를 일목요연하게 제공하는 AI 서비스의 장점이 두드러지고 있다”고 말했다.

주식 시장의 변동성이 큰 요즘, 영리한 자산관리는 필수다. 키움증권 ‘키우GO’는 단순히 기대수익률만을 바라보는 전통적인 투자 방식과는 다르게, 사용자의 투자 목표와 성향을 면밀히 분석해 최적의 자산 배분 포트폴리오를 제안해준다. 키우GO의 핵심은 강화학습 기반 AI 엔진이다. 이 AI 엔진은 수십만 개 글로벌 금융 데이터를 실시간으로 분석하고 학습해 사용자의 투자 계획을 실시간으로 조정해준다. 이 로보어드바이저는 자산을 세 가지 버킷으로 나눠 관리하는데 보호자산(Protect), 핵심자산(Core), 그리고 위성자산(Satellite)으로 나뉜 포트폴리오가 시장 상황에 맞춰 자동으로 조정된다. 예를 들어, 시장 변동성이 커지면 키우GO는 자산 중 일부를 안전한 달러와 중국 주식으로 재분배하는 것을 제안하고 이는 실제로 안정적인 수익으로 이어지는 식이다.

키우GO의 또 다른 매력은 포트폴리오 내 모든 종목의 매매 수수료가 면제된다는 사실. 일임 보수만 지불하면 추가 비용 없이 투자할 수 있어, 실제 수익률이 높아지는 효과를 느낄 수 있다. 성과진단, 목표진단, 자산진단 등의 관리 서비스와 더불어 예약 상담 서비스까지 제공해 투자 과정 전반에서 필요한 모든 것을 하나의 화면에서 손쉽게 처리할 수 있다.

투자업계에서 AI의 영역은 계속 넓어지는 분위기다. 미래에셋증권은 지난 5월부터 AI 기술을 활용한 기업 분석 리포트 제공에 나섰다. 증권가 에이스만 모인다는 리서치센터 역할을 AI에 맡긴 셈. 단 아직 AI가 보고서를 100% 작성하는 것은 아니다. 애플·스타벅스·엑손모빌 등 미국 상장 기업 분기 실적을 자체 개발한 AI 에이전트가 먼저 작성한 후 미래에셋증권 리서치센터 연구원이 감수해 발간하는 방식이다. 이외에도 NH투자증권은 AI 기술에 기반한 해외 기업 공시 번역·요약 서비스인 ‘GPT 뉴스레터’를 개발해 소개했고, 삼성증권은 애널리스트 생김새와 목소리 등을 본뜬 가상 애널리스트 서비스를 제공한다.

AI 선생과 1:1 대화

원어민 원격교사 안녕~

학창 시절 영어 실력을 늘리기 위해 온라인 혹은 전화로 원어민 교사와 1:1 대화하는 교육 서비스를 이용해본 사람이 꽤 많을 터. 이제 그렇게 하지 않아도 된다. AI 선생, 그것도 캐릭터를 골라가며 대화할 수 있다.

대표적인 앱은 ‘프랙티카’. 앱을 열면 AI 강사 25명의 캐릭터가 뜬다. 같은 영어 선생님이지만 생김새나 말투가 다 다르다. 미국식, 호주식 등 버전도 다양하다. 이들 중 한 명을 고른 다음에는 대화 주제를 선택한다. 150개 주제가 있는데 관심사별로 하나를 고르면 본격 수업 시작. 영어로 녹음된 파일을 듣고 난 뒤 앱 화면 아래 마이크 버튼을 누른 채 AI 선생님과 대화하면 된다. 선생님과의 대화는 모바일 메신저 형태로 화면에 뜨는데 표현이 어색하면 선생님이 텍스트를 고쳐주기도 한다. 언제든 켜고 끌 수 있는데 좀 피곤해서 그만하려 하면 선생님이 오히려 “좀 더 해보면 어떠니?”라고 부추길 정도로 고도화돼 있다. 국내에서는 프랙티카 외에도 ‘말해보카’ ‘스픽’ ‘맥스AI’ ‘링고케어’ 등이 비슷한 서비스를 전개한다. 최근에는 업그레이드된 챗GPT-4의 음성 기능으로 영어 대화를 한다는 이도 늘고 있다.

내 건강 챙기는 AI

AI “이제 그만 드세요”

“혈당이 높습니다.”

카카오헬스케어가 내놓은 ‘파스타’ 앱 알림음이다. 좋아하는 햄버거에 밀크셰이크, 치즈스틱을 좀 빠른 속도로 먹었을 뿐인데 200㎎/dL이나 찍혔다. 포만감에 10분쯤 소파에 퍼질러 앉아 있었더니 또 알람이 울린다. “혈당이 계속 높습니다.” 일명 혈당스파이크를 경고하는 듯하다. 혈당스파이크란 식사 후 혈당이 단숨에 50㎎/dL 이상 치솟았다 떨어지는 현상을 의미한다. 급강하가 반복되면 그만큼 몸에 무리가 가기에 관리가 필요하다.

“그래 알았다, 알았어.” 운동복으로 갈아입고 일단 동네 공원 한 바퀴 돌고 좀 가파른 뒷산도 올랐다. 그랬더니 정상으로 돌아온다. 다음 날에는 AI가 전날 먹었던 음식 유형, 혈당 오르내림 정도 등을 비서처럼 리포트 형식으로 보고해준다. ‘나 참, 식단 관리하련다’ 싶다. 그런데 어떤 음식이 혈당이 높은지 모른다면? ‘푸드샷’ 버튼을 누르고 음식 사진을 찍어 올리니 곧바로 음식 종류, 영양소, 열량 등을 AI가 자동으로 분석해준다. 삼성헬스, 아이폰 건강관리 앱이랑 연동도 돼 운동, 심박수 등을 연계해 종합적으로 내 몸 관리를 할 수 있다. 신박하다. AI로 건강관리도 한층 고도화할 수 있는 세상이다.

돈 들이지 않고 오히려 돈 벌게 해주면서 AI가 건강관리 해주는 앱도 있다. 국내 최대 걷기 앱 ‘캐시워크’가 대표적이다. 캐시워크는 이용자가 많이 걸을수록 다양한 혜택을 받는 국내 1위 앱이다. 최근에는 서울시가 전개하는 손목닥터9988 앱 고도화 사업에도 참여, AI가 대사증후군 검사 결과에 따라 신체 상태와 운동량 등에 맞는 맞춤형 건강관리 방법을 제시해준다. 또 서울시에서 운영 중인 마음건강(블루터치) 검사 결과를 바탕으로 AI를 통한 정신건강 기록 분석 리포트, 마음건강 연계 서비스(명상, 음악)도 추가 지원할 방침이다.

[박수호 기자 park.suho@mk.co.kr, 조동현 기자 cho.donghyun@mk.co.kr]

[본 기사는 매경이코노미 제2274호 (2024.08.28~2024.09.03일자) 기사입니다]

[출처] https://news.nate.com/view/20240831n10894

Loading

2 9월 2024

[인공지능 기술] RAG(검색 증강 생성)란? – LLM 단점을 보완하는 기술

[인공지능 기술] RAG(검색 증강 생성)란? – LLM 단점을 보완하는 기술

RAG(검색 증강 생성)란? – LLM 단점을 보완하는 기술

LLM(Large Language Model)의 많은 장점에도 불구하고 단점을 보완하기 위한 RAG(검색 증강 생성)이 많은 관심을 받고 있습니다. RAG의 기본 개념, 등장 배경, 원리, 적용 사례 등을 알아보겠습니다.

2024-05-07 | 박성돈

최근 인공지능 기술의 발전은 다양한 분야에서 혁신을 일으키고 있으며, 그 중에서도 텍스트 생성 AI는 특히 주목받고 있습니다. 하지만 이러한 기술이 가진 정확성과 신뢰성의 문제는 사용자와 개발자 모두에게 중요한 과제로 남아 있습니다. 이 문제를 해결하기 위해 등장한 기술 중 하나가 바로 RAG(Retrieval-Augmented Generation)입니다.

본문에서는 RAG의 기본 개념, 등장 배경, 원리, 적용 사례 등에 대해 살펴보겠습니다. 먼저 LLM이 무엇인지, 특징과 장/단점에 대해 알아보겠습니다.

LLM이란?

LLM은 Large Language Model의 약자로, 자연어 처리(NLP)에서 사용되는 인공지능 기술의 한 종류입니다. 이 모델들은 대규모의 텍스트 데이터를 학습하여 언어의 구조와 의미를 이해하고, 그 학습을 바탕으로 텍스트 생성, 번역, 요약, 질문에 대한 답변 등 다양한 언어 관련 작업을 할 수 있습니다.

LLM의 주요 특징은 다음과 같습니다.

  • 방대한 지식 보유: 다양한 분야의 텍스트를 학습하여 광범위한 지식을 갖추고 있습니다.
  • 문맥 이해 능력: 단순히 단어를 매칭하는 것이 아니라 전후 맥락을 고려하여 언어를 이해할 수 있습니다.
  • 자연어 생성 능력: 문장 생성, 질문 응답, 요약, 번역 등 다양한 자연어 처리 태스크를 수행할 수 있습니다.
  • 전이 학습 능력: 한 분야에서 학습한 지식을 다른 유사 태스크에 활용하는 등 전이 학습이 가능합니다.
  • 확장성: 더 많은 데이터와 컴퓨팅 자원을 활용하면 계속 성능을 향상시킬 수 있습니다.

LLM은 챗봇, 검색 엔진, 콘텐츠 생성 등 다양한 분야에서 활용되고 있으며, 인간과 유사한 수준의 언어 이해와 생성 능력을 보여주고 있습니다. 하지만 편향성 문제, 사실 관계 오류 등의 한계점도 지적되고 있어 해결해야 할 과제도 남아있는 상황입니다.

LLM의 장점

LLM(Large Language Model)은 다음과 같은 다양한 장점을 가지고 있습니다:

  1. 광범위한 지식 활용
    • 방대한 양의 텍스트 데이터를 학습하여 다양한 분야의 지식을 습득
    • 학습한 지식을 바탕으로 사용자의 질문에 폭넓고 심도 있는 답변 가능
  2. 뛰어난 언어 이해 및 생성 능력
    • 단어 간의 관계와 문맥을 고려하여 자연스러운 언어 이해 가능
    • 문법적으로 정확하고 의미 있는 문장 생성 능력
  3. 다양한 태스크 수행 가능
    • 텍스트 분류, 질의응답, 요약, 번역, 문장 생성 등 다양한 NLP 태스크 처리 가능
    • 하나의 모델로 여러 태스크를 수행할 수 있어 범용성이 높음
  4. 사용자 친화적인 인터페이스
    • 자연어로 된 사용자 입력을 이해하고 응답할 수 있어 접근성이 좋음
    • 챗봇, 가상 어시스턴트 등으로 활용되어 사용자 경험 향상
  5. 다양한 분야에서의 활용
    • 고객 서비스, 콘텐츠 제작, 교육, 의료 등 다양한 산업 분야에서 활용 가능
    • 사람과 기계 간의 상호작용을 향상시키고 업무 효율성 증대에 기여

LLM의 단점

LLM(Large Language Model)은 많은 장점에도 불구하고 다음과 같은 단점과 한계점을 가지고 있습니다:

  1. 편향성 문제
    • 학습 데이터에 내재된 편향성을 그대로 반영할 수 있음
    • 성별, 인종, 종교 등에 대한 고정관념이나 차별적 표현을 생성할 위험 존재
  2. 사실 관계 오류 가능성
    • 방대한 데이터를 학습하지만, 항상 정확한 정보를 제공하지는 않음
    • 잘못된 정보나 허위 정보를 진실로 간주하고 전파할 수 있음
  3. 맥락 이해의 한계
    • 문장 단위의 이해는 가능하지만, 장문의 글이나 복잡한 맥락 파악은 어려울 수 있음
    • 세계 지식과 상식 추론 능력이 부족하여 심층적인 이해에 한계 존재
  4. 일관성 문제
    • 동일한 입력에 대해 일관된 답변을 생성하지 않을 수 있음
    • 모델의 확률적 특성상 생성 결과가 매번 달라질 수 있어 신뢰성 저하
  5. 윤리적 문제
    • 악용 가능성이 존재하며, 책임 소재 파악이 어려울 수 있음
    • 모델의 출력 결과에 대한 통제와 검증 체계 마련 필요

RAG는 LLM의 단점 중 무엇을 개선하는가?

RAG(Retrieval-Augmented Generation)는 LLM의 단점 중 ‘사실 관계 오류 가능성’과 ‘맥락 이해의 한계’를 개선하는 데 초점을 맞춘 방법입니다. RAG는 LLM에 외부 지식 베이스를 연결하여 모델의 생성 능력과 사실 관계 파악 능력을 향상시키는 기술입니다.

구체적으로 RAG는 다음과 같은 방식으로 LLM의 한계를 보완합니다:

  1. 외부 지식 활용
    • 대규모의 구조화된 지식 베이스(예: 위키피디아)를 모델에 연결
    • 주어진 질의에 대한 관련 정보를 지식 베이스에서 검색 및 추출
  2. 증거 기반 생성
    • 검색된 지식 정보를 증거로 활용하여 보다 사실에 기반한 답변 생성
    • 생성된 답변의 출처를 명시함으로써 신뢰성 향상
  3. 맥락 이해력 향상
    • 외부 지식을 통해 질의에 대한 배경 지식과 맥락 정보를 파악
    • 단순한 패턴 매칭이 아닌 추론 능력을 바탕으로 한 답변 생성

RAG는 기존 LLM의 생성 능력과 외부 지식 베이스의 정보를 결합함으로써, 보다 정확하고 사실에 기반한 답변을 제공할 수 있습니다. 또한 모델의 출력 결과에 대한 증거를 제시할 수 있어 설명 가능성과 신뢰성을 높일 수 있습니다.

RAG 기술은 질의응답, 정보 검색, 팩트 체킹 등의 태스크에서 활발히 연구되고 있으며, 구글의 LaMDA, OpenAI의 WebGPT 등 최신 LLM에도 적용되고 있습니다. 다만 RAG 모델의 성능은 연결된 지식 베이스의 품질과 커버리지에 크게 의존하므로, 고품질의 지식 베이스 구축이 중요한 과제로 남아 있습니다.

 

 

RAG의 기본 개념

RAG(Retrieval-Augmented Generation)는 대규모 언어 모델(LLM)의 한계를 극복하기 위해 제안된 새로운 자연어 처리 기술입니다. LLM은 방대한 양의 텍스트 데이터를 사전 학습하여 강력한 언어 이해 및 생성 능력을 갖추고 있지만, 학습 데이터에 없는 최신 정보나 특정 도메인 지식은 제공하기 어렵다는 단점이 있습니다.

RAG는 이러한 LLM의 한계를 극복하기 위해 ‘지식 검색’과 ‘언어 생성’을 결합한 프레임워크입니다. RAG의 기본 아이디어는 질문에 답하기 위해 필요한 지식을 외부 데이터베이스에서 검색하여 활용하는 것입니다.

RAG의 주요 구성 요소

  1. 질의 인코더(Query Encoder): 사용자의 질문을 이해하기 위한 언어 모델입니다. 주어진 질문을 벡터 형태로 인코딩합니다.
  2. 지식 검색기(Knowledge Retriever): 인코딩된 질문을 바탕으로 외부 지식 베이스에서 관련 정보를 검색합니다. 예를 들어 Wikipedia, 뉴스 기사, 전문 서적 등 방대한 문서 집합에서 질문과 연관된 문단이나 구절을 찾아냅니다.
  3. 지식 증강 생성기(Knowledge-Augmented Generator): 검색된 지식을 활용하여 질문에 대한 답변을 생성하는 언어 모델입니다. 기존의 LLM과 유사하지만, 검색된 지식을 추가 입력으로 받아 보다 정확하고 풍부한 답변을 생성할 수 있습니다.

RAG의 동작 과정 요약

  1. 사용자의 질문이 주어지면 질의 인코더가 이를 이해하기 쉬운 형태로 변환합니다.
  2. 지식 검색기가 인코딩된 질문을 바탕으로 외부 지식 베이스에서 관련 정보를 검색합니다.
  3. 검색된 지식은 지식 증강 생성기의 입력으로 전달됩니다.
  4. 지식 증강 생성기는 검색된 지식을 활용하여 사용자 질문에 대한 답변을 생성합니다.

RAG는 LLM의 강력한 언어 이해 및 생성 능력과 외부 지식 활용을 결합함으로써, 보다 정확하고 풍부한 정보를 제공할 수 있습니다. 특히 최신 정보나 특정 도메인 지식이 필요한 질문에 효과적으로 대응할 수 있다는 장점이 있습니다.

RAG의 등장 배경과 필요성

RAG는 자연어 처리와 인공지능 기술의 발전, 그리고 증가하는 사용자의 요구에 따라 등장하게 되었습니다. RAG의 등장 배경과 필요성을 다음과 같이 정리할 수 있습니다.

  1. 지식 기반 질의응답 시스템의 한계
    • 초기의 질의응답 시스템은 주로 제한된 도메인의 구조화된 데이터를 기반으로 동작했습니다. 이는 시스템이 다룰 수 있는 주제와 질문의 유형이 한정적이라는 문제가 있었습니다.
    • 사용자의 다양한 정보 요구를 충족시키기 위해서는 보다 광범위한 지식을 활용할 수 있는 시스템이 필요하게 되었습니다.
  2. 비정형 텍스트 데이터의 폭발적 증가
    • 인터넷의 발달과 디지털 기기의 보급으로 웹페이지, 뉴스 기사, 소셜 미디어 게시물 등 비정형 텍스트 데이터가 기하급수적으로 증가하고 있습니다.
    • 이러한 대규모 텍스트 데이터는 방대한 지식을 포함하고 있어, 질의응답 시스템의 지식 베이스로 활용할 수 있는 잠재력이 높습니다.
    • 그러나 비정형 데이터를 효과적으로 처리하고 활용하기 위해서는 기존과는 다른 접근 방식이 필요했습니다.
  3. 사전 학습된 언어 모델의 발전
    • BERT, GPT 등 사전 학습된 대규모 언어 모델의 등장은 자연어 처리 분야에 큰 변화를 가져왔습니다.
    • 이러한 언어 모델은 방대한 텍스트 데이터로부터 언어의 구조와 의미를 학습하여, 다양한 언어 이해 및 생성 태스크에서 뛰어난 성능을 보여주었습니다.
    • 사전 학습된 언어 모델을 질의응답 시스템에 활용함으로써, 보다 자연스럽고 문맥을 고려한 답변 생성이 가능해졌습니다.
  4. 실시간 정보 제공에 대한 사용자의 요구 증대
    • 인터넷과 모바일 기기의 발달로 사용자들은 언제 어디서나 필요한 정보를 즉시 얻고자 하는 요구가 커지고 있습니다.
    • 단순히 정보를 검색하는 것을 넘어, 대화형 인터페이스를 통해 원하는 정보를 직관적으로 얻고자 하는 사용자가 늘어났습니다.
    • 이에 따라 사용자의 질문을 이해하고 적절한 답변을 실시간으로 제공할 수 있는 지능형 질의응답 시스템의 필요성이 대두되었습니다.
  5. 지식 검색과 답변 생성의 통합 필요성
    • 기존의 질의응답 시스템은 지식 검색과 답변 생성을 별도의 단계로 처리하는 경우가 많았습니다. 이로 인해 검색된 정보와 생성된 답변 사이의 정합성이 떨어지는 문제가 발생했습니다.
    • 지식 검색과 답변 생성을 통합적으로 수행할 수 있는 프레임워크의 필요성이 제기되었고, 이는 RAG 아키텍처의 등장으로 이어졌습니다.

이러한 배경과 필요성 속에서 RAG는 대규모 비정형 텍스트 데이터를 활용하고, 사전 학습된 언어 모델과 통합 프레임워크를 통해 보다 진보된 형태의 질의응답 시스템을 구현하고자 합니다. RAG는 사용자의 다양한 정보 요구를 만족시키고, 인간과 자연스럽게 상호작용할 수 있는 지능형 대화 시스템의 발전에 기여할 것으로 기대됩니다.

RAG 기술을 적용한 상용 서비스 사례

RAG 기술을 적용한 상용 서비스는 아직 많지 않지만, 몇몇 대표적인 사례들이 있습니다.

  1. Microsoft Bing Search
    • 2023년 2월, Microsoft는 Bing 검색 엔진에 RAG 기술을 적용한 대화형 AI 기능을 추가했습니다.
    • 사용자의 검색 질의에 대해 웹 페이지의 정보를 활용하여 자연어로 응답을 생성합니다.
    • 제공된 응답의 근거가 되는 웹 페이지 링크를 함께 제시합니다.
  2. Anthropic’s Constitutional AI (CAI)
    • Anthropic사는 RAG 기술을 활용한 대화형 AI 모델인 CAI를 개발했습니다.
    • CAI는 대화 과정에서 외부 지식을 활용하여 사용자의 질문에 답변을 생성합니다.
    • 생성된 응답의 근거가 되는 출처를 명시하여 신뢰성을 높였습니다.
  3. Perplexity AI
    • Perplexity AI는 RAG 기반의 질의응답 서비스를 제공하는 스타트업입니다.
    • 사용자의 질문에 대해 웹 검색을 통해 관련 정보를 수집하고, 이를 바탕으로 응답을 생성합니다.
    • 제공된 응답의 출처와 검색 과정을 사용자에게 투명하게 공개합니다.
  4. OpenAI’s WebGPT (in development)
    • OpenAI는 GPT 모델에 RAG 기술을 적용한 WebGPT를 개발 중입니다.
    • WebGPT는 웹 검색을 통해 획득한 지식을 활용하여 사용자의 질의에 대한 응답을 생성할 것으로 예상됩니다.
    • 아직 공개된 서비스는 아니지만, 향후 RAG 기술의 발전 방향을 보여주는 사례로 주목받고 있습니다.

위의 사례들은 RAG 기술의 초기 적용 단계라고 볼 수 있습니다. RAG의 잠재력이 입증됨에 따라 앞으로 더 많은 분야에서 RAG 기반의 서비스들이 등장할 것으로 예상됩니다. 특히 검색 엔진, 가상 어시스턴트, 고객 서비스 등의 분야에서 RAG 기술이 활발히 도입될 것으로 보입니다.

다만 RAG 기술의 상용화를 위해서는 지식 베이스의 품질 관리, 프라이버시 보호, 책임 소재 등의 이슈들이 선결되어야 할 것입니다. 기술적 진보와 함께 사회적, 윤리적 문제에 대한 고민이 병행되어야 RAG가 실생활에 안전하게 적용될 수 있을 것입니다.

참고 자료

[출처] https://modulabs.co.kr/blog/retrieval-augmented-generation/

Loading

13 8월 2024

[인공지능 기술] AI 기반 물리 정보 신경망을 이용한 시뮬레이션

[인공지능 기술] AI 기반 물리 정보 신경망을 이용한 시뮬레이션

AI 기반 물리 정보 신경망을

이용한 시뮬레이션

AI 기반 물리 정보 신경망을 이용한 시뮬레이션

이번 글에서는 시뮬레이션에서 최근 화두가 되고 있는 물리 정보 신경망(Physics-Informed Neural Network, 이하 PINN)에 대해서 다루어 보겠습니다. 여기서 시뮬레이션이라는 것은 유체역학, 전자기학 등 공학 문제를 슈퍼컴퓨터를 이용한 수학적인 방법으로 푸는 것을 말합니다. 자동차 형상, 휴대폰 열설계, 반도체 소자 시뮬레이션 등이 있습니다.

전통적으로 시뮬레이션은 유한차분법(Finite Difference Method), 유한요소법(Finite Element Method), 그리고 유한체적법(Finite Volume Method)이라고 하는 전체 도메인을 작은 요소로 나누어 근사적인 해를 구하는 수치해석적인 방법을 사용하여 시뮬레이션을 하였으며 이 과정에서 엄청난 양의 계산을 위해 슈퍼컴퓨터를 사용하였습니다.

하지만 최근 AI의 발전으로 인해 시뮬레이션 분야에도 AI를 접목시킨 물리 정보 신경망이라는 방법이 연구되기 시작하였습니다. 이 방법은 Inverse 문제와 Ill-posed 문제 등 전통적인 수치해석 기법의 한계를 극복하기 위해 대두되었습니다.

전통적인 수치해석 방법

통상적으로 전통적인 수치해석 방법이라 함은 유한차분법, 유한요소법, 그리고 유한체적법이라고 할 수 있습니다. 이 세 가지 방법은 모두 도메인을 잘게 요소(Element)로 나누어 각 요소에서 수치해석적인 방법을 적용하여 계산합니다. 이렇게 각 요소에서 계산한 값을 모아서 시뮬레이션을 수행합니다.

유한차분법

  • Ui,j+1
  • Ui-1,j / Ui,j / Ui+1,j
  • △y / Ui,j-1
  • △x

유한요소법

  • 노트
  • 요소
  • 기저함수 ∮(x)

유한체적법

  • 체적
  • ⁢Ui >
  • 경계(유동)

[그림 1] 유한차분법, 유한요소법, 유한체적법의 차이

유한차분법의 경우 함숫값의 차이를 이용한 미분계수를 근사하여 편미분 방정식을 푸는 방법입니다. 전방(forward), 후방(backward), 중앙(central) 차분법 등 세 가지로 나눌 수 있으며 테일러 급수 전개를 통해 유도합니다. 직사각격자에 적합하고 알고리즘이 직관적이어서 사용하기 쉽고 병렬계산에 적합하여 학술적인 연구나 간단한 시뮬레이션을 할 경우에 효과적입니다. 선형 문제뿐만 아니라 비선형 문제에도 쉽게 적용 가능하며 특히 유체역학 시뮬레이션에 많이 사용됩니다.

유한요소법의 경우 풀고자 하는 편미분방정식을 적분형으로 표현한 뒤 최종적으로 Ax=b 형태의 선형시스템으로 변환하여 근사해를 구하는 방법입니다. 주로 고체역학이나 전자기학 시뮬레이션 등에 사용되며 GPU 가속 효과가 가장 크고 불규칙한 물체 시뮬레이션에 적합합니다. 유한차분법에 비해 해의 연속성을 유지할 수 있기 때문에 물리적으로 타당한 해를 얻을 가능성이 높습니다.

유한체적법의 경우 보존 법칙을 만족하는 문제를 푸는데 적합하기 때문에 주로 유체역학 시뮬레이션에 사용됩니다. 유한체적의 면을 지나는 유동의 양을 기준으로 유도되며 시뮬레이션 형상에 대해 유연하게 계산을 적용할 수 있습니다. 유한차분법과 마찬가지로 불규칙한 물체를 시뮬레이션하는 데 적합합니다.

물리 정보 신경망의 특징

일반적인 신경망이 물리적 법칙을 고려하지 않고 데이터에 전적으로 의존하는 반면, 물리 정보 신경망은 지배방정식(물리방정식)을 만족하도록 식에 내제되어 있는 물리 정보를 신경망에 도입하는 방법입니다.

일반적인 신경망 학습

  • -> Feature
  • x, y, z ->
  • -> u, v, w, p
  • Prediction ->
  • ⁢ – 학습데이터(feature, label) ->
  • Data loss=label error ⁢ –

물리 정보 신경망 학습

  • -> Feature
  • x, y, z ->
  • Auto Grad
  • -> u, v, w, p
  • Prediction -> (u)
  • ⁢ – Random
  • PDE loss=Physics error ⁢ –

[그림 2] 일반적인 신경망과 물리 정보 신경망의 학습 방법

일반적인 신경망은 학습 데이터만을 사용하여 학습하며 손실 함수는 원본 데이터와 학습 모델에서 예측한 데이터에서의 레이블의 불일치 정도를 최소화하도록 학습하는 반면, 물리 정보 신경망은 물리 방정식 자체를 손실 함수에 사용하여 샘플링한 데이터가 물리 법칙을 만족하도록 학습을 진행합니다.

전통적인 시뮬레이션 방법은 도메인을 작은 요소로 나누어 각각에 대해서 계산합니다. 이 과정에서 도메인을 작은 요소로 나누는 Meshing 기법을 사용하지만 물리 정보 신경망을 사용하면 데이터를 단지 샘플링만 하기 때문에 도메인을 작은 요소로 나누는 등 추가적인 계산이 필요 없어지게 되는 장점이 있습니다. 실제 시뮬레이션은 학습(Train)을 진행한 후 추론(Inference)을 통하여 진행하게 됩니다. 이 과정에서 물리적인 법칙을 만족하는 신경망을 찾았기 때문에 물리 법칙을 만족하는 시뮬레이션이 가능하게 됩니다. 학습에 비해 추론하는 시간은 매우 작기 때문에 시뮬레이션하려는 도메인에 대해 한 번 학습을 진행하면 추론을 통한 반복 시뮬레이션을 매우 빠른 시간에 할 수 있다는 장점이 있습니다.

이러한 장점에도 불구하고 현재 물리 정보 신경망은 학습의 수렴성 문제, 전통적인 시뮬레이션 방법에 비하면 아직은 높지 않은 정확도 등의 단점이 존재하여 최근에는 전통적인 시뮬레이션 방법과 물리 정보 신경망을 이용한 방법을 합친 하이브리드 시뮬레이션에 대한 연구가 시작되고 있습니다.

하이브리드 시뮬레이션

하이브리드 시뮬레이션이란 전통적인 시뮬레이션과 물리 정보 신경망을 이용한 시뮬레이션을 혼합한 방법입니다. 혼합하는 방법에 따라 크게 두 가지 방법이 존재하며 먼저 전통적인 시뮬레이션 방법에 계산시간이 큰 부분을 신경망으로 대체하는 방법에 대해 살펴보겠습니다.

  • old velocity v(t)
  • convolutional neural network ->

convective flux ∮ij / ×d2

  • filter constraints ->uij interpolation / uij interpolation ->
  • x ->

External forcing F(t) ->

  • divergence ->
  • explict timestep ->
  • pressure projection ->
  • New velocity v(t + △t)

[그림 3] 시간이 많이 걸리는 계산을 물리 정보 신경망으로 대체[1]

전통적인 방법이 물리 정보 신경망에 비해 정확도가 높기 때문에 전체적인 프레임워크는 전통적인 수치해석 방법으로 진행하나 시간이 많이 걸리는 계산을 신경망으로 대체하였습니다. 유체해석을 위한 Navier-Stokes 방정식을 푸는 것으로, 단일 Time Step에 대한 흐름도를 보여준 것으로 Convective Flow 계산 시 기존 Standard Numerical Solver를 Convolutional Neural Network을 사용하여 대체하였습니다. 이렇게 하였을 때 전통적인 방법에 비해 상당한 정도의 속도 향상을 이루었다고 합니다.

다른 한 가지 방법으로는 물리 정보 신경망의 빠른 시뮬레이션 속도를 이용하여 근사치까지 신경망으로 계산한 후 더 정확한 계산을 위해 전통적인 수치해석 방법을 사용하는 것입니다.

  • Multogrid V-cycle
  • Finer Grids->

DL Solver on Coarse Grid

  • Gauss-Seidel Iteration / Gauss-Seidel Iteration / Gauss-Seidel Iteration on Coarse Grid

[그림 4] 물리 정보 신경망으로 계산 시간을 줄인 후 전통적인 방법으로 정확도를 보정[2]

도메인의 Mesh를 크게 하여 물리 정보 신경망(Deep Learning Solver 사용)으로 시뮬레이션하여 대략적인 값을 얻은 후 더 정확한 계산을 위해 Gauss-Seidel(Standard Solver)을 사용하는 방법으로 전통적인 수치해석 기반 시뮬레이션에 비해 큰 속도 향상을 얻을 수 있습니다.

결론

최근 화두가 되고 있는 AI 기법을 도입한 물리 정보 신경망에 대해 알아보았습니다. AI의 발전에 따라 시뮬레이션 분야에서도 AI가 도입됨은 어찌 보면 당연한 처사입니다. 또한 AI를 구동할 수 있는 GPU와 같은 가속기의 발전에 따라 물리 정보 신경망은 계속해서 발전할 것으로 예상되며 빠른 시뮬레이션 속도로 인한 실시간 시뮬레이션이 가능하기 때문에 Digital Twin 등 응용 분야가 많은 것이 예상됩니다.

References
[1] Machine learning–accelerated computational fluid dynamics, D Kochkova, JA Smitha, A Alieva, Q Wanga, MP Brenner, and S Hoyera, Proceedings of the National Academy of Sciences, 2021
[2] The Old and the New: Can Physics-Informed Deep-Learning Replace Traditional Linear Solvers?, S Markidis, Frontiers in Big Data, 2021

[출처] https://www.samsungsds.com/kr/insights/physics_informed_neural_network.html

문기효
문기효 인공지능/애널리틱스 전문가

삼성SDS 고성능컴퓨팅연구Lab

슈퍼컴퓨터를 이용한 수치해석 분야를 연구하여 박사학위를 취득하였습니다. LLM 추론 및 HPC 시뮬레이션 가속을 연구하고 있으며 양자 컴퓨팅 등 미래 컴퓨팅 기술에 관심이 많습니다.

Loading

12 8월 2024

[알아봅시다] 인터넷 커뮤니티 ‘짤방’, 전력 낭비 주범 될까

[알아봅시다] 인터넷 커뮤니티 ‘짤방’, 전력 낭비 주범 될까

인터넷 커뮤니티 ‘짤방’, 전력 낭비 주범 될까

입력
온라인에서 이뤄지는 다양한 콘텐츠 생성 활동을 표현한 이미지. 게티이미지뱅크

온라인에서 이뤄지는 다양한 콘텐츠 생성 활동을 표현한 이미지. 게티이미지뱅크

디지털 기기에서 한 번 쓰고 다시는 사용하지 않는 ‘정크(쓰레기) 데이터’를 저장하는 데 많은 전력 에너지가 소모되고 있다는 지적이 나왔다. 온라인 커뮤니티 이용이 활발해지면서 개인이 생성하는 사소한 게시글들이 방대한 저장공간을 차지하게 됐다는 것이다.

전문가들은 이같은 정크 데이터를 저장하기 위해 낭비되는 전력이 당장 걱정할 수준은 아니라고 말하면서도 장기적인 탄소 배출 저감을 위해 쓸모없는 데이터는 곧바로 삭제하는 습관을 가질 것을 권고했다.

12일 영국 가디언에 따르면 에너지회사 내셔널그리드는 2030년까지 디지털 데이터를 저장하기 위한 데이터 저장소가 영국 전체 전력소비량의 6%를 차지할 것이란 분석을 최근 내놨다.

기후 위기 전문가들은 앞으로 디지털 데이터 저장소가 기후 위기를 위협하는 요인 중 하나로 주목받을 것이라 전망했다. 더 이상 사용되지 않는 정크 데이터가 기후에 미치는 영향을 조사해온 이안 호지킨슨 영국 러프버러대 교수는 “디지털 데이터는 굉장히 복합한 방식으로 환경에 영향을 미친다”고 말했다.

호지킨슨 교수에 따르면 기업에서 사용되는 데이터의 68%는 다시는 사용되지 않는다. 개인의 데이터 또한 이와 비슷한 수준으로 생성된 이후 다시는 쓰이지 않은 채 잠들어 있는 것으로 추정됐다.

그는 “개인 사용자들이 만드는 이미지, 인스타그램 게시물 등 모든 디지털 데이터를 온라인 상에 보관하기 위해선 에너지가 필요하다”며 “사소한 데이터라도 생성과 보관 과정에서 일정한 탄소가 배출되는 것”이라고 설명했다.

앞선 연구에 따르면 일반적인 업무용 이메일을 1개 발송하는 데는 4g의 탄소가 배출된다. 인터넷 커뮤니티에 글을 올리거나 재밌는 이미지를 저장하기 위해 스마트폰을 전기로 충전하는 행위 등이 모두 탄소 배출로 이어질 수 있다는 것이다. 개인이 생성하는 디지털 데이터 양이 쌓이면 상당한 수준의 에너지 소모 요인이 될 수 있다고 전문가들은 꼬집었다.

호지킨슨 교수는 “하나의 온라인 커뮤니티 게시글이 기후에 급격한 영향을 미치진 않겠지만 이러한 디지털 데이터 생성과 보관 양상은 에너지 소비 측면에서 눈여겨 볼 필요가 있다”고 말했다.

그는 이어 “데이터가 더 많이 저장될수록 저장 시스템을 사용하기 위해 더 많은 비용을 지불해야 한다”며 한번 소비된 후에 아무도 열람하지 않는 휘발성 데이터를 관리할 필요성을 제기했다.

Loading

4 8월 2024

[생물 및 의학(건강)] 잠 부족하면 학습능력·기억력 떨어지는 원인 찾았다

[생물 및 의학(건강)] 잠 부족하면 학습능력·기억력 떨어지는 원인 찾았다

잠 부족하면 학습능력·기억력 떨어지는 원인 찾았다

입력
영국 에든버러대, 미국 워싱턴주립대 등 공동연구팀이 쥐 실험을 통해 수면 부족으로 인해 학습과 기억과 관련된 뇌 신경세포(뉴런)가 만나는 곳의 시냅스 종류가 줄어드는 현상을 규명했다. 게티이미지뱅크 제공

영국 에든버러대, 미국 워싱턴주립대 등 공동연구팀이 쥐 실험을 통해 수면 부족으로 인해 학습과 기억과 관련된 뇌 신경세포(뉴런)가 만나는 곳의 시냅스 종류가 줄어드는 현상을 규명했다. 게티이미지뱅크 제공

수면 부족은 뇌에 영향을 미쳐 학습력과 기억력을 저하시키는 것으로 알려져 있다. 수면 부족으로 인한 뇌 기능 저하 원인이 수면 부족시 뇌 세포가 서로 연결되는 방식의 다양성을 줄이기 때문이라는 연구결과가 나왔다.

영국 에든버러대, 미국 워싱턴주립대 등 공동연구팀이 쥐 실험을 통해 수면 부족으로 인해 학습과 기억과 관련된 뇌 신경세포(뉴런)가 만나는 곳의 시냅스 종류가 줄어드는 현상을 규명한 연구 결과를 2일 ‘커런트 바이올로지’에 실었다.

뉴런은 시냅스를 통해 전기 신호를 다른 뉴런으로 전달해 신경계를 통과할 수 있도록 한다. 2000년대 초반에는 수면 시 뇌의 시냅스 움직임이 감소함으로써 에너지를 보존하고 다음 날 새로운 정보를 입력하기 위해 준비하며 이는 기억력 향상에 중요한 역할을 한다고 알려졌다.

세스 그랜트 에든버러대 교수는 “시냅스가 신호를 보내는 데 사용하는 화학물질, 신경전달물질 종류가 다양하며 뉴런 주변 단백질의 구조와 구성도 다채롭다”며 “연구팀은 뇌의 이같은 다양성을 스냅샷으로 찍는 기술을 개발했다”고 말했다. 이 기술을 통해 연구팀은 정상적으로 잠을 잔 쥐와 하루 중 6시간만 잠을 잔 쥐의 뇌를 촬영했다.

촬영한 사진을 분석한 결과 두 집단의 시냅스 연결 총 개수는 비슷했다. 하지만 수면이 부족한 집단에서 시냅스 연결의 종류가 줄어들어 다양성이 떨어졌다. 특히 시냅스 연결 종류는 학습과 기억과 관련된 뇌의 두 영역인 피질과 해마에서 크게 감소했다.

연구팀은 “수면 부족이 어떻게 이같은 변화를 일으키는지는 불분명하지만 수면 부족이 뉴런의 단백질 합성을 늦출 수 있다는 것을 보인 이전 연구 결과를 참고할 수 있다”면서 “이번 연구 결과는 수면이 뇌의 기억 관련 영역에서 시냅스 다양성을 보존하는 데 중요한 역할을 한다는 것을 시사한다”고 말했다.

<참고자료>
doi: 10.1126/science.z7g5myx

Loading

30 7월 2024

[인공지능 기술] ‘집컴’으로 실행한 일기예보 AI, 슈퍼컴 이겼다

[인공지능 기술] ‘집컴’으로 실행한 일기예보 AI, 슈퍼컴 이겼다

‘집컴’으로 실행한 일기예보 AI, 슈퍼컴 이겼다

입력
“허리케인 경로 정확히 예측”

8일(현지시간) 허리케인 베릴이 휩쓸고 간 미국 텍사스 베이시티의 한 집 앞에 나무가 뿌리채 뽑혀 쓰러져 있다. AP/연합뉴스 제공

8일(현지시간) 허리케인 베릴이 휩쓸고 간 미국 텍사스 베이시티의 한 집 앞에 나무가 뿌리채 뽑혀 쓰러져 있다. AP/연합뉴스 제공

일반 가정용 컴퓨터나 노트북 수준의 사양으로 실행할 수 있는 인공지능(AI) 프로그램이 슈퍼컴퓨터보다 허리케인 경로를 정확히 예측해 화제다.

미국 뉴욕타임스(NYT)는 29일(현지시간) 보도를 통해 7월 초 미국을 강타한 허리케인 ‘베릴’의 경로를 예측한 AI와 슈퍼컴퓨터를 비교하며 미래 기상예보에서 AI의 역할에 대해 조명했다.

7월 초 유럽 중기기상예보센터(ECMWF)와 미국 국립허리케인센터는 허리케인 베릴의 최종 상륙 위치가 멕시코 부근일 가능성이 가장 높을 것이라고 예측했다. 비행기, 부표, 우주선 등을 통해 모은 전 세계 관측 자료를 바탕으로 거대 슈퍼컴퓨터의 계산을 통해 만든 예보였다.

같은 시기 구글 딥마인드가 만든 일기예보 AI인 그래프캐스트(GraphCast)는 베릴이 텍사스에 상륙할 것으로 예측했다. 기상기관의 슈퍼컴퓨터보다 훨씬 작은 컴퓨터에서 구동된 AI 프로그램은 지구 대기에 대해 학습한 내용만을 바탕으로 예보했다.

7월 8일 베릴은 텍사스를 강타해 최소 36명이 사망하고 수백만 명의 주민들이 정전 피해를 입었다. AI 프로그램이 거대 슈퍼컴퓨터보다 더 정확하게 허리케인의 경로를 예측한 것이다.

지구의 날씨는 여러 가지 요인이 복합적으로 작용해 예측이 매우 어렵다. 지구 기울기, 흔들림, 바람, 비, 구름, 기온과 기압 등 변수가 많아 앞으로의 날씨를 예측하기 위해 거대한 크기의 슈퍼컴퓨터의 계산 능력이 필요하다. 그럼에도 일기예보는 며칠 후나 몇 시간 뒤 날씨 예측에 실패할 정도로 쉽지 않은 영역이다.

인간의 학습 방식을 모방하는 AI는 특히 ‘패턴 인식’에 강점을 보인다. 측정값과 예측값의 수많은 계산을 수행하는 대신 복잡한 데이터 속에서 인간이 식별하기 어려운 패턴을 찾아내 빠르게 날씨를 예측하는 것이다.

그래프캐스트 연구팀의 수석 과학자인 레미 램은 뉴욕타임스에 “유럽 예보 센터에서 수집한 40년간의 전 세계 기상 관측 자료를 바탕으로 AI를 훈련시켰다”며 “슈퍼컴퓨터에서 한 시간 이상 걸리는 10일 예보를 단 몇 초 만에 만들어낼 수 있다”고 말했다.

그는 “그래프캐스트는 AI용으로 설계된 컴퓨터에서 가장 잘 작동하지만 일반 데스크톱 컴퓨터나 노트북에서도 작동할 수 있다”고 덧붙였다. 예보를 생성하는 데 더 이상 거대 슈퍼컴퓨터가 필요하지 않을 수도 있다는 뜻이다.

AI는 허리케인 진로를 성공적으로 예측했지만 해일이나 바람 등 다른 기상 요소도 정확히 예측하려면 아직 발전이 더 필요하다는 분석이다.

각국 기상 전문가들은 AI 시스템이 슈퍼컴퓨터의 접근방식을 보완할 수 있을 것으로 보고 적극적인 움직임을 보이고 있다. 유럽 ECMWF는 그래프캐스트뿐 아니라 미국 엔비디아, 중국 화웨이 등 IT 기업에서 만든 AI 예측 프로그램도 도입하는 것으로 알려졌다. 미국 국립허리케인센터도 새로운 AI 프로그램을 평가해 활용할 수 있을 것이라는 입장을 밝혔다.

Loading

23 7월 2024

[알아봅시다] 뉴욕 타임스퀘어도 꺼졌다…초연결 시대 ‘IT대란 반복’의 서막

[알아봅시다] 뉴욕 타임스퀘어도 꺼졌다…초연결 시대 ‘IT대란 반복’의 서막

뉴욕 타임스퀘어도 꺼졌다…초연결 시대 ‘IT대란 반복’의 서막

입력
초연결 사회가 심화되면서 IT 대란이 반복될 위험이 높아졌다. Thapana Onphalai/게티이미지뱅크 제공.

초연결 사회가 심화되면서 IT 대란이 반복될 위험이 높아졌다. Thapana Onphalai/게티이미지뱅크 제공.

지난 19일 전 세계 전산망 시스템이 동시다발적으로 ‘먹통’됐다. 전 세계가 인터넷으로 연결되는 ‘초연결 사회’인 오늘날 이번 사태는 지속 반복될 것이라는 게 전문가들의 공통적인 지적이다. 실효성 있는 대책이 강구돼야 한다는 목소리다.

이번 ‘IT 대란’으로 항공기 4만대의 운항이 지연되고 주요 은행과 증권거래소, 방송국 등은 서비스에 차질을 빚었다. 화려한 불빛으로 가득한 미국 뉴욕 타임스퀘어는 전광판이 꺼졌고 생명을 다루는 병원에서는 수술이 취소되는 등 우려스러운 상황이 벌어졌다. 국내에서는 10개 기업이 피해를 입었고 정부는 사이버 공격 등에 대비하는 긴급 조치에 나섰다.

이번 사태는 마이크로소프트 윈도와 보안업체 크라우드스트라이트의 보안 패치 충돌로 일어난 것으로 파악되고 있다. 윈도 시스템이 정상 종료되지 않으면서 전산망 마비가 일어났다.

KT, 네이버 클라우드 등 주요통신사업자 26곳은 이번 IT 대란의 영향을 받지 않은 것으로 전해진다. 하지만 지난 2022년 SK C&C 판교 클라우드 데이터센터 화재 사건에서 카카오 서비스가 중단된 것처럼 주요통신사업자 또한 언제든 피해를 입을 수 있다.

● 소프트웨어 상호작용 심화…피해 규모 점점 커질 것

이번 IT 대란은 온라인에 대한 높은 의존도가 한 국가를 넘어 전 세계적으로 통신 마비를 일으키고 혼란을 일으킬 수 있다는 점을 보여줬다. 앞으로 이와 유사한 사고가 더욱 큰 규모로 발생할 수 있다.

강동호 한국전자통신연구원(ETRI) 사이버보안연구본부 차세대시스템보안연구실 실장은 “오늘날 소프트웨어는 오픈소스, 외부소프트웨어 등 상호의존성이 심화됨에 따라 점점 더 복잡해지고 있다”며 “다양한 소프트웨어가 서로 상호작용하면서 예기치 않은 충돌이나 버그가 발생할 가능성이 높다”고 말했다.

이어 “특히 보안 패치나 업데이트는 시스템 핵심 기능에 영향을 미칠 수 있기 때문에 충돌 위험이 늘 존재한다”며 “피해 규모는 점점 증가할 것으로 예상된다”고 덧붙였다.

소프트웨어 충돌 위험은 물론 사이버 공격, 프라이버시 침해 등의 위험도 존재한다. 강 실장은 “기업 대상 데이터 유출, 랜섬웨어 공격 증가, 국가 기반 시설에 대한 공급망 보안 위협, 클라우드 서비스에 대한 공격 등 사이버 위협이 예상된다”며 “또 AI 의존성 증가 및 과도한 권한 부여에 대한 대응 능력 부재, 의사결정의 편향성으로 인한 문제가 확대될 것으로 보인다”고 설명했다.

● 美 보안 강화 행정명령 시행…국내도 실효성 있는 지침 필요

디지털 기술과 인터넷의 영향으로 세계가 긴밀히 연결되는 초연결·초지능 사회에서는 사이버 보안 위협이 확대되고 기술적 장애, 프라이버시 침해 등의 문제가 발생할 것으로 예상되는 만큼 향후 또 다시 발생할 IT 대란에 미리 대비해야 한다는 목소리가 커지고 있다.

2020년 미국 정부는 러시아 해커 조직이 소프트웨어 개발사인 솔라윈즈 네트워크에 침입해 고객사 1만8000여곳에 제공하는 소프트웨어에 백도어를 심었다는 사실을 발견했다. 이 사건으로 미국 법무부, 국방성, 국토안보부, 재무부 등 연방 정부 기관 최소 9곳과 MS, 맨디언트, 인텔, 시스코, 팔로 알토 네트워크스 등 빅테크 기업이 피해를 입었다.

조 바이든 당시 미국 대통령은 정보시스템 보안을 강화하는 ‘행정명령 14028’을 시행했다. 연방 정부의 사이버 보안을 강화하고 소프트웨어 공급망 보안을 개선해 정부의 정보시스템을 보호한다는 목표다.

국내에서도 이처럼 실질적 효과를 낼 수 있는 조치가 필요하다는 게 전문가 설명이다. 강 실장은 “한국 정부도 공급망 보안 가이드라인을 제시하고 있지만 실효성 있는 규제 지침으로 확대하는 노력이 필요하다”고 말했다.

이어 “기업 차원에서는 보안 운영 센터(SOC)를 구축해 실시간으로 보안 패치와 관련된 문제를 모니터링해야 한다”며 “정기적인 보안 점검을 통해 패치 적용 상태와 호환성을 확인하고 장애에 신속한 복구 조치 등을 취할 수 있는 보안 관리 체계를 시급히 구축해야 할 것”이라고 설명했다.

Loading

9 7월 2024

[인공지능 기술] GPU 추가 없이 메모리 확장, 대규모 AI 활용 성능 2배 ‘업’

[인공지능 기술] GPU 추가 없이 메모리 확장, 대규모 AI 활용 성능 2배 ‘업’

GPU 추가 없이 메모리 확장, 대규모 AI 활용 성능 2배 ‘업’

입력
KAIST 연구진

컴퓨트 익스프레스 링크(CXL, Compute Express Link) 기술은 GPU를 추가하지 않고도 GPU 메모리를 확장할 수 있는 기술이다. KAIST 제공

컴퓨트 익스프레스 링크(CXL, Compute Express Link) 기술은 GPU를 추가하지 않고도 GPU 메모리를 확장할 수 있는 기술이다. KAIST 제공

국내 연구팀이 인공지능(AI) 기술 구현의 핵심인 그래픽처리장치(GPU)의 메모리 확장 기술을 개선해 성능을 끌어올렸다.

KAIST는 정명수 전기및전자공학부 교수팀이 차세대 인터페이스 기술인 ‘컴퓨트 익스프레스 링크(CXL, Compute Express Link)’가 활성화된 고용량 GPU의 메모리 읽기·쓰기 성능을 최적화하는 기술을 개발했다고 8일 밝혔다. 연구결과는 7월 미국 유즈닉스(USENIX) 연합 학회와 핫스토리지 연구 발표장에서 선보일 예정이다.

최신 대규모 언어모델(LLM)은 추론·학습에 수십 테라바이트(TB, 1TB는 1024GB)의 메모리가 필요하다. 단일 GPU의 내부 메모리 용량은 수십 기가바이트(GB) 수준이라 단독으로 언어 모델을 활용하는 것은 불가능하다. 일반적으로 GPU 여러 개를 연결하는 방식을 사용하지만 최신 GPU의 높은 가격이 걸림돌이다.

대용량 메모리 장치를 GPU에 연결해 메모리 크기를 확장하는 ‘CXL-GPU’ 구조가 산업계에서 주목받고 있다. 메모리 용량을 늘리기 위해 값비싼 GPU를 추가로 구매할 필요가 없기 때문이다. 하지만 GPU에 연결된 메모리 확장 장치의 읽기·쓰기 속도가 GPU 내부 메모리와 비슷한 수준으로 구현돼야 대규모 AI 서비스에 활용될 수 있다.

연구팀은 CXL-GPU의 메모리 읽기·쓰기 성능이 저하되는 원인을 분석하고 이를 개선했다. 확장된 메모리의 쓰기 작업 완료 여부를 기다리지 않고도 동시에 GPU 내부 메모리에도 쓰기 작업을 할 수 있도록 해 쓰기 성능을 개선한 것이다. 읽기 작업에서도 확장된 메모리 장치에서 필요한 읽기 작업을 미리 수행할 수 있도록 해 읽기 성능을 향상시켰다.

국내 반도체 팹리스 스타트업인 파네시아(Panmnesia)의 CXL-GPU 프로토타입을 활용해 성능을 검증한 결과 기존 GPU 메모리 확장 기술보다 AI 서비스를 2.36배 빠르게 실행할 수 있는 것으로 나타났다.

정명수 교수는 “CXL-GPU 시장 개화 시기를 앞당겨 대규모 AI 서비스를 운영하는 기업의 메모리 확장 비용을 획기적으로 낮추는 데 기여할 것”이라고 밝혔다.

Loading

30 6월 2024

[정보 (및 수학)]당신이 ‘=’의 의미를 모두 안다고 생각한다면 ‘착각’

[정보 (및 수학)]당신이 ‘=’의 의미를 모두 안다고 생각한다면 ‘착각’

당신이 ‘=’의 의미를 모두 안다고 생각한다면 ‘착각’

입력
두 개의 대상이 서로 같다는 것을 나타낼 때 사용하는 기호 ‘=’를 '등호'라고 한다. 게티미지뱅크 제공

두 개의 대상이 서로 같다는 것을 나타낼 때 사용하는 기호 ‘=’를 ‘등호’라고 한다. 게티미지뱅크 제공

두 개의 대상이 서로 같다는 것을 나타낼 때 사용하는 기호 ‘=’를 ‘등호’라고 한다. 최근 컴퓨터로 수학 문제 증명을 시도하는 수학자들이 =의 의미가 불분명해 컴퓨터 증명에 어려움을 겪고 있다는 내용의 논문을 발표했다. ‘같음’의 정의에 대해 수학계에서 다시 한번 생각해봐야 한다는 메시지다.

케빈 버자드 영국 임페리얼대 교수 연구팀은 지난달 논문 공개사이트 ‘아카이브’에 논문 형식의 결과 보고서를 발표했다. 버자드는 수학 역사상 가장 유명한 정리인 ‘페르마의 마지막 정리’를 컴퓨터 언어를 이용해 증명하고 있는 수학자로 유명하다. 정확히 말하면 1995년 영국의 수학자 앤드루 와일스가 증명한 내용 등을 ‘린(Lean)’으로 검증하고 있다. 린은 마이크로소프트 리서치팀이 2013년 개발한 수학 증명을 검증하는 소프트웨어다.

버자드 교수는 린에 컴퓨터 언어인 ‘코드’로 증명 내용을 변환해 입력하는 과정에서 =를 컴퓨터에 이해시키는 것이 까다롭다는 사실을 발견했다. =를 수학자마다 혹은 분야별로 조금씩 다른 의미로 쓰고 있었기 때문이다. 지금까지 cm, km 같은 단위 기호처럼 수학기호의 의미를 전세계가 공식적으로 확정하는 절차가 없었다.

=가 다양하게 쓰이는 이유는 근본적으로 같음에 대해 사람들의 생각이 다르기 때문이다. 예를 들어 ‘2+2=4’는 2+2와 4가 같다는 의미다. 대부분 동의하는 식이겠지만 형식과 모양을 판단 기준으로 한다면 두 개의 2가 +를 가운데 두고 있는 모양이 숫자 4가 하나밖에 없는 모양과 아예 다르다고 할 수 있다.

이처럼 수학에서는 같음을 다양하게 정의할 수 있다. 예를 들어 수학의 한 분야인 ‘위상수학’에서는 도넛과 커피잔이 같으므로 도넛=커피잔이라고 쓸 수 있다.

위상수학은 단순히 길이나 크기 같은 직관적인 수치 비교를 넘어 추상적인 물체들의 성질을 연구하는 분야다. 위상수학에서는 구멍을 내거나 가위로 자르지 않고 어떤 도형을 찰흙처럼 주물러 다른 도형으로 만들 수 있으면 두 도형을 같다고 정의한다. 위상수학자들은 도형의 점, 선, 면의 위치 관계에만 관심이 있기 때문에 도넛과 커피는 구멍이 하나인 물체로 같다. 하지만 다른 분야에서 도넛과 커피잔은 다른 물체다.

수리철학을 연구하는 최정담 ‘발칙한 수학책’ 작가는 “{a, b, c}와 {1, 2, 3}은 ‘집합의 크기’에만 집중하는 수학자에게는 {a, b, c}={1, 2, 3}다”라면서 “누군가에게 ‘다름’인 명제가 누군가에겐 ‘같음’일 수 있다”고 설명했다. 버자드 교수는 과학 온라인 매체 ‘뉴사이언티스트’에 “현대 수학자들은 다소 느슨하게 =를 사용하고 있다”고 말했다. 수학자들이 =에 대한 개념 정의를 확실히 하지 않은 채 쓰고 있다는 말이다. 심지어 같음을 나타내는 기호도 = 외 여러 개 존재한다.

이같은 이유로 버자드 교수는 =를 컴퓨터에 이해시키기 어렵다고 설명했다. 수학 증명의 문맥을 이해한 뒤 여기서 쓰인 =의 의미를 밝혀내고 컴퓨터에 입력해야 하기 때문이다.

버자드 교수의 논문이 주목받는 이유는 최근 수학계에서 인공지능(AI)이 수학 연구 방법을 완전히 바꿀 것으로 기대하고 있기 때문이다. 수학자가 AI 도구를 이용해 새로운 추측을 제시하고 린의 도움을 받아 정확히 증명하는 미래를 꿈꾸고 있다. 이를 위해서는 컴퓨터가 현재 수학의 내용을 완벽히 이해해야 한다. 버자드 교수의 이번 논문은 수학계가 앞으로 겪을 어려움을 미리 보여준다는 의미가 있다.

Loading

27 6월 2024

[인공지능 기술] “대학에서 고득점 받은 AI가 쓴 답안, 걸러지지 않았다”

[인공지능 기술] “대학에서 고득점 받은 AI가 쓴 답안, 걸러지지 않았다”

“대학에서 고득점 받은 AI가 쓴 답안, 걸러지지 않았다”

입력
챗GPT-4가 작성한 답안이 영국 대학 시험 시스템에서 거의 탐지되지 않고 실제 학생들이 낸 답안보다 고득점한 것으로 나타났다. 게티이미지뱅크 제공

챗GPT-4가 작성한 답안이 영국 대학 시험 시스템에서 거의 탐지되지 않고 실제 학생들이 낸 답안보다 고득점한 것으로 나타났다. 게티이미지뱅크 제공

영국 연구팀이 인공지능(AI)으로 생성한 답안이 실제 대학교 시험에서 탐지망을 뚫고 학생들이 직접 작성해 제출한 답안보다 더 높은 점수를 받았다는 연구결과를 내놨다. 과학자들은 챗GPT 등 AI 도구 사용이 대중화되면서 교육과 평가 시스템에 대책 마련이 필요하다고 지적했다.

피터 스카프 영국 레딩대 심리학 및 임상언어과학과 교수 연구팀은 대학교 시험 시스템에서 AI로 생성한 답안이 걸러지지 않고 학생들이 제출한 것보다 높은 점수를 받았다는 사실을 실험으로 밝혀내고 연구결과를 26일(현지시간) 국제학술지 ‘플로스원’에 공개했다.

챗GPT와 같은 AI 도구가 최근 급속도로 발전하고 보급되면서 학생들이 AI로 생성한 내용을 자기 이름으로 제출하는 부정행위에 대한 우려가 커지고 있다. 특히 신종 코로나바이러스 감염증(코로나19) 대유행 시기에 다수 대학이 재택 시험으로 전환하고 이를 유지하는 경우가 많아 문제는 더욱 심각하다.

연구팀은 챗GPT-4가 100% 작성한 답안을 생성한 뒤 가짜 학생 33명으로 위장하고 레딩대 심리학 및 임상언어과학부 시험 시스템에 제출했다. 채점자들은 연구에 대해 전혀 몰랐다.

그 결과 AI가 제출한 답안 중 94%가 탐지되지 않은 것으로 나타났다. AI가 생성한 답안이 실제 학생이 작성해 제출한 답안보다 평균적으로 더 높은 점수를 받았다. 학생들이 AI를 이용해 시험 부정행위를 할 수 있을 뿐만 아니라 부정행위를 하지 않은 학생보다 더 좋은 성적을 받을 수도 있는 것이다. 연구팀은 “실제 학생 중 상당수가 이미 AI가 생성한 답안으로 부정행위를 했을 수 있다”고 설명했다.

지난해 유네스코가 450개 학교를 대상으로 실시한 설문조사에 따르면 생성형 AI 사용에 대한 정책·지침이 있는 학교는 10% 미만인 것으로 나타났다. 연구팀은 전 세계 교육계가 새로운 정책과 지침을 마련해 문제를 해결해야 한다고 촉구했다.

연구팀은 “대면 시험으로 돌아가는 것이 문제를 해결하는 데 도움이 될 수도 있지만 AI 도구는 계속 발전하고 직장에서도 쓰이는 중”이라며 “전 세계 교육계가 AI에 맞서 진화해야 한다”고 지적했다.

<참고 자료>
– doi.org/10.1371/journal.pone.0305354

Loading