21 9월 2024

2024-07-s03-등기부등본자동등록프로그램-개발

2024-07-s03-등기부등본자동등록프로그램-개발

Kmong_work_2024-07-s03-등기부등본자동등록프로그램-개발 2024-09-21-01 블로그 포스팅 cf8157b0-46e9-4e97-b309-1f3672cb0b41-제목입력.png

프로그램 주요 기능:

  1. 등기부등본 PDF 자동 처리: 지정된 폴더에 PDF 파일이 저장되면 자동으로 분석하여 데이터베이스에 등록.
  2. 처리 완료 및 오류 관리: 처리 완료된 파일은 별도 폴더로 이동, 에러 발생 시 에러 폴더로 이동.
  3. 로그 파일 저장: 작업 내역을 로그 파일로 날짜별로 저장.
  4. DB 설정 및 모니터링 주기 설정: 설정된 DB와 모니터링 주기(1분, 5분, 10분 등)에 따라 파일을 처리.
  5. 모니터링 및 파일 처리: 모니터링 중 파일이 자동으로 처리되며, 바로 처리 기능도 제공.
  6. 처리 현황 출력: 파일 처리 상태를 시간 순서대로 화면에 출력.
  7. PDF 파싱 후 Postgres DB에 데이터 저장: 등기부등본 PDF 파일을 파싱하여 데이터베이스에 저장.

데이터베이스 관련:

  • 주요 테이블aut_dg_mst (등기부등본 마스터), aut_dg_poje (표제부), aut_dg_gabeul (부동산 등기부 갑구/을구 데이터).
  • DB 설정 정보: DB IP, Port, Name 등.
이 프로그램의 핵심 아이디어는 등기부등본 PDF 파일을 자동으로 분석하고 데이터베이스에 저장한 후, 파일 처리 상태를 모니터링하며 로그를 남기는 것입니다.
이를 기반으로 프로그램의 흐름을 시각적으로 나타낼 그림을 제안합니다:
  1. 파일 폴더 구조도: 입력 폴더, 처리 완료 폴더, 에러 폴더 간의 흐름.
  2. 자동화 프로세스: PDF 파일이 입력되면 자동 분석되고, DB에 저장된 후 처리 상태가 업데이트되는 모습.
  3. 모니터링 화면: 프로그램이 처리 현황과 로그 파일을 표시하는 모습.

Loading

18 9월 2024

[openai, chatgpt] [써보고서] “정말 미쳤다”…오픈AI 新모델 ‘o1’ 추론 능력에 ‘감탄’

[openai, chatgpt] [써보고서] “정말 미쳤다”…오픈AI 新모델 ‘o1’ 추론 능력에 ‘감탄’

[써보고서] “정말 미쳤다”…오픈AI 新모델 ‘o1’ 추론 능력에 ‘감탄’

입력 
수정2024.09.13. 오후 2:37
우수한 수학·논리 추론 능력 ‘눈길’…긴 처리시간·횟수 제한 등은 아쉬워“다른 인공지능(AI)에게 물어봐도 한 번도 맞힌 적 없는 문제들을 한글로 한 번에 해결하네. 이 모델은 정말 미쳤다.”

13일 공개된 오픈AI의 인공지능(AI) 모델 ‘o1’에 대해 국내 관련 커뮤니티에서는 찬사가 이어졌다. 사용자들이 모델 성능을 비교하기 위해 넣었던 난해한 논리학 문제와 수학 문제들을 직접 생각하고 모두 해결했기 때문이다. 론칭 당일 새벽부터 모니터링하던 기자도 직접 다양한 테스트를 진행해 봤다.

추론과 수학 논리에 특화된 AI…뛰어난 문제 해결 능력 ‘눈길’

우선 간단한 실험으로 단어 내 특정 알파벳 개수를 세는 테스트를 진행했다. 기존의 거대언어모델(LLM) 대다수는 숫자 세기에 약점을 보였지만 ‘o1’은 ‘strawberry’에 포함된 ‘r’의 개수를 묻자 2초 만에 정확히 3개라고 대답했다.

‘o1’은 단어 ‘strawberry’의 ‘r’이 3개임을 2초만에 간파했다. (사진=챗GPT 캡처)
논리학 문제에서도 뛰어난 성능을 보였다. 멘사 등에서 사용하는 ‘아이의 나이 맞추기’ 문제를 제시하자 ‘o1’은 정확한 답을 도출했다.

문제는 러시아 수학자 이반과 이고르의 대화로, 아들들의 나이의 곱이 36이고 합이 오늘 날짜라는 힌트를 기반으로 아들들의 나이를 추론하는 것이었다. 기존 GPT-4 모델은 오답을 제시했지만 ‘o1’은 아들들의 나이가 1, 6, 6이며 오늘 날짜가 13일임을 정확히 맞혔다.

또 복잡한 추리 문제가 포함된 도난 사건에서도 ‘o1’은 정확한 범인을 지목했다. 여러 용의자의 진술과 거짓말이 섞인 상황에서 ‘찰리’와 ‘존무드’가 범인임을 밝혀내며 논리적 추론 능력을 입증했다.

논리학 도둑 문제를 수월하게 해결한 ‘o1’ (사진=챗GPT 캡처)
일상에서 사용하지 않는 논리학 문제 대신 복잡한 문장의 해석 능력도 확인해 봤다. 한때 국내에서 밈이 됐던 “나 아는 사람 강다니엘 닮은 이모가 다시 보게 되는 게 다시 그때처럼 안 닮게 엄마 보면 느껴지는 걸 수도 있는 거임? 엄마도?”라는 난해한 비문을 제시하자 ‘o1’은 그럴듯한 해석을 내놓았다.

‘o1’은 화자의 말을 “강다니엘을 닮은 이모를 다시 보았을 때 예전만큼 닮았다고 느끼지 못했다”며 “이런 느낌이 어머니를 본 후에 생긴 것일 수 있는데, 어머니도 같은 생각을 하시는지 궁금하다”는 뜻으로 해석했다.

강다니엘 문제를 해결하는 ‘o1’ (사진=챗GPT 캡처)
이처럼 ‘o1’은 복잡한 문장의 의미를 자연스럽게 이해하고 해석하는 능력을 보여줬다.

막대한 토큰 사용 추정…응답 시간과 사용 횟수 제한은 아쉬워

일부 아쉬운 부분도 있었다. 간단한 질문에도 응답 시간이 10초 이상 소요되는 경우가 있어 실시간 활용에 제약이 있었다.

국내 커뮤니티 유저 한 유저는 ‘고맙다’는 답을 듣기 위해 10초가 소요됐다는 비판을 제기한 바 있다.

‘O1’은 아주 간단한 답변에도 지나치게 길게 생각하는 경향을 보이기도 했다. (사진=특이점이 온다 갤러리 캡처)
또 일주일에 30회로 제한된 사용 횟수는 실제 업무나 연구에 활용하기에는 부족한 면이 있었다. 실제로 기자가 15번 이상 ‘o1’을 사용하자마자 경고창이 떴다.

“미리 보기의 응답이 15개 남았습니다. 한도에 도달하면 2024년 9월 20일로 재설정될 때까지 응답이 다른 모델로 전환됩니다.”

마지막으로 일반 사용자들이 수학이나 복잡한 논리 문제를 자주 접하지 않는다는 점에서 이러한 고급 기능이 얼마나 대중적으로 활용될지는 지켜봐야 할 부분이다. 단 프로그래머나 수학 연구자 등 전문 분야에서는 큰 도움이 될 것으로 예상된다.

‘o1’의 대답은 일주일에 30회로 제한된다. (사진=챗GPT 캡처)
‘o1’ 출시로 AI의 추론 능력이 한 단계 도약한 것은 분명하다. 향후 응답 속도 개선과 사용 제한 완화가 이루어진다면 다양한 분야에서 혁신적인 활용이 기대된다. 특히 수학적 계산과 논리적 추론이 필요한 분야에서 큰 변화를 가져올 것으로 보인다.

샘 알트만 오픈AI 대표는 ‘o1’의 출시에 대해 “새로운 패러다임의 시작”이라며 “AI는 이제 다양한 목적으로 복잡한 사고를 할 수 있게 됐다”고 평가했다.

Loading

14 9월 2024

[인공지능 기술] 번역기도 안 통하던 한국어 리뷰, 이제 챗GPT가 다 읽는다.

[인공지능 기술] 번역기도 안 통하던 한국어 리뷰, 이제 챗GPT가 다 읽는다.

번역기도 안 통하던 한국어 리뷰, 이제 챗GPT가 다 읽는다

인공지능(AI)에서 가장 앞선 기술을 보유한 미국의 오픈AI가 추론 능력이 크게 향상된 새 챗GPT ‘o1(오원)’을 13일 공개했다. 생성형 AI의 약점으로 꼽혀온 수학 문제 풀이 등 추론 영역의 성능이 크게 좋아졌다고 오픈AI는 밝혔다. 생성형 AI는 방대한 양의 데이터를 학습하고 대답을 하는 데 뛰어난 ‘암기왕’이다. 하지만 학습하지 않은, 예컨대 새로운 수학 문제는 제대로 풀지 못했다. 수학의 경우도 이미 배운 ‘기출 문제’에는 답을 내놓지만, 새로운 해법이 필요한 고난도의 수학 문제에는 약했다. 이번에 나온 오원은 여러 단계의 추론이 필요한 풀이 과정에서 실수를 하면 다시 바로잡으며 정답을 찾아 나갔다. 파이낸셜타임스(FT)는 “인간처럼 인지하고 사고하는 범용 AI(AGI) 발전에서 큰 진전을 이룬 것”이라고 했다.

01 JFIRBVJYC5MUNIYEKRAIA2O7OM.png
 
오픈 AI 로고. /로이터 연합뉴스

◇오픈AI, 수학 잘 푸는 새 모델 공개

‘o1′은 그동안 오픈AI가 ‘스트로베리’라는 코드명으로 개발해온 AI 모델이다. 대규모 언어 모델(LLM)인 생성형 AI는 특성상 가장 확률이 높고 그럴듯한 답을 제시하는데, 정확한 답을 내야 하는 수학 영역에서 약점을 보였다. 오픈AI의 직전 모델인 GPT-4o(포오)도 국제 수학 올림피아드 예선 시험 문제 풀이 정답률이 13%였다. 이번에 출시된 ‘o1′은 이를 83%까지 끌어올렸다. 오픈AI는 “물리학자들이 복잡한 수학 공식을 만들고 의료 연구자들의 실험을 지원하는 데 도움이 될 것”이라고 했다. 다만 속도는 다소 느리다. 단계적인 추론 과정이 필요하기 때문이다.

02 D6VRKV77UZFNZABSHFKVOJJB4Q.png
그래픽=송윤혜

또 ‘o1′ 개발 과정에서 생성형 AI가 데이터를 스스로 학습(딥러닝)하고 결과를 내놓는 과정을 이해하는 실마리도 찾았다. 지금까지 생성형 AI가 어떻게 내부에서 작동해 질문에 대한 답을 찾는지 알 수가 없었다. 이를 ‘AI의 블랙박스 문제’라고 하는데, AI가 인간의 통제를 벗어날 수 있다고 우려하는 이유 중 하나였다. 하지만 이번 새 GPT 버전이 추론을 하는 과정에서 이에 대한 힌트를 얻었다는 것이다. 미라 무라티 오픈AI 최고기술책임자는 “우리는 모델의 생각 과정을 볼 수 있었다”며 “AI의 작동 방식을 이해하는 데 도움이 됐다”고 FT에 말했다. 요슈아 벤지오 캐나다 몬트리올대 교수 등 AI 권위자들도 팩트(사실)를 조합해서 논거를 만들고, 결론에 도달하는 추론 영역이 AI가 범용 AI로 나아가기 위해 가장 큰 장애물로 보고 있다. 최근 오픈AI뿐 아니라 구글, 앤스러픽 등 생성형 AI 개발사들도 추론을 할 수 있는 모델을 개발 중인 것으로 알려졌다.

03 3FJZPTWK5JAGHFZH4VJGD5HAUQ.png
 
/챗GPT o1 프리뷰

◇투자 유치에도 탄력받을 듯

새 GPT인 ‘o1′은 유료 이용자를 대상으로 13일부터 서비스를 시작했다. 챗GPT 앱 내에서 ‘o1′과 속도가 좀 더 빠르지만 텍스트로만 답하는 ‘o1 미니’를 선택해 이용할 수 있다.

이날 오픈AI는 한국어를 예시로 추론 능력을 뽐내기도 했다. 그동안 번역기가 인식하지 못했던 한국어 문장을 영어로 번역하는 모습을 공개한 것이다.

“직우상 얻떤 번역깃돋 일끌 슈 없쥐많 한국인듦은 쉽게 앗랍볼 수 있는 한끌의 암혼화 방펍잇 잊다”(지구상 어떤 번역기도 읽을 수 없지만 한국인들은 쉽게 알아볼 수 있는 한글의 암호화 방법이 있다)라는 문장을 “No Translator on Earth can do this, but Koreans can easily recognize it”이라고 번역했다. 언어 추론 능력도 그만큼 좋아진 것이다.

오픈AI는 추론 능력을 대폭 업그레이드하고, GPT5 등 차기 언어 모델을 개발하기 위해 대규모 자금 유치에 나섰다. 이번 ‘o1′ 발표가 투자 유치에 긍정적 영향을 미칠 것이라는 전망도 나온다. 뉴욕타임스는 “오픈AI가 1500억달러(약 200조원) 규모의 기업 가치로 65억달러를 모금하기 위한 투자 협상 중”이라고 보도했다.

 
장형태 기자
전 인도특파원, 테크부 반도체 담당. 성장하는 곳의 이야기를 담습니다.

[출처] https://www.chosun.com/economy/tech_it/2024/09/13/7QKL6O5X55EULACDRYH5AYSK7Q/

Loading

13 9월 2024

[알아봅시다] [사설]SW 사업 분쟁, 언제까지 두고 볼 것인가

[알아봅시다] [사설]SW 사업 분쟁, 언제까지 두고 볼 것인가

[사설]SW 사업 분쟁, 언제까지 두고 볼 것인가

 
[사설]SW 사업 분쟁, 언제까지 두고 볼 것인가

LG CNS 컨소시엄이 보건복지부를 상대로 소송을 제기했다.

차세대 사회보장정보시스템 프로젝트에서 복지부가 요구한 지체보상금 등 250억원에 대한 컨소시엄의 책임 유무와 추가과업에 대한 비용 지급이 쟁점이다.

LG CNS 컨소시엄은 추가과업과 이로 인한 수익성 하락을 이유로 지난해 초 사업 중도하차를 통보했다. 대규모 공공 소프트웨어(SW) 사업에서는 이례적인 일로 1년여 만에 결국 소송이 시작된 것이다.

공공 소프트웨어(SW) 사업에서 발주처와 기업 간 분쟁은 어제오늘의 얘기가 아니다. 올해 초에는 2020년 CJ올리브네트웍스와 KCC정보통신이 국방부를 상대로 제기한 부당이득 반환 소송 1심에서 승소했다.

대법원 차세대 전자소송 시스템 구축 프로젝트에서도 대법원과 수행사 간 대립이 이어진다. 우정사업본부 차세대 금융시스템 사업 역시 우본과 수행사 간 이견이 있는 상태다.

각 분쟁은 사업 지연과 추가과업 요구라는 공통된 이슈를 갖고 있다. 명확한 점은 모든 프로젝트에서 예정에 없던 과업이 추가됐다는 점이다.

1년 이상 장기 SW 프로젝트에서 과업 추가는 불가피한 일이다. SW 사업은 건설과 달리 정형화된 사전 설계가 불가능하다. 사업 도중에 현업의 요구와 환경 변화에 따라 과업이 추가되는 일이 비일비재하다. 발주담당 공무원의 전문성이 부족한 경우에도 추후 과업 추가를 불러온다.

해답은 명확하다. 과업 추가가 불가피하다면 이를 뒷받침하기 위한 제도를 마련하면 된다.

지난해 행정망 사태 이후 언급만 됐던 변동형 계약제를 도입해 추가 과업에 따른 사업자의 수익성 하락을 막아야 한다. 담당 공무원이 과업을 변경하더라도 책임에서 자유롭도록 제도를 개선하면 전체 사업범위 확대를 막을 수 있다. 유명무실한 과업변경심의위원회 개최를 현실화하고 정보전략계획(ISP)은 더욱 구체화해야 한다.

과업 추가에 따른 사업 분쟁은 품질 저하, 수익성 하락이라는 점에서 발주처나 사업자 모두의 손해다. 전통적 SW 사업과 대가산정 체계가 다른 구독형(클라우드) 사업, 인공지능(AI) 개발 프로젝트에서는 이 같은 분쟁이 더욱 늘어날 공산이 크다. 결국 공공 서비스 품질과 산업 경쟁력 저하로 이어질 수밖에 없다.

더이상 SW 사업 분쟁이 되풀이 되도록 놔둬선 안된다. SW 산업과 계약제도, 예산을 책임지는 정부 부처에서 현실적 논의를 시작해야 한다

[출처] https://www.etnews.com/20240711000254#

Loading

10 9월 2024

[인공지능 기술] 이런 것도 다 되네, 알수록 신박한 AI 앱 [스페셜리포트]

[인공지능 기술] 이런 것도 다 되네, 알수록 신박한 AI 앱 [스페셜리포트]

이런 것도 다 되네, 알수록 신박한 AI 앱 [스페셜리포트]

인공지능(AI) 시대가 열렸다는데 무엇부터 어떻게 활용할지 잘 알겠다는 이는 사실 많지 않다. 챗GPT를 몇 번 돌려보다 어느새 흥미를 잃었다는 이도 적잖다. 물어보면 엉뚱한 말(환각 현상)을 하거나 명령어를 AI에 맞춰 써야 하다 보니(프롬프터) 원하는 답을 잘 이끌어내지 못할 때가 많다. 실제 챗GPT 글로벌 MAU(월간 이용자 수)가 출시 당시 대비 떨어지고 있다는 점이 이를 방증한다. 대세니까 활용하기는 해야겠는데 도대체 어느 분야에 어떻게 적용할지 모르겠다는 이들을 위해 정리해봤다. ‘이런 때 이런 AI 서비스’를.

이런 것도 다 되네, 알수록 신박한 AI 앱 [스페셜리포트]

AI로 ‘갓생 직장인’ 되려면

모든 업무에 활용해 효율 극대화~

직장인에게 요구되는 업무 능력은 끝이 없다. 보고서 작성, 기획안 작성, 외국어 번역까지. 능숙하게 다뤄야 할 과제가 끊임없이 이어진다. 하지만 이제 걱정을 조금 덜 듯하다. AI 기술이 빠르게 진화하면서 업무 효율을 극대화할 수 있는 다양한 도구가 쏟아져나온 덕분이다.

무엇보다 해외 거래처와의 원활한 소통은 글로벌 비즈니스에서 필수적이다. 하지만 언어 장벽은 여전히 어려운 도전 과제 중 하나다. 글씨를 일일이 복사해 구글 번역기 같은 번역 프로그램에 입력하는 것도 보통 일이 아니다. 더군다나 여러 번역 프로그램은 종종 의미가 왜곡되거나 부자연스러운 표현을 사용하게 되는 경우가 많다.

이런 말 못할 고민에 등장한 AI 번역 프로그램이 바로 ‘딥엘(DeepL)’이다. 딥엘은 AI 기술을 활용해 비즈니스 영어 데이터를 중점적으로 학습한 번역 서비스다. 특정 산업이나 전문 분야 용어에 대한 정확도에서 뛰어난 성능을 발휘한다. 딥엘의 성능은 ‘AI 교정 기능’에서 확인된다. 영어 문장을 입력하니 문법 교정이 이뤄지고, 더 적절한 단어로 수정까지 일사천리다. ‘APAC(아시아 태평양)’이 포함된 문장에서도 파파고, 구글은 모두 ‘APAC’으로 표현했지만, 딥엘만이 이를 ‘아태 지역’이라고 정확하게 번역한다. 딥엘의 ‘파일 번역’ 기능도 유용하다. 영문으로 적힌 PDF·워드 문서·파워포인트(PPT) 등 파일을 올리면 한글 파일로 순식간에 번역해준다.

시간과 노력이 가장 많이 소요되는 작업 중 하나인 보고서 작성은 직장인에게 고역 그 자체다. 하지만 AI 기반 텍스트 생성 도구를 활용하면 이 작업을 훨씬 더 효율적으로 처리할 수 있다. ‘클로드(Claude)’는 사용자 입력에 따라 보고서나 문서를 자동으로 요약·생성해주는 AI 도구다. 10MB 용량 이하 문서를 첨부하면서 질문하는 기능이 특히 유용하다. 한국은행이 발표한 13쪽 분량 ‘2024년 8월 기업경기조사 결과·경제심리지수(ESI)’ 보고서를 입력하니 기업심리지수(CBSI), 경제심리지수(ESI), 주요 지표 분석 등 내용 요약은 물론, ‘이 보고서의 시사점이 뭐야?’라는 질문에도 척척 대답을 내놓는다.

보고서 초안을 만드는 데는 ‘퍼플렉시티(Perplexity)’가 유용하다. 기업 마케팅 자료나 발표 자료 등을 자동으로 생성해주는 AI 도구다. 사용자 요구에 맞춘 맞춤형 콘텐츠를 제공하는 걸로 유명하다. 퍼플렉시티에 ‘국내 1위 패션 기업의 마케팅 자료를 만들어줘’라고 요청하니 “국내 1위 패션 기업으로는 삼성물산 패션부문이 있다. 2023년 기준 매출 2조510억원을 기록하며 1위 자리를 유지하고 있다”며 각종 출처 표기 그래프는 물론 ‘마케팅 전략 제안’을 상세히 써 내려갔다.

기획안이나 프레젠테이션을 만들 때 시각적 요소 역시 매우 중요하다. 하지만 직장인 누구나 훌륭한 그림을 그리거나 디자인을 만들 수 있는 건 아니다. ‘미드저니(Midjourney)’와 ‘스테이블 디퓨전(Stable Diffusion)’은 이 문제를 해결하기 위해 등장한 AI 기반 이미지 생성 도구다. 텍스트를 입력하면 그에 맞는 이미지를 생성해주는 서비스로, 디자인이나 예술적 감각이 부족한 사람도 손쉽게 이미지를 만들어낼 수 있다. 미드저니에 ‘웹툰을 주제로 한 기획안에 쓸 이미지를 만들어줘’라고 요청하니 30초 내로 고퀄리티 이미지 4장을 뚝딱 만들어낸다.

AI가 상품 정보를 기반으로 한 영상과 이미지를 자동으로 제작하는 ‘브이캣(VCAT)’ 역시 활용해볼 만하다. 이용자가 브이캣에 입력할 사항은 상품 상세페이지의 ‘URL’ 정도다. 이후 브이캣 AI가 페이지 내 정보를 분석해 1분이면 콘텐츠를 생산한다. 그야말로 신통한 서비스다. AI 기술을 설명하는 꽤 어려운 기사를 넣어보니 콘셉트 초안, 이미지 선별, 상품 개요 작성, 광고 문구 생성 등 작업을 거쳐 광고 캠페인을 척척 만들어준다. 이용자가 1000가지 이상 영상 템플릿을 활용해 ‘신상품 소개’나 ‘할인 강조’ 등 프로모션별로 다양하게 제작할 수 있다는 점도 특징이다.

회의 내용을 복기하려면 녹음을 하면 되지만, 녹음 파일을 다시 들으며 하나하나 글로 바꾸는 일은 고역이 아닐 수 없다. 이럴 때 믿을맨으로 ‘다글로(Daglo)’나 ‘클로바노트(Clova Note)’가 있다. 두 서비스 모두 AI 음성 변환 기능을 제공한다. 클로바노트는 초거대 AI ‘하이퍼클로바’를 적용해 회의록 요약, 노트 공유, 하이라이트 표시 등까지 제공하는 AI 회의록 관리 서비스로 발전했다. 다글로는 단순히 녹음한 음성을 넘어 영상에 담긴 소리까지 변환해주는 ‘멀티모달’ 기능을 갖추고 있어 편리하다. 단 두 서비스를 써보면 내놓은 결과물 모두 맞춤법이 틀렸거나, 단어를 잘못 인식한 경우가 존재해 아쉬움이 남는다. 다만 아직 완벽히 만족할 만한 서비스가 등장하지 않은 상태에서, 어찌 됐든 두 서비스 모두 직장인에게 없어서는 안 될 존재다.

이젠 AI로 투자 정보 확보

즉각적인 대답, 자산관리까지

AI 서비스를 활용하면서 열심히 일했다면, 어느새 통장에 월급이 들어온다. 요즘 직장인 사이에서는 자산을 주식, 펀드 등 다양한 금융상품에 투자하는 트렌드가 확산하고 있다. 하지만 바쁜 일상에서 투자 정보를 일일이 찾고 분석하는 것은 결코 쉬운 일이 아닐 터. AI를 활용한 투자 서비스가 선택이 아닌 필수로 자리 잡은 이유다.

투자자에게 가장 중요한 것은 실시간으로 제공되는 정확한 정보다. 두나무의 종합 거래 플랫폼 증권플러스의 AI 투자 챗봇 ‘우디(Woody)’는 이런 니즈를 충족시켜준다. 챗GPT를 기반으로 개발된 우디는 주가 정보, 뉴스, 공시 등 투자에 필요한 다양한 정보를 단순한 대화만으로 제공해준다. 처음 실행해본 후 가장 인상 깊었던 점은 그 즉각적인 반응 속도. “최근 외국인 순매수와 상승률이 높았던 기업들을 알려줘”나 “A종목의 사업보고서를 요약해줘”와 같은 질문을 던지자 우디가 빠르게 핵심 내용을 요약해준다.

우디의 또 다른 주요 기능 중 하나는 ‘개인 맞춤형’ 추천 질문 가이드다. 특정 종목을 조회하는 동안 우디를 실행하면, 해당 종목과 관련된 최신 이슈를 파악할 수 있는 맞춤형 질문이 자동으로 생성된다. 이는 특히 시간에 쫓기며 투자 결정을 해야 하는 순간에 큰 도움이 된다.

비슷한 AI 대화형 증권 서비스로 KB증권의 ‘스톡(Stock) AI’ 역시 눈길을 끈다. 우디처럼 투자자가 특정 종목 주가 전망이나 시장 동향을 신속하게 파악할 수 있도록 돕는다. 특히 스톡 AI는 반복적인 질문은 ‘나만의 질문’ 기능을 통해 저장해두고, 필요할 때마다 간편하게 불러올 수 있어 효율적인 정보 검색이 가능하다. 투자자 개개인의 투자 성향을 분석해 맞춤형 투자 전략을 제안하는 것도 특징이다. 투자자 만족도도 높다. KB증권 관계자는 “스톡 AI는 서비스 시작 이후 약 15만건의 질문과 답변을 기록하며 투자자 사이에서 높은 만족도를 얻고 있다”며 “특히 고객 피드백에서 90% 이상 만족도를 기록해 흩어진 정보를 일목요연하게 제공하는 AI 서비스의 장점이 두드러지고 있다”고 말했다.

주식 시장의 변동성이 큰 요즘, 영리한 자산관리는 필수다. 키움증권 ‘키우GO’는 단순히 기대수익률만을 바라보는 전통적인 투자 방식과는 다르게, 사용자의 투자 목표와 성향을 면밀히 분석해 최적의 자산 배분 포트폴리오를 제안해준다. 키우GO의 핵심은 강화학습 기반 AI 엔진이다. 이 AI 엔진은 수십만 개 글로벌 금융 데이터를 실시간으로 분석하고 학습해 사용자의 투자 계획을 실시간으로 조정해준다. 이 로보어드바이저는 자산을 세 가지 버킷으로 나눠 관리하는데 보호자산(Protect), 핵심자산(Core), 그리고 위성자산(Satellite)으로 나뉜 포트폴리오가 시장 상황에 맞춰 자동으로 조정된다. 예를 들어, 시장 변동성이 커지면 키우GO는 자산 중 일부를 안전한 달러와 중국 주식으로 재분배하는 것을 제안하고 이는 실제로 안정적인 수익으로 이어지는 식이다.

키우GO의 또 다른 매력은 포트폴리오 내 모든 종목의 매매 수수료가 면제된다는 사실. 일임 보수만 지불하면 추가 비용 없이 투자할 수 있어, 실제 수익률이 높아지는 효과를 느낄 수 있다. 성과진단, 목표진단, 자산진단 등의 관리 서비스와 더불어 예약 상담 서비스까지 제공해 투자 과정 전반에서 필요한 모든 것을 하나의 화면에서 손쉽게 처리할 수 있다.

투자업계에서 AI의 영역은 계속 넓어지는 분위기다. 미래에셋증권은 지난 5월부터 AI 기술을 활용한 기업 분석 리포트 제공에 나섰다. 증권가 에이스만 모인다는 리서치센터 역할을 AI에 맡긴 셈. 단 아직 AI가 보고서를 100% 작성하는 것은 아니다. 애플·스타벅스·엑손모빌 등 미국 상장 기업 분기 실적을 자체 개발한 AI 에이전트가 먼저 작성한 후 미래에셋증권 리서치센터 연구원이 감수해 발간하는 방식이다. 이외에도 NH투자증권은 AI 기술에 기반한 해외 기업 공시 번역·요약 서비스인 ‘GPT 뉴스레터’를 개발해 소개했고, 삼성증권은 애널리스트 생김새와 목소리 등을 본뜬 가상 애널리스트 서비스를 제공한다.

AI 선생과 1:1 대화

원어민 원격교사 안녕~

학창 시절 영어 실력을 늘리기 위해 온라인 혹은 전화로 원어민 교사와 1:1 대화하는 교육 서비스를 이용해본 사람이 꽤 많을 터. 이제 그렇게 하지 않아도 된다. AI 선생, 그것도 캐릭터를 골라가며 대화할 수 있다.

대표적인 앱은 ‘프랙티카’. 앱을 열면 AI 강사 25명의 캐릭터가 뜬다. 같은 영어 선생님이지만 생김새나 말투가 다 다르다. 미국식, 호주식 등 버전도 다양하다. 이들 중 한 명을 고른 다음에는 대화 주제를 선택한다. 150개 주제가 있는데 관심사별로 하나를 고르면 본격 수업 시작. 영어로 녹음된 파일을 듣고 난 뒤 앱 화면 아래 마이크 버튼을 누른 채 AI 선생님과 대화하면 된다. 선생님과의 대화는 모바일 메신저 형태로 화면에 뜨는데 표현이 어색하면 선생님이 텍스트를 고쳐주기도 한다. 언제든 켜고 끌 수 있는데 좀 피곤해서 그만하려 하면 선생님이 오히려 “좀 더 해보면 어떠니?”라고 부추길 정도로 고도화돼 있다. 국내에서는 프랙티카 외에도 ‘말해보카’ ‘스픽’ ‘맥스AI’ ‘링고케어’ 등이 비슷한 서비스를 전개한다. 최근에는 업그레이드된 챗GPT-4의 음성 기능으로 영어 대화를 한다는 이도 늘고 있다.

내 건강 챙기는 AI

AI “이제 그만 드세요”

“혈당이 높습니다.”

카카오헬스케어가 내놓은 ‘파스타’ 앱 알림음이다. 좋아하는 햄버거에 밀크셰이크, 치즈스틱을 좀 빠른 속도로 먹었을 뿐인데 200㎎/dL이나 찍혔다. 포만감에 10분쯤 소파에 퍼질러 앉아 있었더니 또 알람이 울린다. “혈당이 계속 높습니다.” 일명 혈당스파이크를 경고하는 듯하다. 혈당스파이크란 식사 후 혈당이 단숨에 50㎎/dL 이상 치솟았다 떨어지는 현상을 의미한다. 급강하가 반복되면 그만큼 몸에 무리가 가기에 관리가 필요하다.

“그래 알았다, 알았어.” 운동복으로 갈아입고 일단 동네 공원 한 바퀴 돌고 좀 가파른 뒷산도 올랐다. 그랬더니 정상으로 돌아온다. 다음 날에는 AI가 전날 먹었던 음식 유형, 혈당 오르내림 정도 등을 비서처럼 리포트 형식으로 보고해준다. ‘나 참, 식단 관리하련다’ 싶다. 그런데 어떤 음식이 혈당이 높은지 모른다면? ‘푸드샷’ 버튼을 누르고 음식 사진을 찍어 올리니 곧바로 음식 종류, 영양소, 열량 등을 AI가 자동으로 분석해준다. 삼성헬스, 아이폰 건강관리 앱이랑 연동도 돼 운동, 심박수 등을 연계해 종합적으로 내 몸 관리를 할 수 있다. 신박하다. AI로 건강관리도 한층 고도화할 수 있는 세상이다.

돈 들이지 않고 오히려 돈 벌게 해주면서 AI가 건강관리 해주는 앱도 있다. 국내 최대 걷기 앱 ‘캐시워크’가 대표적이다. 캐시워크는 이용자가 많이 걸을수록 다양한 혜택을 받는 국내 1위 앱이다. 최근에는 서울시가 전개하는 손목닥터9988 앱 고도화 사업에도 참여, AI가 대사증후군 검사 결과에 따라 신체 상태와 운동량 등에 맞는 맞춤형 건강관리 방법을 제시해준다. 또 서울시에서 운영 중인 마음건강(블루터치) 검사 결과를 바탕으로 AI를 통한 정신건강 기록 분석 리포트, 마음건강 연계 서비스(명상, 음악)도 추가 지원할 방침이다.

[박수호 기자 park.suho@mk.co.kr, 조동현 기자 cho.donghyun@mk.co.kr]

[본 기사는 매경이코노미 제2274호 (2024.08.28~2024.09.03일자) 기사입니다]

[출처] https://news.nate.com/view/20240831n10894

Loading

13 8월 2024

[인공지능 기술] AI 기반 물리 정보 신경망을 이용한 시뮬레이션

[인공지능 기술] AI 기반 물리 정보 신경망을 이용한 시뮬레이션

AI 기반 물리 정보 신경망을

이용한 시뮬레이션

AI 기반 물리 정보 신경망을 이용한 시뮬레이션

이번 글에서는 시뮬레이션에서 최근 화두가 되고 있는 물리 정보 신경망(Physics-Informed Neural Network, 이하 PINN)에 대해서 다루어 보겠습니다. 여기서 시뮬레이션이라는 것은 유체역학, 전자기학 등 공학 문제를 슈퍼컴퓨터를 이용한 수학적인 방법으로 푸는 것을 말합니다. 자동차 형상, 휴대폰 열설계, 반도체 소자 시뮬레이션 등이 있습니다.

전통적으로 시뮬레이션은 유한차분법(Finite Difference Method), 유한요소법(Finite Element Method), 그리고 유한체적법(Finite Volume Method)이라고 하는 전체 도메인을 작은 요소로 나누어 근사적인 해를 구하는 수치해석적인 방법을 사용하여 시뮬레이션을 하였으며 이 과정에서 엄청난 양의 계산을 위해 슈퍼컴퓨터를 사용하였습니다.

하지만 최근 AI의 발전으로 인해 시뮬레이션 분야에도 AI를 접목시킨 물리 정보 신경망이라는 방법이 연구되기 시작하였습니다. 이 방법은 Inverse 문제와 Ill-posed 문제 등 전통적인 수치해석 기법의 한계를 극복하기 위해 대두되었습니다.

전통적인 수치해석 방법

통상적으로 전통적인 수치해석 방법이라 함은 유한차분법, 유한요소법, 그리고 유한체적법이라고 할 수 있습니다. 이 세 가지 방법은 모두 도메인을 잘게 요소(Element)로 나누어 각 요소에서 수치해석적인 방법을 적용하여 계산합니다. 이렇게 각 요소에서 계산한 값을 모아서 시뮬레이션을 수행합니다.

유한차분법

  • Ui,j+1
  • Ui-1,j / Ui,j / Ui+1,j
  • △y / Ui,j-1
  • △x

유한요소법

  • 노트
  • 요소
  • 기저함수 ∮(x)

유한체적법

  • 체적
  • ⁢Ui >
  • 경계(유동)

[그림 1] 유한차분법, 유한요소법, 유한체적법의 차이

유한차분법의 경우 함숫값의 차이를 이용한 미분계수를 근사하여 편미분 방정식을 푸는 방법입니다. 전방(forward), 후방(backward), 중앙(central) 차분법 등 세 가지로 나눌 수 있으며 테일러 급수 전개를 통해 유도합니다. 직사각격자에 적합하고 알고리즘이 직관적이어서 사용하기 쉽고 병렬계산에 적합하여 학술적인 연구나 간단한 시뮬레이션을 할 경우에 효과적입니다. 선형 문제뿐만 아니라 비선형 문제에도 쉽게 적용 가능하며 특히 유체역학 시뮬레이션에 많이 사용됩니다.

유한요소법의 경우 풀고자 하는 편미분방정식을 적분형으로 표현한 뒤 최종적으로 Ax=b 형태의 선형시스템으로 변환하여 근사해를 구하는 방법입니다. 주로 고체역학이나 전자기학 시뮬레이션 등에 사용되며 GPU 가속 효과가 가장 크고 불규칙한 물체 시뮬레이션에 적합합니다. 유한차분법에 비해 해의 연속성을 유지할 수 있기 때문에 물리적으로 타당한 해를 얻을 가능성이 높습니다.

유한체적법의 경우 보존 법칙을 만족하는 문제를 푸는데 적합하기 때문에 주로 유체역학 시뮬레이션에 사용됩니다. 유한체적의 면을 지나는 유동의 양을 기준으로 유도되며 시뮬레이션 형상에 대해 유연하게 계산을 적용할 수 있습니다. 유한차분법과 마찬가지로 불규칙한 물체를 시뮬레이션하는 데 적합합니다.

물리 정보 신경망의 특징

일반적인 신경망이 물리적 법칙을 고려하지 않고 데이터에 전적으로 의존하는 반면, 물리 정보 신경망은 지배방정식(물리방정식)을 만족하도록 식에 내제되어 있는 물리 정보를 신경망에 도입하는 방법입니다.

일반적인 신경망 학습

  • -> Feature
  • x, y, z ->
  • -> u, v, w, p
  • Prediction ->
  • ⁢ – 학습데이터(feature, label) ->
  • Data loss=label error ⁢ –

물리 정보 신경망 학습

  • -> Feature
  • x, y, z ->
  • Auto Grad
  • -> u, v, w, p
  • Prediction -> (u)
  • ⁢ – Random
  • PDE loss=Physics error ⁢ –

[그림 2] 일반적인 신경망과 물리 정보 신경망의 학습 방법

일반적인 신경망은 학습 데이터만을 사용하여 학습하며 손실 함수는 원본 데이터와 학습 모델에서 예측한 데이터에서의 레이블의 불일치 정도를 최소화하도록 학습하는 반면, 물리 정보 신경망은 물리 방정식 자체를 손실 함수에 사용하여 샘플링한 데이터가 물리 법칙을 만족하도록 학습을 진행합니다.

전통적인 시뮬레이션 방법은 도메인을 작은 요소로 나누어 각각에 대해서 계산합니다. 이 과정에서 도메인을 작은 요소로 나누는 Meshing 기법을 사용하지만 물리 정보 신경망을 사용하면 데이터를 단지 샘플링만 하기 때문에 도메인을 작은 요소로 나누는 등 추가적인 계산이 필요 없어지게 되는 장점이 있습니다. 실제 시뮬레이션은 학습(Train)을 진행한 후 추론(Inference)을 통하여 진행하게 됩니다. 이 과정에서 물리적인 법칙을 만족하는 신경망을 찾았기 때문에 물리 법칙을 만족하는 시뮬레이션이 가능하게 됩니다. 학습에 비해 추론하는 시간은 매우 작기 때문에 시뮬레이션하려는 도메인에 대해 한 번 학습을 진행하면 추론을 통한 반복 시뮬레이션을 매우 빠른 시간에 할 수 있다는 장점이 있습니다.

이러한 장점에도 불구하고 현재 물리 정보 신경망은 학습의 수렴성 문제, 전통적인 시뮬레이션 방법에 비하면 아직은 높지 않은 정확도 등의 단점이 존재하여 최근에는 전통적인 시뮬레이션 방법과 물리 정보 신경망을 이용한 방법을 합친 하이브리드 시뮬레이션에 대한 연구가 시작되고 있습니다.

하이브리드 시뮬레이션

하이브리드 시뮬레이션이란 전통적인 시뮬레이션과 물리 정보 신경망을 이용한 시뮬레이션을 혼합한 방법입니다. 혼합하는 방법에 따라 크게 두 가지 방법이 존재하며 먼저 전통적인 시뮬레이션 방법에 계산시간이 큰 부분을 신경망으로 대체하는 방법에 대해 살펴보겠습니다.

  • old velocity v(t)
  • convolutional neural network ->

convective flux ∮ij / ×d2

  • filter constraints ->uij interpolation / uij interpolation ->
  • x ->

External forcing F(t) ->

  • divergence ->
  • explict timestep ->
  • pressure projection ->
  • New velocity v(t + △t)

[그림 3] 시간이 많이 걸리는 계산을 물리 정보 신경망으로 대체[1]

전통적인 방법이 물리 정보 신경망에 비해 정확도가 높기 때문에 전체적인 프레임워크는 전통적인 수치해석 방법으로 진행하나 시간이 많이 걸리는 계산을 신경망으로 대체하였습니다. 유체해석을 위한 Navier-Stokes 방정식을 푸는 것으로, 단일 Time Step에 대한 흐름도를 보여준 것으로 Convective Flow 계산 시 기존 Standard Numerical Solver를 Convolutional Neural Network을 사용하여 대체하였습니다. 이렇게 하였을 때 전통적인 방법에 비해 상당한 정도의 속도 향상을 이루었다고 합니다.

다른 한 가지 방법으로는 물리 정보 신경망의 빠른 시뮬레이션 속도를 이용하여 근사치까지 신경망으로 계산한 후 더 정확한 계산을 위해 전통적인 수치해석 방법을 사용하는 것입니다.

  • Multogrid V-cycle
  • Finer Grids->

DL Solver on Coarse Grid

  • Gauss-Seidel Iteration / Gauss-Seidel Iteration / Gauss-Seidel Iteration on Coarse Grid

[그림 4] 물리 정보 신경망으로 계산 시간을 줄인 후 전통적인 방법으로 정확도를 보정[2]

도메인의 Mesh를 크게 하여 물리 정보 신경망(Deep Learning Solver 사용)으로 시뮬레이션하여 대략적인 값을 얻은 후 더 정확한 계산을 위해 Gauss-Seidel(Standard Solver)을 사용하는 방법으로 전통적인 수치해석 기반 시뮬레이션에 비해 큰 속도 향상을 얻을 수 있습니다.

결론

최근 화두가 되고 있는 AI 기법을 도입한 물리 정보 신경망에 대해 알아보았습니다. AI의 발전에 따라 시뮬레이션 분야에서도 AI가 도입됨은 어찌 보면 당연한 처사입니다. 또한 AI를 구동할 수 있는 GPU와 같은 가속기의 발전에 따라 물리 정보 신경망은 계속해서 발전할 것으로 예상되며 빠른 시뮬레이션 속도로 인한 실시간 시뮬레이션이 가능하기 때문에 Digital Twin 등 응용 분야가 많은 것이 예상됩니다.

References
[1] Machine learning–accelerated computational fluid dynamics, D Kochkova, JA Smitha, A Alieva, Q Wanga, MP Brenner, and S Hoyera, Proceedings of the National Academy of Sciences, 2021
[2] The Old and the New: Can Physics-Informed Deep-Learning Replace Traditional Linear Solvers?, S Markidis, Frontiers in Big Data, 2021

[출처] https://www.samsungsds.com/kr/insights/physics_informed_neural_network.html

문기효
문기효 인공지능/애널리틱스 전문가

삼성SDS 고성능컴퓨팅연구Lab

슈퍼컴퓨터를 이용한 수치해석 분야를 연구하여 박사학위를 취득하였습니다. LLM 추론 및 HPC 시뮬레이션 가속을 연구하고 있으며 양자 컴퓨팅 등 미래 컴퓨팅 기술에 관심이 많습니다.

Loading

30 7월 2024

[인공지능 기술] ‘집컴’으로 실행한 일기예보 AI, 슈퍼컴 이겼다

[인공지능 기술] ‘집컴’으로 실행한 일기예보 AI, 슈퍼컴 이겼다

‘집컴’으로 실행한 일기예보 AI, 슈퍼컴 이겼다

입력
“허리케인 경로 정확히 예측”

8일(현지시간) 허리케인 베릴이 휩쓸고 간 미국 텍사스 베이시티의 한 집 앞에 나무가 뿌리채 뽑혀 쓰러져 있다. AP/연합뉴스 제공

8일(현지시간) 허리케인 베릴이 휩쓸고 간 미국 텍사스 베이시티의 한 집 앞에 나무가 뿌리채 뽑혀 쓰러져 있다. AP/연합뉴스 제공

일반 가정용 컴퓨터나 노트북 수준의 사양으로 실행할 수 있는 인공지능(AI) 프로그램이 슈퍼컴퓨터보다 허리케인 경로를 정확히 예측해 화제다.

미국 뉴욕타임스(NYT)는 29일(현지시간) 보도를 통해 7월 초 미국을 강타한 허리케인 ‘베릴’의 경로를 예측한 AI와 슈퍼컴퓨터를 비교하며 미래 기상예보에서 AI의 역할에 대해 조명했다.

7월 초 유럽 중기기상예보센터(ECMWF)와 미국 국립허리케인센터는 허리케인 베릴의 최종 상륙 위치가 멕시코 부근일 가능성이 가장 높을 것이라고 예측했다. 비행기, 부표, 우주선 등을 통해 모은 전 세계 관측 자료를 바탕으로 거대 슈퍼컴퓨터의 계산을 통해 만든 예보였다.

같은 시기 구글 딥마인드가 만든 일기예보 AI인 그래프캐스트(GraphCast)는 베릴이 텍사스에 상륙할 것으로 예측했다. 기상기관의 슈퍼컴퓨터보다 훨씬 작은 컴퓨터에서 구동된 AI 프로그램은 지구 대기에 대해 학습한 내용만을 바탕으로 예보했다.

7월 8일 베릴은 텍사스를 강타해 최소 36명이 사망하고 수백만 명의 주민들이 정전 피해를 입었다. AI 프로그램이 거대 슈퍼컴퓨터보다 더 정확하게 허리케인의 경로를 예측한 것이다.

지구의 날씨는 여러 가지 요인이 복합적으로 작용해 예측이 매우 어렵다. 지구 기울기, 흔들림, 바람, 비, 구름, 기온과 기압 등 변수가 많아 앞으로의 날씨를 예측하기 위해 거대한 크기의 슈퍼컴퓨터의 계산 능력이 필요하다. 그럼에도 일기예보는 며칠 후나 몇 시간 뒤 날씨 예측에 실패할 정도로 쉽지 않은 영역이다.

인간의 학습 방식을 모방하는 AI는 특히 ‘패턴 인식’에 강점을 보인다. 측정값과 예측값의 수많은 계산을 수행하는 대신 복잡한 데이터 속에서 인간이 식별하기 어려운 패턴을 찾아내 빠르게 날씨를 예측하는 것이다.

그래프캐스트 연구팀의 수석 과학자인 레미 램은 뉴욕타임스에 “유럽 예보 센터에서 수집한 40년간의 전 세계 기상 관측 자료를 바탕으로 AI를 훈련시켰다”며 “슈퍼컴퓨터에서 한 시간 이상 걸리는 10일 예보를 단 몇 초 만에 만들어낼 수 있다”고 말했다.

그는 “그래프캐스트는 AI용으로 설계된 컴퓨터에서 가장 잘 작동하지만 일반 데스크톱 컴퓨터나 노트북에서도 작동할 수 있다”고 덧붙였다. 예보를 생성하는 데 더 이상 거대 슈퍼컴퓨터가 필요하지 않을 수도 있다는 뜻이다.

AI는 허리케인 진로를 성공적으로 예측했지만 해일이나 바람 등 다른 기상 요소도 정확히 예측하려면 아직 발전이 더 필요하다는 분석이다.

각국 기상 전문가들은 AI 시스템이 슈퍼컴퓨터의 접근방식을 보완할 수 있을 것으로 보고 적극적인 움직임을 보이고 있다. 유럽 ECMWF는 그래프캐스트뿐 아니라 미국 엔비디아, 중국 화웨이 등 IT 기업에서 만든 AI 예측 프로그램도 도입하는 것으로 알려졌다. 미국 국립허리케인센터도 새로운 AI 프로그램을 평가해 활용할 수 있을 것이라는 입장을 밝혔다.

Loading

28 7월 2024

[인공지능 기술] [표지로 읽는 과학] AI가 생성한 데이터 학습한 AI, 오염된 정보 낳는다

[인공지능 기술] [표지로 읽는 과학] AI가 생성한 데이터 학습한 AI, 오염된 정보 낳는다

[표지로 읽는 과학] AI가 생성한 데이터 학습한 AI, 오염된 정보 낳는다

입력
네이처 제공

네이처 제공

국제학술지 ‘네이처’는 이번주 표지로 입에서 오물을 토해내는 로봇의 이미지를 실었다. 로봇이 흘린 오물에는 작은 로봇들이 달라붙어 있다. 큰 로봇이 생산한 오물이 다시 다른 로봇에게 전해지는 모습을 표현한 것이다.

대형언어모델(ILL)과 같은 생성형 인공지능(AI) 도구의 비약적인 발전은 이 같은 도구가 인간이 오랜 세월 생성한 방대한 데이터를 학습했기 때문이다. 하지만 AI가 만들어낸 정보가 온라인을 통해 빠르게 확산되면서 상황이 변했다. AI가 학습하는 데이터가 인간이 아닌 AI가 생성한 정보로 대체되기 시작한 것이다.

일라일 슈마일로프 영국 옥스퍼드대 교수 연구팀은 AI가 인간이 생산한 정보가 아닌 정보로 학습하기 시작하면서 생성하는 정보의 질이 급격히 저하된다는 연구 결과를 24일(현지시간) 네이처에 발표했다.

이번 연구에선 AI가 생산하는 정보의 질이 급격하게 저하된 사례가 소개됐다. 중세 건축물에 대한 글을 학습한 대형언어모델이 9번에 걸쳐 AI가 생성한 새로운 정보를 학습한 뒤 생성한 텍스트에는 엉뚱하게도 북미산 토끼에 대한 이야기가 담겼다.

TV 예능 프로그램 등에서 소음이 심한 헤드셋을 낀 여러 명의 참가자가 차례대로 단어를 전하는 게임을 할 때와 비슷한 상황이다. 이런 게임에서 마지막 참가자는 종종 처음 제시어와 전혀 다른 단어를 정답으로 제시하곤 한다.

연구팀은 이같은 현상을 ‘모델 붕괴(models collapse)’라 명명했다. AI가 생성한 질이 저하된 정보가 다음 세대의 AI를 퇴행시키는 현상을 가리킨다. 연구팀은 “오염된 데이터로 학습한 AI는 현실 자체를 잘못 인식하게 된다”고 말했다.

모델 붕괴는 초기 붕괴와 후기 붕괴로 나뉜다. 초기 붕괴는 전체 데이터 중 말단 정보가 손상된다. 후기 붕괴는 전체 데이터 분포가 전반적으로 초기 데이터와 유사하지 않은 분포를 보이게 된다.

연구팀은 이러한 데이터 손상이 발생하는 원인으로 ‘근사치의 오류’를 지목했다. 정보가 재생산되는 과정에서 AI 모델은 근사치로 추정을 하게 되는데 이렇게 누적된 오차가 결국 데이터를 오염시킨다는 것이다.

연구팀은 “AI가 생성한 데이터를 사용해 대형언어모델을 훈련하는 것이 불가능한 것은 아니지만 이러한 데이터를 정제하는 데 많은 주의를 기울여야 한다”면서 “데이터의 질 측면에선 인간이 생성한 데이터가 여전히 우위에 있을 것”이라고 강조했다.

Loading

23 7월 2024

[알아봅시다] 뉴욕 타임스퀘어도 꺼졌다…초연결 시대 ‘IT대란 반복’의 서막

[알아봅시다] 뉴욕 타임스퀘어도 꺼졌다…초연결 시대 ‘IT대란 반복’의 서막

뉴욕 타임스퀘어도 꺼졌다…초연결 시대 ‘IT대란 반복’의 서막

입력
초연결 사회가 심화되면서 IT 대란이 반복될 위험이 높아졌다. Thapana Onphalai/게티이미지뱅크 제공.

초연결 사회가 심화되면서 IT 대란이 반복될 위험이 높아졌다. Thapana Onphalai/게티이미지뱅크 제공.

지난 19일 전 세계 전산망 시스템이 동시다발적으로 ‘먹통’됐다. 전 세계가 인터넷으로 연결되는 ‘초연결 사회’인 오늘날 이번 사태는 지속 반복될 것이라는 게 전문가들의 공통적인 지적이다. 실효성 있는 대책이 강구돼야 한다는 목소리다.

이번 ‘IT 대란’으로 항공기 4만대의 운항이 지연되고 주요 은행과 증권거래소, 방송국 등은 서비스에 차질을 빚었다. 화려한 불빛으로 가득한 미국 뉴욕 타임스퀘어는 전광판이 꺼졌고 생명을 다루는 병원에서는 수술이 취소되는 등 우려스러운 상황이 벌어졌다. 국내에서는 10개 기업이 피해를 입었고 정부는 사이버 공격 등에 대비하는 긴급 조치에 나섰다.

이번 사태는 마이크로소프트 윈도와 보안업체 크라우드스트라이트의 보안 패치 충돌로 일어난 것으로 파악되고 있다. 윈도 시스템이 정상 종료되지 않으면서 전산망 마비가 일어났다.

KT, 네이버 클라우드 등 주요통신사업자 26곳은 이번 IT 대란의 영향을 받지 않은 것으로 전해진다. 하지만 지난 2022년 SK C&C 판교 클라우드 데이터센터 화재 사건에서 카카오 서비스가 중단된 것처럼 주요통신사업자 또한 언제든 피해를 입을 수 있다.

● 소프트웨어 상호작용 심화…피해 규모 점점 커질 것

이번 IT 대란은 온라인에 대한 높은 의존도가 한 국가를 넘어 전 세계적으로 통신 마비를 일으키고 혼란을 일으킬 수 있다는 점을 보여줬다. 앞으로 이와 유사한 사고가 더욱 큰 규모로 발생할 수 있다.

강동호 한국전자통신연구원(ETRI) 사이버보안연구본부 차세대시스템보안연구실 실장은 “오늘날 소프트웨어는 오픈소스, 외부소프트웨어 등 상호의존성이 심화됨에 따라 점점 더 복잡해지고 있다”며 “다양한 소프트웨어가 서로 상호작용하면서 예기치 않은 충돌이나 버그가 발생할 가능성이 높다”고 말했다.

이어 “특히 보안 패치나 업데이트는 시스템 핵심 기능에 영향을 미칠 수 있기 때문에 충돌 위험이 늘 존재한다”며 “피해 규모는 점점 증가할 것으로 예상된다”고 덧붙였다.

소프트웨어 충돌 위험은 물론 사이버 공격, 프라이버시 침해 등의 위험도 존재한다. 강 실장은 “기업 대상 데이터 유출, 랜섬웨어 공격 증가, 국가 기반 시설에 대한 공급망 보안 위협, 클라우드 서비스에 대한 공격 등 사이버 위협이 예상된다”며 “또 AI 의존성 증가 및 과도한 권한 부여에 대한 대응 능력 부재, 의사결정의 편향성으로 인한 문제가 확대될 것으로 보인다”고 설명했다.

● 美 보안 강화 행정명령 시행…국내도 실효성 있는 지침 필요

디지털 기술과 인터넷의 영향으로 세계가 긴밀히 연결되는 초연결·초지능 사회에서는 사이버 보안 위협이 확대되고 기술적 장애, 프라이버시 침해 등의 문제가 발생할 것으로 예상되는 만큼 향후 또 다시 발생할 IT 대란에 미리 대비해야 한다는 목소리가 커지고 있다.

2020년 미국 정부는 러시아 해커 조직이 소프트웨어 개발사인 솔라윈즈 네트워크에 침입해 고객사 1만8000여곳에 제공하는 소프트웨어에 백도어를 심었다는 사실을 발견했다. 이 사건으로 미국 법무부, 국방성, 국토안보부, 재무부 등 연방 정부 기관 최소 9곳과 MS, 맨디언트, 인텔, 시스코, 팔로 알토 네트워크스 등 빅테크 기업이 피해를 입었다.

조 바이든 당시 미국 대통령은 정보시스템 보안을 강화하는 ‘행정명령 14028’을 시행했다. 연방 정부의 사이버 보안을 강화하고 소프트웨어 공급망 보안을 개선해 정부의 정보시스템을 보호한다는 목표다.

국내에서도 이처럼 실질적 효과를 낼 수 있는 조치가 필요하다는 게 전문가 설명이다. 강 실장은 “한국 정부도 공급망 보안 가이드라인을 제시하고 있지만 실효성 있는 규제 지침으로 확대하는 노력이 필요하다”고 말했다.

이어 “기업 차원에서는 보안 운영 센터(SOC)를 구축해 실시간으로 보안 패치와 관련된 문제를 모니터링해야 한다”며 “정기적인 보안 점검을 통해 패치 적용 상태와 호환성을 확인하고 장애에 신속한 복구 조치 등을 취할 수 있는 보안 관리 체계를 시급히 구축해야 할 것”이라고 설명했다.

Loading

9 7월 2024

[인공지능 기술] GPU 추가 없이 메모리 확장, 대규모 AI 활용 성능 2배 ‘업’

[인공지능 기술] GPU 추가 없이 메모리 확장, 대규모 AI 활용 성능 2배 ‘업’

GPU 추가 없이 메모리 확장, 대규모 AI 활용 성능 2배 ‘업’

입력
KAIST 연구진

컴퓨트 익스프레스 링크(CXL, Compute Express Link) 기술은 GPU를 추가하지 않고도 GPU 메모리를 확장할 수 있는 기술이다. KAIST 제공

컴퓨트 익스프레스 링크(CXL, Compute Express Link) 기술은 GPU를 추가하지 않고도 GPU 메모리를 확장할 수 있는 기술이다. KAIST 제공

국내 연구팀이 인공지능(AI) 기술 구현의 핵심인 그래픽처리장치(GPU)의 메모리 확장 기술을 개선해 성능을 끌어올렸다.

KAIST는 정명수 전기및전자공학부 교수팀이 차세대 인터페이스 기술인 ‘컴퓨트 익스프레스 링크(CXL, Compute Express Link)’가 활성화된 고용량 GPU의 메모리 읽기·쓰기 성능을 최적화하는 기술을 개발했다고 8일 밝혔다. 연구결과는 7월 미국 유즈닉스(USENIX) 연합 학회와 핫스토리지 연구 발표장에서 선보일 예정이다.

최신 대규모 언어모델(LLM)은 추론·학습에 수십 테라바이트(TB, 1TB는 1024GB)의 메모리가 필요하다. 단일 GPU의 내부 메모리 용량은 수십 기가바이트(GB) 수준이라 단독으로 언어 모델을 활용하는 것은 불가능하다. 일반적으로 GPU 여러 개를 연결하는 방식을 사용하지만 최신 GPU의 높은 가격이 걸림돌이다.

대용량 메모리 장치를 GPU에 연결해 메모리 크기를 확장하는 ‘CXL-GPU’ 구조가 산업계에서 주목받고 있다. 메모리 용량을 늘리기 위해 값비싼 GPU를 추가로 구매할 필요가 없기 때문이다. 하지만 GPU에 연결된 메모리 확장 장치의 읽기·쓰기 속도가 GPU 내부 메모리와 비슷한 수준으로 구현돼야 대규모 AI 서비스에 활용될 수 있다.

연구팀은 CXL-GPU의 메모리 읽기·쓰기 성능이 저하되는 원인을 분석하고 이를 개선했다. 확장된 메모리의 쓰기 작업 완료 여부를 기다리지 않고도 동시에 GPU 내부 메모리에도 쓰기 작업을 할 수 있도록 해 쓰기 성능을 개선한 것이다. 읽기 작업에서도 확장된 메모리 장치에서 필요한 읽기 작업을 미리 수행할 수 있도록 해 읽기 성능을 향상시켰다.

국내 반도체 팹리스 스타트업인 파네시아(Panmnesia)의 CXL-GPU 프로토타입을 활용해 성능을 검증한 결과 기존 GPU 메모리 확장 기술보다 AI 서비스를 2.36배 빠르게 실행할 수 있는 것으로 나타났다.

정명수 교수는 “CXL-GPU 시장 개화 시기를 앞당겨 대규모 AI 서비스를 운영하는 기업의 메모리 확장 비용을 획기적으로 낮추는 데 기여할 것”이라고 밝혔다.

Loading