13 5월 2999

Web Cloud & mobile App Business working Link

Web Cloud & mobile App Business working Link

  1. Biz Design Workplace
  2. Biz marketing tools Workplace
  3. Biz reference datas
    1. 프리렌서 업무 [크몽] : https://kmong.com/
    2. 모바일 앱 시장조사 [와이즈앱] : https://www.wiseapp.co.kr/
    3. 프리렌서 업무 [위시켓] : https://www.wishket.com
    4. 프리랜서 업무 [프리모아] : http://www.freemoa.net/
    5. 프리렌서 업무 [이렌서] : http://www.elancer.co.kr/
  4. Biz online Developing tool
  5. cloud developer console
    1. microsoft azure : https://azure.microsoft.com/ko-kr
    2. google developer console : https://console.cloud.google.com/?hl=ko
    3. amazon AWS : https://aws.amazon.com/ko/console/
  6. Mobile App Biz market
    1. android developer console : https://play.google.com/apps/publish/?hl=ko
    2. onestore (T Store) : http://dev.onestore.co.kr/devpoc/index.omp
    3. apple app store : https://developer.apple.com/app-store/
  7. 지적재산권 등록
    1. 특허정보검색(KIPRIS) : http://www.kipris.or.kr/khome/main.jsp
    2. 특허로(특허출원) : http://www.patent.go.kr/portal/Main.do

 

 

 

Loading

13 5월 2999

매일 들르는 곳 : nooksurfer : ホームページの閲覧えつらん者しゃ

매일 들르는 곳 : nooksurfer : ホームページの閲覧えつらん者しゃ

 

 

자주 들르는 곳 : Frequent stop :

 

모바일 (게임)개발툴 사이트

 

 

 웹 (사이트) 개발

 

 

디지털 마켓

 

 

멀티미디어 리소스 (마켓)

 

인문학과 사회와 재경학에 관심을 가져보자

 

오프라인 교육 기관

 

Loading

3 12월 2024

[교직훈련/교수법] IT 개발자에서 결국, 인생2막 “교육자”로 변신 中

[교직훈련/교수법] IT 개발자에서 결국, 인생2막 “교육자”로 변신 中

27년 넘게 개발자로 일하며 다양한 프로젝트를 경험했는데요, 이제는 제가 가진 경험과 노하우를 다른 분들과 나누고 싶어서 새로운 도전을 시작했습니다. 최근 “국가 직업능력 훈련 교사” 자격증을 취득하고, 직업훈련교사로의 전환을 준비 중입니다.

앞으로는 실무에서 쌓은 이야기를 바탕으로, 필요한 기술과 지식을 전달하며 함께 성장할 수 있는 교육자가 되고 싶습니다.

직업능력개발훈련교사 자격증(web용_blur처리).png

Loading

22 11월 2024

[교수법][PBL 수업] [태재미래교육포럼] 사라지는 것과 생겨나는 것 – AI를 이용한 학습자 중심의 PBL 사례 실습 (원종윤 동명대학교 시각디자인학과 교수)

[교수법][PBL 수업] [태재미래교육포럼] 사라지는 것과 생겨나는 것 – AI를 이용한 학습자 중심의 PBL 사례 실습 (원종윤 동명대학교 시각디자인학과 교수)

요약: “[태재미래교육포럼] 사라지는 것과 생겨나는 것 – AI를 이용한 학습자 중심의 PBL 사례 실습 (원종윤 동명대학교 시각디자인학과 교수)”

  1. AI를 활용한 교수법 개발
    • 2020년 코로나 시기 고립된 환경 속에서 메타버스와 AI 협업 도구를 활용한 교육법 개발.
    • AI 활용 사례: 이미지 생성, 메타버스 전공 연계, 게임 엔진 및 버추얼 휴먼 교육 등.
  2. AI와 창작 도구의 발전
    • 2022년 달리(DALL·E), 미드저니(MidJourney) 등의 이미지 생성 도구 조기 활용 경험.
    • 생성형 AI를 활용한 예술가 및 디자이너의 변화와 적응 사례.
  3. 교육 현장에서의 AI 활용
    • AI 도구를 활용한 PBL(프로젝트 기반 학습)의 투트랙 전략:
      • 초보자를 위한 프로젝트 제공.
      • 실제 문제 해결을 위한 고급 프로젝트 진행.
    • 중학교, 고등학교 교사 대상 AI 활용 교육 및 수업 계획 개발.
  4. AI의 창작 지원 및 한계
    • AI 도구를 활용한 예술 및 창작 지원 사례와 제한점:
      • 예: 어린이의 상상을 AI를 활용해 동화책 제작.
      • 저작권 문제와 표절 가능성에 대한 고찰.
  5. AI의 사회적 영향과 문제 해결
    • 생성형 AI로 인한 초상권, 저작권, 윤리적 문제들.
    • PBL 수업을 통한 문제 정의 및 해결 방안 도출.
    • AI 도구의 정확성과 신뢰성 확보를 위한 교육의 중요성.
  6. AI 기술과 직업의 변화
    • AI 활용 능력이 채용의 중요한 기준으로 부상.
    • AI 도입으로 인해 사라지는 직업과 새롭게 생겨나는 직업에 대한 전망.
  7. 저작권 및 윤리적 고려
    • AI 생성물의 저작권 부재와 인간 창작자의 기여도 기록 필요.
    • 교육 및 창작 환경에서 저작권 문제와 가이드라인 개발 사례.
  8. 학생과 교사 대상 AI 교육 사례
    • 다양한 연령과 수준에 맞춘 PBL 프로젝트 개발.
    • AI 도구를 활용한 수업 설계 및 팀 프로젝트 결과물 제작.
  9. 미래 AI 활용 방향성
    • AI 활용 경험을 통해 기술 발전의 가능성과 사회적 영향을 긍정적으로 수용.
    • 교육 및 창작 현장에서 AI의 도구적 역할과 문제 해결 능력 강조.
  10. 강의 결론 및 제언
    • AI 도구를 활용한 PBL은 미래 교육과 창작에 중요한 역할을 할 것.
    • 교사와 학생 모두 새로운 기술을 체험하고 문제를 해결하며 발전해야 함.

Loading

19 11월 2024

[알아봅시다] 게임의 순기능…직장생활에 필요한 ‘스킬’ 길러준다

[알아봅시다] 게임의 순기능…직장생활에 필요한 ‘스킬’ 길러준다

게임의 순기능…직장생활에 필요한 ‘스킬’ 길러준다

입력
컴퓨터 게임을 즐기는 사람들. 게티이미지뱅크

컴퓨터 게임을 즐기는 사람들. 게티이미지뱅크

청소년에게 중독을 비롯한 악영향을 미치는 것으로 알려진 온라인 게임이 성인에게는 직장 생활에서 바람직한 마음가짐을 갖는 데 도움이 된다는 연구결과가 나왔다.

멜리카 시르모하마디 미국 휴스턴대 교수 연구팀은 온라인 게임을 취미로 즐기는 사람들이 직장에서 부여되는 업무를 ‘해결 가능한 퍼즐’로 여기며 적극적으로 도전하고 조직생활을 하는 데 팀워크, 리더십, 자신감과 같은 긍정적인 정서가 발달했다는 연구결과를 국제학술지 ‘국제 인적자원 개발’에 18일(현지시간) 발표했다.

연구팀은 평균 20년 동안 비디오 게임을 즐기고 최소 10년 이상 대규모 다중사용자 온라인 역할 게임(MMORPG)을 취미로 삼은 성인 직장인 23명을 대상으로 설문조사를 실시했다. 게임이 직장생활에 미치는 영향을 효과적으로 확인하기 위해 온라인 게임 이용자의 경우 해당 게임 랭킹 상위 1%에 속하는 참가자들을 모집했다.

참가자들이 종사하는 직업 분야는 회계, 인사와 행정지원, 프로젝트 관리, 엔지니어링, 재무, 교육 등 다양했다. 연령대는 20~41세였으며 평균 연령은 29세였다. 남성 19명과 여성 4명이 참여했다.

참가자들이 직장 생활을 하는 과정에서 어떤 정서적 특성을 갖고 있는지 확인하기 위해 연구팀은 심층 인터뷰를 실시했다. 참가자들이 음성으로 답변한 내용을 줄글로 바꾸어 어떤 단어나 표현을 자주 사용했는지와 전체적인 내용을 자세히 분석했다.

연구팀은 정량적 데이터보다 개인의 주관적인 답변을 깊게 분석하는 이같은 방식은 사회적 상호작용에 대한 이해를 얻는 데 유리한 연구 방법론인 질적 해석주의 접근법이라고 설명했다.

인터뷰 질문은 참가자들이 자신의 경험을 해석하는 방식, 자신의 가치관을 구성하는 방식 등을 알아보기 위한 문항들로 구성됐다.

분석 결과 참가자들은 직장에서 수행해야 하는 업무를 해결 가능한 퍼즐이라 여겼다. 엔지니어로 일하는 한 참가자는 “퍼즐을 보면 풀고 싶다는 동기가 생긴다. 업무도 퍼즐이라 생각하면 해결 가능한 일이라고 생각하게 되곤 한다”고 말했다. 업무 목표를 달성하기 위해 진취적인 자세를 가지게 된다는 답변이다.

다른 참가자들은 온라인 게임에서의 성공 경험을 통해 자신감을 키울 수 있었다고 말했다. 또 자신이 게임 상에서 선보인 기술과 팀원들과 함께 게임을 한 방식에 대한 피드백을 받으면서 자기 인식이 발달했다고 보고했다.

연구팀은 “성과 평가, 피드백 제공, 지시하기, 다른 사람에게 영감을 주기 등의 능력은 게이머가 게임을 하면서 함양할 수 있는 능력”이라고 말했다.

연구를 이끈 시르모함마디 교수는 “이번 연구는 그간 연구되지 않았던 취미로서의 게임이 업무에 어떻게 도움이 될 수 있는가를 보여줬다”며 “게임은 실제로 사람들이 직장 업무를 수행하는 데 중요한 ‘스킬(기술)’을 개발하는 데 도움이 된다”고 말했다.

<참고 자료>
– doi.org/10.1080/13678868.2024.2404818

기자 프로필

[출처] https://n.news.naver.com/article/584/0000029635?cds=news_media_pc 

Loading

14 11월 2024

[알아봅시다] “일상에 스며든 AI”…2025년 주목할 ICT 10대 이슈

[알아봅시다] “일상에 스며든 AI”…2025년 주목할 ICT 10대 이슈

“일상에 스며든 AI”…2025년 주목할 ICT 10대 이슈

입력
IITP, 10대 ICT이슈 선정…’AI’ 전산업으로 확산, 혁신 가속“AI가 모든 기술에 연관성을 가지고 진흥과 혁신을 계속하고 있다. 올해는 AI가 실현 가능하다는 것을 증명한 한 해라면, 내년은 AI가 우리의 생활에 범용 기술로 자리 잡으면서, 혁신과 경쟁이 더욱 빠르게 진행되는 해가 될 것이다”

임진국 정보통신기획평가원(IITP) 디지털미래정책단장은 14일 서울 양재동 엘타워에서 열린 2025 ICT 산업전망 컨퍼런스에서 내년에 주목해야 할 ICT 분야 주요 10대 이슈를 꼽은 뒤 이같이 말했다.

이날 IITP는 2025년 주목해야 할 10대 ICT 이슈로 인공지능(AI), AI반도체, AI데이터, 양자기술, 네트워크, 사이버보안, 미디어, 휴머노이드, AI사이언티스트, 안전안보 등의 키워드를 제시했다.

2025 ICT 10대 전망

AI, AI에이전트의 시대로

AI 대혁명 시대가 열리면서 일반인공지능(AGI)을 향한 진화가 더욱 가속되고 있다. 일론 머스크는 2~3년 내, 샘 올트먼은 수천일 내 AGI 시대가 열릴 것으로 전망했다. 단 실효성, 효율성의 이슈도 계속 부상될 것으로 예측된다.

IITP는 내년부터 AI의 에이전트 시대가 본격 열릴 것으로 전망한다. 스스로 계획을 하고 행동을 하고 학습하는 AI가 등장할 것이라는 설명이다. 미팅, 캘린더, 메일, 메신저, 검색, RPA, 챗봇 등을 모두 AI 에이전트가 해결해줄 것이라는 기대가 나온다.

임진국 단장은 “AI 혁신이 우리 일상과 경제 사회적인 영향력을 가속화시킬 것”이라며 “우리 일상 일하는 방식의 변화의 계기점이 될 것이라고 생각한다”고 말했다.

또한 오픈소스 AI가 AI 혁신 경쟁을 가속화 시키지만, 빅테크 중심의 AI 진입장벽이 낮아지는 계기가 될 것이라고 설명했다.

AI 반도체, 초격차 전장의 전면 확장

빅테크의 자체칩 개발이 증가하고 HBM 수요가 폭발하면서 AI 반도체 비중은 더욱 늘어나고 있다. 이에 내년은 AI 반도체를 두고 미국과 중국이 초격차로 겨루는 한 해가 될 것으로 예상된다. 한국도 이런 흐름에 합류해 ‘AI-반도체 이니셔티브’를 맺은 상황이다.

IITP는 NPU 시장이 본격 개화되는 시기가 될 것이라고 주목했다. GPU가 성장하면서 공급적체, 전력소모, 물 과다 사용 등으로 언제까지 갈것이냐 하는 우려가 존대. 이에 NPU를 다시 주목하게 될 것이고, 시스템SW과 만나 NPU 시장이 확산 될 것이라는 예측이다.

여전히 해결되지 않는 반도체의 메모리 방목 문제, 전력 소모 문제 등도 극복해야 할 한계점이다. 이러한 한계점이 차세대 반도체 시장의 새로운 기회를 열것이라고 전망했다.

AI 데이터, ‘BIG’ 데이터보다 ‘FINE’ 데이터로

AI가 등장한 초기는 파라미터의 크기가 성능을 좌우 했지만 최근에는 무조건 그렇지 않다는 결과가 나오고 있는 상황이다. 이에 2026년도 부터 학습데이터의 고갈이 시작될 것이라는 전망이 나온다. AI 시장은 데이터를 기반으로 성장하는데, 데이터 자체가 고갈되면 정체는 불가피 하다.

이를 극복하기 위해 AI 합성 데이터가 주목받고 있다. 양질의 데이터가 절대적으로 필요한 시기가 오고 있는 것. 그러나 환각 등으로 모델이 붕괴될 위험도도 존재한다.

이에 내년은 다시 고품질의 데이터에 주목하는 한해가 될 것으로 보인다. AI 성능 경쟁 이전에 데이터 확보 경쟁이 본격화 될 것이라는 설명이다.

나아가 AI 학습 방법도 변화될 것으로 관측된다. 방대한 데이터를 바탕으로 사전 및 사후 학습이 직중됐지만 이제는 추론 학습이라는 새로운 과정이 더 해진다는 것. 사람처럼 반복적으로 생각하도록 하게 하면서 성능도 10배 정도 향상됐다는 결과도 나오고 있다. 갈수록 소량 데이터의 학습이 더욱 주목을 받게된다.

양자기술…퀀텀, 과학에서 산업으로

100년 동안 이어온 양자 기술도 떠올랐다. 연구실을 넘어 산업으로 도약하기 시작한 것이다. 양자 암호통신, 양자 네트워크, 양자센서 등이 절차를 거치며 본격 상용화를 앞두고 있다. 앞으로 양자 기술은 우리의 일상에 가까워질 예정이다. 단 고비용, 대형사이즈, 낮은 양상 효율 등의 단점이 극복해야 한다.

IITP는 퀀텀과 AI가 결합해 디지털 미래를 대비하는 시기인 점을 주목했다. 두 기술이 합쳐져 초저전력, 막강한 병렬연산, 빠른 데이터 처리, 높은 보안성 등의 시너지가 발휘된다. 이에 세계 각국이 양자기술을 육성하면서 보호 하고자 하는 시대가 오고 있으므로, 우리나라도 세계의 흐름에 합류해야 한다고 제언했다.

지능화가 주도하는 차세대 네트워크

최근 AI 서비스가 확산되면서 데이터 트래픽 폭증, AI 서비스 트래픽 비중 증가 등의 네트워트의 당면과제들이 떠오르고 있다.

IITP는 SW를 넘어 AI 중심의 네트워크로 혁신하는 점을 주목했다. 네트워크 SW중심이 AI를 만나, 네트워크 지능화 AI RAN을 구성할 것이라는 것. 이에 내년은 네트워크의 AI 지능화를 통해서 AI 로봇, 의료와 같은 고차원의 AI 서비스가 점차 빠르게 전개될 것으로 전망된다.

또한 이러한 네트워크 지능화는 통신시장의 경쟁 구도에서도 변화를 야기시킬 것으로 예상된다. 나아가 6G 주도권 경쟁에서도 이러한 지능화는 필수라고 꼽았다.

AI 창, AI 방패 등 사이버 보안 급부상

사이버 공격도 AI와 만나 양적, 질적으로 진화하고 있다. 사이버 위협 건수가 늘어나고, 피해규모도 커지면서 사이버위협이 양적으로 확대되고 있는 상황이다.

내년에는 사이버 보안이 다시 주목받을 예정이다. AI 공격을 AI 보안으로 막는 방식이 증가할 것이라는 설명이다. 개인, 기업 뿐만 아니라 국가 차원에서 사이버 보안의 중요성을 확인하는 한 해가 될것으로 관측된다.

IITP는 안전한 데이터를 바탕으로 마이데이터가 통신, 의료, 금융, 유통 등 전분야로 확대될 것이라고 예측했다. 데이터의 안전이 보호받으면서 활용되는 균형이 잡힐 것으로 본 것이다.

미디어콘텐츠의 창의혁명, AI영상과 공간 컴퓨팅

과거 화가, 사진작가, 만화가 등을 대체하기 힘들 것으로 관측됐으나 생성형 AI가 등장하면서 뒤집혀졌다. IITP는 AI 기반의 영상 제작이 빨라지면서 미디어 콘텐츠 제작환경에서 거대한 변화가 일어날 것이라고 전망했다.

AI 미디어콘텐츠와 AI 에이전트가 만나 새로운 나비효과가 탄생한다는 것이다. 디지털트윈, AI, XR, 네트워크, 블록체인 등이 만나 공간컴퓨팅을 불러올 것으로 기대한다.

디지털과 현실세계 연결의 중심에 선 휴머노이드

휴머노이드는 인류의 삶으로 성큼 다가왔다. 물류, 제조 영역에서는 이미 휴머노이드를 활용하고 있다. 휴머노이드 출하량은 갈수록 늘고 있다. 최근 대량 생산이 가능해지면서 본격적인 휴머노이드 시대가 열린 상황이다.

IITP는 내년 SDR(SW Defined Robot)이 범용 휴머노이드 시대를 열것으로 전망했다. SDR, 소프트웨어, 디파인드 로봇 등이 휴먼와이드 시대를 열어가는 핵심으로 자리매김 할 것이라는 설명이다.

SDR은 어떤 특정 규모 세대가 한 분야만의 일을 잘하는 게 아니라, 다양한 분야에 다목적으로 활용할 수 있는 모형 로봇 시대로의 전환을 가속화한다. 하드웨어의 경쟁력이 소프트웨어로 옮겨지는 시대인 만큼 SDx 시대가 펼쳐질 것으로 예측된다.

빨라지는 과학혁명, AI 사이언티스트

디지털이 과학 혁신의 주역으로 급부상하고 있다. 올해 노벨상을 받은 이들은 AI 석학자들이 많았다. AI+과학이 만나 패러다임이 변화되고 있는 것이다.

내년은 AI가 의료, 바이오 혁명을 현실화 하는 해가 될 것으로 전망된다. AI 주치의 시대가 개막하고, 제약 바이오에서도 AI를 본격적으로 활용해 신약을 개발할 것으로 보인다.

또 AI 과학자가 태동하는 해가 될 것으로 전망된다. AI가 물리, 화학, 소재, 우주 등 과학 분야에 적용되면서 발전 시간도 가속될 것이라는 설명이다.

디지털 미래의 힘, AI 안전과 주권

AI 혁신이 가속화되면서 딥페이크, 가짜 뉴스 등의 범죄 증가도 늘어나고 있다. 이와 같은 기술적인 혁신이 계속되면서 법과 제도도 정비되는 해가 될 것으로 관측된다. 나아가 검증, 관리가 강화되고 확산될 예정이다.

디지털 공동번영 사회, AI 안전 연구소, 등이 시장의 중요한 역할로 떠올라 안전하고 신뢰할 수 있는 AI를 위해 글로벌 연대도 필수적일 것으로 보인다.

ITTP는 소버린AI로 안보의 기틀을 세울 것으로 전망했다. 이미 글로벌 국가들은 AI 모델, 데이터, 컴퓨팅 파워 등을 바탕으로 안보 자산을 확보하고자 노력하는 모습을 보이고 있다.

[출처] https://n.news.naver.com/mnews/article/092/0002352566

Loading

30 9월 2024

[인공지능 기술] 소규모 언어 모델(SLM) 소규모 언어 모델의 부상: AI를 위한 효율성과 맞춤화 : Small Language Models (SLMs)

[인공지능 기술] 소규모 언어 모델(SLM) 소규모 언어 모델의 부상: AI를 위한 효율성과 맞춤화 : Small Language Models (SLMs)

Small Language Models (SLMs)

The Rise of Small Language Models: Efficiency and Customization for AI

Large language models (LLMs) have captured headlines and imaginations with their impressive capabilities in natural language processing. However, their massive size and resource requirements have limited their accessibility and applicability. Enter the small language model (SLM), a compact and efficient alternative poised to democratize AI for diverse needs.

What are Small Language Models?

SLMs are essentially smaller versions of their LLM counterparts. They have significantly fewer parameters, typically ranging from a few million to a few billion, compared to LLMs with hundreds of billions or even trillions. This difference in size translates to several advantages:

  • Efficiency: SLMs require less computational power and memory, making them suitable for deployment on smaller devices or even edge computing scenarios. This opens up opportunities for real-world applications like on-device chatbots and personalized mobile assistants.
  • Accessibility: With lower resource requirements, SLMs are more accessible to a broader range of developers and organizations. This democratizes AI, allowing smaller teams and individual researchers to explore the power of language models without significant infrastructure investments.
  • Customization: SLMs are easier to fine-tune for specific domains and tasks. This enables the creation of specialized models tailored to niche applications, leading to higher performance and accuracy.

How do Small Language Models Work?

Like LLMs, SLMs are trained on massive datasets of text and code. However, several techniques are employed to achieve their smaller size and efficiency:

  • Knowledge Distillation: This involves transferring knowledge from a pre-trained LLM to a smaller model, capturing its core capabilities without the full complexity.
  • Pruning and Quantization: These techniques remove unnecessary parts of the model and reduce the precision of its weights, respectively, further reducing its size and resource requirements.
  • Efficient Architectures: Researchers are continually developing novel architectures specifically designed for SLMs, focusing on optimizing both performance and efficiency.

Benefits and Limitations

Small Language Models (SLMs) offer the advantage of being trainable with relatively modest datasets. Their simplified architectures enhance interpretability, and their compact size facilitates deployment on mobile devices.

A notable benefit of SLMs is their capability to process data locally, making them particularly valuable for Internet of Things (IoT) edge devices and enterprises bound by stringent privacy and security regulations.

However, deploying small language models involves a trade-off. Due to their training on smaller datasets, SLMs possess more constrained knowledge bases compared to their Large Language Model (LLM) counterparts. Additionally, their understanding of language and context tends to be more limited, potentially resulting in less accurate and nuanced responses when compared to larger models.

Comparision of SLM and LLM

Some Examples of Small Language Models (SLMs)

  1. DistilBERT: DistilBERT represents a more compact, agile, and lightweight iteration of BERT, a pioneering model in natural language processing (NLP). — https://huggingface.co/docs/transformers/model_doc/distilbert
  2. Orca 2: Developed by Microsoft, Orca 2 is the result of fine-tuning Meta’s Llama 2 using high-quality synthetic data. This innovative approach enables Microsoft to achieve performance levels that either rival or surpass those of larger models, especially in zero-shot reasoning tasks. — https://huggingface.co/microsoft/Orca-2-13b
  3. Phi 2: Microsoft’s Phi 2 is a transformer-based Small Language Model (SLM) engineered for efficiency and adaptability in both cloud and edge deployments. According to Microsoft, Phi 2 exhibits state-of-the-art performance in domains such as mathematical reasoning, common sense, language understanding, and logical reasoning. — https://huggingface.co/docs/transformers/main/model_doc/phi
  4. BERT Mini, Small, Medium, and Tiny: Google’s BERT model is available in scaled-down versions — ranging from Mini with 4.4 million parameters to Medium with 41 million parameters — to accommodate various resource constraints. — https://huggingface.co/prajjwal1/bert-mini
  5. GPT-Neo and GPT-J: GPT-Neo and GPT-J are scaled-down iterations of OpenAI’s GPT models, offering versatility in application scenarios with more limited computational resources. — https://huggingface.co/docs/transformers/model_doc/gpt_neo
  6. MobileBERT: Tailored for mobile devices, MobileBERT is specifically designed to optimize performance within the constraints of mobile computing. — https://huggingface.co/docs/transformers/model_doc/mobilebert
  7. T5-Small: As part of Google’s Text-to-Text Transfer Transformer (T5) model series, T5-Small strikes a balance between performance and resource utilization, aiming to provide efficient text processing capabilities. — https://huggingface.co/t5-small

The Future of Small Language Models

As research and development progress, we can expect SLMs to become even more powerful and versatile. With improvements in training techniques, hardware advancements, and efficient architectures, the gap between SLMs and LLMs will continue to narrow. This will open doors to new and exciting applications, further democratizing AI and its potential to impact our lives.

In conclusion, small language models represent a significant shift in the landscape of AI. Their efficiency, accessibility, and customization capabilities make them a valuable tool for developers and researchers across various domains. As SLMs continue to evolve, they hold immense promise to empower individuals and organizations alike, shaping a future where AI is not just powerful, but also accessible and tailored to diverse needs.

[출처] https://medium.com/@nageshmashette32/small-language-models-slms-305597c9edf2

소규모 언어 모델(SLM)

소규모 언어 모델의 부상: AI를 위한 효율성과 맞춤화

대규모 언어 모델(LLM)은 자연어 처리에서 인상적인 역량으로 헤드라인과 상상력을 사로잡았습니다. 그러나 엄청난 크기와 리소스 요구 사항으로 인해 접근성과 적용성이 제한되었습니다. 다양한 요구에 맞게 AI를 민주화할 수 있는 컴팩트하고 효율적인 대안인 소규모 언어 모델(SLM)이 등장했습니다.

소규모 언어 모델이란?

SLM은 본질적으로 LLM 대응물의 더 작은 버전입니다. LLM이 수백억 또는 수조 개에 달하는 것과 비교했을 때, 일반적으로 수백만에서 수십억 개에 이르는 매개변수가 훨씬 적습니다. 이러한 크기의 차이는 여러 가지 이점으로 이어집니다.

  • 효율성: SLM은 컴퓨팅 파워와 메모리가 덜 필요하므로 더 작은 기기나 엣지 컴퓨팅 시나리오에 배포하는 데 적합합니다. 이를 통해 온디바이스 챗봇 및 개인화된 모바일 어시스턴트와 같은 실제 애플리케이션에 대한 기회가 열립니다.
  • 접근성: 리소스 요구 사항이 낮기 때문에 SLM은 더 광범위한 개발자와 조직에서 더 쉽게 접근할 수 있습니다. 이를 통해 AI가 민주화되어 소규모 팀과 개별 연구자가 상당한 인프라 투자 없이 언어 모델의 힘을 탐구할 수 있습니다.
  • 사용자 정의: SLM은 특정 도메인 및 작업에 대해 미세 조정하기가 더 쉽습니다. 이를 통해 틈새 시장 애플리케이션에 맞게 조정된 전문 모델을 만들 수 있어 더 높은 성능과 정확성을 얻을 수 있습니다.

소규모 언어 모델은 어떻게 작동하나요?

LLM과 마찬가지로 SLM은 방대한 텍스트 및 코드 데이터 세트에서 학습됩니다. 그러나 더 작은 크기와 효율성을 달성하기 위해 여러 가지 기술이 사용됩니다.

  • 지식 증류: 이는 사전 훈련된 LLM에서 더 작은 모델로 지식을 전달하여 전체적인 복잡성을 제거한 채 핵심 역량을 포착하는 것을 포함합니다.
  • 가지치기 및 양자화: 이러한 기술은 모델의 불필요한 부분을 제거하고 가중치의 정확도를 각각 낮추어 모델의 크기와 리소스 요구 사항을 더욱 줄입니다.
  • 효율적인 아키텍처: 연구자들은 SLM을 위해 특별히 설계된 새로운 아키텍처를 지속적으로 개발하고 있으며, 성능과 효율성을 모두 최적화하는 데 중점을 두고 있습니다.

이점 및 제한 사항

소규모 언어 모델(SLM)은 비교적 적은 데이터 세트로 훈련할 수 있다는 장점이 있습니다. 간소화된 아키텍처는 해석 가능성을 높이고, 컴팩트한 크기는 모바일 기기에 배포하는 데 용이합니다.

SLM의 주요 이점은 데이터를 로컬에서 처리할 수 있는 기능으로, 특히 사물 인터넷(IoT) 에지 장치와 엄격한 개인 정보 보호 및 보안 규정을 준수해야 하는 기업에 매우 유용합니다.

그러나 소규모 언어 모델을 배포하는 데는 트레이드오프가 수반됩니다. 소규모 데이터 세트에 대한 훈련으로 인해 SLM은 대규모 언어 모델(LLM) 대응 모델에 비해 더 제한된 지식 기반을 가지고 있습니다. 또한 언어와 맥락에 대한 이해가 더 제한되는 경향이 있어 대규모 모델에 비해 덜 정확하고 미묘한 응답이 나올 가능성이 있습니다.

SLM과 LLM의 비교

소규모 언어 모델(SLM)의 몇 가지 예

  1. DistilBERT : DistilBERT는 자연어 처리(NLP)의 선구적 모델인 BERT의 보다 컴팩트하고 민첩하며 가벼운 반복을 나타냅니다. — https://huggingface.co/docs/transformers/model_doc/distilbert
  2. Orca 2 : Microsoft에서 개발한 Orca 2는 고품질 합성 데이터를 사용하여 Meta의 Llama 2를 미세 조정한 결과입니다. 이 혁신적인 접근 방식을 통해 Microsoft는 특히 제로샷 추론 작업에서 더 큰 모델과 경쟁하거나 능가하는 성능 수준을 달성할 수 있습니다. — https://huggingface.co/microsoft/Orca-2-13b
  3. Phi 2 : Microsoft의 Phi 2는 클라우드와 엣지 배포 모두에서 효율성과 적응성을 위해 설계된 트랜스포머 기반 Small Language Model(SLM)입니다. Microsoft에 따르면 Phi 2는 수학적 추론, 상식, 언어 이해 및 논리적 추론과 같은 도메인에서 최첨단 성능을 보여줍니다. — https://huggingface.co/docs/transformers/main/model_doc/phi
  4. BERT Mini, Small, Medium, Tiny : Google의 BERT 모델은 440만 개의 매개변수가 있는 Mini부터 4,100만 개의 매개변수가 있는 Medium까지 다양한 리소스 제약을 수용할 수 있는 축소 버전으로 제공됩니다. — https://huggingface.co/prajjwal1/bert-mini
  5. GPT-Neo 및 GPT-J : GPT-Neo 및 GPT-J는 OpenAI의 GPT 모델을 축소한 버전이며, 더 제한된 계산 리소스가 있는 애플리케이션 시나리오에서 다양성을 제공합니다. — https://huggingface.co/docs/transformers/model_doc/gpt_neo
  6. MobileBERT : 모바일 기기에 맞춰 제작된 MobileBERT는 모바일 컴퓨팅의 제약 내에서 성능을 최적화하도록 특별히 설계되었습니다. — https://huggingface.co/docs/transformers/model_doc/mobilebert
  7. T5-Small : Google의 Text-to-Text Transfer Transformer(T5) 모델 시리즈의 일부인 T5-Small은 성능과 리소스 활용 간의 균형을 맞춰 효율적인 텍스트 처리 기능을 제공하는 것을 목표로 합니다. — https://huggingface.co/t5-small

소규모 언어 모델의 미래

연구 개발이 진행됨에 따라 SLM이 더욱 강력하고 다재다능해질 것으로 예상할 수 있습니다. 훈련 기술, 하드웨어 발전, 효율적인 아키텍처의 개선으로 SLM과 LLM 간의 격차는 계속 좁아질 것입니다. 이를 통해 새롭고 흥미로운 응용 분야로의 문이 열리고 AI와 그것이 우리 삶에 영향을 미칠 잠재력이 더욱 민주화될 것입니다.

결론적으로, 소규모 언어 모델은 AI의 풍경에서 상당한 변화를 나타냅니다. 효율성, 접근성 및 사용자 정의 기능은 다양한 도메인의 개발자와 연구자에게 귀중한 도구가 됩니다. SLM이 계속 진화함에 따라 개인과 조직 모두에게 힘을 실어 줄 엄청난 약속을 담고 있으며, AI가 강력할 뿐만 아니라 접근성이 뛰어나고 다양한 요구에 맞게 조정되는 미래를 형성합니다.

 
 

Loading

28 7월 2024

[인공지능 기술] [표지로 읽는 과학] AI가 생성한 데이터 학습한 AI, 오염된 정보 낳는다

[인공지능 기술] [표지로 읽는 과학] AI가 생성한 데이터 학습한 AI, 오염된 정보 낳는다

[표지로 읽는 과학] AI가 생성한 데이터 학습한 AI, 오염된 정보 낳는다

입력
네이처 제공

네이처 제공

국제학술지 ‘네이처’는 이번주 표지로 입에서 오물을 토해내는 로봇의 이미지를 실었다. 로봇이 흘린 오물에는 작은 로봇들이 달라붙어 있다. 큰 로봇이 생산한 오물이 다시 다른 로봇에게 전해지는 모습을 표현한 것이다.

대형언어모델(ILL)과 같은 생성형 인공지능(AI) 도구의 비약적인 발전은 이 같은 도구가 인간이 오랜 세월 생성한 방대한 데이터를 학습했기 때문이다. 하지만 AI가 만들어낸 정보가 온라인을 통해 빠르게 확산되면서 상황이 변했다. AI가 학습하는 데이터가 인간이 아닌 AI가 생성한 정보로 대체되기 시작한 것이다.

일라일 슈마일로프 영국 옥스퍼드대 교수 연구팀은 AI가 인간이 생산한 정보가 아닌 정보로 학습하기 시작하면서 생성하는 정보의 질이 급격히 저하된다는 연구 결과를 24일(현지시간) 네이처에 발표했다.

이번 연구에선 AI가 생산하는 정보의 질이 급격하게 저하된 사례가 소개됐다. 중세 건축물에 대한 글을 학습한 대형언어모델이 9번에 걸쳐 AI가 생성한 새로운 정보를 학습한 뒤 생성한 텍스트에는 엉뚱하게도 북미산 토끼에 대한 이야기가 담겼다.

TV 예능 프로그램 등에서 소음이 심한 헤드셋을 낀 여러 명의 참가자가 차례대로 단어를 전하는 게임을 할 때와 비슷한 상황이다. 이런 게임에서 마지막 참가자는 종종 처음 제시어와 전혀 다른 단어를 정답으로 제시하곤 한다.

연구팀은 이같은 현상을 ‘모델 붕괴(models collapse)’라 명명했다. AI가 생성한 질이 저하된 정보가 다음 세대의 AI를 퇴행시키는 현상을 가리킨다. 연구팀은 “오염된 데이터로 학습한 AI는 현실 자체를 잘못 인식하게 된다”고 말했다.

모델 붕괴는 초기 붕괴와 후기 붕괴로 나뉜다. 초기 붕괴는 전체 데이터 중 말단 정보가 손상된다. 후기 붕괴는 전체 데이터 분포가 전반적으로 초기 데이터와 유사하지 않은 분포를 보이게 된다.

연구팀은 이러한 데이터 손상이 발생하는 원인으로 ‘근사치의 오류’를 지목했다. 정보가 재생산되는 과정에서 AI 모델은 근사치로 추정을 하게 되는데 이렇게 누적된 오차가 결국 데이터를 오염시킨다는 것이다.

연구팀은 “AI가 생성한 데이터를 사용해 대형언어모델을 훈련하는 것이 불가능한 것은 아니지만 이러한 데이터를 정제하는 데 많은 주의를 기울여야 한다”면서 “데이터의 질 측면에선 인간이 생성한 데이터가 여전히 우위에 있을 것”이라고 강조했다.

Loading

4 5월 2024

웹사이트 조회수 상승의 혁신적인 솔루션 – 자동 클릭 안드로이드 앱

웹사이트 조회수 상승의 혁신적인 솔루션

– 자동 클릭 안드로이드 앱

웹사이트의 페이지 조회수를 높이기 위한 기존 방식에는 여러 불편함이 있었습니다.

안드로이드 폰과 PC를 USB 테더링으로 연결하여 사용하는 방식은 공간을 많이 차지하고,

장비 설정에 시간이 소요됩니다.

또한, 이 방식은 항상 세팅이 올바르게 유지되고 있는지 지속적인 관리가 필요했습니다.

이러한 문제점을 해결하기 위해 혁신적인 솔루션을 제공합니다.

이제 안드로이드 폰 하나로 모든 작업이 가능한 자동 클릭 앱을 소개합니다.

복잡한 세팅 없이 앱을 설치하고 실행만으로

웹사이트의 페이지 조회수를 즉시 상승시킬 수 있습니다.

주요 기능 및 이점:

간편한 세팅: 대상 안드로이드 기기에 원격으로 앱을 설치하여 사용자는 복잡한 프로세스를 거치지 않습니다.

루팅 불필요: 비행기 모드 전환을 위한 루팅이 필요 없으며, 구글 플레이에서 검증된 도우미 앱을 통해 안전하게 설치합니다. 설치 과정이 까다로우므로 원격 작업을 지원합니다.

효율성 증대: 안드로이드 폰과 PC 각 1대씩이 소모 장비로 남는 문제와 세팅 공간과 전력사용를 해결하고, 안드로이드 폰 기기 하나로 모든 작업을 완료하여 효율을 극대화합니다.

웹사이트의 트래픽과 인지도를 높일 수 있습니다.

웹사이트의 성장을 위한 첫 걸음을 뗄 준비가 되셨나요?

지금 바로 문의하여 서비스를 경험해 보세요.

요청사항

1. 오토 클릭 앱을 설치할 안드로이드 폰 (통신 가입 필수(데이터사용),

Wifi연결(설치할때만) )및

그 폰에 “개발자 모드”활성화 및 요청에 따른 (설치할때만) 원격 접속 설정이 필요합니다.

사용자 폰을 루팅 없이 설치하려니, 과정이 까다롭습니다.

설치과정과 확인에 20분정도 소요됩니다.

2. 개인 휴대폰도 설정 가능하지만 “오토 클릭” 앱이 구동될 때, “비행기 모드” on / off로

통신 두절 될 경우가 많으므로, 가급적 유휴 안드로이드 폰에 “데이터 함께 쓰기” 가입된

휴대폰이 좋습니다.

문의 : sjkim70@stechstar.com

서비스 문의 : https://kmong.com/gig/572462

 

 

 

 

Loading