13 5월 2999

Web Cloud & mobile App Business working Link

Web Cloud & mobile App Business working Link

  1. Biz Design Workplace
  2. Biz marketing tools Workplace
  3. Biz reference datas
    1. 프리렌서 업무 [크몽] : https://kmong.com/
    2. 모바일 앱 시장조사 [와이즈앱] : https://www.wiseapp.co.kr/
    3. 프리렌서 업무 [위시켓] : https://www.wishket.com
    4. 프리랜서 업무 [프리모아] : http://www.freemoa.net/
    5. 프리렌서 업무 [이렌서] : http://www.elancer.co.kr/
  4. Biz online Developing tool
  5. cloud developer console
    1. microsoft azure : https://azure.microsoft.com/ko-kr
    2. google developer console : https://console.cloud.google.com/?hl=ko
    3. amazon AWS : https://aws.amazon.com/ko/console/
  6. Mobile App Biz market
    1. android developer console : https://play.google.com/apps/publish/?hl=ko
    2. onestore (T Store) : http://dev.onestore.co.kr/devpoc/index.omp
    3. apple app store : https://developer.apple.com/app-store/
  7. 지적재산권 등록
    1. 특허정보검색(KIPRIS) : http://www.kipris.or.kr/khome/main.jsp
    2. 특허로(특허출원) : http://www.patent.go.kr/portal/Main.do

 

 

 

Loading

13 5월 2999

매일 들르는 곳 : nooksurfer : ホームページの閲覧えつらん者しゃ

매일 들르는 곳 : nooksurfer : ホームページの閲覧えつらん者しゃ

 

 

자주 들르는 곳 : Frequent stop :

 

모바일 (게임)개발툴 사이트

 

 

 웹 (사이트) 개발

 

 

디지털 마켓

 

 

멀티미디어 리소스 (마켓)

 

인문학과 사회와 재경학에 관심을 가져보자

 

오프라인 교육 기관

 

Loading

4 5월 2024

웹사이트 조회수 상승의 혁신적인 솔루션 – 자동 클릭 안드로이드 앱

웹사이트 조회수 상승의 혁신적인 솔루션

– 자동 클릭 안드로이드 앱

웹사이트의 페이지 조회수를 높이기 위한 기존 방식에는 여러 불편함이 있었습니다.

안드로이드 폰과 PC를 USB 테더링으로 연결하여 사용하는 방식은 공간을 많이 차지하고,

장비 설정에 시간이 소요됩니다.

또한, 이 방식은 항상 세팅이 올바르게 유지되고 있는지 지속적인 관리가 필요했습니다.

이러한 문제점을 해결하기 위해 혁신적인 솔루션을 제공합니다.

이제 안드로이드 폰 하나로 모든 작업이 가능한 자동 클릭 앱을 소개합니다.

복잡한 세팅 없이 앱을 설치하고 실행만으로

웹사이트의 페이지 조회수를 즉시 상승시킬 수 있습니다.

주요 기능 및 이점:

간편한 세팅: 대상 안드로이드 기기에 원격으로 앱을 설치하여 사용자는 복잡한 프로세스를 거치지 않습니다.

루팅 불필요: 비행기 모드 전환을 위한 루팅이 필요 없으며, 구글 플레이에서 검증된 도우미 앱을 통해 안전하게 설치합니다. 설치 과정이 까다로우므로 원격 작업을 지원합니다.

효율성 증대: 안드로이드 폰과 PC 각 1대씩이 소모 장비로 남는 문제와 세팅 공간과 전력사용를 해결하고, 안드로이드 폰 기기 하나로 모든 작업을 완료하여 효율을 극대화합니다.

웹사이트의 트래픽과 인지도를 높일 수 있습니다.

웹사이트의 성장을 위한 첫 걸음을 뗄 준비가 되셨나요?

지금 바로 문의하여 서비스를 경험해 보세요.

요청사항

1. 오토 클릭 앱을 설치할 안드로이드 폰 (통신 가입 필수(데이터사용),

Wifi연결(설치할때만) )및

그 폰에 “개발자 모드”활성화 및 요청에 따른 (설치할때만) 원격 접속 설정이 필요합니다.

사용자 폰을 루팅 없이 설치하려니, 과정이 까다롭습니다.

설치과정과 확인에 20분정도 소요됩니다.

2. 개인 휴대폰도 설정 가능하지만 “오토 클릭” 앱이 구동될 때, “비행기 모드” on / off로

통신 두절 될 경우가 많으므로, 가급적 유휴 안드로이드 폰에 “데이터 함께 쓰기” 가입된

휴대폰이 좋습니다.

문의 : sjkim70@stechstar.com

서비스 문의 : https://kmong.com/gig/572462

 

 

 

 

Loading

24 4월 2024

[인공지능 기술] “특정 업무에 최적”… AI 소형언어모델 뜬다

[인공지능 기술] “특정 업무에 최적”… AI 소형언어모델 뜬다

“특정 업무에 최적”… AI 소형언어모델 뜬다

입력 
수정2024.04.24. 오후 8:38
대형모델 추론비용 부담에
특정영역 겨냥 소형모델 붐
MS ‘파이-3 미니’ 출시
“비용 10분의 1로 낮춰”
구글·메타 빅테크 속속 공개
네이버 등 국내업체도 출격

마이크로소프트(MS)가 파라미터가 38억개에 불과한 소형언어모델(sLM)을 전격 출시했다. 파라미터는 인간 두뇌 시냅스에 해당해 많으면 많을수록 인공지능(AI) 성능이 우수하다는 견해가 지배적이었다. 하지만 대형언어모델(LLM)은 학습·추론하는 데 막대한 비용과 전력이 투입되다 보니 AI 업계가 ‘더 작지만 더 강한’ 모델 구축을 서두르는 장면이다.

23일(현지시간) MS는 ‘파이-3(Phi-3) 미니’를 공개했다. 챗GPT 근간이 되는 오픈AI GPT-3.5의 파라미터가 1750억개인 점과 비교할 때 크기가 약 50분의 1에 불과한 셈이다. 그동안 파라미터가 수십억 개에 불과한 LLM을 소형대규모언어모델(sLLM)이라고 불렀는데, MS는 이번 파이-3 미니를 sLM이라고 명명했다. “가장 작고 강하다”는 것을 전면에 내세운 것이다. MS는 파라미터 70억개의 ‘파이-3 스몰’과 140억개의 ‘파이-3 미디엄’을 내놓을 예정이다.

파이-3 미니는 언어, 추리, 코딩 등 다양한 능력을 갖추고 있다. 특히 작지만 12만8000개 토큰을 입력할 수 있다. 대략 A4 64쪽 분량이다. 보고서 등을 업로드하고 질의응답을 할 수 있다. 루이스 바가스 MS AI담당 부사장은 “어떤 고객은 작은 모델만 필요할 수도 있고, 어떤 고객은 큰 모델이 필요할 수도 있다”면서 “특히 작은 모델은 클라우드에 설치되지 않고 디바이스인 에지에서 작동되기 때문에 지연 시간을 최소화하고 프라이버시를 극대화할 수 있다”고 강조했다. 파이3-미니는 파라미터 수가 2배 많은 모델보다 대다수 지표에서 우수했다고 덧붙였다. 또 비슷한 기능을 가진 다른 모델과 비교해 추론 비용이 10분의 1 수준이라고 강조했다.

하이퍼클로바X를 전면에 내세운 네이버는 sLLM을 포함한 다양한 버전의 모델 출시를 준비 중이다. 하이퍼클로바X sLLM은 네이버클라우드의 AI 플랫폼인 ‘클로바 스튜디오’에 탑재될 예정이다. 페이스북 운영사인 메타는 라마3 sLLM 2종을 공개해 주목받았다. 파라미터 80억개, 700억개의 두 개 버전이다.

특히 메타는 라마3를 누구나 내려받아 사용할 수 있는 오픈소스로 공개했다. 오픈AI의 GPT-4와 앤스로픽의 클로드3가 폐쇄형인 점을 고려할 때 확장성이 큰 셈이다. 이에 중국 클라우드 기업이 잇달아 지원을 발표했다. 알리클라우드는 자사가 보유한 바이롄 언어모델 플랫폼에 라마3를 훈련·배포·추론할 수 있는 서비스를 선보였고, 텐센트클라우드·바이두클라우드 역시 같은 지원을 선언했다.

앞서 프랑스 스타트업인 미스트랄도 sLLM을 공개한 바 있다. 한국 스타트업들도 잇달아 sLLM을 출시하고 있다. 솔트룩스는 ‘루시아(LUXIA)’로 허깅페이스 오픈 LLM 리더보드에서 35B 이하 모델 기준 세계 1위 성능을 기록해 주목받았다.

sLLM이 각광을 받는 이유는 추론 비용이 매우 낮아서다. 라마3(파라미터 80억개)의 경우 출력 토큰 100만개당 7.5달러 정도다.

소형대규모언어모델(sLLM)

두뇌 시냅스에 해당하는 파라미터가 수십억 개에 불과한 AI 모델. 범용성은 낮지만 추론 학습 비용이 적게 든다.

[이상덕 기자 / 실리콘밸리 이덕주 특파원]

Loading

13 4월 2024

[ 一日30分 인생승리의 학습법] VBA Web Scraping: How Can VBA Be Used To Scrape Website Data?

[ 一日30分 인생승리의 학습법] VBA Web Scraping: How Can VBA Be Used To Scrape Website Data?

According to research by Zipdo, more than 1.2 billion people worldwide use Microsoft Office. If you’re part of this group, you can also use the VBA programming language and do VBA web scraping.

Table of Contents

Never heard of VBA or web scraping? Not sure how they could benefit you and your organization? You’re in the right place.

This in-depth guide explains all that you need to know about VBA programming, VBA web scraping, and everything in between.

What Is VBA Programming?

learn about vba programming

VBA stands for Visual Basic for Applications. It is a programming language developed by Microsoft that is primarily used for automating tasks within Microsoft Office applications such as Excel, Word, Access, and Outlook.

VBA is an object-oriented programming language. It involves working with objects, properties, methods, and events. In the context of Office applications, objects might include worksheets, cells, ranges, and charts.

What Is VBA Programming Used For?

vba programming used for

VBA allows users to write code to automate repetitive and time-consuming tasks, create custom forms and user interfaces, interact with other Office applications, and manipulate data.

VBA also includes a feature called macro recording, which allows users to record a series of actions in an Office application and automatically generate VBA code that reproduces those actions.

This programming language allows users to create custom forms and user interfaces within Office applications, providing a way to interact with users in a more controlled and specific manner. It supports event-driven programming, where specific actions or events trigger the execution of code, as well. For example, a button click or a cell value change can trigger a specific subroutine.

What Is a VBA Module?

vba module coding

Another important part of understanding VBA is understanding VBA modules.

In VBA, a module is a container meant for storing and organizing code. It is a space where you can write and store VBA procedures, functions, and other types of code. Modules allow you to organize your code logically and make it more manageable.

There are two main types of modules in VBA:

  • Standard Modules: These are general-purpose modules where you can write standalone procedures and functions. Standard modules are not associated with any particular object or form. You can create multiple standard modules in a VBA project, and they typically contain reusable code that can be called from various parts of your application.
  • Class Modules: What is class module in VBA? Class modules are used in object-oriented programming in VBA. They allow you to define custom objects with properties, methods, and events. Each instance of a class module represents a specific object with its own set of characteristics and behaviors.

VBA Programming and Web Scraping

vba coding for web scraping

You can utilize VBA for several purposes, including web scraping.

Web scraping is a technique used to extract data from websites. It involves fetching the HTML content of a web page and then parsing and extracting specific information from that content. Web scraping is commonly used for various purposes, such as data extraction, content aggregation, price monitoring, and more.

Many organizations use a web scraping API (Application Programming Interface) to make the scraping process easier. A web scraping API is a service or tool that provides a structured way for developers to extract data from websites without directly accessing the HTML source code.

Unlike traditional web scraping, where developers write custom scripts to fetch and parse HTML content, a web scraping API simplifies the process by offering a set of endpoints that allow users to request specific data from the target website.

How does VBA programming fit into the equation?

The VBA programming language can be used for web scraping by leveraging its ability to make HTTP requests and parse HTML content. VBA can interact with websites, retrieve HTML data, and extract information programmatically.

Why would you want to use VBA for web scraping and scrape data from websites into Excel (or other Microsoft tools)?

First of all, web scraping saves you a lot of time and allows you to be more productive. Instead of copying and pasting data manually, you can relax and let an automated tool do the work for you. Using CBA for web scraping can also help you reduce the number of errors you make when transferring data from one place to another.

Benefits of Using VBA Code for Web Scraping

People use VBA web scraping for many reasons. Here are some of the top advantages that come with utilizing this programming language:

  • Ready to use: VBA is bundled with Microsoft Office. If you already have Microsoft Office installed, you don’t have to worry about any additional installations. You can use VBA right away in any Microsoft Office tool.
  • Reliability: Both Microsoft Excel and VBA are developed and maintained by Microsoft. That means you can upgrade these tools together to ensure you’re always working with the latest version.
  • Out-of-the-box support: When you use VBA web scraping, you can take advantage of Microsoft’s browser, Microsoft Edge, which makes it easier to scrape dynamic websites.
  • Complete automation: When you run the VBA script, you don’t have to carry out any additional tasks or interact with the browser at all. The VBA script takes care of everything, even logins, scrolling, and button clicking.

Of course, there are a few downsides to using VBA to scrape website data. For example, because it’s so tightly connected to Microsoft Office tools, it can be difficult to use it with other platforms. It also works best in a Windows environment, making it less accessible to Mac users, and is harder to learn than other programming languages like Python and JavaScript.

How to Do Excel VBA Web Scraping in Chrome

vba coding for excel use

Excel VBA web scraping can be done in Chrome (one of the world’s most popular browsers with 2.65 million users) using a few different methods, including using the Selenium library for VBA (this is one of the most popular options).

If you’ve never done this before, don’t worry. Here’s a step-by-step guide on how to perform web scraping using Excel VBA in Chrome:

Step 1: Download the Selenium library

First, you should make sure you have the Selenium library installed since you’ll reference it in your VBA project. You can download the Selenium-type library (WebDriver) from the SeleniumHQ website: https://www.selenium.dev/.

Step 2: Set up your Excel workbook

Next, Open Excel and create a new workbook. Then, Press Alt + F11 to open the Visual Basic for Applications (VBA) editor.

Step 3: Set references

In the VBA editor, go to Tools > References.

Look for “Selenium Type Library” or “WebDriver” and check the box to enable it. Click “OK” to close the references window.

Step 4: Insert a module

Right-click on the project explorer in the VBA editor. Then, choose Insert > Module to add a new module to your project.

Step 5: Write the VBA code

In the module, you can write VBA code to control Chrome using Selenium. Here’s a basic example:

vba

Copy code

‘ Declare variables

Dim driver As New Selenium.ChromeDriver

Dim elem As Selenium.WebElement

‘ Open Chrome browser

driver.Start “chrome”, “https://example.com”

‘ Find and interact with elements

Set elem = driver.FindElementByXPath(“//input[@id=’search’]”)

elem.SendKeys “web scraping”

‘ Perform other actions as needed

‘ …

‘ Close the browser

driver.Quit

Step 6: Run the code

Press F5 or click the “Run” button to execute the code.

From here, you’ll see Chrome opening and navigating to the specified URL, performing actions, and then closing.

Step 7: Adjust code for your specific web scraping scenario

You can always Modify the code to suit your specific web scraping needs. Identify the HTML elements you want to interact with and adjust the code accordingly.

Can You Do VBA Web Scraping in Chrome without Selenium?

vba code without selenium use

It’s not easy to do VBA web scraping in Chrome without Selenium. However, if you have a reliable web scraping API, you don’t have to worry about keeping track of all the code required.

That’s where a tool like Scraping Robot comes in handy.

Scraping Robot is a system made to assist developers and help users like you work more efficiently. It’s easy to use and is up and running within minutes, allowing you to scrape websites on Chrome, Microsoft Edge, and other browsers quickly and accurately.

Final Thoughts

conclusion on vba coding

VBA programming is an excellent option for scraping website data, especially if you’re a Windows user who already relies heavily on Microsoft Office tools like Excel.

One of the primary downsides to using VBA web scraping, though, is that VBA comes with a steeper learning curve than some other programming languages. Luckily, there are tools that can help you overcome that learning curve.

With the right tools, such as the Scraping Robot API, you can overcome these hurdles and enhance your web scraping process.

[출처] https://scrapingrobot.com/blog/vba-web-scraping/

Loading

5 2월 2024

[ETC.] 충전 하세월, 단독근무 불능… 뉴욕 ‘로보캅’ 4개월 만에 해고

[ETC.] 충전 하세월, 단독근무 불능… 뉴욕 ‘로보캅’ 4개월 만에 해고

충전 하세월, 단독근무 불능… 뉴욕 ‘로보캅’ 4개월 만에 해고

뉴욕로봇경찰 해고됨 사진.png
 
뉴욕 타임스스퀘어 지하철 역 내에 로봇경찰(K5)이 근무 서고 있는 모습. 뉴욕경찰은 로봇경찰을 시범운영 4개월 만에 조기 종료하기로 했다. /윤주헌 특파원

“사람을 위한 로봇인지, 로봇을 위한 사람인지 모를 지경.”(뉴욕타임스 인터뷰 중)

뉴욕경찰(NYPD)이 지난 2일 뉴욕 맨해튼 지하철역에 배치해온 로보캅(경찰 로봇) ‘K5′에 대한 시범 운영을 중단한다고 발표하자 현지 언론에서 이런 보도가 나왔다. NYPD는 “K5를 활용할 수 있는 새로운 방법을 찾아보겠다”고 했지만 다시 사람들 앞에 나올 수 있을지는 미지수다. K5는 지난해 9월부터 맨해튼에서 가장 붐비는 타임스스퀘어 역에 배치됐다. NYPD는 K5의 활용도를 확인한 뒤 뉴욕시 전역으로 사업을 확대하려 했다. 그런데 막상 일을 시켜보니 기대에 한참 못 미쳐 운영 4개월 만에 계획을 접었다. 현지 언론들은 “K5가 예상보다 빨리 해고됐다”고 했다.

K5는 약 159cm 키에 몸무게는 180kg에 달한다. 거대한 달걀처럼 매끈하게 생겼고, 흰색 바탕에 파란색 경찰 마크가 새겨졌다. 4개의 HD 카메라, 1개의 적외선 열화상 카메라 등이 달렸다. 별도로 조종하지 않아도 긴급 상황이나 범죄 발생 시 영상을 자동 녹화하고 지하철 이용객이 로봇의 버튼을 누르면 실시간으로 상담원에게 연결돼 신고도 가능하다. 최고 속도는 사람의 보행 속도와 비슷한 시속 4.8km다.

자칭 ‘신기술 마니아’인 에릭 애덤스 뉴욕시장은 지난해 9월 시범 운영 계획을 발표하며 “우리는 뉴욕을 미국에서 가장 안전한 도시로 만들기 위해 혁신적인 도구를 탐구하는 데 전념하고 있고 로봇 경찰 K5는 중요한 역할을 할 것”이라고 했다.

배치 초반에는 뉴요커와 여행객들이 K5 옆에서 ‘셀카’를 찍는 등 인기를 끌었다. 그런데 사람들이 흔히 기대하는 ‘로봇’처럼 자유자재로 다니며 순찰을 하지 못했다. 계단도 내려가지 못해 지하철역 구석에 우두커니 서 있었다. 게다가 K5를 혼자 두면 사람들이 고장 낼 수 있어 ‘사람’ 경찰관 한 명과 늘 짝을 이뤄 근무했다. 이 때문에 “경찰이 로봇을 챙기느라 오히려 일이 늘었다”는 불만도 나왔다.

실전 배치 전 뉴욕시는 “로봇은 사람과 달리 밥을 먹지 않아도 된다”고 했지만, 실제로는 ‘충전 스테이션’에서 상당한 시간을 보내기도 했다.

많은 뉴요커들 사이에서 ‘로봇의 감시를 받는다’라는 강한 거부감이 있었던 것도 조기 퇴출의 원인이 됐다. 처음 등장 때부터 인권 단체는 ‘로봇이 사람의 얼굴을 찍어 보관할 것’이라면서 인권 침해 우려를 제기했다. 법률구조협회 등 단체가 “경찰청의 감시 기술 사용을 조사해야 한다”고 주장하는 등 반발이 거세 뉴욕시에도 부담으로 작용했다. 이 때문에 뉴욕시는 로봇에 안면 인식 기능을 뺐다.

결국 많은 관심을 받던 로봇 경찰은 쓸쓸하게 퇴장했다. 뉴욕시가 로봇 회사와 맺은 계약 기간은 아직 남아 있지만, 이 로봇은 현재 지하철역 창고에 들어가 있다고 한다.

[출처] https://www.chosun.com/international/international_general/2024/02/04/YTKQ3B5YNJEIHJ4S3XXJUOUR5M/

Loading

22 1월 2024

[인공지능 기술] 5가지 최고의 오픈 소스 LLM(2024년 XNUMX월)

[인공지능 기술] 5가지 최고의 오픈 소스 LLM(2024년 XNUMX월)

오픈 소스 LLM

빠르게 진화하는 인공 지능(AI) 세계에서 LLM(Large Language Models)은 혁신을 주도하고 기술과 상호 작용하는 방식을 재구성하는 초석으로 부상했습니다.

이러한 모델이 점점 더 정교해짐에 따라 이에 대한 액세스를 민주화하는 데 점점 더 중점을 두고 있습니다. 특히 오픈 소스 모델은 이러한 민주화에서 중추적인 역할을 하며 연구원, 개발자 및 애호가 모두에게 복잡성을 깊이 탐구하고 특정 작업에 맞게 미세 조정하거나 기반을 구축할 수 있는 기회를 제공합니다.

이 블로그에서는 AI 커뮤니티에서 파장을 일으키고 있으며 각각 고유한 강점과 기능을 테이블에 제공하는 최고의 오픈 소스 LLM 중 일부를 살펴보겠습니다.

1. 라마 2

 
Llama 2 알아보기: 조립을 시작하는 데 필요한 모든 것
 
 

Meta의 Llama 2는 AI 모델 라인업에 획기적인 추가 기능입니다. 이것은 단지 다른 모델이 아닙니다. 다양한 최신 응용 프로그램에 연료를 공급하도록 설계되었습니다. Llama 2의 훈련 데이터는 방대하고 다양하여 이전 모델에 비해 크게 발전했습니다. 이러한 교육의 다양성은 Llama 2가 단순한 점진적인 개선이 아니라 AI 기반 상호 작용의 미래를 향한 기념비적인 단계임을 보장합니다.

Meta와 Microsoft 간의 협업은 Llama 2의 지평을 넓혔습니다. 오픈 소스 모델은 이제 Azure 및 Windows와 같은 플랫폼에서 지원되며, 개발자와 조직에 생성적 AI 기반 경험을 생성할 수 있는 도구를 제공하는 것을 목표로 합니다. 이 파트너십은 모두가 AI에 보다 쉽게 ​​접근하고 개방할 수 있도록 하기 위한 두 회사의 헌신을 강조합니다.

Llama 2는 원래 Llama 모델의 후속 제품이 아닙니다. 이는 챗봇 분야의 패러다임 전환을 나타냅니다. 첫 번째 Llama 모델은 텍스트와 코드를 생성하는 데 있어 혁신적이었지만 오용을 방지하기 위해 가용성이 제한되었습니다. 반면에 Llama 2는 더 많은 청중에게 다가갈 예정입니다. AWS, Azure, Hugging Face의 AI 모델 호스팅 플랫폼과 같은 플랫폼에 최적화되어 있습니다. 또한 Meta와 Microsoft의 협력을 통해 Llama 2는 Windows뿐만 아니라 Qualcomm의 Snapdragon 시스템 온 칩으로 구동되는 장치에서도 명성을 떨칠 준비가 되어 있습니다.

안전은 Llama 2 설계의 핵심입니다. 때때로 오해의 소지가 있거나 유해한 콘텐츠를 생성하는 GPT와 같은 초기 대규모 언어 모델이 직면한 문제를 인식하여 Meta는 Llama 2의 안정성을 보장하기 위해 광범위한 조치를 취했습니다. 이 모델은 ‘환각’, 잘못된 정보 및 편견을 최소화하기 위해 엄격한 훈련을 거쳤습니다.

LLaMa 2의 주요 기능:

  • 다양한 학습 데이터: Llama 2의 교육 데이터는 광범위하고 다양하여 포괄적인 이해와 성능을 보장합니다.
  • 마이크로소프트와의 협업: Llama 2는 Azure 및 Windows와 같은 플랫폼에서 지원되므로 적용 범위가 확장됩니다.
  • 가용성: 이전 버전과 달리 Llama 2는 더 많은 사용자가 사용할 수 있으며 여러 플랫폼에서 미세 조정할 준비가 되어 있습니다.
  • 안전 중심 설계: Meta는 안전을 강조하여 Llama 2가 유해한 출력을 최소화하면서 정확하고 신뢰할 수 있는 결과를 생성하도록 합니다.
  • 최적화된 버전: Llama 2는 Llama 2와 Llama 2-Chat의 두 가지 주요 버전으로 제공되며 후자는 양방향 대화를 위해 특별히 설계되었습니다. 이러한 버전의 복잡성은 7억에서 70억 매개변수에 이릅니다.
  • 향상된 교육: Llama 2는 원래 Llama의 1.4조 XNUMX천억 개 토큰에서 크게 증가한 XNUMX만 토큰으로 훈련되었습니다.

2. 

 
오픈소스 Bloom AI 소개
 
 

2022년, 70개국 이상 자원봉사자와 Hugging Face 전문가가 참여한 글로벌 협업 끝에 BLOOM 프로젝트가 공개되었습니다. XNUMX년에 걸친 계획을 통해 만들어진 이 LLM(대형 언어 모델)은 자동 회귀 텍스트 생성을 위해 설계되었으며 주어진 텍스트 프롬프트를 확장할 수 있습니다. 상당한 계산 능력을 활용하여 방대한 텍스트 데이터 모음을 학습했습니다.

BLOOM의 데뷔는 생성 AI 기술의 접근성을 높이는 데 있어 중요한 단계였습니다. 오픈 소스 LLM으로서 176억 개의 매개변수를 자랑하며 동급에서 가장 강력한 LLM 중 하나입니다. BLOOM은 46개 언어와 13개 프로그래밍 언어에 걸쳐 일관되고 정확한 텍스트를 생성하는 능력을 갖추고 있습니다.

이 프로젝트는 투명성을 강조하여 소스 코드와 훈련 데이터에 대한 대중의 접근을 허용합니다. 이러한 개방성은 모델의 지속적인 검토, 활용 및 향상을 유도합니다.

Hugging Face 플랫폼을 통해 무료로 액세스할 수 있는 BLOOM은 AI 분야의 협력적 혁신을 보여주는 증거입니다.

Bloom의 주요 기능:

  • 다국어 기능 : BLOOM은 46개 언어와 13개 프로그래밍 언어로 텍스트를 생성하는 데 능숙하여 광범위한 언어 범위를 보여줍니다.
  • 오픈 소스 액세스: 모델의 소스 코드와 교육 데이터는 공개적으로 제공되므로 투명성과 협업 개선이 촉진됩니다.
  • 자동회귀 텍스트 생성: 주어진 프롬프트에서 텍스트를 이어가도록 설계된 BLOOM은 텍스트 시퀀스를 확장하고 완성하는 데 탁월합니다.
  • 대규모 매개변수 개수: 176억 개의 매개변수를 갖춘 BLOOM은 현존하는 가장 강력한 오픈 소스 LLM 중 하나입니다.
  • 글로벌 협업: 70개 이상 국가의 자원봉사자와 Hugging Face 연구자들의 기여로 XNUMX년간의 프로젝트를 통해 개발되었습니다.
  • 무료 접근성: 사용자는 Hugging Face 생태계를 통해 BLOOM에 무료로 액세스하고 활용할 수 있어 AI 분야의 민주화가 강화됩니다.
  • 산업 규모 교육: 이 모델은 상당한 계산 리소스를 사용하여 방대한 양의 텍스트 데이터에 대해 학습되어 강력한 성능을 보장합니다.

3. MPT-7B

 
MPT-7B – 최초로 상업적으로 사용 가능한 완전히 훈련된 LLaMA 스타일 모델
 
 

MosaicML Foundations는 최신 오픈 소스 LLM인 MPT-7B를 도입하여 이 공간에 크게 기여했습니다. MosaicML Pretrained Transformer의 약어인 MPT-7B는 GPT 스타일의 디코더 전용 변환기 모델입니다. 이 모델은 성능 최적화된 레이어 구현 및 더 큰 교육 안정성을 보장하는 아키텍처 변경을 포함하여 몇 가지 향상된 기능을 자랑합니다.

MPT-7B의 뛰어난 기능은 1조 개의 텍스트 및 코드 토큰으로 구성된 광범위한 데이터 세트에 대한 교육입니다. 이 엄격한 교육은 9.5일 동안 MosaicML 플랫폼에서 실행되었습니다.

MPT-7B의 오픈 소스 특성은 상용 애플리케이션을 위한 귀중한 도구로 자리매김합니다. 비즈니스 및 조직의 예측 분석 및 의사 결정 프로세스에 상당한 영향을 미칠 가능성이 있습니다.

기본 모델 외에도 MosaicML Foundations는 짧은 형식의 지침을 따르는 MPT-7B-Instruct, 대화 생성을 위한 MPT-7B-Chat 및 MPT-7B-StoryWriter-65k+와 같은 특정 작업에 맞춤화된 특수 모델도 출시하고 있습니다. 긴 형식의 스토리 생성을 위해.

MPT-7B의 개발 여정은 MosaicML 팀이 데이터 준비에서 배포까지 모든 단계를 몇 주 내에 관리하는 포괄적인 과정이었습니다. 데이터는 다양한 리포지토리에서 제공되었으며 팀은 EleutherAI의 GPT-NeoX 및 20B 토크나이저와 같은 도구를 활용하여 다양하고 포괄적인 교육 믹스를 보장했습니다.

MPT-7B의 주요 기능 개요:

  • 상업용 라이선스: MPT-7B는 상업적 사용이 허가되어 비즈니스에 귀중한 자산이 됩니다.
  • 광범위한 교육 데이터: 이 모델은 1조 토큰의 방대한 데이터 세트에 대한 교육을 자랑합니다.
  • 긴 입력 처리: MPT-7B는 손상 없이 매우 긴 입력을 처리하도록 설계되었습니다.
  • 속도와 효율성: 이 모델은 신속한 교육 및 추론에 최적화되어 시기 적절한 결과를 보장합니다.
  • 오픈 소스 코드: MPT-7B는 효율적인 오픈 소스 교육 코드와 함께 제공되어 투명성과 사용 편의성을 높입니다.
  • 비교 우수성: MPT-7B는 LLaMA-7B와 일치하는 품질로 20B-7B 범위의 다른 오픈 소스 모델보다 우수함을 입증했습니다.

4. 

 
FALCON-180B를 즉시 배포하세요! 새로운 #1 오픈 소스 AI 모델
 
 

Falcon LLM은 LLM 계층 구조의 최상위로 빠르게 올라간 모델입니다. Falcon LLM, 특히 Falcon-40B는 40억 개의 매개변수를 갖춘 기본 LLM이며 인상적인 3조 개의 토큰에 대해 교육을 받았습니다. 이는 자동 회귀 디코더 전용 모델로 작동합니다. 즉, 본질적으로 이전 토큰을 기반으로 시퀀스에서 후속 토큰을 예측합니다. 이 아키텍처는 GPT 모델을 연상시킵니다. 특히, Falcon의 아키텍처는 GPT-75보다 우수한 성능을 보여주었고, 훈련 컴퓨팅 예산의 XNUMX%만으로 이 위업을 달성했으며 추론 중에 훨씬 적은 컴퓨팅이 필요합니다.

Technology Innovation Institute의 팀은 Falcon을 개발하는 동안 데이터 품질에 중점을 두었습니다. 교육 데이터 품질에 대한 LLM의 민감도를 인식하여 수만 개의 CPU 코어로 확장되는 데이터 파이프라인을 구성했습니다. 이를 통해 광범위한 필터링 및 중복 제거 프로세스를 통해 웹에서 고품질 콘텐츠를 신속하게 처리하고 추출할 수 있었습니다.

TII는 Falcon-40B 외에도 7억 개의 매개변수를 보유하고 7조 1,500억 개의 토큰에 대해 훈련된 Falcon-40B를 비롯한 다른 버전도 도입했습니다. 특정 작업에 맞게 조정된 Falcon-7B-Instruct 및 Falcon-XNUMXB-Instruct와 같은 특수 모델도 있습니다.

훈련 Falcon-40B는 광범위한 과정이었습니다. 이 모델은 TII가 구축한 대규모 영어 웹 데이터 세트인 RefinedWeb 데이터 세트에서 훈련되었습니다. 이 데이터 세트는 CommonCrawl 위에 구축되었으며 품질을 보장하기 위해 엄격한 필터링을 거쳤습니다. 모델이 준비되면 EAI Harness, HELM 및 BigBench를 포함한 여러 오픈 소스 벤치마크에 대해 검증되었습니다.

Falcon LLM의 주요 기능 개요:

  • 광범위한 매개변수: Falcon-40B는 40억 개의 매개변수를 갖추고 있어 포괄적인 학습 및 성능을 보장합니다.
  • 자기회귀 디코더 전용 모델: 이 아키텍처를 통해 Falcon은 GPT 모델과 유사하게 이전 토큰을 기반으로 후속 토큰을 예측할 수 있습니다.
  • 우수한 성능: Falcon은 교육 컴퓨팅 예산의 3%만 활용하면서 GPT-75보다 성능이 뛰어납니다.
  • 고품질 데이터 파이프라인: TII의 데이터 파이프라인은 웹에서 모델 교육에 중요한 고품질 콘텐츠 추출을 보장합니다.
  • 다양한 모델: Falcon-40B 외에도 TII는 Falcon-7B 및 Falcon-40B-Instruct 및 Falcon-7B-Instruct와 같은 특수 모델을 제공합니다.
  • 오픈 소스 가용성: Falcon LLM은 오픈 소스로 제공되어 AI 도메인에서 접근성과 포괄성을 촉진합니다.

5. 비쿠나-13B

 
로컬 컴퓨터에서 Vicuna-13B를 실행하세요 ???? | 튜토리얼(GPU)
 
 

LMSYS ORG는 Vicuna-13B를 도입하여 오픈 소스 LLM 영역에서 중요한 족적을 남겼습니다. 이 오픈 소스 챗봇은 ShareGPT에서 가져온 사용자 공유 대화에서 LLaMA를 미세 조정하여 세심하게 훈련되었습니다. GPT-4가 심사위원으로 참여한 예비 평가에서 Vicuna-13B는 OpenAI ChatGPT 및 Google Bard와 같은 유명한 모델의 90% 이상의 품질을 달성하는 것으로 나타났습니다.

인상적으로, Vicuna-13B는 사례의 90% 이상에서 LLaMA 및 Stanford Alpaca와 같은 다른 주목할만한 모델을 능가합니다. Vicuna-13B에 대한 전체 교육 프로세스는 약 $300의 비용으로 실행되었습니다. 기능 탐색에 관심이 있는 사람들을 위해 코드, 가중치 및 온라인 데모가 비상업적 목적으로 공개되었습니다.

Vicuna-13B 모델은 70K 사용자 공유 ChatGPT 대화로 미세 조정되어 보다 상세하고 잘 구성된 응답을 생성할 수 있습니다. 이러한 응답의 품질은 ChatGPT와 비슷합니다. 그러나 챗봇을 평가하는 것은 복잡한 작업입니다. GPT-4가 발전함에 따라 벤치마크 생성 및 성능 평가를 위한 자동화된 평가 프레임워크 역할을 할 가능성에 대한 호기심이 커지고 있습니다. 초기 결과는 GPT-4가 챗봇 응답을 비교할 때 일관된 순위와 자세한 평가를 생성할 수 있음을 시사합니다. GPT-4를 기반으로 한 예비 평가에서는 Vicuna가 Bard/ChatGPT와 같은 모델의 90% 기능을 달성하는 것으로 나타났습니다.

Vicuna-13B의 주요 특징 개요:

  • 오픈 소스 특성: Vicuna-13B는 공개 액세스가 가능하여 투명성과 커뮤니티 참여를 촉진합니다.
  • 광범위한 교육 데이터: 이 모델은 70개의 사용자 공유 대화에 대해 학습되어 다양한 상호 작용에 대한 포괄적인 이해를 보장합니다.
  • 경쟁력 있는 성능: Vicuna-13B의 성능은 ChatGPT 및 Google Bard와 같은 업계 리더와 동등합니다.
  • 비용 효율적인 교육: Vicuna-13B에 대한 전체 교육 프로세스는 약 $300의 저렴한 비용으로 실행되었습니다.
  • LLaMA 미세 조정: 이 모델은 LLaMA에서 미세 조정되어 향상된 성능과 응답 품질을 보장합니다.
  • 온라인 데모 가용성: 사용자는 대화식 온라인 데모를 통해 Vicuna-13B의 기능을 테스트하고 경험할 수 있습니다.

대규모 언어 모델의 확장 영역

대규모 언어 모델의 영역은 방대하고 지속적으로 확장되며 새로운 모델이 나올 때마다 가능성의 한계를 뛰어넘습니다. 이 블로그에서 논의된 LLM의 오픈 소스 특성은 AI 커뮤니티의 협력 정신을 보여줄 뿐만 아니라 미래 혁신을 위한 길을 열어줍니다.

Vicuna의 인상적인 챗봇 기능에서 Falcon의 우수한 성능 메트릭에 이르기까지 이러한 모델은 현재 LLM 기술의 정점을 나타냅니다. 이 분야의 급속한 발전을 계속 목격하면서 오픈 소스 모델이 AI의 미래를 형성하는 데 중요한 역할을 할 것이 분명합니다.

당신이 노련한 연구원이든, 신진 AI 애호가이든, 이러한 모델의 잠재력에 대해 궁금한 사람이든, 그들이 제공하는 방대한 가능성에 뛰어들어 탐구하기에 더 좋은 시간은 없습니다.

Alex McFarland는 인공 지능의 최신 개발을 다루는 브라질 기반 작가입니다. 그는 전 세계 최고의 AI 회사 및 출판물과 함께 일했습니다.

unite.AI의 창립 파트너이자 포브스 기술 위원회, 앙투안은 미래파 예술가 AI와 로봇공학의 미래에 열정을 갖고 있는 사람입니다.

그는 또한 증권.io 투자 웹사이트, 제너레이티브 AI 플랫폼 이미지.ai, & 그는 현재 출시 작업 중입니다. 천재.ai 프롬프트를 하위 작업으로 나누어 자율 에이전트를 구성하고 배포할 수 있는 기능을 사용자에게 제공하는 플랫폼입니다.

[출처] https://www.unite.ai/ko/%EC%B5%9C%EA%B3%A0%EC%9D%98-%EC%98%A4%ED%94%88-%EC%86%8C%EC%8A%A4-LLM/

Loading

17 1월 2024

[데이터분석 & 데이터 사이언스] 데이터에 관한 꼭 알아야 할 오해와 진실 12가지

[데이터분석 & 데이터 사이언스] 데이터에 관한 꼭 알아야 할 오해와 진실 12가지

데이터에 관한 꼭 알아야 할 오해와 진실 12가지
 
 
1. 양질의 데이터 100개가 이것저것 섞인 데이터 100만 개보다 낫다.
 
 
2. 데이터 분석은 어쨌든 모집단의 일부를 갖고서 분석하는 것으로 아무리 양질의 데이터이고,
많은 양이 있다 하더라도 결국은 진실에 가까운 추정치일 뿐이다.
 
 
3. 데이터 없이 분석결과를 얻을 수 있다면 그것이 최선이다.
 
 
4. 데이터 분석을 할 때 자주 하는 실수 중 하나가 ‘나의 데이터’  ‘남의 데이터’를 구분하지 못하는 것이다.
 
 
5. ‘당선 확률’은 당선의 미래를 예측하는 것이 아니라 미래의 오차 범위를 말하는 것이다.
그래서 “미래를 정확히 예측한다”는 말을 해서는 안 된다
 
 
6. 데이터는 과거의 발자취일 뿐이다. 예측할 수 없다.
빅데이터를 분석한다는 것은 예측을 하기 위한 것이 아니라 패턴을 찾기 위한 것이다.
 
 
7. 분석에만 치중하다 보면 상식적인 판단이 헷갈려 엉뚱한 진단을 하는 수가 있다.
그래서 풀고자 하는 문제에 대한 통찰을 선행하는 것이 중요하다.
통찰은 결국 해당 문제 영역의 경험에서 나온다.
 
 
8. 데이터 리터러시 역량을 키운다는 것은
해결하려는 문제의 주어진 상황이나 인과관계를 논리적으로 추론할 수 있는 소양을 갖추는 것을 말한다.
 
 
9. 지금의 빅데이터가 몇 년 뒤에는 일반 데이터가 될 수도 있다.
그러니 빅데이터가 원가 대단한 것이라고 착각해서는 안 된다.
 
 
10. 인공지능이 표본화된 데이터를 학습한 만큼, 인공지능이 생성한 답이 반드시 진리일 수는 없다.
갈릴레오 시대의 인공지능이라면 “하늘은 돈다”라고 말할 것이다.
 
 
11. 데이터 분석이 보장하는 것은 답의 진실성이 아니라, 데이터의 대표성임을 잊지 말자.
 
 
12. 문제의 본질을 읽는 것, 그래서 문제를 풀기 위해 어떤 도구를 쓸 지 결정하는 능력, 그것이 곧 인문학적 능력이다.
 
 

Loading

12 1월 2024

[IT 혁신 디바이스][소프트웨어] WebAssembly에 대한 2024년 예상 

[IT 혁신 디바이스][소프트웨어] WebAssembly에 대한 2024년 예상 

WebAssembly에 대한 2024년 예상

(thenewstack.io)

15P by xguru 3일전 | favorite | 댓글 2개

  • 2023년을 WebAssembly(Wasm)의 해로 예상했으며, 이는 여러 표준의 진전과 다양한 언어의 지원 확대로 실현됨

  • Python과 Ruby는 Wasm 지원을 포함시켰고, 공식 Go 프로젝트도 Wasm 및 WebAssembly System Interface(WASI)를 지원할 예정

  • 첫 Wasm I/O 컨퍼런스와 WasmCon이 개최되었으며, GlueCon과 DockerCon에서도 WebAssembly 트랙이 마련됨

  • Suborbital이 F5에 인수되고 Adobe가 Figma를 인수하려 했으나 규제로 인해 실패한 사건은 Wasm을 선도하는 기업들의 시장 가치를 입증함

1. Wasm은 AI의 완벽한 파트너

  • Wasm의 플랫폼 중립성, 빠른 시작 시간, 이식성 및 작은 바이너리 크기는 AI 애플리케이션에 이상적임

  • 2024년 AI의 주요 테마 중 하나는 효율성이며, Wasm은 이 분야에서 큰 이점을 제공할 것

2. 세 가지 주요 표준이 완성됨

  • Wasm은 W3C의 감독하에 표준화되었으며, 핵심 Wasm 표준은 몇 년 전에 완성됨

  • WASI, 메모리 관리, 컴포넌트 모델 등 세 가지 추가 표준이 Wasm의 성공에 중요함

  • 2023년에 이 표준들은 큰 발전을 이루었으며, 2024년에는 모두 완성될 것으로 예상됨

3. Wasm의 본거지는 서버 사이드

  • Wasm은 원래 브라우저에서 실행되도록 작성되었지만, 현재는 서버 사이드에서 더 많은 동력을 얻고 있음

  • 서버리스 함수가 강점으로 부상했으며, 이는 확실히 성장하고 있음

  • Wasm은 Kubernetes 생태계에서 중요한 진전을 이룰 것으로 예상되며, 효율성, 확장성, 비용이 중요한 곳에서 등장할 것

4. 클라이언트/서버 양쪽에서 Wasm에 의한 점진적 개선

  • 웹 개발 프레임워크의 부상으로 클라이언트 측, 서버 측 또는 둘 다에서 선택적으로 실행할 수 있는 애플리케이션이 등장

  • 이러한 애플리케이션은 클라이언트 측 렌더링(CSR)과 서버 측 렌더링(SSR)으로 구축될 수 있으며, 일부 프레임워크는 이미 Wasm을 활용하고 있음

  • 2024년에는 이러한 프로젝트가 더 많이 등장할 것이며, Wasm의 강점인 어디에서나 실행 가능한 바이너리 형식을 더욱 활용할 것으로 보임

[출처] https://news.hada.io/topic?id=12766

Loading