[ 一日30分 인생승리의 학습법] VBA Web Scraping: How Can VBA Be Used To Scrape Website Data?
According to research by Zipdo, more than 1.2 billion people worldwide use Microsoft Office. If you’re part of this group, you can also use the VBA programming language and do VBA web scraping.
Never heard of VBA or web scraping? Not sure how they could benefit you and your organization? You’re in the right place.
This in-depth guide explains all that you need to know about VBA programming, VBA web scraping, and everything in between.
What Is VBA Programming?
VBA stands for Visual Basic for Applications. It is a programming language developed by Microsoft that is primarily used for automating tasks within Microsoft Office applications such as Excel, Word, Access, and Outlook.
VBA is an object-oriented programming language. It involves working with objects, properties, methods, and events. In the context of Office applications, objects might include worksheets, cells, ranges, and charts.
What Is VBA Programming Used For?
VBA allows users to write code to automate repetitive and time-consuming tasks, create custom forms and user interfaces, interact with other Office applications, and manipulate data.
VBA also includes a feature called macro recording, which allows users to record a series of actions in an Office application and automatically generate VBA code that reproduces those actions.
This programming language allows users to create custom forms and user interfaces within Office applications, providing a way to interact with users in a more controlled and specific manner. It supports event-driven programming, where specific actions or events trigger the execution of code, as well. For example, a button click or a cell value change can trigger a specific subroutine.
What Is a VBA Module?
Another important part of understanding VBA is understanding VBA modules.
In VBA, a module is a container meant for storing and organizing code. It is a space where you can write and store VBA procedures, functions, and other types of code. Modules allow you to organize your code logically and make it more manageable.
There are two main types of modules in VBA:
Standard Modules: These are general-purpose modules where you can write standalone procedures and functions. Standard modules are not associated with any particular object or form. You can create multiple standard modules in a VBA project, and they typically contain reusable code that can be called from various parts of your application.
Class Modules: What is class module in VBA? Class modules are used in object-oriented programming in VBA. They allow you to define custom objects with properties, methods, and events. Each instance of a class module represents a specific object with its own set of characteristics and behaviors.
VBA Programming and Web Scraping
You can utilize VBA for several purposes, including web scraping.
Web scraping is a technique used to extract data from websites. It involves fetching the HTML content of a web page and then parsing and extracting specific information from that content. Web scraping is commonly used for various purposes, such as data extraction, content aggregation, price monitoring, and more.
Many organizations use a web scraping API (Application Programming Interface) to make the scraping process easier. A web scraping API is a service or tool that provides a structured way for developers to extract data from websites without directly accessing the HTML source code.
Unlike traditional web scraping, where developers write custom scripts to fetch and parse HTML content, a web scraping API simplifies the process by offering a set of endpoints that allow users to request specific data from the target website.
How does VBA programming fit into the equation?
The VBA programming language can be used for web scraping by leveraging its ability to make HTTP requests and parse HTML content. VBA can interact with websites, retrieve HTML data, and extract information programmatically.
Why would you want to use VBA for web scraping and scrape data from websites into Excel (or other Microsoft tools)?
First of all, web scraping saves you a lot of time and allows you to be more productive. Instead of copying and pasting data manually, you can relax and let an automated tool do the work for you. Using CBA for web scraping can also help you reduce the number of errors you make when transferring data from one place to another.
Benefits of Using VBA Code for Web Scraping
People use VBA web scraping for many reasons. Here are some of the top advantages that come with utilizing this programming language:
Ready to use: VBA is bundled with Microsoft Office. If you already have Microsoft Office installed, you don’t have to worry about any additional installations. You can use VBA right away in any Microsoft Office tool.
Reliability: Both Microsoft Excel and VBA are developed and maintained by Microsoft. That means you can upgrade these tools together to ensure you’re always working with the latest version.
Out-of-the-box support: When you use VBA web scraping, you can take advantage of Microsoft’s browser, Microsoft Edge, which makes it easier to scrape dynamic websites.
Complete automation: When you run the VBA script, you don’t have to carry out any additional tasks or interact with the browser at all. The VBA script takes care of everything, even logins, scrolling, and button clicking.
Of course, there are a few downsides to using VBA to scrape website data. For example, because it’s so tightly connected to Microsoft Office tools, it can be difficult to use it with other platforms. It also works best in a Windows environment, making it less accessible to Mac users, and is harder to learn than other programming languages like Python and JavaScript.
How to Do Excel VBA Web Scraping in Chrome
Excel VBA web scraping can be done in Chrome (one of the world’s most popular browsers with 2.65 million users) using a few different methods, including using the Selenium library for VBA (this is one of the most popular options).
If you’ve never done this before, don’t worry. Here’s a step-by-step guide on how to perform web scraping using Excel VBA in Chrome:
Step 1: Download the Selenium library
First, you should make sure you have the Selenium library installed since you’ll reference it in your VBA project. You can download the Selenium-type library (WebDriver) from the SeleniumHQ website: https://www.selenium.dev/.
Step 2: Set up your Excel workbook
Next, Open Excel and create a new workbook. Then, Press Alt + F11 to open the Visual Basic for Applications (VBA) editor.
Step 3: Set references
In the VBA editor, go to Tools > References.
Look for “Selenium Type Library” or “WebDriver” and check the box to enable it. Click “OK” to close the references window.
Step 4: Insert a module
Right-click on the project explorer in the VBA editor. Then, choose Insert > Module to add a new module to your project.
Step 5: Write the VBA code
In the module, you can write VBA code to control Chrome using Selenium. Here’s a basic example:
vba
Copy code
‘ Declare variables
Dim driver As New Selenium.ChromeDriver
Dim elem As Selenium.WebElement
‘ Open Chrome browser
driver.Start “chrome”, “https://example.com”
‘ Find and interact with elements
Set elem = driver.FindElementByXPath(“//input[@id=’search’]”)
elem.SendKeys “web scraping”
‘ Perform other actions as needed
‘ …
‘ Close the browser
driver.Quit
Step 6: Run the code
Press F5 or click the “Run” button to execute the code.
From here, you’ll see Chrome opening and navigating to the specified URL, performing actions, and then closing.
Step 7: Adjust code for your specific web scraping scenario
You can always Modify the code to suit your specific web scraping needs. Identify the HTML elements you want to interact with and adjust the code accordingly.
Can You Do VBA Web Scraping in Chrome without Selenium?
It’s not easy to do VBA web scraping in Chrome without Selenium. However, if you have a reliable web scraping API, you don’t have to worry about keeping track of all the code required.
Scraping Robot is a system made to assist developers and help users like you work more efficiently. It’s easy to use and is up and running within minutes, allowing you to scrape websites on Chrome, Microsoft Edge, and other browsers quickly and accurately.
Final Thoughts
VBA programming is an excellent option for scraping website data, especially if you’re a Windows user who already relies heavily on Microsoft Office tools like Excel.
One of the primary downsides to using VBA web scraping, though, is that VBA comes with a steeper learning curve than some other programming languages. Luckily, there are tools that can help you overcome that learning curve.
With the right tools, such as the Scraping Robot API, you can overcome these hurdles and enhance your web scraping process.
뉴욕 타임스스퀘어 지하철 역 내에 로봇경찰(K5)이 근무 서고 있는 모습. 뉴욕경찰은 로봇경찰을 시범운영 4개월 만에 조기 종료하기로 했다. /윤주헌 특파원
“사람을 위한 로봇인지, 로봇을 위한 사람인지 모를 지경.”(뉴욕타임스 인터뷰 중)
뉴욕경찰(NYPD)이 지난 2일 뉴욕 맨해튼 지하철역에 배치해온 로보캅(경찰 로봇) ‘K5′에 대한 시범 운영을 중단한다고 발표하자 현지 언론에서 이런 보도가 나왔다. NYPD는 “K5를 활용할 수 있는 새로운 방법을 찾아보겠다”고 했지만 다시 사람들 앞에 나올 수 있을지는 미지수다. K5는 지난해 9월부터 맨해튼에서 가장 붐비는 타임스스퀘어 역에 배치됐다. NYPD는 K5의 활용도를 확인한 뒤 뉴욕시 전역으로 사업을 확대하려 했다. 그런데 막상 일을 시켜보니 기대에 한참 못 미쳐 운영 4개월 만에 계획을 접었다. 현지 언론들은 “K5가 예상보다 빨리 해고됐다”고 했다.
K5는 약 159cm 키에 몸무게는 180kg에 달한다. 거대한 달걀처럼 매끈하게 생겼고, 흰색 바탕에 파란색 경찰 마크가 새겨졌다. 4개의 HD 카메라, 1개의 적외선 열화상 카메라 등이 달렸다. 별도로 조종하지 않아도 긴급 상황이나 범죄 발생 시 영상을 자동 녹화하고 지하철 이용객이 로봇의 버튼을 누르면 실시간으로 상담원에게 연결돼 신고도 가능하다. 최고 속도는 사람의 보행 속도와 비슷한 시속 4.8km다.
자칭 ‘신기술 마니아’인 에릭 애덤스 뉴욕시장은 지난해 9월 시범 운영 계획을 발표하며 “우리는 뉴욕을 미국에서 가장 안전한 도시로 만들기 위해 혁신적인 도구를 탐구하는 데 전념하고 있고 로봇 경찰 K5는 중요한 역할을 할 것”이라고 했다.
배치 초반에는 뉴요커와 여행객들이 K5 옆에서 ‘셀카’를 찍는 등 인기를 끌었다. 그런데 사람들이 흔히 기대하는 ‘로봇’처럼 자유자재로 다니며 순찰을 하지 못했다. 계단도 내려가지 못해 지하철역 구석에 우두커니 서 있었다. 게다가 K5를 혼자 두면 사람들이 고장 낼 수 있어 ‘사람’ 경찰관 한 명과 늘 짝을 이뤄 근무했다. 이 때문에 “경찰이 로봇을 챙기느라 오히려 일이 늘었다”는 불만도 나왔다.
실전 배치 전 뉴욕시는 “로봇은 사람과 달리 밥을 먹지 않아도 된다”고 했지만, 실제로는 ‘충전 스테이션’에서 상당한 시간을 보내기도 했다.
많은 뉴요커들 사이에서 ‘로봇의 감시를 받는다’라는 강한 거부감이 있었던 것도 조기 퇴출의 원인이 됐다. 처음 등장 때부터 인권 단체는 ‘로봇이 사람의 얼굴을 찍어 보관할 것’이라면서 인권 침해 우려를 제기했다. 법률구조협회 등 단체가 “경찰청의 감시 기술 사용을 조사해야 한다”고 주장하는 등 반발이 거세 뉴욕시에도 부담으로 작용했다. 이 때문에 뉴욕시는 로봇에 안면 인식 기능을 뺐다.
결국 많은 관심을 받던 로봇 경찰은 쓸쓸하게 퇴장했다. 뉴욕시가 로봇 회사와 맺은 계약 기간은 아직 남아 있지만, 이 로봇은 현재 지하철역 창고에 들어가 있다고 한다.
빠르게 진화하는 인공 지능(AI) 세계에서 LLM(Large Language Models)은 혁신을 주도하고 기술과 상호 작용하는 방식을 재구성하는 초석으로 부상했습니다.
이러한 모델이 점점 더 정교해짐에 따라 이에 대한 액세스를 민주화하는 데 점점 더 중점을 두고 있습니다. 특히 오픈 소스 모델은 이러한 민주화에서 중추적인 역할을 하며 연구원, 개발자 및 애호가 모두에게 복잡성을 깊이 탐구하고 특정 작업에 맞게 미세 조정하거나 기반을 구축할 수 있는 기회를 제공합니다.
이 블로그에서는 AI 커뮤니티에서 파장을 일으키고 있으며 각각 고유한 강점과 기능을 테이블에 제공하는 최고의 오픈 소스 LLM 중 일부를 살펴보겠습니다.
Meta의 Llama 2는 AI 모델 라인업에 획기적인 추가 기능입니다. 이것은 단지 다른 모델이 아닙니다. 다양한 최신 응용 프로그램에 연료를 공급하도록 설계되었습니다. Llama 2의 훈련 데이터는 방대하고 다양하여 이전 모델에 비해 크게 발전했습니다. 이러한 교육의 다양성은 Llama 2가 단순한 점진적인 개선이 아니라 AI 기반 상호 작용의 미래를 향한 기념비적인 단계임을 보장합니다.
Meta와 Microsoft 간의 협업은 Llama 2의 지평을 넓혔습니다. 오픈 소스 모델은 이제 Azure 및 Windows와 같은 플랫폼에서 지원되며, 개발자와 조직에 생성적 AI 기반 경험을 생성할 수 있는 도구를 제공하는 것을 목표로 합니다. 이 파트너십은 모두가 AI에 보다 쉽게 접근하고 개방할 수 있도록 하기 위한 두 회사의 헌신을 강조합니다.
Llama 2는 원래 Llama 모델의 후속 제품이 아닙니다. 이는 챗봇 분야의 패러다임 전환을 나타냅니다. 첫 번째 Llama 모델은 텍스트와 코드를 생성하는 데 있어 혁신적이었지만 오용을 방지하기 위해 가용성이 제한되었습니다. 반면에 Llama 2는 더 많은 청중에게 다가갈 예정입니다. AWS, Azure, Hugging Face의 AI 모델 호스팅 플랫폼과 같은 플랫폼에 최적화되어 있습니다. 또한 Meta와 Microsoft의 협력을 통해 Llama 2는 Windows뿐만 아니라 Qualcomm의 Snapdragon 시스템 온 칩으로 구동되는 장치에서도 명성을 떨칠 준비가 되어 있습니다.
안전은 Llama 2 설계의 핵심입니다. 때때로 오해의 소지가 있거나 유해한 콘텐츠를 생성하는 GPT와 같은 초기 대규모 언어 모델이 직면한 문제를 인식하여 Meta는 Llama 2의 안정성을 보장하기 위해 광범위한 조치를 취했습니다. 이 모델은 ‘환각’, 잘못된 정보 및 편견을 최소화하기 위해 엄격한 훈련을 거쳤습니다.
LLaMa 2의 주요 기능:
다양한 학습 데이터: Llama 2의 교육 데이터는 광범위하고 다양하여 포괄적인 이해와 성능을 보장합니다.
마이크로소프트와의 협업: Llama 2는 Azure 및 Windows와 같은 플랫폼에서 지원되므로 적용 범위가 확장됩니다.
가용성: 이전 버전과 달리 Llama 2는 더 많은 사용자가 사용할 수 있으며 여러 플랫폼에서 미세 조정할 준비가 되어 있습니다.
안전 중심 설계: Meta는 안전을 강조하여 Llama 2가 유해한 출력을 최소화하면서 정확하고 신뢰할 수 있는 결과를 생성하도록 합니다.
최적화된 버전: Llama 2는 Llama 2와 Llama 2-Chat의 두 가지 주요 버전으로 제공되며 후자는 양방향 대화를 위해 특별히 설계되었습니다. 이러한 버전의 복잡성은 7억에서 70억 매개변수에 이릅니다.
향상된 교육: Llama 2는 원래 Llama의 1.4조 XNUMX천억 개 토큰에서 크게 증가한 XNUMX만 토큰으로 훈련되었습니다.
2022년, 70개국 이상 자원봉사자와 Hugging Face 전문가가 참여한 글로벌 협업 끝에 BLOOM 프로젝트가 공개되었습니다. XNUMX년에 걸친 계획을 통해 만들어진 이 LLM(대형 언어 모델)은 자동 회귀 텍스트 생성을 위해 설계되었으며 주어진 텍스트 프롬프트를 확장할 수 있습니다. 상당한 계산 능력을 활용하여 방대한 텍스트 데이터 모음을 학습했습니다.
BLOOM의 데뷔는 생성 AI 기술의 접근성을 높이는 데 있어 중요한 단계였습니다. 오픈 소스 LLM으로서 176억 개의 매개변수를 자랑하며 동급에서 가장 강력한 LLM 중 하나입니다. BLOOM은 46개 언어와 13개 프로그래밍 언어에 걸쳐 일관되고 정확한 텍스트를 생성하는 능력을 갖추고 있습니다.
이 프로젝트는 투명성을 강조하여 소스 코드와 훈련 데이터에 대한 대중의 접근을 허용합니다. 이러한 개방성은 모델의 지속적인 검토, 활용 및 향상을 유도합니다.
Hugging Face 플랫폼을 통해 무료로 액세스할 수 있는 BLOOM은 AI 분야의 협력적 혁신을 보여주는 증거입니다.
Bloom의 주요 기능:
다국어 기능 : BLOOM은 46개 언어와 13개 프로그래밍 언어로 텍스트를 생성하는 데 능숙하여 광범위한 언어 범위를 보여줍니다.
오픈 소스 액세스: 모델의 소스 코드와 교육 데이터는 공개적으로 제공되므로 투명성과 협업 개선이 촉진됩니다.
자동회귀 텍스트 생성: 주어진 프롬프트에서 텍스트를 이어가도록 설계된 BLOOM은 텍스트 시퀀스를 확장하고 완성하는 데 탁월합니다.
대규모 매개변수 개수: 176억 개의 매개변수를 갖춘 BLOOM은 현존하는 가장 강력한 오픈 소스 LLM 중 하나입니다.
글로벌 협업: 70개 이상 국가의 자원봉사자와 Hugging Face 연구자들의 기여로 XNUMX년간의 프로젝트를 통해 개발되었습니다.
무료 접근성: 사용자는 Hugging Face 생태계를 통해 BLOOM에 무료로 액세스하고 활용할 수 있어 AI 분야의 민주화가 강화됩니다.
산업 규모 교육: 이 모델은 상당한 계산 리소스를 사용하여 방대한 양의 텍스트 데이터에 대해 학습되어 강력한 성능을 보장합니다.
MosaicML Foundations는 최신 오픈 소스 LLM인 MPT-7B를 도입하여 이 공간에 크게 기여했습니다. MosaicML Pretrained Transformer의 약어인 MPT-7B는 GPT 스타일의 디코더 전용 변환기 모델입니다. 이 모델은 성능 최적화된 레이어 구현 및 더 큰 교육 안정성을 보장하는 아키텍처 변경을 포함하여 몇 가지 향상된 기능을 자랑합니다.
MPT-7B의 뛰어난 기능은 1조 개의 텍스트 및 코드 토큰으로 구성된 광범위한 데이터 세트에 대한 교육입니다. 이 엄격한 교육은 9.5일 동안 MosaicML 플랫폼에서 실행되었습니다.
MPT-7B의 오픈 소스 특성은 상용 애플리케이션을 위한 귀중한 도구로 자리매김합니다. 비즈니스 및 조직의 예측 분석 및 의사 결정 프로세스에 상당한 영향을 미칠 가능성이 있습니다.
기본 모델 외에도 MosaicML Foundations는 짧은 형식의 지침을 따르는 MPT-7B-Instruct, 대화 생성을 위한 MPT-7B-Chat 및 MPT-7B-StoryWriter-65k+와 같은 특정 작업에 맞춤화된 특수 모델도 출시하고 있습니다. 긴 형식의 스토리 생성을 위해.
MPT-7B의 개발 여정은 MosaicML 팀이 데이터 준비에서 배포까지 모든 단계를 몇 주 내에 관리하는 포괄적인 과정이었습니다. 데이터는 다양한 리포지토리에서 제공되었으며 팀은 EleutherAI의 GPT-NeoX 및 20B 토크나이저와 같은 도구를 활용하여 다양하고 포괄적인 교육 믹스를 보장했습니다.
MPT-7B의 주요 기능 개요:
상업용 라이선스: MPT-7B는 상업적 사용이 허가되어 비즈니스에 귀중한 자산이 됩니다.
광범위한 교육 데이터: 이 모델은 1조 토큰의 방대한 데이터 세트에 대한 교육을 자랑합니다.
긴 입력 처리: MPT-7B는 손상 없이 매우 긴 입력을 처리하도록 설계되었습니다.
속도와 효율성: 이 모델은 신속한 교육 및 추론에 최적화되어 시기 적절한 결과를 보장합니다.
오픈 소스 코드: MPT-7B는 효율적인 오픈 소스 교육 코드와 함께 제공되어 투명성과 사용 편의성을 높입니다.
비교 우수성: MPT-7B는 LLaMA-7B와 일치하는 품질로 20B-7B 범위의 다른 오픈 소스 모델보다 우수함을 입증했습니다.
Falcon LLM은 LLM 계층 구조의 최상위로 빠르게 올라간 모델입니다. Falcon LLM, 특히 Falcon-40B는 40억 개의 매개변수를 갖춘 기본 LLM이며 인상적인 3조 개의 토큰에 대해 교육을 받았습니다. 이는 자동 회귀 디코더 전용 모델로 작동합니다. 즉, 본질적으로 이전 토큰을 기반으로 시퀀스에서 후속 토큰을 예측합니다. 이 아키텍처는 GPT 모델을 연상시킵니다. 특히, Falcon의 아키텍처는 GPT-75보다 우수한 성능을 보여주었고, 훈련 컴퓨팅 예산의 XNUMX%만으로 이 위업을 달성했으며 추론 중에 훨씬 적은 컴퓨팅이 필요합니다.
Technology Innovation Institute의 팀은 Falcon을 개발하는 동안 데이터 품질에 중점을 두었습니다. 교육 데이터 품질에 대한 LLM의 민감도를 인식하여 수만 개의 CPU 코어로 확장되는 데이터 파이프라인을 구성했습니다. 이를 통해 광범위한 필터링 및 중복 제거 프로세스를 통해 웹에서 고품질 콘텐츠를 신속하게 처리하고 추출할 수 있었습니다.
TII는 Falcon-40B 외에도 7억 개의 매개변수를 보유하고 7조 1,500억 개의 토큰에 대해 훈련된 Falcon-40B를 비롯한 다른 버전도 도입했습니다. 특정 작업에 맞게 조정된 Falcon-7B-Instruct 및 Falcon-XNUMXB-Instruct와 같은 특수 모델도 있습니다.
훈련 Falcon-40B는 광범위한 과정이었습니다. 이 모델은 TII가 구축한 대규모 영어 웹 데이터 세트인 RefinedWeb 데이터 세트에서 훈련되었습니다. 이 데이터 세트는 CommonCrawl 위에 구축되었으며 품질을 보장하기 위해 엄격한 필터링을 거쳤습니다. 모델이 준비되면 EAI Harness, HELM 및 BigBench를 포함한 여러 오픈 소스 벤치마크에 대해 검증되었습니다.
Falcon LLM의 주요 기능 개요:
광범위한 매개변수: Falcon-40B는 40억 개의 매개변수를 갖추고 있어 포괄적인 학습 및 성능을 보장합니다.
자기회귀 디코더 전용 모델: 이 아키텍처를 통해 Falcon은 GPT 모델과 유사하게 이전 토큰을 기반으로 후속 토큰을 예측할 수 있습니다.
우수한 성능: Falcon은 교육 컴퓨팅 예산의 3%만 활용하면서 GPT-75보다 성능이 뛰어납니다.
고품질 데이터 파이프라인: TII의 데이터 파이프라인은 웹에서 모델 교육에 중요한 고품질 콘텐츠 추출을 보장합니다.
다양한 모델: Falcon-40B 외에도 TII는 Falcon-7B 및 Falcon-40B-Instruct 및 Falcon-7B-Instruct와 같은 특수 모델을 제공합니다.
오픈 소스 가용성: Falcon LLM은 오픈 소스로 제공되어 AI 도메인에서 접근성과 포괄성을 촉진합니다.
LMSYS ORG는 Vicuna-13B를 도입하여 오픈 소스 LLM 영역에서 중요한 족적을 남겼습니다. 이 오픈 소스 챗봇은 ShareGPT에서 가져온 사용자 공유 대화에서 LLaMA를 미세 조정하여 세심하게 훈련되었습니다. GPT-4가 심사위원으로 참여한 예비 평가에서 Vicuna-13B는 OpenAI ChatGPT 및 Google Bard와 같은 유명한 모델의 90% 이상의 품질을 달성하는 것으로 나타났습니다.
인상적으로, Vicuna-13B는 사례의 90% 이상에서 LLaMA 및 Stanford Alpaca와 같은 다른 주목할만한 모델을 능가합니다. Vicuna-13B에 대한 전체 교육 프로세스는 약 $300의 비용으로 실행되었습니다. 기능 탐색에 관심이 있는 사람들을 위해 코드, 가중치 및 온라인 데모가 비상업적 목적으로 공개되었습니다.
Vicuna-13B 모델은 70K 사용자 공유 ChatGPT 대화로 미세 조정되어 보다 상세하고 잘 구성된 응답을 생성할 수 있습니다. 이러한 응답의 품질은 ChatGPT와 비슷합니다. 그러나 챗봇을 평가하는 것은 복잡한 작업입니다. GPT-4가 발전함에 따라 벤치마크 생성 및 성능 평가를 위한 자동화된 평가 프레임워크 역할을 할 가능성에 대한 호기심이 커지고 있습니다. 초기 결과는 GPT-4가 챗봇 응답을 비교할 때 일관된 순위와 자세한 평가를 생성할 수 있음을 시사합니다. GPT-4를 기반으로 한 예비 평가에서는 Vicuna가 Bard/ChatGPT와 같은 모델의 90% 기능을 달성하는 것으로 나타났습니다.
Vicuna-13B의 주요 특징 개요:
오픈 소스 특성: Vicuna-13B는 공개 액세스가 가능하여 투명성과 커뮤니티 참여를 촉진합니다.
광범위한 교육 데이터: 이 모델은 70개의 사용자 공유 대화에 대해 학습되어 다양한 상호 작용에 대한 포괄적인 이해를 보장합니다.
경쟁력 있는 성능: Vicuna-13B의 성능은 ChatGPT 및 Google Bard와 같은 업계 리더와 동등합니다.
비용 효율적인 교육: Vicuna-13B에 대한 전체 교육 프로세스는 약 $300의 저렴한 비용으로 실행되었습니다.
LLaMA 미세 조정: 이 모델은 LLaMA에서 미세 조정되어 향상된 성능과 응답 품질을 보장합니다.
온라인 데모 가용성: 사용자는 대화식 온라인 데모를 통해 Vicuna-13B의 기능을 테스트하고 경험할 수 있습니다.
대규모 언어 모델의 확장 영역
대규모 언어 모델의 영역은 방대하고 지속적으로 확장되며 새로운 모델이 나올 때마다 가능성의 한계를 뛰어넘습니다. 이 블로그에서 논의된 LLM의 오픈 소스 특성은 AI 커뮤니티의 협력 정신을 보여줄 뿐만 아니라 미래 혁신을 위한 길을 열어줍니다.
Vicuna의 인상적인 챗봇 기능에서 Falcon의 우수한 성능 메트릭에 이르기까지 이러한 모델은 현재 LLM 기술의 정점을 나타냅니다. 이 분야의 급속한 발전을 계속 목격하면서 오픈 소스 모델이 AI의 미래를 형성하는 데 중요한 역할을 할 것이 분명합니다.
당신이 노련한 연구원이든, 신진 AI 애호가이든, 이러한 모델의 잠재력에 대해 궁금한 사람이든, 그들이 제공하는 방대한 가능성에 뛰어들어 탐구하기에 더 좋은 시간은 없습니다.
10일(현지 시각) 오픈AI가 GPT 스토어를 연 것은 AI 혁명의 기폭제가 될 만한 사건으로 받아들여진다. 누구나 맞춤형 챗GPT를 만들어 사용하고, 스토어에서 사고팔 수 있게 되면서 거대한 AI 생태계가 형성될 수 있기 때문이다. 특히 많은 사람들에게 필요한 맞춤형 챗GPT를 개발한 사람은 오픈AI에서 이익을 배분받으며 AI 시대의 유니콘(기업 가치 10억달러 이상 스타트업)이 될 수도 있다. GPT 스토어가 개발자를 모으고, 이를 활용하기 위해 세계인이 GPT 스토어를 찾는 선순환 구조가 만들어질 수 있다는 것이다.
오픈AI가 GPT 스토어를 열면서 구글과 마이크로소프트 같은 빅테크들도 AI 장터에 뛰어들 가능성이 높아졌다. 모바일 앱 장터는 초창기에 진출한 애플과 구글이 양분하고 있다. 이들은 앱 장터 거래 수수료로만 연간 수십조원을 챙기고 있지만, 후발 주자들은 대부분 사라졌고 남아 있는 일부도 존재감이 미미하다. AI 장터 시장 역시 주도권을 쥐기 위해서는 발 빠르게 움직여야 한다는 것이다.
그래픽=이철원
◇맞춤형 챗GPT 300만개 넘어서
10일 GPT 유료 버전에 접속하면 왼쪽 상단에는 ‘탐색(Explore) GPTs’라는 버튼이 생겼다. 이 버튼을 누르면 GPTs를 검색할 수 있는 검색창과 ‘글쓰기’, ‘생산성 향상’, ‘프로그래밍’, ‘라이프스타일’, ‘교육’ 등의 분야별 추천 맞춤형 챗GPT 추천창이 뜬다. 예컨대 전문가처럼 그래픽 디자인을 할 수 있도록 돕는 ‘캔바’, 산책이나 등산 코스를 추천해주는 ‘올트레일스’, 코딩 교육을 대화하면서 배우는 ‘코드 튜터’, 중고생에게 과학과 수학을 가르치는 ‘CK-12′ 같은 맞춤형 챗GPT들이 있다. 온라인상의 논문을 검색해 분석까지 해주는 ‘컨센서스’처럼 전문가를 위한 챗GPT도 있다.
더 이상 오픈AI가 운영하는 하나의 AI 챗봇 챗GPT가 아니라 챗GPT를 기반으로 만들어진 앱, ‘GPT들(GPTs)’이 넘쳐나고 있는 것이다. 이 같은 맞춤형 챗GPT는 이미 300만개 넘게 만들어졌다. 제작자가 올린 맞춤형 챗GPT가 오픈AI의 사전 검수를 통과해야 등록된다는 것을 감안하면 엄청난 수치이다.
오픈AI는 작년 11월, 누구나 맞춤형 챗GPT를 만들 수 있는 기능을 열었다. 이런 빠른 확산이 가능했던 이유는 코딩을 전혀 모르는 사람도 안내에 따라 버튼 몇 번만 누르면 원하는 챗GPT를 만들 수 있기 때문이다. 애플·구글의 앱은 컴퓨터 언어를 전문적으로 해야만 앱을 만들 수 있었지만, GPTs는 챗GPT와 일상 언어로 대화를 나누는 방식으로 제작한다. ‘GPTs 만들기’를 누르면 챗GPT가 ‘어떤 목적으로 맞춤형 AI를 만드나요?’ ‘학습할 데이터를 업로드해주세요’ 등 말을 하고 사용자는 이에 대답을 하거나 자료를 AI에 입력하면 된다. 오픈AI는 “유료 챗GPT 사용자, 기업 고객들에게 먼저 서비스를 제공하겠다”고 밝혔다. 현재는 20달러를 내는 유료 고객만 이용할 수 있지만, 앞으로는 무료 이용자 등으로 확대할 수도 있다는 것이다.
그래픽=이철원
◇오픈AI, 제작자들과 수익 배분
오픈AI는 조만간 유료·기업 사용자를 통해 얻은 수익을 맞춤형 챗GPT를 만든 제작자들과 분배하는 가이드라인을 공개할 계획이다. 챗GPT 사용량에 따라 유료 고객들이 낸 사용료를 배분해주는 방식이 유력한 것으로 알려졌다. 애플과 구글의 앱 장터에 앱을 올린 기업들이 수익을 내며 성장한 것처럼, 누구나 AI를 만들어 돈을 벌 수 있도록 하겠다는 것이다. 조대곤 KAIST 경영대학 교수는 “앱 장터의 등장으로 수많은 스타트업과 게임 회사, 인터넷 업체 등이 생겨나고 이들 중 상당수가 막대한 부를 거머쥐었다”면서 “이런 동기부여가 AI 혁명을 가속하는 원동력이 될 것”이라고 했다.
당초 오픈AI는 지난해 11월 GPT 스토어를 열 계획이었다. 하지만 스토어 오픈을 앞두고 오픈AI 이사회가 샘 올트먼 최고경영자(CEO)를 해고하고, 이에 직원들이 반발해 올트먼이 복귀하는 등 내홍을 겪으면서 출시가 다소 지연됐다. 테크 업계에서는 오픈AI가 GPT 스토어를 시작으로 여러 수익 사업을 시작할 것으로 본다.
