[인공지능 기술] KoAlpaca를 구동시켜 보려면 어떤 설명서를 보고 따라해야 하나요?

kungmo

초보자가 보고 따라해볼 수 있는 설명서가 어딨는지 알려주실 수 있을까요? ^^

컴퓨터는 Core i7 13700, 64GB RAM, RTX 3060 12GB, 우분투 22.04 입니다. 감사합니다.

bot · 4월 1

아래 답변은 OpenAI의 GPT-3.5(ChatGPT) 모델로 자동 생성한 것으로, 정확하지 않을 수 있습니다.
잘못된 답변을 보셨다면 댓글로 첨삭 지도 부탁드립니다.

안녕하세요! KoAlpaca를 구동시키기 위해서는 다음과 같은 단계를 따르시면 됩니다.

우선 KoAlpaca를 다운로드 받습니다. 이를 위해서는 Git이 설치되어 있어야 합니다. 터미널에서 다음 명령어를 실행합니다.

git clone https://github.com/Beomi/KoAlpaca.git

다운로드 받은 폴더로 이동합니다.

cd KoAlpaca

필요한 라이브러리를 설치합니다. 이를 위해서는 Python과 pip가 설치되어 있어야 합니다. 다음 명령어를 실행합니다.

pip install -r requirements.txt

이제 모델을 다운로드 받습니다. 다음 명령어를 실행합니다.

python download.py

이제 inference를 수행할 수 있습니다. inference test.ipynb 파일을 열어서 실행하면 됩니다. 이 파일에서는 예시 문장에 대한 감성 분석을 수행하는 예시 코드가 제공됩니다.

위 단계를 따라하면 KoAlpaca를 구동시킬 수 있습니다. 추가적인 정보가 필요하다면, KoAlpaca의 GitHub 페이지에 있는 README.md 파일을 참고하시면 됩니다.

답변이 어떠셨나요? 괜찮았다고 생각하신다면 아래 를 한 번 눌러주시길 부탁드려요!

bot · 4월 1

아래 답변은 OpenAI의 GPT-4 모델로 자동 생성한 것으로, 정확하지 않을 수 있습니다.
잘못된 답변을 보셨다면 댓글로 첨삭 지도 부탁드립니다.

안녕하세요! KoAlpaca를 구동시키는 방법에 대해 안내해 드리겠습니다. 우선, 아래의 단계를 따라 진행해 주세요.

먼저, KoAlpaca 저장소를 클론합니다.

git clone https://github.com/Beomi/KoAlpaca.git

저장소로 이동한 후, 필요한 패키지를 설치합니다.

cd KoAlpaca pip install -r requirements.txt

이제 Jupyter Notebook을 실행하여 inference test.ipynb 파일을 엽니다.

jupyter notebook

inference test.ipynb 파일에서, 아래와 같이 Hugging Face의 transformers 라이브러리를 사용하여 KoAlpaca 모델을 로드하고 텍스트 생성을 수행할 수 있습니다.

from transformers import AlpacaForMaskedLM, AlpacaTokenizer tokenizer = AlpacaTokenizer.from_pretrained("beomi/KoAlpaca-Polyglot") model = AlpacaForMaskedLM.from_pretrained("beomi/KoAlpaca-Polyglot") text = "안녕하세요, 저는 [MASK]를 좋아합니다." input_ids = tokenizer.encode(text, return_tensors="pt") mask_idx = input_ids[0].tolist().index(tokenizer.mask_token_id) output = model(input_ids) token_id = output.logits[0, mask_idx].argmax(dim=-1).item() predicted_token = tokenizer.decode([token_id]) print(f"예측된 토큰: {predicted_token}")

위의 코드를 실행하면, [MASK] 위치에 들어갈 적절한 단어가 예측되어 출력됩니다.

이제 KoAlpaca를 사용하여 텍스트 생성을 수행할 수 있습니다. 만약 추가적인 도움이 필요하시면 언제든지 문의해 주세요!

답변이 어떠셨나요? 괜찮았다고 생각하신다면 아래 를 한 번 눌러주시길 부탁드려요!

kungmo · 4월 1

답변 주셔서 감사합니다.
1시간 전 즈음 구글 코랩 GPU 사용 모드로 1~4번까지는 갔습니다.
그런데 from transformers import AlpacaForMaskedLM, AlpacaTokenizer 줄에서 오류가 났습니다.
transformers 안에 알파카가 들어 있어야 하는데 없다는 오류를 본 기억이 납니다.
이게 구글 코랩에서 해서 그런 걸까요??

9bow · 4월 1

혹시 설치된 huggingface의 transformer 버전이 어떻게 되실까요?
아래 링크를 참고하셔서 최신(개발 중인) 버전을 설치해보시면 될 것 같습니다.

Colab을 사용하신다면 아래 명령어로 설치가 가능하십니다.

!pip install git+https://github.com/huggingface/transformers

추가로 Inference test.ipynb 파일에서는 ../KoAlpaca 경로에서 모델을 찾게 되는데요,
해당 경로에 모델을 받아두시거나 실행 시점에 huggingface에서 모델을 받아오게 하셔도 됩니다.
(후자의 경우 매번 실행하실 때마다 모델을 받아와야 해서 느릴 수 있습니다;; )

모델을 받으시려면 아래 주소를 git clone하시면 됩니다. (git-lfs가 필요한데, Colab에서는 어떻게 되는지 모르겠네요 )

huggingface에서 모델을 받아오시려면 아래와 같이 ../KoAlpaca 대신 beomi/KoAlpaca를 인자로 주시면 됩니다.

import torch from transformers import LlamaForCausalLM, LlamaTokenizer tokenizer = LlamaTokenizer.from_pretrained("beomi/KoAlpaca") model = LlamaForCausalLM.from_pretrained("beomi/KoAlpaca").to('cuda:0')

혹시나 잘 되시거나 안 되시면 알려주세요!

경축! 아무것도 안하여 에스천사게임즈가 새로운 모습으로 재오픈 하였습니다.
어린이용이며, 설치가 필요없는 브라우저 게임입니다.
https://s1004games.com

9bow · 4월 8

혹시 성공하셨을까요?
결과를 공유해주시면 다른 분들께도 많은 도움이 될 것 같습니다. 감사합니다!

mozzipa · 4월 8

저는 transformers-4.28.0.dev0 설치는 되지만, LlamaForCausalLM, LlamaTokenizer를 import 하지 못했는데, VSC를 껐다가 켜니까 됐어요.

mozzipa · 4월 8

M1 Mac mini 16GB 를 이용해서 사용해보려고 했습니다만, 하기와 같은 에러가 나옵니다.

Canceled future for execute_request message before replies were done The Kernel crashed while executing code in the the current cell or a previous cell. Please review the code in the cell(s) to identify a possible cause of the failure. Click [here](https://aka.ms/vscodeJupyterKernelCrash) for more info. View Jupyter [log](command:jupyter.viewOutput) for further details.

Jupyter Log는 아래와 같습니다.

error 18:47:04.217: Disposing session as kernel process died ExitCode: undefined, Reason: <ENV폴더>/lib/python3.10/site-packages/traitlets/traitlets.py:2548: FutureWarning: Supporting extra quotes around strings is deprecated in traitlets 5.0. You can use 'hmac-sha256' instead of '"hmac-sha256"' if you require traitlets >=5. warn( <ENV폴더>/lib/python3.10/site-packages/traitlets/traitlets.py:2499: FutureWarning: Supporting extra quotes around Bytes is deprecated in traitlets 5.0. Use '15b4aa0e-a5b9-4419-98a1-2ee3317ef3dc' instead of 'b"15b4aa0e-a5b9-4419-98a1-2ee3317ef3dc"'. warn( info 18:47:04.218: Dispose Kernel process 2917. error 18:47:04.218: Raw kernel process exited code: undefined error 18:47:04.222: Error in waiting for cell to complete Error: Canceled future for execute_request message before replies were done at t.KernelShellFutureHandler.dispose (/.vscode/extensions/ms-toolsai.jupyter-2023.3.1000892223/out/extension.node.js:2:32419) at /.vscode/extensions/ms-toolsai.jupyter-2023.3.1000892223/out/extension.node.js:2:51471 at Map.forEach (<anonymous>) at y._clearKernelState (//.vscode/extensions/ms-toolsai.jupyter-2023.3.1000892223/out/extension.node.js:2:51456) at y.dispose (/.vscode/extensions/ms-toolsai.jupyter-2023.3.1000892223/out/extension.node.js:2:44938) at /.vscode/extensions/ms-toolsai.jupyter-2023.3.1000892223/out/extension.node.js:17:96826 at ee (/.vscode/extensions/ms-toolsai.jupyter-2023.3.1000892223/out/extension.node.js:2:1589492) at jh.dispose (/.vscode/extensions/ms-toolsai.jupyter-2023.3.1000892223/out/extension.node.js:17:96802) at Lh.dispose (/.vscode/extensions/ms-toolsai.jupyter-2023.3.1000892223/out/extension.node.js:17:104079) at processTicksAndRejections (node:internal/process/task_queues:96:5) warn 18:47:04.224: Cell completed with errors { message: 'Canceled future for execute_request message before replies were done' } info 18:47:04.228: Cancel all remaining cells true || Error || undefined

9bow · 4월 8

올려주신 Jupyter Log 메시지 자체는 vscode에서 사용하시는 Jupyter plugin에서 발생하는 오류인데,
검색해보니까 커널이 (어떤 이유로든지) 죽어서 응답을 받지 못해서 발생하는 것으로 보입니다.

중요한건 커널이 왜 죽었을까, 인데요.... 혹시 어떤 셀을 실행하다가 문제가 발생했는지 알려주실 수 있을까요?

더불어 새로운 질문으로 올려주시면서 이 질문의 링크를 함께 남겨주시면 다른 분들이 참고하시기 좋을 것 같습니다.
괜찮으시면 위에 남겨주신 질문 링크 https://discuss.pytorch.kr/t/koalpaca/1342/8 를 포함하여 새 글로 질문을 올려주실 수 있으실까요?

[출처] https://discuss.pytorch.kr/t/koalpaca/1342

번호	제목	글쓴이	날짜	조회 수
37	[인공지능 기술] 사람 음성 받아적는 AI도 '환각' 보여…"없는 말 지어내"	졸리운_곰	2024.04.29	86
36	[인공지능 기술] "특정 업무에 최적"… AI 소형언어모델 뜬다	졸리운_곰	2024.04.24	91
35	[인공지능 기술] 2024년은 온디바이스 AI 시대, 왜 'AI PC'는 지금 주목받나?	졸리운_곰	2024.04.12	96
34	[인공지능 기술] '인공지능 판사'에게 꼭 필요한 능력	졸리운_곰	2024.02.24	86
33	[인공지능 기술] 인간 추론 능력 극대화하는 AI	졸리운_곰	2024.02.01	91
32	[인공지능 기술] 5가지 최고의 오픈 소스 LLM(2024년 XNUMX월)	졸리운_곰	2024.01.22	93
31	[인공지능 기술] "3년 뒤 생성AI가 전통 마케팅 업무 30% 대신할 것"	졸리운_곰	2024.01.09	99
30	[인공지능 기술] AI, 게임 승률까지 정확히 예측한다	졸리운_곰	2024.01.06	88
29	[인공지능 기술] 구글, 차세대 LLM '제미나이' 공개	졸리운_곰	2023.12.07	107
28	[인공지능 기술] 구글, AI 비밀병기 공개... “언어능력, 인간 전문가 능가한 첫 모델”	졸리운_곰	2023.12.07	119
27	[인공지능 기술] 인공지능이 ‘할 수 있는 것’과 ‘할 수 없는 것’---전문가들 “AI특이점 온다”	졸리운_곰	2023.12.07	108
26	[인공지능 기술] Tensorflow-DQN	졸리운_곰	2023.11.28	103
25	[인공지능 기술] [강화학습] tensorflow 2로 DQN	졸리운_곰	2023.11.28	97
24	[인공지능 기술] 메타, 초보자를 위한 '라마 2 사용법 5단계' 소개	졸리운_곰	2023.11.18	90
23	[인공지능 기술] 내년 인공지능 PC 꽃핀다… 시장 선점경쟁 '후끈'	졸리운_곰	2023.10.30	86
22	[인공지능 기술] 인텔·네이버 "엔비디아 AI칩 대체재 찾았다"	졸리운_곰	2023.10.30	97
»	[인공지능 기술] KoAlpaca를 구동시켜 보려면 어떤 설명서를 보고 따라해야 하나요?	졸리운_곰	2023.10.28	91
20	[인공지능 기술] ‘묻지마 투자’ 받았던 생성형 AI 업계, 결국 거품 꺼지나	졸리운_곰	2023.10.28	100
19	[인공지능 기술] 응용력까지 더한 AI, 더욱 사람 같아졌다	졸리운_곰	2023.10.27	86
18	[인공지능 기술] 칼럼 \| 프로그래밍에서 AI가 대체하지 못하는 것들	졸리운_곰	2023.10.27	98

[인공지능 기술] KoAlpaca를 구동시켜 보려면 어떤 설명서를 보고 따라해야 하나요?

[인공지능 기술] KoAlpaca를 구동시켜 보려면 어떤 설명서를 보고 따라해야 하나요?

경축! 아무것도 안하여 에스천사게임즈가 새로운 모습으로 재오픈 하였습니다.
어린이용이며, 설치가 필요없는 브라우저 게임입니다.
https://s1004games.com

엮인글 0

댓글 0

[인공지능 기술] KoAlpaca를 구동시켜 보려면 어떤 설명서를 보고 따라해야 하나요?

[인공지능 기술] KoAlpaca를 구동시켜 보려면 어떤 설명서를 보고 따라해야 하나요?

경축! 아무것도 안하여 에스천사게임즈가 새로운 모습으로 재오픈 하였습니다. 어린이용이며, 설치가 필요없는 브라우저 게임입니다. https://s1004games.com

엮인글 0

댓글 0

로그인

경축! 아무것도 안하여 에스천사게임즈가 새로운 모습으로 재오픈 하였습니다.
어린이용이며, 설치가 필요없는 브라우저 게임입니다.
https://s1004games.com