최근 ChatGPT, GPT-4 등 대형 언어 모델(Large Language Model, LLM)이 크게 주목받고 있습니다. 하지만 이런 LLM을 사용하려면 보통 클라우드 API를 통해 접근해야 하고 비용도 만만치 않습니다. 만약 무료로, 그것도 내 PC에서 직접 LLM을 돌릴 수 있다면 어떨까요? 바로 그런 필요를 실현시켜주는 오픈소스 프로젝트가 Ollama입니다. 이 글에서는 Ollama가 무엇인지, 어떻게 설치하고 사용하는지 자세히 알아보겠습니다.
Ollama란?
Ollama는 오픈소스 LLM을 로컬 PC에서 쉽게 실행할 수 있게 해주는 도구입니다. Mistral, Llama 3 등 다양한 오픈소스 LLM을 지원하죠. 모델 가중치, 설정, 데이터셋을 하나의 패키지로 묶어서 Modelfile로 관리합니다.
주요 특징은 다음과 같습니다:
- 무료 오픈소스
- 로컬 PC에서 실행 가능
- Llama 2, Mistral 등 다양한 모델 지원
- 사용자 정의 프롬프트로 모델 커스터마이징 가능
- REST API 제공
지원 모델
Ollama는 다양한 LLM을 지원합니다. 주요 모델은 다음과 같습니다:
| 모델 | 설명 | 다운로드 |
|---|---|---|
| Llama 3 | 가장 인기있는 범용 모델 | ollama run llama3 |
| Mistral | Mistral AI에서 공개한 70억 파라미터 모델 | ollama run mistral |
| CodeLlama | 코드 생성에 특화된 모델 | ollama run codellama |
| Llama 2 Uncensored | 검열되지 않은 Llama 2 모델 | ollama run llama2-uncensored |
| Orca Mini | 입문용 30억 파라미터 모델 | ollama run orca-mini |
이 외에도 LLaVA, Gemma, Solar 등 다양한 모델을 지원합니다. 전체 목록은 Ollama 모델 라이브러리에서 확인할 수 있습니다.
Ollama 설치 방법
macOS
- 다운로드 페이지에서 macOS용 파일을 다운로드 합니다.
- 다운로드한 zip 파일의 압축을 풉니다.
- 터미널을 열고 압축 해제한 폴더로 이동합니다.
./ollama명령어로 실행합니다.
Linux
터미널에서 아래 명령어를 실행합니다:
curl -fsSL https://ollama.com/install.sh | sh
Windows
Windows는 현재 프리뷰 버전만 지원합니다. 다운로드 페이지에서 설치 파일을 받아 실행하세요.
Docker
공식 Docker 이미지 ollama/ollama를 사용할 수 있습니다.
Ollama 사용 방법
모델 실행하기
ollama run 명령어로 원하는 모델을 실행할 수 있습니다. 예를 들어 Llama 3 모델을 실행하려면:
ollama run llama3
만약 해당 모델이 설치되어 있지 않다면 자동으로 다운로드 후 실행됩니다.
대화하기
모델이 실행되면 프롬프트가 나타납니다. 여기에 질문을 입력하면 모델이 답변을 생성합니다.
>>> 하늘은 왜 파란가요?
하늘이 파랗게 보이는 이유는 빛의 산란 때문입니다. 태양 빛 중 파장이 짧은 푸른색 계열의 빛이 대기 중 입자에 의해 강하게 산란되어 우리 눈에 많이 들어오기 때문이죠. 반면 파장이 긴 빨간색 계열은 대기를 통과해 직진하는 경향이 있습니다. 이런 레일리 산란 현상 때문에 하늘은 푸르게 보이는 것입니다.
멀티라인 입력
긴 문장을 입력하고 싶다면 """ 로 감싸면 됩니다.
>>> """
안녕하세요.
오늘도 좋은 하루 되세요!
"""
이미지 입력
일부 멀티모달 모델은 이미지 입력도 지원합니다.
>>> 이 이미지에 무엇이 있나요? /path/to/image.png
이미지에는 푸른 하늘을 배경으로 한 해바라기 꽃이 클로즈업되어 있습니다. 노란 꽃잎이 선명하게 보이고, 가운데 꽃술도 잘 보이네요. 매우 생동감 있는 사진입니다.
모델 커스터마이징
Ollama 라이브러리의 모델은 프롬프트로 커스터마이징할 수 있습니다. 예를 들어 llama3 모델을 수정하려면:
-
모델 다운로드
ollama pull llama3 -
Modelfile생성FROM llama3 # 온도 설정 (높을수록 창의적, 낮을수록 정확함) PARAMETER temperature 1 # 시스템 메시지 설정 SYSTEM """ 당신은 슈퍼마리오입니다. 마리오처럼 대답해주세요. """ -
모델 생성 및 실행
ollama create mario -f ./Modelfile ollama run mario
API로 접근
Ollama는 모델 실행과 관리를 위한 REST API도 제공합니다.
응답 생성
curl http://localhost:11434/api/generate -d '{
"model": "llama3",
"prompt": "하늘은 왜 파란가요?"
}'
채팅
curl http://localhost:11434/api/chat -d '{
"model": "llama3",
"messages": [
{"role": "user", "content": "하늘은 왜 파란가요?"}
]
}'
커뮤니티 통합
Ollama는 다양한 플랫폼 및 라이브러리와 통합되어 사용할 수 있습니다.
- 웹 및 데스크톱: LibreChat, Bionic GPT, Enchanted 등
- 터미널: oterm, Ellama, gen.nvim 등
- 데이터베이스: MindsDB, chromem-go 등
- 라이브러리: LangChain, LlamaIndex, OllamaSharp, Ollama-rs 등
- 모바일: Enchanted, Maid 등
- 확장 및 플러그인: Raycast, Discollama, Obsidian, Logseq, Telegram 등
자세한 목록은 커뮤니티 통합 문서를 참고하세요.
결론
Ollama를 사용하면 누구나 무료로 자신의 PC에서 강력한 LLM을 실행할 수 있습니다. 설치와 사용법도 간단하죠. 다양한 모델을 지원하고 사용자 정의 프롬프트로 커스터마이징할 수 있어 활용 범위도 넓습니다. 웹, 모바일, 데이터베이스 등 여러 플랫폼과 연동할 수 있는 것도 큰 장점입니다.
이제 여러분도 Ollama로 자신만의 AI 어시스턴트를 만들어보는 건 어떨까요? LLM의 놀라운 성능을 직접 경험해 볼 수 있을 것입니다. 코딩, 글쓰기, 질의응답 등 다양한 분야에 활용해 보세요. Ollama와 함께라면 누구나 AI의 힘을 자유롭게 이용할 수 있습니다.
[출처] https://www.developerfastlane.com/blog/ollama-usage-guide
