2022년 11월 말 출시된 오픈AI사의 ChatGPT는 대화형 인공지능(이하 AI)으로써 질문에 대한 답을 주는 것 뿐만 아니라 문장의 요약, 창작, 번역 등 다양한 비즈니스에 활용이 가능하다. 지적재산 분야에서도 ChatGPT 등 AI 서비스의 등장이 특허 업무에 어떤 변화를 불러일으킬 것인가에 대해 많은 이목이 쏠리고 있다.
일반적으로 변리사가 작성하는 특허출원 서류는 아래 5가지로 구성된다.
1) 권리의 범위를 정하는 ‘특허청구범위’
2) 발명의 상세를 설명하는 ‘명세서’
3) 발명의 요점을 기재하는 ‘요약서’
4) 발명의 설명을 알기 쉽게 하는 ‘도면’
5) 출원인 및 발명자에 대해 기재하는 ‘원서’
변리사가 이런 서류들을 작성하기 위해서는 출원인 및 발명자로부터 출원 정보를 받아 정리하고 특허 데이터베이스, 문헌 검색 등을 이용하여 기존에 유사한 출원이 존재하지 않는지 선행 조사를 실시한다. 그 이후, 출원의 특징 및 기술에 따라 신규성과 진보성을 평가해 문서화한다. 또한 심사와 소송에 대한 선제적으로 대비하기 위해 출원을 보완하는 경우도 있다.
그렇다면 AI는 특허 출원 과정에 어떠한 변화를 가져다 주었을까? 실제 ChatGPT에 질문한 내용을 예시로 들어보자.
<‘쓰레기 처리기’와 특허출원에 관해 ChatGPT와 나눈 대화 일부>
명령1
기존 쓰레기 처리기의 과제와 이를 보완할 수 있는 기술을 포함하는 특허 개발을 위한 청구항을 제안해줘.
이하에 기존 쓰레기 처리기의 과제를 보완할 가능성이 있는 기술을 포함하는 특허 개발을 위한 청구항의 예시를 제안합니다.
ㅇ 제1항: 자동 분리수거 기능을 구비한 쓰레기 처리기
쓰레기 처리기에 있어서 자동으로 쓰레기를 분리하고 분리된 쓰레기를 각각 적절한 처리 방법에 의해 처리하는 기능을 구비하는 것을 특징으로 한다.
제2항: 고효율 재활용 기능을 갖춘 쓰레기 처리기
쓰레기 처리기에 있어서 재활용 가능한 쓰레기를 고효율로 회수·분리하여 재사용 가능한 자원의 회수율을 향상시키는 기능을 구비하는 것을 특징으로 한다.
제3항: 악취 및 유해물 배출을 억제하는 쓰레기 처리기
쓰레기 처리기에 있어서 악취나 유해 물질의 배출을 억제하기 위한 탈취·제거 장치를 구비하여 처리 과정에 있어서의 환경 부하를 저감하는 기능을 갖는 것을 특징으로 한다.
제4항: 에너지 절약 운전이 가능한 쓰레기 처리기
쓰레기 처리기에 있어서, 처리 프로세스에 있어 에너지 절약 운전을 실현하기 위한 효율적인 열 교환 시스템 및 에너지 회수 장치를 구비하는 것을 특징으로 한다.
제5항: 원격 감시 및 제어 기능을 구비한 쓰레기 처리기
쓰레기 처리기에 있어서 원격지로부터의 감시 및 제어가 가능한 통신 인터페이스, 센서를 구비하여 운전 상황의 모니터링이나 효과적인 보수·관리를 실현하는 기능을 갖는 것을 특징으로 한다.
이러한 청구항은 쓰레기 처리기의 기존 과제에 대한 해결책이나 개선점을 도입한 것입니다. 특허출원 시에는 구체적인 발명의 상세나 기술에 따라, 보다 구체적이고 특징적인 청구항을 작성하는 것이 중요합니다. 전문적인 조언을 받으면서 특허출원 전략을 검토하는 것을 추천합니다.
명령2
그럼 쓰레기 처리기에 관한 특허출원서도 작성해 줄래?
일본 특허출원을 위한 원서의 예는 다음과 같습니다. 특허출원 시에는 특허청이 지정하는 서식에 따라 원서를 작성해야 하므로 이는 어디까지나 참고 예입니다.
[서류명] 쓰레기 처리기에 관한 특허출원서
[발명의 명칭] 쓰레기 처리기
[출원인 정보]
출원인 성명: [출원인 성명]
주소: [출원인 주소]
국적: [출원인의 국적]
법인의 경우 법인명과 소재지 기재
[대리인 정보] (대리인을 이용하는 경우)
대리인 성명: [대리인 성명]
주소: [대리인 주소]
국적: [대리인 국적]
대리인 등록번호: [대리인등록번호]
대리인 상세정보 기재
[발명의 요약]
[쓰레기 처리기 발명에 관한 요약 기재]
[발명의 설명]
[쓰레기 처리기 발명에 대한 상세한 설명 기재]
[도면 설명]
[쓰레기 처리기에 관한 도면 설명 기재]
[청구 범위]
[앞에서 서술한 청구항 번호와 내용 기재]
[신청일]
[특허출원 신청일 기재]
[서명]
출원인 또는 대리인의 서명과 날짜
이상이 일반적인 일본 특허출원을 위한 원서의 예입니다. 이는 특허청이 지정한 서식에 따라 필요한 정보를 정확하고 완전히 기재해야 합니다. 특허 대리인 및 변호사의 도움을 받는 것을 추천합니다. 또한, 특허출원에는 다양한 서류와 절차가 필요하므로 자세한 내용은 특허청 웹사이트 및 전문가의 지도를 참고하시기 바랍니다.
[자료: ChatGPT와 채팅 내용을 도쿄 IP-DESK에서 번역]
이처럼 ChatGPT의 경우, 질문에 대한 AI 나름의 분석과 답변을 받아볼 순 있었지만, 실제 특허출원을 하기 위한 구체적인 기술의 제시는 불가능했으며 제공된 양식이 정확한지도 확인해 볼 필요가 있을 것으로 사료된다. 외견상 그럴싸한 답변을 제시한 듯 했으나 ChatGPT는 인터넷상에 공개된 방대한 데이터를 학습하고 조합하여 답변하기 때문에 그 중에는 오래되거나 혹은 잘못된 정보가 포함돼 있을 가능성이 높다. 이 뿐만 아니라 채팅 기록과 개인정보, 영업비밀 유출 등의 보안상 문제가 우려되며 자사 시스템에 ChatGPT 프로그램을 도입·변경하여 사용하는 것은 불가하므로 활용 방안에 대해 신중하게 검토할 필요가 있다.
일본 경제산업성, AI를 이용한 특허 출원서류 작성을 인정해
한편, 아직은 시작 단계인 AI지만 특허 출원의 도우미로서 적절히 활용한다면 지식재산의 개발 및 관리에 소요되는 시간, 비용 등을 절감할 수도 있다. 아래에서는 나날이 증가하고 있는 일본 기업들의 AI를 활용한 지재권 서비스를 소개하고 이에 대한 적법성을 논한다.
AI 기반 특허 판정 시뮬레이션 시스템의 개발·운영 업체인 주식회사 AI사무라이(Samurai)는 최단 3일 만에 그리고 최저 5만 엔(세금 별도)으로 특허 조사와 출원서류 초안 작성이 가능한 ‘모두의 특허’ 서비스를 2022년 12월 시작하였다. 이 서비스는 변리사에게 의뢰하는 업무 영역이었던 베이스 자료를 AI가 작성함으로써 소요 비용과 시간을 대폭 절감시키고, 이를 연계 변리사의 감독 하에 특허청에 출원하는 방식이며, AI가 작성한 ①특허기술조사 리스트, ②특허 유사도 평가 자료 등도 받아볼 수 있다. 나아가, 미쓰이스미토모해상화재보험(주)와 연계해 日 업계 최초로 지식재산권의 소송비용 보험을 무상 제공한다. 본 서비스를 이용해 특허출원을 실시한 경우라면, 취득한 특허권이 포함되는 이용자의 제품·서비스에 대해서 특허침해 소송이 제기되었을 시 변호사 비용 등의 소송에 관한 비용의 일부가 보상된다.
온라인 플랫폼의 개발 및 운영, 지식재산 정보제공, 컨설팅을 실시하는 코토박스 주식회사(cotobox)는 일본 최대의 온라인 AI 상표등록 서비스 ‘Cotobox’를 통해 2021년 이래 2년 연속 일본 특허청에 출원 취급건수에 있어서 1위를 차지하였다. 본 서비스는 유사 상표 검색서비스를 제공해 간이 조사 결과와 웹사이트 폼에 정보를 입력하는 것만으로 출원 서류를 작성해준다. 더불어, 해당 사이트에서는 대화형 AI인 챗봇을 이용할 수 있어 본 서비스의 조작 방법이나 상표출원 시의 궁금증을 손쉽게 상담할 수 있다. 이러한 각종 인공지능 활용 기술로 해당 사이트에선 서비스 이용에 최단 3분이 소요되고 최단 1영업일 만에 일본 특허청에 출원서 제출까지 가능한 스피드 있는 상표출원을 서포트한다.
위와 같이 일본 IP 시장에서 부상을 거듭하고 있는 AI변리사 서비스, 즉 인공지능을 활용한 출원 업무 취급 서비스이지만 개시할 당시에는 우선 日 변리사법 제75조의 저촉 여부에 대한 확인이 필요했다. 이에 상기에 사례로 언급한 AI사무라이 측에서는 산업경쟁력강화법에 따라 사업자가 현행 규제의 적용 범위가 불명확한 경우에도 안심하고 신사업활동을 할 수 있도록 구체적인 사업 계획에 입각하여 미리 규제 적용 여부를 확인하는 ‘그레이존 해소 제도’를 통해 AI에 의한 특허출원서류 검토 및 작성의 적법성을 물었다.
일본 변리사법 제75조
변리사 또는 변리사법인이 아닌 자는 타인의 요구에 따라 보수를 받고 △특허·실용신안· 디자인·상표의 국제출원, △디자인권과 관련된 국제등록출원, △상표와 관련된 국제등록출원에 관한 특허청에 있어서의 절차, △특허·실용신안·디자인·상표에 관한 행정불복심사법의 규정에 따른 심사 청구, △재정에 관한 경제산업대신에 대한 절차 대리(특허료 납부 절차에 대한 대리, 특허 원부 등록신청절차에 대한 대리 및 그 밖의 정령으로 정하는 것은 제외), △또는 이러한 절차와 관련된 사항에 관한 감정(鑑定), △정령으로 정하는 서류 및 전자적 기록(전자적 방식, 자기적 방식 및 그 외 사람의 지각으로는 인식할 수 없는 방식으로 만들어지는 기록으로써, 컴퓨터에 의한 정보처리용으로 제공되는 것을 말함.)의 작성을 업으로 할 수 없다.
<日 경제산업성의 AI에 의한 특허출원서류 작성 관련 회답>
1. 확인 요청 일시: 2023년 1월 19일
2. 회답 일시: 2023년 2월 18일
3. 신 사업활동 관련 사업 개요: 본 건 사업은 이용자(연구자, 발명자, 변리사 등)가 입력한 발명 내용(새로운 아이디어) 및 복수의 유사한 선행특허문헌에 기초하여 특허출원서류 기재 예의 서포트가 되는 문장을 자동 출력하는 시스템(이하 ‘본 건 시스템’이라 한다.)을 개발·제공하는 것이다.
본 건 시스템의 구체적인 이용 절차는 다음과 같다.
(1) 사용자는 브라우저 화면에서 발명 내용을 문장으로 입력함과 동시에 선행기술문헌인 기준 특허와 유사 특허군(500건 이하)을 문헌 번호로 지정한다.
(2) 이 사건 시스템에 의해 발명 내용을 분할하고 분할된 구성에 포함되는 센텐스 또는 단어를 추출하고 그 추출된 문자군에 기초하여 유사 문헌으로부터 해당 문자군을 설명하는 해당 장소를 추출하여 명세서의 항목에 맞게 재배치하여 출력한다.
(3) 해당 출력 결과는 브라우저 화면상의 편집기능 또는 워드 문서로의 내보내기 기능을 통해 변리사에 의해 수정 확인돼 특허청에 출원된다. 본 건 시스템에서 사용자는 상기 (3)에서 수출된 워드 문서를 이용하여 특허출원을 함에 있어 변리사에게 해당 문서의 내용 확인 및 수정을 받는 것을 전제로 한다. 즉, 사용자는 본 건 시스템을 이용할 때에 본 건 시스템을 이용한 최종적인 특허출원서류의 작성 행위에 변리사가 확실하게 관여하는 것에 대해서 예를 들어 본건 시스템의 이용규약이나 별도 서약서 등에서 명확히 한다.
본 건 시스템의 제공처로써 상정하는 고객으로는 변리사, 특허업무법인 또는 변리사가 재적하는 기업으로 하고 변리사가 재적하지 않는 기업에 대해서는 별도 변리사 또는 특허업무법인과 출원위탁계약을 체결하는 것을 전제로 제공한다.
4. 확인 요청 내용: 본 건 사업이 변리사법 제75조에 저촉되는가
5. 확인 요구에 대한 답변내용: 본 건 시스템을 변리사 또는 특허업무법인에 제공하는 경우, 본 건 시스템이 출력하는 서류 데이터는 변리사 또는 특허업무법인만이 접근할 수 있으므로 본 건 시스템을 이용한 서류 작성 행위는 변리사의 감독 하에서 이루어지고 있어 변리사법 위반이 되지 않는다고 생각된다.
한편, 본 건 시스템을 변리사가 재적하는 기업 또는 변리사가 재적하지 않는 기업에 제공하는 경우, 본 건 시스템을 이용한 서류 작성 행위에 변리사가 관여하는 것이 확실하게 담보될 수 있도록 충분하고 객관적인 제도적·운용적 수당을 강구하고 있는 한, 해당 서류 작성 행위는 변리사법 위반에 해당하지 않는다고 생각된다.
단, 본 건 시스템 이용의 구체적 양태에 의해 변리사가 서류 작성에 실질적으로 관여하고 있지 않고, 이른바 ‘명의 대여’에 상당한다고 인정되는 경우, 본 건 시스템을 이용한 서류 작성 행위가 변리사법 위반이 될 가능성이 있다.
덧붙여 상기 회답은, 이번에 조회가 있던 사업에 대해서만 판단한 것이지, 다른 사업 등에 있어서의 판단을 나타내는 것은 아니다. 또한, 본 제도의 응답은 어디까지나 해당 법령에서의 취급에 대해서만 판단한 것이고, 다른 법령 등에서의 판단을 나타내는 것은 아니다.
[자료: 일본 경제산업성 홈페이지]
따라서, AI 기술을 접목시킨 특허출원서류 작성 서비스는 변리사법 제75조에 위배될 우려가 있었으나 그레이존 해소 제도에 근거한 답변을 통해 변리사의 감독 하에 있는 한 동조에 반하지 않는다는 것을 알 수 있었고 이는 여러 日 기업들이 AI에 의한 업무 효율화 추진 시스템 사업을 개발 및 연구할 수 있도록 이바지 하여, 일본의 산업 발전에 공헌할 수 있는 기회를 도출했다.
시사점
<AI기술 활용을 위한 액션 플랜에 게재 검토 사업(2022~2026년)>
항 목
내 용
전화·메일 등의 질문 대응
전화·메일 등의 질문 대응에 필요한 시간을 삭감하기 위해 다음
사항 등에 대해 AI 기술 활용을 검토
– 전화 응답 내용의 쓰기
– 쓰기 데이터 등에서 문의에 관한 중요 부분 추출
– 문의 텍스트에서 답변 자동 생성
종이 자료의 전자화(텍스트화)
종이 서류의 내용 확인 및 입력 등에 소요되는 시간을 줄이기 위해, 다양한 레이아웃의 종이 서면에서 항목명과 항목명에 대응하여 기재된 입력을 세트로 추출, 텍스트화하는 것에 대해 검토
상표 국제등록출원에서의 지정상품 역무의 확인
지정상품 역무의 확인에 필요한 시간을 삭감하기 위해, 상표의 국제등록출원에서 지정된 지정상품 역무에 대해, 기초가 되는 국내출원에서 지정된 지정상품 역무의 범위를 넘지 않는지 체크를 지원하는 것을 검토
제출 서류의 열람금지처리 지원
특허청에 제출된 서면 내용에 따라 열람 금지 처리를 하는 업무의 효율화를 위해 AI 기술 활용을 검토
상표 식별성 유무의 시사
심사 안건 난이도의 적절한 파악을 위해 AI 기술을 활용해 출원된 상표에 대해 식별성 판단의 난이도 평가를 할 수 있는지 검토
[자료: 일본 특허청]
상기 일본 특허청의 AI를 활용한 업무 개혁 노력과 같이 계속해서 AI는 특허 생태계 전체에 효율과 특허 품질을 모두 향상시키는 중요한 역할을 맡을 것이며, 특허청 및 지적재산전략추진본부 등 현지 정부의 AI를 활용한 워크플로 접근법과 적법성 등을 주시해야 할 것이다. 이와 관련하여 일본의 최신 지재권 동향 및 지원 제도 등 한국 기업에서도 활용 가능한 해외 각국의 IP 정보는 공사 홈페이지 내 ‘IP-DESK가 전하는 글로벌 IP 현장 뉴스’를 통해서도 확인 가능하며, 도쿄 IP-DESK에서는 온라인을 통한 상시 상담을 진행하고 있으니 일본 진출에 이를 적극 이용하길 권장하는 바이다.
자료: ChatGPT, AI사무라이, 코토박스, 일본 경제산업성, 일본 특허청 홈페이지 참조, KOTRA 도쿄 무역관 IP-DESK 작성
이전 포스트에서 테스트 해봤던 Ollama를 쫌 더 다양하게 활용하기 위해 Python에서 사용하는 실습을 진행해보았다. 이번에는 예제 코드를 활용한 간단한 기능한 구현해보고 앞으로 HuggingFace 모델 가져오기, LangChain과 함께 사용하기 등 추가 실습을 더 진행해볼 예정이다.
실습은 파이썬 가상환경을 만들어서 진행했고, 한국어로 사용할 수 있는 모델을 찾기 위해서 여러 모델들을 테스트 해보았다. 한국어 채팅은 Gemma의 성능이 가장 좋았다. 아래 실습에서는 여러 모델을 섞어서 진행하겠다.
Llama2
Mistral
Solar
Gemma
구글의 Gemma만 제대로된 답변을 주고 있다. (역시 따끈따끈한 모델..) Solar는 한국에서 만들었는데(Upstage) 학습할 때 한국어 데이터셋을 많이 안 포함 시킨 건지 왜 성능이..? (10.7B size 기준)
.
.
.
우선 Ollama를 설치한다. (가상환경에서 진행하므로 이전에 terminal에서 설치해 준 것과 무관하게 다시 설치해줘야 한다)
import ollama
ollama.pull('llama2')
ollama를 import하고 모델을 설치해준다. 터미널에서 ollama run gemma를 통해 모델을 다운로드하고 바로 실행할 수 있지만, python에는 모델을 pull해온다. ollama.list()를 통해서 설치한 모델 리스트를 확인할 수 있고 ollama.delete('llama2')를 통해 모델을 삭제할 수도 있다.
response = ollama.chat(model='solar', messages=[{'role':'user','content':'Why is the sky blue?',},])print(response['message']['content'])
content에 input prompt를 작성하면 답변이 생성된다. model을 바꿔가면서 테스트해봤는데, 모델에 따라서 답변의 길이, 응답 특성 등이 살짝씩 달랐다.
임베딩 벡터 얻기 + 검색(with ChromaDB)
Ollama에 이 기능이 공개된 건 꽤 최근인 것 같은데, 답변을 출력할 뿐만 아니라 답변의 embedding vector를 제공한다는 것이다. 공식 문서에서는 RAG를 구축하는데 사용할 수 있다고 설명하고 있고 (1)임베딩 (2)DB저장 (3)검색 (4)답변생성 의 과정을 실습해볼 수 있는 예시를 제공한다. 코드는 모두 Ollama에서 제공한 것이며, 사용 모델만 내가 설치한 모델로 바꿔서 진행하였다.
ollama.embeddings(model='mistral', prompt='The sky is blue because of rayleigh scattering')
위 코드를 실행하면 출력 결과로 답변과 함께 embedding vector가 나온다.
다음으로는 Ollama와 ChromaDB를 각각 사용해서 임베딩 벡터를 생성하고 저장한 뒤 검색하는 과정을 진행해보겠다.
pip install chromadb
우선 ChromaDB를 설치한다.
import ollama
import chromadb
documents =["Llamas are members of the camelid family meaning they're pretty closely related to vicuñas and camels","Llamas were first domesticated and used as pack animals 4,000 to 5,000 years ago in the Peruvian highlands","Llamas can grow as much as 6 feet tall though the average llama between 5 feet 6 inches and 5 feet 9 inches tall","Llamas weigh between 280 and 450 pounds and can carry 25 to 30 percent of their body weight","Llamas are vegetarians and have very efficient digestive systems","Llamas live to be about 20 years old, though some only live for 15 years and others live to be 30 years old",]
client = chromadb.Client()
collection = client.create_collection(name="docs2")# store each document in a vector embedding databasefor i, d inenumerate(documents):
response = ollama.embeddings(model="mistral", prompt=d)
embedding = response["embedding"]
collection.add(
ids=[str(i)],
embeddings=[embedding],
documents=[d])
documents에는 임베딩을 진행한 문서를 넣어주고, embedding model은 mistral을 사용했다. 데이터양이 적어서 금방 실행된다.
# an example prompt
prompt ="What animals are llamas related to?"# generate an embedding for the prompt and retrieve the most relevant doc
response = ollama.embeddings(
prompt=prompt,
model="mistral")
results = collection.query(
query_embeddings=[response["embedding"]],
n_results=1)
data = results['documents'][0][0]
prompt에 질문을 넣어주면 해당 질문의 답변을 얻을 수 있는 가장 유사한 문장을 documents에서 찾는다. (embedding vector로 가장 유사도가 높은 문장을 찾는 걸로 알고 있는데, 정확한 방법은 알지 못한다. 추후 Langchain과 함께 사용하는 부분에 추가하겠다)
output = ollama.generate(
model="mistral",
prompt=f"Using this data: {data}. Respond to this prompt: {prompt}")print(output['response'])
가장 유사성이 높은 문장을 찾아오는 것까지도 유용하지만, 그 문장을 가지고 다시 model에 넣어서 매끄러운 답변을 생성하는 과정이다.
여기까지 하면 거의 ChatGPT와 같은 모델을 뚝딱 만들어 낸 것이다! 좀 더 많은 기능들을 붙이거나 미세한 조정(chunk size 조정 등) LangChain을 사용하는 것이 유용하겠지만, 이렇게 간단한 작업은 각각 불러와서 진행해도 충분할 것 같다.
Spring AI는 다양한 LLM 제공자(OpenAI, Azure, Ollama 등)와 연동할 수 있습니다.
저는 이 포스팅에서 로컬에서 실행 가능한 오픈소스 플랫폼인 Ollama를 기준으로 설명하겠습니다.
참고: Spring AI는 Java 17 이상부터 지원됩니다.
Ollama는 다양한 오픈소스 LLM을 PC에 직접 다운로드하여 실행할 수 있는 플랫폼입니다.
따라서 외부로 유출되면 안 되는 개인정보나 대외비 문서를 처리할 때 적합한 선택이 될 수 있습니다.
- 의존성 추가 (Maven 기준)
<dependency><groupId>org.springframework.ai</groupId><artifactId>spring-ai-starter-model-ollama</artifactId></dependency>
- 설정 파일 기본적인 설정
# Ollama 서버 주소
spring.ai.ollama.base-url=http://localhost:11434 # 모델 다운로드 전략(always, when_missing, never)
spring.ai.ollama.init.pull-model-strategy=when_missing
# 기본 셋팅 llm모델
spring.ai.ollama.chat.model= qwen3:1.7b# 창의성 조절: 높을수록 자유로운 응답
spring.ai.ollama.chat.temperature= 0.8# 최대 응답 토큰 수
spring.ai.ollama.chat.max-tokens= 1024# Embedding 모델
spring.ai.ollama.embedding.model=bona/bge-m3-korean
스트리밍 출력 방식 (Flux): LLM 응답을 실시간으로 조각 단위로 받기
예제를 통해 두 방식의 사용법과, JSON 구조화된 출력 방식까지 함께 살펴보겠습니다.
???? ChatModel과 ChatClient의 차이
Spring AI에는 ChatModel과 ChatClient라는 두 개의 주요 구성 요소가 있습니다.
ChatModel: LLM과의 저수준 통신 역할을 합니다.
ChatClient: ChatModel을 래핑한 상위 레벨 API로, 프롬프트 구성, 응답 처리, Advisor, RAG 등 다양한 확장 기능을 제공합니다.
단일 출력 방식
@AllArgsConstructor@RestControllerpublicclassModelClient{
// Spring이 OllamaChatModel 구현체 자동 주입private final ChatModel chatModel;
@GetMapping("/v1/model-client")
public ChatResponse modelClientV1(@RequestParam("text") String text) {
// 시스템 메시지는 LLM이 반드시 지켜야 할 지침// 유저 메시지는 사용자의 입력
Prompt prompt = new Prompt(
List.of(
new SystemMessage("너는 친절한 AI 비서야. 절대 추론 과정을 보여주지 말고 요약만 응답해."),
new UserMessage(text)
));
return ChatClient.create(chatModel)
.prompt(prompt)
.call()
.content(); // 전체 응답을 한 번에 반환
}
}
스트리밍 출력 방식 (Flux)
스트리밍 방식은 채팅처럼 실시간으로 응답이 필요한 UI에 적합합니다.
@AllArgsConstructor@RestControllerpublicclassModelClient{
private final ChatModel chatModel;
@GetMapping(value = "/v2/model-client", produces = "text/plain;charset=UTF-8")
public Flux<String> getModelClientV2(@RequestParam("text") String text) {
// 시스템 메시지는 LLM이 반드시 지켜야 할 지침// 유저 메시지는 사용자의 입력
Prompt prompt = new Prompt(
List.of(
new SystemMessage("너는 친절한 AI 비서야"),
new UserMessage(text)
));
return ChatClient.create(this.chatModel)
.prompt(prompt)
.stream() // 스트리밍 응답 시작
.content(); // Flux<String>으로 실시간 조각 응답 수신
}
}
구조화된 출력 받기 (JSON → DTO)
내부적으로는 LLM에게 “이런 구조로 응답해줘”라고 명시한 후 결과를 DTO에 바인딩합니다.
하지만 LLM이 해당 형식대로 정확하게 응답하지 않으면 파싱 에러가 발생할 수 있습니다.
안정성을 높이기 위해 시스템 메시지에 형식을 반복적으로 명확히 명시하거나, 구조 유도 프롬프트 예제를 함께 제공하는 것이 좋습니다.
@AllArgsConstructor
@RestController
publicclassModelClient{
privatefinal ChatModel chatModel;
@GetMapping("/v3/model-client")
public ActorFilms modelClientV3(@RequestParam("text") String text) {
// 사용자 입력을 이용해 프롬프트 템플릿 구성String template = """
Generate the filmography of 5 movies for {actor}.
""";
Prompt prompt = new Prompt(
List.of(
new SystemMessage("너는 친절한 AI 비서야. 절대 추론 과정을 보여주지 말고 요약만 응답해."),
new UserMessage(new PromptTemplate(template).render(Map.of("actor", text)))
));
ChatModel gemma = OllamaChatModel.builder()
.ollamaApi(OllamaApi.builder().build())
.defaultOptions(
OllamaOptions.builder()
.model("gemma3n:e4b")
.temperature(0.4)
.build())
.build();
return ChatClient.create(gemma)
.prompt(prompt)
.call()
.entity(ActorFilms.class); // 결과를 DTO로 구조화
}
record ActorFilms(String actor, List<String> movies) {}
}
프롬프트 요청 예시 (내부 동작 확인용)
Spring AI가 구조화 출력을 위해 내부적으로 LLM에게 다음과 같이 요청을 구성합니다.
request: ChatClientRequest[
- 저희가 입력한 명령 프롬프트 입력입니다.
prompt=Prompt{
messages=[SystemMessage{textContent='너는 친절한 AI 비서야. 절대 추론과정을 보여주지 말고 요약만 응답해', messageType=SYSTEM, metadata={messageType=SYSTEM}},
UserMessage{content='Generate the filmography of 5 movies for 하정우.', properties={messageType=USER}, messageType=USER}], modelOptions=org.springframework.ai.ollama.api.OllamaOptions@48e29a2c},
- 여기에 해당 DTO 객체의 정의가 들어갑니다.
context={spring.ai.chat.client.output.format=Your response should be in JSON format.
Do not include any explanations, only provide a RFC8259 compliant JSON response following this format without deviation.
Do not include markdown code blocks in your response.
Remove the ```json markdown from the output.
Here is the JSON Schema instance your output must adhere to:
```{
"$schema" : "https://json-schema.org/draft/2020-12/schema",
"type" : "object",
"properties" : {
"actor" : {
"type" : "string"
},
"movies" : {
"type" : "array",
"items" : {
"type" : "string"
}
}
},
"additionalProperties" : false
}```
}]
마치며
AI를 실제 프로젝트에 도입하는 것은 어렵고 복잡할 것 같다는 막연한 생각이 있었지만,
Spring AI를 통해 Java 환경에서도 LLM을 손쉽게 연결하고 활용할 수 있다는 가능성을 확인할 수 있었습니다.
물론 성능, 속도, 프롬프트 설계, 적절한 모델 선택 등 실무에서 고려할 요소들은 많지만,
이번 실습을 통해 LLM을 실제 서비스에 적용하는 출발점을 잡을 수 있었습니다.
다음 포스팅에서는 Advisor 기능을 활용해 LLM 응답을 가공하고,
간단한 RAG(Retrieval-Augmented Generation) 기능을 구현해보겠습니다.
이 기능은 Logging, 크롤링된 문서, RDBMS 정보 등 다양한 외부 지식 소스를 LLM과 연결해
더 정확하고 신뢰도 높은 응답을 생성하도록 도와주는 방식입니다.
