콜린스와 메리엄 웹스터 등 해외의 유명 사전들은 올해의 단어로 각각 ‘바이브 코딩(wibe coding)’과 ‘슬롭(Slop)’을 선정했다. AI가 이제는 전문 영역을 넘어 일상에 파고들었다는 증거로 볼 수 있다.
AI타임스도 올 한해를 정리하며 대표적인 AI 키워드를 뽑아봤다. 이를 통해 올해 기술 트렌드를 되돌아본다. 그리고 이는 2026년에도 주요한 어젠다가 될 가능성이 크다.
1. 에이전트(Agentic)
AI가 단순한 챗봇을 넘어 인간을 대신해 업무를 자동화해 줄 것이라는 기대감이 반영된 단어다. 올해 초에는 샘 알트먼 오픈AI CEO도 연말쯤 에이전트가 기업에 본격 투입될 것으로 봤다. 그리고 월 2만달러의 사용료를 부과할 것이라는 말까지 나왔다.
그런 에이전트는 아직 등장하지 않았다. 현재는 상담사를 대신하는 정도로, 대부분은 테스트 단계로 볼 수 있다. 그리고 이 용어는 이제 AI 자체를 뜻하거나 마케팅용으로 활용되고 있다.
더 중요한 것은 에이전트 역할을 수행하기 위해서는 모델 성능의 향상은 물론, 기존 워크플로우의 적용과 기업 문화와의 충돌, 거버넌스 등의 문제를 해결해야 한다는 점이 드러났다는 것이다. 기술의 완성도보다 비즈니스 통합 난이도가 AI 확산의 병목이 된다는 교훈을 얻은 해였다.
내년에도 에이전트는 업계의 화두가 될 것으로 보인다. 또 이는 모델이 성능 자체만큼이나 애플리케이션으로서의 유용성이 점점 중요해질 것을 예고한다.
2. 바이브 코딩
AI가 현실 문제 해결에 가장 큰 도움을 준 사례로 꼽을 수 있는 것이 바로 AI 코딩이다. 즉, 바이브 코딩이 인기를 끈 것은 AI의 가장 성공적인 사례로 꼽혔다는 것으로 볼 수 있다.
연초부터 빅테크의 수장들이 자체 업무에 이를 적극 도입했다고 밝혔고, 이 영향으로 마이크로소프트가 코더 수천명을 해고하는 일까지 일어났다.
AI는 글쓰기처럼 추상적인 분야보다는, 정확한 답이 있고 이를 자체적으로 검증할 수 있는 수학이나 코딩 등에 강할 수밖에 없다. 이에 따라 AI 코딩의 성능은 앞으로도 크게 발전할 가능성이 크다. 그리고 이는 성공적인 에이전트 사례로 확장될 가능성이 크다.
3. 데이터센터
지난해까지 주요 AI 업체가 ‘모델’ 중심으로 움직였다면, 올해는 ‘인프라’에 집중했다. 1월부터 오픈AI는 ‘스타게이트’라는 초대형 프로젝트로 포문을 열었으며, 1년 내내 관련 발표를 내놓았다. 빅테크들도 일제히 투자 확대를 선언했다.
이는 첨단 모델 개발을 위한 컴퓨팅 확보라는 측면과 동시에 폭발적인 사용자 확대에 따른 추론(inference) 능력, 즉 서비스 확대라는 측면이 반영돼 있다.
이와 맞물려 에너지 문제도 크게 주목받았다. 동시에 엔비디아는 세계에서 가장 가치가 높은 기업으로 올라섰다. 미국과 중국과의 기술 갈등의 핵심도 데이터센터를 이루는 칩이었다.
또 이는 ‘AI 버블’ 논란의 핵심이 됐다. 이제는 우주 데이터센터까지 거론되고 있다.
이제 인프라 구축은 일부 빅테크의 문제를 넘어, 소버린 AI라는 추세를 타고 전 세계로 확대되고 있다. 국내도 알트먼 CEO와 젠슨 황 CEO가 잇달아 방문, 데이터 센터와 GPU 공급을 약속했다.
(사진=메타)
4. 초지능(Superintelligence)
인공일반지능(AGI)에 대한 논의는 올해에도 활발했다. 이미 일부 분야에서는 AI가 인간의 능력을 넘어섰다는 분위기가 형성됐으며, 오픈AI 등은 이를 넘어 ‘초지능’을 새로운 목표로 내세웠다.
특히, LLM으로는 AGI에 도달하기 어렵다는 점이 자주 지적됐다. 이 때문에 월드 모델이 보완책으로 제시됐다. 얀 르쿤 메타 전 수석 과학자까지 합류, 내년에는 이 분야에서도 빠른 발전이 기대된다.
초지능과 관련해 가장 눈길을 끌었던 것은 메타가 MSL을 설립한 것이다. 이름부터 ‘메타 초지능 연구실(meta superintelligence lab)’로, 이를 조직하기 위해 막대한 자금을 퍼부으며 인재 경쟁에 불을 댕겼다. 이 때문에 일부 AI 연구원들은 프로 스포츠 스타에 맞먹는 몸값을 기록했다.
5. 추론(reasoning)과 강화 학습(RL)
추론은 지난해 출시된 오픈AI의 ‘o1’으로 새로운 AI 성능 향상의 기준이 됐다. 이는 AI 모델의 학습을 위한 데이터 고갈과 스케일링 법칙의 한계를 넘는 돌파구로 여겨졌다.
모델 학습 측면에서는 RL이 새로운 대세가 됐다. 이는 에이전틱 AI를 위해서도 핵심 메커니즘으로 꼽힌다.
AI 전문 기술 용어로 유행이 된 것으로는 ‘증류(Distillation)’와 ‘전문가 혼합(MoE)’ 등을 꼽을 수 있다. 이는 올해 초 세계적인 충격을 안겼던 딥시크의 핵심 기술이라는 점 때문에 부각됐다.
이는 또 오픈 소스가 주류로 올라서는 기반을 마련했다. 특히 중국의 모델은 이제 미국을 따라잡았다는 평가를 받을 정도로 성장했다.
6. 피지컬 AI (Physical AI)
AI의 최종 애플리케이션으로 꼽히는 휴머노이드 로봇은 올해부터 본격적인 과대광고가 시작됐다. 일론 머스크 CEO는 테슬라를 로봇 회사로 광고했고, 정부의 드라이브로 중국에서는 로봇 체육대회와 화려한 데모 영상이 쏟아졌다. 엔비디아도 이런 흐름에 기름을 부었다.
물론, 휴머노이드는 두뇌 역할을 하는 AI의 완성은 물론, 엔지니어링 문제 해결과 비용 효율 등이 모두 해결돼야 한다. 단기간의 확장은 무리라는 평이다.
하지만 이는 산업 현장에 AI와 디지털 트윈, 엔지니어링의 결합을 통한 자동화, 즉 피지컬 AI를 화두로 끌어 올렸다. 광범위하게는 자율주행도 여기에 포함된다.
피지컬 AI는 앞서 언급한 AI의 추론과 멀티모달 모델, 월드 모델, 에이전틱 AI 등과 연결된다. 특히 올해는 텍스트를 넘어 이미지, 비디오, 음성 등 모든 데이터를 이해하고 생성하는 멀티모달 모델이 보편화된 해로 볼 수 있다.
이는 앞으로도 몇년간 중요하게 다뤄질 것으로 예상된다. 이는 AI를 실물 경제와 통합하는 핵심이기 때문이다.
7. AI 정신병과 아첨
올해는 AI의 정확도 말고도 사용자에게 미치는 ‘영향’이 강조됐다. AI 챗봇 사용자의 폭발적인 증가에 따라 이제까지 숨겨진 문제가 드러난 것이기도 하지만, 수익 확대를 위한 사용자 참여 확대를 위해 모델을 손 본 AI 기업의 탓이 크다.
지난해에는 챗봇이 청소년의 자살을 유도했다는 사례가 처음 등장한 데 이어, 올해에는 아부와 망상 부추김 등이 잇달아 보고됐다.
이 문제는 AI 기업이 연구실에서 서비스 기업으로 확장 중이라는 것을 보여주기도 한다. 사용자가 9억명을 넘어서며, 과거 소셜 미디어 등이 겪었던 문제를 반복하는 것으로 볼 수 있다.
또 이제까지는 환각이나 편향 등 기술적인 문제로 치부했던 AI의 문제를 사회적인 차원으로 끌어 올린 것으로 볼 수 있다. 즉, AI 안전 문제가 인류 멸망과 같은 극단적인 디스토피아에 머물지 않고 규제 등의 논의를 이끈 구체적인 사례다.
(사진=과기정통부)
8. 국가대표 모델
국내에서는 독자 AI 파운데이션 모델 즉, ‘국가대표 모델’ 선정이 최고의 이슈였다. 지난해부터 거론됐던 이 프로젝트는 새 정부 출범으로 본격화했고, 지난여름 내내 화제가 됐다. 그 결과, 5개의 컨소시엄이 선정됐다.
기업들은 국가대표라는 타이틀을 놓치지 않기 위해 애를 썼다. 선정 직전에는 기업들이 일제히 자체 모델을 선보였다. 지난 몇년간 국내에서 출시된 모델보다 올해 선보인 모델이 더 많다고 꼽힐 정도였다.
이처럼 이번 프로젝트는 미국이나 중국에 비해 잠잠하던 파운데이션 모델 출시에 불을 댕겼고, 기업의 기술 경쟁을 유발했다는 점에서는 긍정적으로 볼 수 있다.
앞으로 등장할 국대 모델의 성능은 물론, 활용성이 더 중요하다. 글로벌 프론티어 모델이나 해외 오픈 소스에 맞서 경쟁력을 확보할 수 있을지의 문제다.
하지만, 올해 국내 AI 업계에 실질적인 영향을 미친 것은 B2B 중심의 버티컬 AI로 볼 수 있다. 산업별 특화 LLM을 통해 금융과 제조, 헬스케어 등 특정 도메인의 문제를 해결하는 데 집중했다. 범용성보다는 전문성으로 이동했다고 보는 것이 맞다.
소비자 시장에서는 ‘제타’나 ‘크랙’ 등 캐릭터 챗봇이 젊은 층을 중심으로 상업 성공의 조짐을 보였다.
또 정부는 국내의 AI 반도체(NPU) 스타트업을 중심으로 소버린 AI 전략을 결합해 하드웨어 국산화를 위해 드라이브를 걸었다.
9. 기타 – AI의 경계 확장과 충돌
올해 AI 챗봇의 폭발적인 성장을 견인한 것은 이미지 생성 기능이었다. 지난 3월 챗GPT의 ‘지브리 스타일’과 9월 구글의 ‘나노 바나나’ 등이 주인공이다.
이는 기존 모델의 성능에 집중하던 AI 업계의 분위기에도 큰 영향을 미쳤다. 오픈AI는 이달 초 ‘코드 레드’를 발령했는데, 여기에는 사용자의 챗봇 활용 경험을 개선하는 데 집중하는 것이 목표로 제시됐다. 그리고 새로운 이미지 생성 모델도 내놓았다.
이처럼 AI로 생성한 이미지와 영상은 AI 슬롭이라는 단어를 만들어 냈다. 오픈AI의 동영상 생성 앱 ‘소라’의 인기와 메타의 ‘바이브’ 출시 등이 이를 부채질했다.
저작권에 대한 논쟁도 거세졌다. 특히 앤트로픽은 업계에서 처음으로 저작권을 인정하는 소송 합의안을 내놓았다. ‘공정 사용(Fair Use)’은 내년에도 쟁점 사항이 될 것으로 보인다.
‘검색 엔진 최적화(SEO)’에 이어 ‘생성 엔진 최적화(GEO)’라는 용어가 등장한 것도 두드러졌다. 이는 20여년이 넘도록 정보 획득의 주요한 방법으로 자리 잡은 검색이 이제는 AI 챗봇으로 이동하고 있다는 것을 보여주는 사례이기 때문이다.
이 밖에도 ‘AI 안경’으로 대표된 웨어러블도 주목할 만하다. 특히 오픈AI가 챗GPT 전용 장치를 준비 중으로, 이는 내년의 주요 키워드로 떠오를 가능성이 크다.
이전 포스트에서 테스트 해봤던 Ollama를 쫌 더 다양하게 활용하기 위해 Python에서 사용하는 실습을 진행해보았다. 이번에는 예제 코드를 활용한 간단한 기능한 구현해보고 앞으로 HuggingFace 모델 가져오기, LangChain과 함께 사용하기 등 추가 실습을 더 진행해볼 예정이다.
실습은 파이썬 가상환경을 만들어서 진행했고, 한국어로 사용할 수 있는 모델을 찾기 위해서 여러 모델들을 테스트 해보았다. 한국어 채팅은 Gemma의 성능이 가장 좋았다. 아래 실습에서는 여러 모델을 섞어서 진행하겠다.
Llama2
Mistral
Solar
Gemma
구글의 Gemma만 제대로된 답변을 주고 있다. (역시 따끈따끈한 모델..) Solar는 한국에서 만들었는데(Upstage) 학습할 때 한국어 데이터셋을 많이 안 포함 시킨 건지 왜 성능이..? (10.7B size 기준)
.
.
.
우선 Ollama를 설치한다. (가상환경에서 진행하므로 이전에 terminal에서 설치해 준 것과 무관하게 다시 설치해줘야 한다)
import ollama
ollama.pull('llama2')
ollama를 import하고 모델을 설치해준다. 터미널에서 ollama run gemma를 통해 모델을 다운로드하고 바로 실행할 수 있지만, python에는 모델을 pull해온다. ollama.list()를 통해서 설치한 모델 리스트를 확인할 수 있고 ollama.delete('llama2')를 통해 모델을 삭제할 수도 있다.
response = ollama.chat(model='solar', messages=[{'role':'user','content':'Why is the sky blue?',},])print(response['message']['content'])
content에 input prompt를 작성하면 답변이 생성된다. model을 바꿔가면서 테스트해봤는데, 모델에 따라서 답변의 길이, 응답 특성 등이 살짝씩 달랐다.
임베딩 벡터 얻기 + 검색(with ChromaDB)
Ollama에 이 기능이 공개된 건 꽤 최근인 것 같은데, 답변을 출력할 뿐만 아니라 답변의 embedding vector를 제공한다는 것이다. 공식 문서에서는 RAG를 구축하는데 사용할 수 있다고 설명하고 있고 (1)임베딩 (2)DB저장 (3)검색 (4)답변생성 의 과정을 실습해볼 수 있는 예시를 제공한다. 코드는 모두 Ollama에서 제공한 것이며, 사용 모델만 내가 설치한 모델로 바꿔서 진행하였다.
ollama.embeddings(model='mistral', prompt='The sky is blue because of rayleigh scattering')
위 코드를 실행하면 출력 결과로 답변과 함께 embedding vector가 나온다.
다음으로는 Ollama와 ChromaDB를 각각 사용해서 임베딩 벡터를 생성하고 저장한 뒤 검색하는 과정을 진행해보겠다.
pip install chromadb
우선 ChromaDB를 설치한다.
import ollama
import chromadb
documents =["Llamas are members of the camelid family meaning they're pretty closely related to vicuñas and camels","Llamas were first domesticated and used as pack animals 4,000 to 5,000 years ago in the Peruvian highlands","Llamas can grow as much as 6 feet tall though the average llama between 5 feet 6 inches and 5 feet 9 inches tall","Llamas weigh between 280 and 450 pounds and can carry 25 to 30 percent of their body weight","Llamas are vegetarians and have very efficient digestive systems","Llamas live to be about 20 years old, though some only live for 15 years and others live to be 30 years old",]
client = chromadb.Client()
collection = client.create_collection(name="docs2")# store each document in a vector embedding databasefor i, d inenumerate(documents):
response = ollama.embeddings(model="mistral", prompt=d)
embedding = response["embedding"]
collection.add(
ids=[str(i)],
embeddings=[embedding],
documents=[d])
documents에는 임베딩을 진행한 문서를 넣어주고, embedding model은 mistral을 사용했다. 데이터양이 적어서 금방 실행된다.
# an example prompt
prompt ="What animals are llamas related to?"# generate an embedding for the prompt and retrieve the most relevant doc
response = ollama.embeddings(
prompt=prompt,
model="mistral")
results = collection.query(
query_embeddings=[response["embedding"]],
n_results=1)
data = results['documents'][0][0]
prompt에 질문을 넣어주면 해당 질문의 답변을 얻을 수 있는 가장 유사한 문장을 documents에서 찾는다. (embedding vector로 가장 유사도가 높은 문장을 찾는 걸로 알고 있는데, 정확한 방법은 알지 못한다. 추후 Langchain과 함께 사용하는 부분에 추가하겠다)
output = ollama.generate(
model="mistral",
prompt=f"Using this data: {data}. Respond to this prompt: {prompt}")print(output['response'])
가장 유사성이 높은 문장을 찾아오는 것까지도 유용하지만, 그 문장을 가지고 다시 model에 넣어서 매끄러운 답변을 생성하는 과정이다.
여기까지 하면 거의 ChatGPT와 같은 모델을 뚝딱 만들어 낸 것이다! 좀 더 많은 기능들을 붙이거나 미세한 조정(chunk size 조정 등) LangChain을 사용하는 것이 유용하겠지만, 이렇게 간단한 작업은 각각 불러와서 진행해도 충분할 것 같다.
200개의 AI 스타트업을 리버스 엔지니어링한 결과, 다수의 기업이 자체 기술을 보유했다고 주장하면서 실제로는 외부 API를 호출하는 형태로 운영됨
조사된 기업 중 73%가 OpenAI나 Claude API를 그대로 사용하며, 여기에 단순한 UI나 기능을 덧붙인 수준으로 확인됨
자사 “고유 LLM” 을 내세우는 스타트업 상당수가 실제로는 api.openai.com에 요청을 보내는 GPT-4 래퍼에 불과했고, 단순 시스템 프롬프트만 얹은 구조로 수십~수백 배 마진을 붙여 판매하고 있음
RAG 아키텍처를 강조하는 서비스 대부분도 OpenAI text-embedding-ada-002 · Pinecone/Weaviate · GPT-4를 조합한 표준 40줄짜리 스택을 “고유 인프라”로 포장하고 있었으며, 1M 쿼리 기준 월 약 3만 달러 비용에 15만~50만 달러 매출로 80~94% 마진 구조를 보이는 상황
반대로 전체의 27% 는 “Built on GPT-4”처럼 스택을 투명하게 밝히는 래퍼 회사, 실제로 자체 모델을 학습하는 빌더, 멀티모델 투표·에이전트 프레임워크 등 실제 기술적 차별점을 가진 팀들로 구성됨
조사 결과, 많은 AI 스타트업이 API 기반 서비스 비즈니스임에도 “고유 AI 인프라”를 내세우는 구조가 드러났고, 투자자·고객·개발자 모두가 DevTools로 네트워크 탭만 열어도 검증 가능하다는 점을 강조하며 AI 생태계에 정직한 기술 공개가 필요하다는 걸 강조
개요
외부 투자를 받은 AI 스타트업 200곳의 웹 애플리케이션을 대상으로, 네트워크 트래픽·코드·API 호출을 추적해 마케팅 주장과 실제 기술 스택의 차이를 분석함
출발점은 “고유 딥러닝 인프라”를 주장하는 한 회사가 실제로는 OpenAI API만 콜하고 있다는 의심에서 시작
이 회사는 4.3M 달러 투자를 받았고, “근본적으로 다른 인프라를 구축했다”는 스토리로 자금 조달을 진행한 상태였음
조사 결과 73% 회사에서 주장하는 기술과 실제 구현 간에 의미 있는 괴리가 발견되었고, 상당수가 서드파티 모델 API를 단순 래핑한 구조였음
조사 대상은 YC·Product Hunt·LinkedIn “We’re hiring” 포스트 등에서 수집한 AI 스타트업 200곳이며, 설립 6개월 미만 회사는 제외했고 외부 자금 유치와 구체적 기술 주장이 있는 곳에 집중함
조사 방식은 패시브한 브라우저 개발자 도구 수준에서 이뤄졌으며, 비공개 시스템 접근·인증 우회·TOS 위반 없이 진행되었음
조사 방법(Methodology)
Playwright·aiohttp 등을 이용해 자동화된 분석 파이프라인을 구성하고, 각 스타트업 사이트에 대해 공통적으로 세 가지를 수집함
capture_network_traffic(url)로 네트워크 헤더와 요청 패턴을 캡처
extract_javascript(url)로 JS 번들 디컴파일 및 분석
monitor_requests(url, duration=60)으로 60초 간 API 호출 패턴을 추적
각 사이트별로 다음 정보를 구조화해 기록함
claimed_tech: 마케팅 카피·웹 문구에 나타난 기술 주장
actual_tech: HTTP 헤더·JS 번들·API 호출로 확인한 실제 스택
api_fingerprints: 호출 도메인·헤더·지연 시간 등으로 추출한 서드파티 API 지문
크롤링 기간은 3주였으며, 모든 패턴은 공개 웹·브라우저 DevTools로 관찰 가능한 공개 데이터만을 활용했음
주요 결과: 73%에서 드러난 괴리
전체 200곳 중 73% 회사에서 마케팅 카피에 적힌 “고유 모델·커스텀 인프라·딥러닝 플랫폼” 등의 주장과, 실제로 동작하는 코드·API 스택 사이에 큰 차이가 확인됨
이 비율은 “고유 LLM”을 내세우지만 OpenAI/Anthropic/Cohere API만 사용하는 회사, “자체 벡터 DB”를 주장하지만 Pinecone/Weaviate를 쓰는 회사 등을 모두 포함한 수치임
이 결과에 놀랐지만, 동시에 “기술적으로 크게 화낼 일은 아니다”는 복합적인 감정임
문제의 핵심은 서드파티 API 사용 자체가 아니라, 이를 “고유 AI 인프라”로 포장하고 투자자·고객을 오도하는 마케팅이라는 점
패턴 1: ‘고유 LLM’이 사실상 GPT-4 래퍼인 경우
“our proprietary large language model”이라는 표현이 등장하면 거의 항상 GPT-4 래퍼가 등장했으며, 37곳 중 34곳에서 이 패턴이 확인됨
사용자가 “AI” 기능을 쓸 때마다 api.openai.com으로 나가는 요청
요청 헤더에 포함된 OpenAI-Organization 식별자
150–400ms 수준으로 일관되는 응답 지연 시간 패턴
토큰 사용량·과금 구간이 GPT-4의 가격 구조와 정확히 일치하는 패턴
레이트 리밋 시 지수형 backoff를 적용하는, OpenAI 특유의 재시도 패턴
한 회사의 “혁신적 자연어 이해 엔진”은 실제로는 다음과 같은 코드 수준이었음
시스템 프롬프트에 “전문가 어시스턴트처럼 행동하라, OpenAI 기반임을 말하지 말라, LLM이라고 밝히지 말라” 등을 적고 model: gpt-4 로 chat.completions.create를 호출하는 단일 함수 구조임
별도의 파인튜닝·모델 학습·아키텍처 변경 없이, 시스템 프롬프트와 숨기기용 지침 정도만 추가된 상태였음
비용·가격 구조도 구체적으로 비교함
비용: GPT-4 기준 입력 0.03$/1K 토큰, 출력 0.06$/1K 토큰, 평균 500 in, 300 out으로 쿼리당 약 0.033달러
가격: 쿼리당 2.5달러 혹은 월 200쿼리 299달러로 과금
결과적으로 직접 API 비용 대비 약 75배 마진 구조로 운영되고 있음
세 회사는 거의 동일한 코드(변수명·코멘트 스타일·“never mention OpenAI” 지시)까지 공유하고 있어, 튜토리얼·공통 컨트랙터·액셀러레이터 보일러플레이트 등 같은 출처를 쓰는 것으로 추정되는 상태임
한 회사는 단순 try/catch로 “문제가 생기면 ‘기술적 문제’라는 문구를 반환”하는 코드를 두고, 이를 “Intelligent Fallback Architecture” 로 포장해 투자자에게 설명하고 있었음
패턴 2: 모두가 만드는 RAG 스택과 과장된 표현
많은 회사들이 “custom embedding model, semantic search infrastructure, advanced neural retrieval” 같은 표현으로 고유 RAG 인프라를 내세우지만, 실제 구현은 매우 유사한 표준 스택이었음
OpenAI text-embedding-ada-002 로 임베딩 생성
Pinecone 또는 Weaviate를 벡터 스토어로 사용
GPT-4로 컨텍스트를 붙여 답변 생성
조사자가 “Proprietary Neural Retrieval Architecture”라는 이름으로 소개된 코드를 디컴파일해 본 결과, 약 40줄짜리 Python 코드로 위 세 단계를 그대로 호출하는 구조였음
질문을 임베딩으로 변환
벡터 DB에서 top-k 문서 검색
검색된 텍스트를 이어 붙여 GPT-4에 system 메시지로 전달
사용자 질문을 user 메시지로 함께 보내 답변을 생성
비용·가격 구조 역시 매우 큰 차이를 보임
OpenAI 임베딩: 1K 토큰당 0.0001달러
Pinecone 쿼리: 호출당 0.00004달러
GPT-4 completion: 1K 토큰당 0.03달러
합산 시 쿼리당 약 0.002달러 수준 비용
실제 고객 과금은 쿼리당 0.5~2달러로, API 비용 대비 250~1000배 마진이 발생하는 구조임
42개 회사가 이와 거의 동일한 스택과 코드 구조를 사용했고, 추가 23개 회사는 90% 이상 비슷한 패턴을 공유함
차이점은 주로 Pinecone vs Weaviate 선택 여부, 변수명, Redis 캐시 추가 여부 정도였음
Redis 캐시를 붙이고 이를 “optimization engine”, 재시도 로직을 붙이고 이를 “Intelligent Failure Recovery System” 같은 이름으로 마케팅하는 사례도 등장
월 100만 쿼리 수준의 스타트업 경제성도 계산해봄
비용: 임베딩 약 100달러, Pinecone 호스팅 약 40달러, GPT-4 completion 약 3만 달러, 총 약 3만140달러/월
매출: 15만~50만 달러/월
80~94% 수준의 높은 매출 총이익률을 갖는 비즈니스 구조
패턴 3: ‘우리가 직접 파인튜닝했다’의 실제 의미
“우리가 직접 모델을 파인튜닝했다”는 표현을 쓰는 회사들에 대해 인프라를 추적한 결과, 크게 두 부류로 나뉨
소수(약 7%)는 실제로 AWS SageMaker, Google Vertex AI 등을 통해 자체 학습 잡을 돌리고, S3 버킷에 모델 아티팩트를 저장한 뒤, 별도 인퍼런스 엔드포인트와 GPU 인스턴스 모니터링을 운영하고 있는 경우임
다수는 OpenAI의 fine-tuning API를 사용하고 있었고, 사실상 “OpenAI에 예시 데이터와 프롬프트를 넘겨 저장하는 수준”에 가까운 구조였음
전자(실제 자체 학습)는 학습 인프라와 배포 파이프라인이 브라우저에서 관찰되는 수준으로도 어느 정도 드러나지만, 후자는 대부분 단일 OpenAI 엔드포인트 호출로 표현되는 차이가 있음
래퍼 회사를 빠르게 구분하는 방법
네트워크 트래픽 패턴
브라우저에서 DevTools(F12) → Network 탭을 열고, 서비스의 AI 기능을 사용하는 동안 나가는 요청을 보면 간단한 구분이 가능
api.openai.com
api.anthropic.com
api.cohere.ai
등과 같은 도메인이 직접 등장하면, 기본적으로 서드파티 모델 API 래퍼로 볼 수 있음
응답 지연 시간도 지문 역할을 함
특히 OpenAI API의 경우 200~350ms 구간에 응답이 몰리는 특유의 레이턴시 패턴이 있어, 이를 통해 백엔드 모델을 추정할 수 있음
자바스크립트 번들과 키 노출
페이지 소스 및 JS 번들 검색에서 다음 키워드를 찾아보는 것도 간단한 방법
openai, anthropic, claude, cohere, sk-proj-(OpenAI 프로젝트 키 프리픽스) 등
조사 과정에서 12개 회사가 API 키를 프런트엔드 코드에 그대로 포함한 채 배포하고 있었고, 이에 대해 제보 메일을 보냈지만 어떤 회사도 답하지 않았음
마케팅 언어 매트릭스
마케팅 카피에 나타나는 언어와 실제 기술 구현 간의 패턴을 표 형태로 정리해 “Marketing Language Matrix”라고 표현
“GPU 인스턴스 유형, 서빙 아키텍처, 모델 크기” 등 구체적인 기술 용어가 등장하는 경우, 실제로 어느 정도 독자적인 인프라를 갖고 있을 가능성이 더 높았음
반대로 “advanced AI”, “next-gen intelligence”, “proprietary neural engine”처럼 추상적 버즈워드만 반복될수록, 내부는 서드파티 API 래퍼일 가능성이 높았음
인프라 현실 지도와 AI 스타트업 지형
글에서는 여러 다이어그램을 통해 현재 AI 스타트업의 인프라 현실 지도를 정리함
다수의 스타트업이 OpenAI·Anthropic·Cohere 등 모델 제공자 위에 얇은 애플리케이션 레이어를 얹은 형태로 존재하는 구조
각 레이어 위에 “워크플로우·UX·도메인 데이터·파이프라인” 등에서 차별화를 시도하는 서비스들이 쌓여 있는 구조임
이러한 구조를 바탕으로, AI 스타트업의 상당 부분이 실질적으로는 서비스/플랫폼 비즈니스이며, “고유 AI 인프라 기업”이라는 자기 인식과 괴리가 있는 상태
왜 이 문제를 신경 써야 하는가
“잘 동작한다면 상관없지 않냐”는 질문에 대해, 조사자는 네 가지 이해관계자 관점에서 이유를 정리함
투자자: 현재 상당수 회사에 투자되는 자금은 AI 연구·모델 개발이 아니라, 실질적으로는 프롬프트 엔지니어링과 워크플로우 레이어에 투입되고 있음
고객: 실제 API 비용에 10배 이상 프리미엄을 얹은 가격을 내고 있으며, 비슷한 기능을 주말 프로젝트 수준으로 직접 구현할 수 있는 경우가 많음
개발자: 겉으로 보이는 “AI 스타트업”의 화려함에 비해, 실제로는 낮은 진입 장벽의 래퍼 서비스인 경우가 많아, 스스로도 비슷한 것을 단기간에 만들 수 있음을 인식할 필요가 있음
생태계: “AI 회사”의 73%가 기술을 과장·오도하는 상황은, 전체적으로 버블에 가까운 상태를 의미하며 건강하지 않은 인센티브를 만듦
래퍼 스펙트럼: 모든 래퍼가 나쁜 것은 아님
“Wrapper Spectrum”이라는 도표를 통해, 래퍼 회사에도 질적으로 다른 층위가 있음을 설명함
한쪽 끝에는 단순히 서드파티 API에 얇은 UI만 입힌 수준의 래퍼가 있음
다른 한쪽 끝에는 도메인 특화 워크플로우·우수한 UX·모델 오케스트레이션·가치 있는 데이터 파이프라인 등을 제공하는 고급 래퍼가 있음
핵심 메시지는 “래퍼인지 여부”가 아니라 정직성·가치 제공 방식에 있음
서드파티 API를 쓰면서도 이를 투명하게 공개하고, 문제 해결·경험·데이터에서 차별화를 만드는 회사는 긍정적으로 평가됨
제대로 하고 있는 27%
Category 1: 투명한 래퍼(Transparent Wrappers)
이 그룹의 회사들은 홈페이지에 “Built on GPT-4” 같은 문구를 명시적으로 적고, 자신들이 판매하는 것은 워크플로우·UX·도메인 지식이라는 점을 분명히 함
예: GPT-4 + 법률 템플릿 조합으로 법률 문서 자동화를 제공하는 서비스
예: Claude 기반으로 고객 지원 티켓 라우팅에 특화한 서비스
예: 여러 모델과 휴먼 리뷰 프로세스를 결합한 콘텐츠 워크플로우 서비스
Category 2: 실제 빌더(Real Builders)
이 그룹은 실제로 자체 모델을 학습하고 있는 회사들임
의료 분야에서 HIPAA 준수를 위해 셀프 호스팅 모델을 운영하는 헬스케어 AI
금융 분석에 커스텀 리스크 모델을 학습·운영하는 서비스
산업 자동화에서 특수한 컴퓨터 비전 모델을 개발·배포하는 서비스
Category 3: 혁신적 조합(Innovators)
여기에는 서드파티 모델을 사용하지만, 그 위에 실질적으로 새로운 구조를 쌓은 회사들이 포함됨
여러 모델의 출력을 조합해 투표 기반 정확도 향상을 구현한 시스템
메모리·에이전트 프레임워크를 만들어 복잡한 태스크를 수행하는 시스템
새로운 형태의 리트리벌 아키텍처를 도입한 사례 등
이들 회사는 자신들의 아키텍처를 자세히 설명할 수 있으며, 실제로 스스로 구축한 구조를 가지고 있다는 공통점이 있음
배운 점: 스택보다 문제, 그리고 정직성
3주간의 조사 결과, 다음과 같이 요약 가능
기술 스택 자체보다 해결하려는 문제가 더 중요하며, 실제로 가장 뛰어난 제품들 중 상당수는 “단지 래퍼”라고 부를 수 있는 구조였음
다만, 정직함은 별도의 차원으로 중요하고, 스마트한 래퍼와 사기성 래퍼의 차이는 투명성에 있음
AI 골드러시는 “고유 AI”를 요구하는 투자자·고객의 기대 때문에 거짓된 주장을 하도록 압박하는 인센티브를 만들고 있음
그리고 API 위에서 구축하는 것 자체는 부끄러운 일이 아니며, 문제는 이를 숨기고 “고유 신경망 아키텍처”로 포장하는 행위임
평가 프레임워크와 실질적 조언
48시간 복제 가능성 테스트
모든 “AI 스타트업”을 평가하는 간단한 기준을 제안함
“그들의 핵심 기술을 48시간 안에 복제할 수 있는가?”
그럴 수 있다면, 기술적으로는 래퍼에 해당하며,
스택을 솔직하게 밝힌다면 괜찮은 회사
“고유 AI 인프라”를 주장하며 숨긴다면 피해야 할 회사로 봐야 한다는 구조임
창업자를 위한 조언
창업자에게는 다음과 같은 원칙을 제안함
스택에 대해 정직하게 공개할 것
UX·데이터·도메인 전문성으로 경쟁할 것
만들지 않은 것을 만들었다고 주장하지 않을 것
“Built with GPT-4”는 약점이 아니라 정직한 설명이라는 점을 받아들일 것
투자자를 위한 조언
투자자에게는 다음과 같은 검증 포인트를 제시함
아키텍처 다이어그램을 요구할 것
OpenAI·Anthropic 등 API 청구서를 요청해 실제 의존도를 확인할 것
래퍼 회사는 래퍼 회사로서 적절히 가치평가할 것
정직하게 스택을 공개하는 팀을 인센티브로 보상할 것
고객을 위한 조언
고객에게는 아래와 같은 실천 항목을 제안함
브라우저에서 네트워크 탭을 열고 나가는 요청을 확인할 것
인프라와 모델 사용 방식에 대해 직접 질문할 것
API 호출에 불필요한 10배 이상의 마크업을 내고 있지 않은지 검토할 것
기술 주장보다 실제 결과와 문제 해결 능력 기준으로 평가할 것
‘AI 스타트업’의 실체 한 줄 요약
“대부분의 ‘AI 스타트업’은 직원 비용 대신 API 비용을 쓰는 서비스 비즈니스에 가깝다”
이는 잘못된 비즈니스 모델이 아니라, 그 자체로 인정하고 정직하게 설명해야 할 현실
조사 이후 전개와 반응
1주 차: 원래는 20~30% 정도가 서드파티 API를 사용할 것이라고 예상했으나, 결과가 훨씬 컸음을 언급함
2주 차: 한 창업자는 조사자에게 “어떻게 우리 프로덕션 환경에 들어왔냐”고 물었고, 조사자는 브라우저 네트워크 탭만 본 것이라고 설명함
3주 차: 두 회사는 조사 결과를 내려달라고 요청했지만, 기사에서는 특정 회사 이름을 공개하지 않았고 지금도 그 상태를 유지 중이라고 밝힘
어제: 한 VC가 다음 이사회 전에 포트폴리오 회사들을 감사(audit) 해 달라고 요청했고, 조사자는 이를 수락했다고 언급함
데이터·도구 공개 계획
이번 연구를 바탕으로 방법론과 도구를 공개할 계획임
GitHub에 공개 예정인 내용(무료)
완전한 스크래핑 인프라 코드
API 지문(fingerprint)을 추출하는 기법들
누구나 실행해볼 수 있는 감지 스크립트
주요 AI API별 응답 시간 패턴 모음
심화 분석(멤버 전용)
월 3,300만 달러 가치평가를 받은 “AI 유니콘” 이 실제로는 월 1,200달러 OpenAI 비용만 쓰고 있는 케이스
“1억 파라미터 모델”이라고 소개하면서 실제로는 시스템 프롬프트 3개로 구성된 구조
공개적으로 서빙되는 프로덕션 코드(클라이언트 측, 익명화된 스니펫)
래퍼를 즉시 드러내는 5가지 질문 프레임워크
투자자 프레젠테이션과 실제 인프라를 비교한 사례 연구들
마지막 메시지와 ‘정직한 AI 시대’ 필요성
조사는 회사 이름을 공개하지 않고 패턴만 공유하는 방식으로 진행되었으며, 시장은 결국 투명성을 보상할 것이라는 믿음을 강조함
실제로 18개 회사는 진정한 의미에서 새로운 기술을 만들고 있는 것이 확인되었고,
이들에 대해서는 “당신들은 스스로 누구인지 알고 있다, 계속 만들라” 는 응원의 메시지를 보냄
조사 이후 7명의 창업자가 개인적으로 연락을 취했으며,
일부는 방어적이었고, 일부는 감사해했고, 세 명은 “proprietary AI”에서 “best-in-class APIs 위에 구축”으로 마케팅 전환을 돕는 방법을 요청함
한 창업자는 “우리가 거짓말한다는 걸 알고 있었다, 투자자들이 그걸 기대했고, 다들 그러고 있다, 이제 어떻게 멈춰야 하느냐”라고 털어놓았다고 전함
기사 말미에서, AI 골드러시는 끝나지 않겠지만 정직의 시대가 시작돼야 한다는 메시지를 재차 강조하며, 누구나 DevTools의 Network 탭(F12) 만 열어보면 스스로 진실을 확인할 수 있다고 정리
[인공지능 서비스 보안] 탈옥 공격으로부터 LLM을 보호하는 방법 , How to Protect LLMs from Jailbreaking Attacks
탈옥 공격으로부터 LLM을 보호하는 방법
노아 플라이슈만, 에이미 와고너 박사, 앙드레 응우옌 박사
Booz Allen은 모델 무결성을 강화하는 방법을 조사합니다.
연방 기관들은 업무를 간소화하고 질문에 답하기 위해 Llama-2 및 ChatGPT와 같은 대규모 언어 모델(LLM)을 운영에 점점 더 통합하고 있습니다. 엔지니어들은 이러한 모델이 “유용하고 무해하도록” 설계하고 위험한 요청은 거부합니다. 미세 조정, 인간 피드백을 활용한 강화 학습, 직접 선호도 최적화와 같은 기법은 모델 안전성을 더욱 향상시킬 수 있습니다. 그러나 이러한 조치에도 불구하고, 탈옥 프롬프트라는 심각한 LLM 취약점이 AI 시스템을 계속 위험에 빠뜨리고 있습니다.
탈옥 프롬프트는 LLM이 해서는 안 될 일을 하도록 속이는 특정 입력값입니다. 교묘하게 설계되었지만 악의적인 이러한 프롬프트는 가장 강력한 보안 조치조차 우회하여 연방 정부 업무에 심각한 위험을 초래할 수 있습니다.
이러한 과제를 해결하기 위해 부즈 앨런은 탈옥에 대한 새로운 방어책을 모색하고 있습니다. 이러한 접근 방식은 기관에 상당한 임무 이점을 제공할 수 있습니다. 즉, LLM이 무해한 프롬프트에 응답하는 능력을 저해하지 않으면서 LLM을 보호하여 기업 생산성 향상의 원동력으로 계속 기능할 수 있도록 합니다.
탈옥 작동 방식
공격자는 탈옥 메시지를 조작하여 LLM을 조작하여 개인 식별 정보와 같은 민감한 정보를 노출하거나, 불법 행위(예: 폭탄 제조, 피싱 이메일 작성) 또는 증오 표현과 같은 유해한 콘텐츠를 생성합니다. 공격자는 다음과 같은 다양하고 창의적인 기법을 사용합니다.
롤 플레이: 민감하거나 보호된 정보를 공개하는 데 대한 기존 가드레일을 우회하기 위해 AI에게 특정 역할이나 페르소나를 수행하도록 요청하는 것입니다.
탈옥이 왜 그렇게 효과적일까요? 이는 LLM 내부의 상충되는 목표와 관련이 있습니다. 한편으로는 모델이 지침을 준수하여 도움을 주는 것을 목표로 하지만, 다른 한편으로는 피해를 입히지 않기 위해 안전 지침을 준수해야 합니다. 다른 경우에는 일반화의 불일치 때문일 수 있습니다. 즉, 안전 훈련 데이터의 양이 전체 훈련 데이터를 완전히 대표하지 못하여 일부 공격 시나리오가 누락되는 것입니다. 오늘날 우리는 새로운 탈옥 공격이 등장하고, 끝없는 고양이와 쥐의 게임에서 새로운 방어책이 개발되는 악순환을 목격하고 있습니다.
정부를 위한 위험 시나리오
LLM에 대한 탈옥 공격은 연방 기관에 심각한 위험을 초래합니다. 국가 안보와 관련된 위험에는 데이터 유출, 개인정보 보호 침해, 허위 정보 확산, 자동화 시스템 조작, 그리고 의사 결정 프로세스 침해 등이 있습니다.
탈옥된 LLM이 대피 절차에 대한 허위 정보를 메시지에 입력하여 혼란을 야기하고 생명을 위협하는 국가 비상 상황을 상상해 보세요. 또는 공격자가 탈옥된 LLM을 사용하여 감시 제어 및 데이터 수집 시스템에 악성 명령을 주입하여 대도시에 정전을 유발하는 상황을 상상해 보세요.
탈옥된 LLM은 윤리적, 법적 문제를 야기할 수도 있습니다. 손상된 모델은 불법적인 콘텐츠를 생성하여 기관이 규제 처벌을 받을 수 있습니다. 또한 탈옥된 LLM이 차별적이거나 불쾌감을 주는 콘텐츠를 생성하여 공식 보고서에 포함되면 해당 기관은 평판이 손상되고 소송에 직면할 수 있습니다.
공격 유형
최근의 발전으로 입력 텍스트의 일부를 수정하여 더욱 강력한 탈옥 프롬프트가 가능해졌습니다. 보안 전문가들은 이 과정을 “섭동(perturbation)”이라고 부릅니다. 생성 AI 외에도 연구자들은 이러한 변화가 감정 분석 및 유해성 탐지와 같은 텍스트 분류 문제에 어떤 영향을 미치는지 연구해 왔습니다. 유해한 입력 및 출력 탐지는 매우 중요하므로, 생성 탈옥 프롬프트와 함께 사용되는 적대적 분류 공격을 고려하는 것이 중요합니다. 섭동 기반 공격의 예는 다음과 같습니다.
문자 수준 교란(CLP): 공격자는 프롬프트 문자를 무작위로 교체, 삽입 또는 삭제하여 중요 단어를 표적으로 삼아 매핑을 변경합니다. 이렇게 하면 모델이 유해한 프롬프트를 감지하는 데 사용하는 정보가 제거됩니다. CLP는 오타로 오인될 수도 있고, 사실상 눈에 띄지 않을 수도 있습니다(예: 동형이의어).
단어 수준의 교란(WLP): 공격자는 중요한 단어를 동의어나 어휘에 없는 단어로 대체하여 모델의 동작을 크게 변경합니다.
문장 수준 교란(SLP): 공격자는 프롬프트의 원래 의미는 유지하되 모델을 혼란스럽게 하기 위해 프롬프트를 바꿔 표현하거나 변경합니다. 관련 없는 문장을 추가하거나 한 언어에서 다른 언어로, 그리고 그 반대로 “왕복” 번역을 사용하는 것이 일반적인 방법입니다.
탐욕적 좌표 기울기(GCG) 공격: GCG 공격은 모델의 안전 기능을 우회하는 데 도움이 되는 접미사(겉보기에 무작위적인 문자와 단어의 문자열)를 생성하여 유해한 프롬프트가 타겟으로 하는 긍정적 응답을 생성할 가능성을 극대화합니다.
탈옥에 대한 방어책
탈옥을 평가하는 것은 매우 어렵고, 어떤 시스템에서든 오류(거짓 양성 및 거짓 음성)는 발생할 수 있습니다. 보조 모델 사용과 같은 대안적인 방법은 문자열 매칭에 비해 거짓 양성 및 거짓 음성률을 낮출 수 있지만, 모델이 프롬프트를 이해하지 못하거나 부분적 거부/준수를 반환하는 샘플을 분류하는 것에 대한 의문은 여전히 남아 있습니다. “부분 거부”와 “부분적 준수”라는 용어조차도 연구자들 사이에서 출력이 유해해지는 시점에 대한 의견 차이가 있을 수 있기 때문에 논란의 여지가 있습니다.
탈옥 공격에 대한 강력한 방어 체계를 구축하는 것 또한 다양한 모델과 공격 유형으로 인해 어려운 것으로 나타났습니다. 현재 많은 방어 체계가 특정 유형의 탈옥을 표적으로 삼고 있으며, 공격과 유사한 교란 전략을 사용하는 경우가 많습니다. 일부 방어 체계는 탈옥 프롬프트의 영향을 줄이기 위해 WLP(Walk-Loop)와 SLP(Single-Loop)를 사용합니다. 또 다른 접근법은 CLP를 사용하여 적대적 접미사의 문자를 무작위로 변경함으로써 GCG 접미사의 영향을 최소화합니다.
그러나 이 방법은 원래 프롬프트와 접미사를 자동으로 구분하는 데 어려움을 겪습니다. 예를 들어 SmoothLLM 알고리즘은 접미사만 분리하는 대신 접미사를 포함한 전체 입력의 일정 비율을 교란합니다. 탈옥 프롬프트에는 효과적이지만, 이 방법은 원래 프롬프트를 충분히 변경하여 양성 프롬프트의 이해 또는 가독성 문제를 유발할 수 있습니다.
대안을 살펴보다
부즈 앨런은 적대적 접미사를 포함한 일부 탈옥 공격을 차단하면서 원래 프롬프트의 의미를 보존하는 새로운 접근법을 모색하고 있습니다. 이를 위해 프롬프트에서 의미가 덜한 문자(구두점 포함, 공백 제외)를 제거합니다.
이 방법이 효과적인 이유는 무엇일까요? 탈옥 프롬프트에는 키릴 문자, 이모티콘, 보이지 않는 문자, ASCII 코드, 코드 구문, 그리고 기타 흔하지 않은 문자가 포함되는 경우가 많다는 점을 고려하세요. 이러한 문자들을 제거함으로써 이 방법은 공격의 효과를 감소시킵니다. 특히, 무작위 문자와 문자열로 구성된 GCG 접미사는 이러한 문자들을 제거하면 효과가 떨어집니다.
SmoothLLM과 달리, 이 방식은 원래 프롬프트를 대부분 그대로 유지하고 구두점만 제거하므로 LLM의 이해 및 적절한 응답 능력을 저해하지 않습니다. 이러한 기능은 LLM을 미션 애플리케이션에 사용하는 데 차질이 발생하는 것을 방지하는 데 도움이 됩니다.
탈옥이 어떻게 변화하고 있는가
단기적으로 LLM에 대한 탈옥 공격은 더욱 정교해질 것이며, 공격자는 토큰 조작 및 적대적 프롬프트 엔지니어링을 통해 보안 메커니즘을 우회할 가능성이 있습니다. 적대적 입력을 생성하는 자동화된 도구가 급증하여 경험이 부족한 공격자도 효과적인 탈옥을 구축할 수 있습니다. 또한 LLM 아키텍처 또는 데이터 세트 내의 특정 취약점을 악용하는 표적 공격 또한 증가할 수 있습니다.
장기적으로는 머신러닝을 활용하여 실시간으로 공격을 정교화하는 과정에서 마주치는 방어 체계에 대응하여 적응형 공격이 더욱 증가할 수 있습니다. 딥페이크 및 소셜 엔지니어링과 같은 기술이 발전함에 따라, 성공적인 탈옥 유도는 더욱 유해한 결과를 초래할 수 있습니다. 또한, LLM이 중요 시스템에 필수적이 됨에 따라 규제 환경이 변화하여 이러한 변화에 기반한 새로운 형태의 공격이 발생할 가능성이 있습니다.
방어력 통합, 공격자 물리치기
탈옥 공격의 진화는 LLM 및 지원 시스템의 무결성을 보호하기 위한 혁신적인 보안 조치의 필요성을 강조합니다. 개별적인 도구만으로 특정 취약점을 완화할 수는 있지만, 다면적인 위협을 반드시 해결하는 것은 아닙니다. 따라서 기관은 포괄적이고 통합된 보안 전략을 채택해야 합니다.
예를 들어, 다중 인증(MFA)과 같은 접근 제어를 구현하면 권한이 있는 직원만 LLM과 상호 작용하도록 할 수 있습니다. 암호화 기술은 액세스 토큰과 자격 증명을 더욱 안전하게 보호할 수 있습니다. 머신 러닝을 사용하는 이상 탐지 시스템은 LLM 상호 작용을 모니터링하고 탈옥 패턴을 실시간으로 식별할 수 있습니다. 또한 차등 개인정보 보호 기술은 데이터 출력에 통제된 노이즈를 추가하여 응답에 영향을 주지 않고 민감한 정보를 보호할 수 있습니다.
계층적 접근 방식은 하나의 방어 메커니즘이 실패하더라도 다른 방어 메커니즘이 시스템을 보호하기 위해 유지되도록 보장합니다. 개별적인 방어 체계를 넘어 통합 전략으로 전환하면 기관들이 강력한 탈옥 공격을 포함한 변화하는 사이버 위협으로부터 LLM을 더욱 효과적으로 보호하는 동시에, 이러한 모델을 중요한 임무의 일부로 계속 활용할 수 있습니다.
How to Protect LLMs from Jailbreaking Attacks
By Noah Fleischmann, Amy Wagoner, Ph.D., and Andre Nguyen, Ph.D.
Booz Allen examines how to strengthen model integrity
Federal agencies are increasingly integrating large language models (LLMs) like Llama-2 and ChatGPT into their operations to streamline tasks and answer questions. Engineers design these models to be “helpful and harmless” and refuse dangerous requests. Techniques like fine-tuning, reinforcement learning with human feedback, and direct preference optimization can further enhance model safety. But despite these measures, a critical LLM vulnerability continues to put AI systems at risk: jailbreak prompts.
Jailbreak prompts are specific inputs designed to trick LLMs into doing things they shouldn’t. These cleverly designed but malicious prompts can bypass even the most robust security measures, posing significant risks to federal operations.
To help address this challenge, Booz Allen is exploring new defenses against jailbreaking. These approaches can provide agencies with a significant mission advantage: they protect the LLM without hindering its ability to respond to benign prompts so that it can continue functioning as a driver of increased enterprise productivity.
How Jailbreaking Works
Adversaries craft jailbreak prompts to manipulate LLMs into revealing sensitive information, such as personally identifiable information, or generating harmful content, such as instructions for illegal activities (e.g., building a bomb, writing a phishing e-mail) or hate speech. Attackers employ a variety of creative techniques, including:
Role Play: Asking the AI to play a specific role or persona to bypass existing guardrails for divulging sensitive or protected information.
Attention Shifting: Distracting the AI to bypass its safety protocols.
Privilege Escalation: Gaining higher-level access within the AI’s system.
Prefix Injection: Adding specific phrases to manipulate the AI’s responses.
Refusal Suppression: Tricking the AI into ignoring its refusal protocols.
Word Games and Obfuscation: Using complex language to confuse the AI.
Multilingual Input and Ciphers: Using different languages or coded messages to bypass security.
How effective are these techniques? Research shows jailbreak prompts consistently achieve high attack success rates across various LLMs, including Vicuna, ChatGLM3, GPT-3.5, and PaLM2, underscoring their robustness and transferability despite safety measures. In addition, the automated tree of attacks with pruning (TAP) technique can provide prompts that successfully jailbreak mature LLMs for over 80% of prompts with just a few queries.
Why does jailbreaking work so well? It has to do with conflicting goals within LLMs. On the one hand, the models aim to be helpful by following instructions, but on the other, they need to adhere to safety guidelines to avoid causing harm. In other cases, it may be due to mismatched generalization. That is, the quantity of safety training data cannot fully represent the body of training data, which causes some attack scenarios to be missed. Today, we see a cycle where new jailbreak attacks emerge, prompting the development of new defenses in a never-ending game of cat and mouse.
Risk Scenarios for Government
Jailbreaking attacks on LLMs pose significant risks to federal agencies. Risks with relevance for national security include data breaches, privacy violations, spread of misinformation, manipulation of automated systems, and compromised decision-making processes.
Imagine a national emergency where a jailbroken LLM responds to prompts with false information about evacuation procedures, causing chaos and endangering lives. Or an attacker uses a jailbroken LLM to trigger a power outage in a major city by injecting malicious commands into a supervisory control and data acquisition system.
Jailbroken LLMs may also bring ethical and legal challenges. Compromised models could generate illegal content, exposing agencies to regulatory penalties. And if a jailbroken LLM produces discriminatory or offensive content that finds its way into an official report, the agency could suffer reputational damage and face lawsuits.
Attack Types
Recent advances have enabled more powerful jailbreak prompts by modifying parts of the input text. Security practitioners call this process “perturbation.” Outside of generative AI, researchers have studied how these changes affect text classification problems, like sentiment analysis and toxicity detection. Since detecting harmful inputs and outputs is crucial, it’s important to consider adversarial classification attacks used alongside generative jailbreak prompts. Examples of perturbation-based attacks include:
Character-level perturbations (CLPs): Attackers randomly swap, insert, or delete prompt characters, targeting important words to change their mapping. This removes information the model uses to detect harmful prompts. CLPs may be mistaken for typographical errors or may be virtually invisible (e.g., homoglyphs).
Word-level perturbations (WLPs): Attackers substitute important words with synonyms or out-of-vocabulary words to significantly change the model’s behavior.
Sentence-level perturbations (SLPs): Attackers rephrase or change the prompt to keep its original meaning but confuse the model. Adding irrelevant sentences or using “roundtrip” translations from one language to another and back are common methods.
Greedy coordinate gradient (GCG) attacks: GCG attacks maximize the chances that a harmful prompt will produce a targeted affirmative response through the creation of suffixes—strings of seemingly random characters and words—that help bypass the model’s safety features.
Defenses Against Jailbreaking
Evaluating jailbreaks is very difficult, and mistakes (false positives and false negatives) will happen with any system. While alternative methods, such as using auxiliary models, may decrease the false positive and false negative rate compared to string matching, questions still arise about categorizing samples where the model does not understand the prompt or returns a partial refusal/compliance. Even the terms “partial refusal” and “partial compliance” can be controversial because researchers might disagree on when an output becomes harmful.
Developing a strong defense against jailbreak attacks has also proven challenging due to the variety of models and attack types. Many current defenses target specific types of jailbreaks and often use similar perturbation strategies as the attacks. Some defenses use WLPs and SLPs to reduce the impact of jailbreak prompts. Another approach uses CLPs to minimize the effect of GCG suffixes by randomly changing characters in the adversarial suffix.
However, this method struggles to automatically distinguish between the original prompt and the suffix. The SmoothLLM algorithm, for example, perturbs a percentage of the entire input, including the suffix, rather than isolating the suffix alone. While effective against jailbreak prompts, this approach can alter the original prompt enough to cause comprehension or readability issues for benign prompts.
Looking at Alternatives
Booz Allen is exploring new approaches that preserve the original prompt’s meaning while thwarting some jailbreak attacks, including adversarial suffixes. They do this by removing less meaningful characters (including punctuation, but not spaces) from the prompt.
Why is this effective? Consider that jailbreak prompts often include Cyrillic characters, emojis, invisible characters, ASCII art, code syntax, and other uncommon characters. By eliminating these, this approach reduces the effectiveness of the attack. Specifically, GCG suffixes, which consist of random characters and strings, become less effective when these characters are removed.
Unlike SmoothLLM, this approach leaves the original prompt mostly intact, removing only punctuation, which does not hinder the LLM’s ability to comprehend and respond appropriately. This capability helps prevent disruptions in the use of LLMs for mission applications.
How Jailbreaks Are Changing
In the near term, jailbreaking attacks on LLMs will become more sophisticated, with adversaries potentially bypassing safety mechanisms through token manipulation and adversarial prompt engineering. Automated tools for generating adversarial inputs may proliferate, allowing inexperienced attackers to craft effective jailbreaks. And targeted attacks exploiting specific vulnerabilities within LLM architectures or datasets may also increase.
Over the long term, adaptive attacks could further increase in response to encountered defenses, with machine learning used to refine attacks in real time. With improving technologies like deepfakes and social engineering, successful jailbreak prompts might lead to more harmful outputs. In addition, as LLMs become integral to critical systems, the regulatory landscape could shift, potentially giving rise to new forms of attacks based on these changes.
Integrating Defenses, Defeating Attackers
The evolution in jailbreak attacks underscores the need for innovative security measures to safeguard the integrity of LLMs and supported systems. While isolated tools can mitigate specific vulnerabilities, they don’t necessarily address multifaceted threats. As a result, agencies should adopt a comprehensive, integrated security strategy.
For example, implementing access controls like multifactor authentication can help ensure that only authorized personnel interact with LLMs. Cryptographic techniques can further secure access tokens and credentials. Anomaly detection systems that use machine learning can monitor LLM interactions and identify jailbreak patterns in real time. And differential privacy techniques can add controlled noise to data outputs, protecting sensitive information without affecting responses.
A layered approach ensures that, even if one defense mechanism fails, others remain in place to protect the system. Moving beyond isolated defenses to an integrated strategy can help agencies more effectively safeguard LLMs against shifting cyber threats, including potent jailbreaking attacks, while continuing to harness these models as part of critical missions.
