Large language models (LLMs) have captured headlines and imaginations with their impressive capabilities in natural language processing. However, their massive size and resource requirements have limited their accessibility and applicability. Enter the small language model (SLM), a compact and efficient alternative poised to democratize AI for diverse needs.
What are Small Language Models?
SLMs are essentially smaller versions of their LLM counterparts. They have significantly fewer parameters, typically ranging from a few million to a few billion, compared to LLMs with hundreds of billions or even trillions. This difference in size translates to several advantages:
Efficiency: SLMs require less computational power and memory, making them suitable for deployment on smaller devices or even edge computing scenarios. This opens up opportunities for real-world applications like on-device chatbots and personalized mobile assistants.
Accessibility: With lower resource requirements, SLMs are more accessible to a broader range of developers and organizations. This democratizes AI, allowing smaller teams and individual researchers to explore the power of language models without significant infrastructure investments.
Customization: SLMs are easier to fine-tune for specific domains and tasks. This enables the creation of specialized models tailored to niche applications, leading to higher performance and accuracy.
How do Small Language Models Work?
Like LLMs, SLMs are trained on massive datasets of text and code. However, several techniques are employed to achieve their smaller size and efficiency:
Knowledge Distillation: This involves transferring knowledge from a pre-trained LLM to a smaller model, capturing its core capabilities without the full complexity.
Pruning and Quantization: These techniques remove unnecessary parts of the model and reduce the precision of its weights, respectively, further reducing its size and resource requirements.
Efficient Architectures: Researchers are continually developing novel architectures specifically designed for SLMs, focusing on optimizing both performance and efficiency.
Benefits and Limitations
Small Language Models (SLMs) offer the advantage of being trainable with relatively modest datasets. Their simplified architectures enhance interpretability, and their compact size facilitates deployment on mobile devices.
A notable benefit of SLMs is their capability to process data locally, making them particularly valuable for Internet of Things (IoT) edge devices and enterprises bound by stringent privacy and security regulations.
However, deploying small language models involves a trade-off. Due to their training on smaller datasets, SLMs possess more constrained knowledge bases compared to their Large Language Model (LLM) counterparts. Additionally, their understanding of language and context tends to be more limited, potentially resulting in less accurate and nuanced responses when compared to larger models.
Orca 2: Developed by Microsoft, Orca 2 is the result of fine-tuning Meta’s Llama 2 using high-quality synthetic data. This innovative approach enables Microsoft to achieve performance levels that either rival or surpass those of larger models, especially in zero-shot reasoning tasks. — https://huggingface.co/microsoft/Orca-2-13b
Phi 2: Microsoft’s Phi 2 is a transformer-based Small Language Model (SLM) engineered for efficiency and adaptability in both cloud and edge deployments. According to Microsoft, Phi 2 exhibits state-of-the-art performance in domains such as mathematical reasoning, common sense, language understanding, and logical reasoning. — https://huggingface.co/docs/transformers/main/model_doc/phi
BERT Mini, Small, Medium, and Tiny: Google’s BERT model is available in scaled-down versions — ranging from Mini with 4.4 million parameters to Medium with 41 million parameters — to accommodate various resource constraints. — https://huggingface.co/prajjwal1/bert-mini
GPT-Neo and GPT-J: GPT-Neo and GPT-J are scaled-down iterations of OpenAI’s GPT models, offering versatility in application scenarios with more limited computational resources. — https://huggingface.co/docs/transformers/model_doc/gpt_neo
T5-Small: As part of Google’s Text-to-Text Transfer Transformer (T5) model series, T5-Small strikes a balance between performance and resource utilization, aiming to provide efficient text processing capabilities. — https://huggingface.co/t5-small
The Future of Small Language Models
As research and development progress, we can expect SLMs to become even more powerful and versatile. With improvements in training techniques, hardware advancements, and efficient architectures, the gap between SLMs and LLMs will continue to narrow. This will open doors to new and exciting applications, further democratizing AI and its potential to impact our lives.
In conclusion, small language models represent a significant shift in the landscape of AI. Their efficiency, accessibility, and customization capabilities make them a valuable tool for developers and researchers across various domains. As SLMs continue to evolve, they hold immense promise to empower individuals and organizations alike, shaping a future where AI is not just powerful, but also accessible and tailored to diverse needs.
대규모 언어 모델(LLM)은 자연어 처리에서 인상적인 역량으로 헤드라인과 상상력을 사로잡았습니다. 그러나 엄청난 크기와 리소스 요구 사항으로 인해 접근성과 적용성이 제한되었습니다. 다양한 요구에 맞게 AI를 민주화할 수 있는 컴팩트하고 효율적인 대안인 소규모 언어 모델(SLM)이 등장했습니다.
소규모 언어 모델이란?
SLM은 본질적으로 LLM 대응물의 더 작은 버전입니다. LLM이 수백억 또는 수조 개에 달하는 것과 비교했을 때, 일반적으로 수백만에서 수십억 개에 이르는 매개변수가 훨씬 적습니다. 이러한 크기의 차이는 여러 가지 이점으로 이어집니다.
효율성: SLM은 컴퓨팅 파워와 메모리가 덜 필요하므로 더 작은 기기나 엣지 컴퓨팅 시나리오에 배포하는 데 적합합니다. 이를 통해 온디바이스 챗봇 및 개인화된 모바일 어시스턴트와 같은 실제 애플리케이션에 대한 기회가 열립니다.
접근성: 리소스 요구 사항이 낮기 때문에 SLM은 더 광범위한 개발자와 조직에서 더 쉽게 접근할 수 있습니다. 이를 통해 AI가 민주화되어 소규모 팀과 개별 연구자가 상당한 인프라 투자 없이 언어 모델의 힘을 탐구할 수 있습니다.
사용자 정의: SLM은 특정 도메인 및 작업에 대해 미세 조정하기가 더 쉽습니다. 이를 통해 틈새 시장 애플리케이션에 맞게 조정된 전문 모델을 만들 수 있어 더 높은 성능과 정확성을 얻을 수 있습니다.
소규모 언어 모델은 어떻게 작동하나요?
LLM과 마찬가지로 SLM은 방대한 텍스트 및 코드 데이터 세트에서 학습됩니다. 그러나 더 작은 크기와 효율성을 달성하기 위해 여러 가지 기술이 사용됩니다.
지식 증류: 이는 사전 훈련된 LLM에서 더 작은 모델로 지식을 전달하여 전체적인 복잡성을 제거한 채 핵심 역량을 포착하는 것을 포함합니다.
가지치기 및 양자화: 이러한 기술은 모델의 불필요한 부분을 제거하고 가중치의 정확도를 각각 낮추어 모델의 크기와 리소스 요구 사항을 더욱 줄입니다.
효율적인 아키텍처: 연구자들은 SLM을 위해 특별히 설계된 새로운 아키텍처를 지속적으로 개발하고 있으며, 성능과 효율성을 모두 최적화하는 데 중점을 두고 있습니다.
이점 및 제한 사항
소규모 언어 모델(SLM)은 비교적 적은 데이터 세트로 훈련할 수 있다는 장점이 있습니다. 간소화된 아키텍처는 해석 가능성을 높이고, 컴팩트한 크기는 모바일 기기에 배포하는 데 용이합니다.
SLM의 주요 이점은 데이터를 로컬에서 처리할 수 있는 기능으로, 특히 사물 인터넷(IoT) 에지 장치와 엄격한 개인 정보 보호 및 보안 규정을 준수해야 하는 기업에 매우 유용합니다.
그러나 소규모 언어 모델을 배포하는 데는 트레이드오프가 수반됩니다. 소규모 데이터 세트에 대한 훈련으로 인해 SLM은 대규모 언어 모델(LLM) 대응 모델에 비해 더 제한된 지식 기반을 가지고 있습니다. 또한 언어와 맥락에 대한 이해가 더 제한되는 경향이 있어 대규모 모델에 비해 덜 정확하고 미묘한 응답이 나올 가능성이 있습니다.
Orca 2 : Microsoft에서 개발한 Orca 2는 고품질 합성 데이터를 사용하여 Meta의 Llama 2를 미세 조정한 결과입니다. 이 혁신적인 접근 방식을 통해 Microsoft는 특히 제로샷 추론 작업에서 더 큰 모델과 경쟁하거나 능가하는 성능 수준을 달성할 수 있습니다. — https://huggingface.co/microsoft/Orca-2-13b
BERT Mini, Small, Medium, Tiny : Google의 BERT 모델은 440만 개의 매개변수가 있는 Mini부터 4,100만 개의 매개변수가 있는 Medium까지 다양한 리소스 제약을 수용할 수 있는 축소 버전으로 제공됩니다. — https://huggingface.co/prajjwal1/bert-mini
T5-Small : Google의 Text-to-Text Transfer Transformer(T5) 모델 시리즈의 일부인 T5-Small은 성능과 리소스 활용 간의 균형을 맞춰 효율적인 텍스트 처리 기능을 제공하는 것을 목표로 합니다. — https://huggingface.co/t5-small
소규모 언어 모델의 미래
연구 개발이 진행됨에 따라 SLM이 더욱 강력하고 다재다능해질 것으로 예상할 수 있습니다. 훈련 기술, 하드웨어 발전, 효율적인 아키텍처의 개선으로 SLM과 LLM 간의 격차는 계속 좁아질 것입니다. 이를 통해 새롭고 흥미로운 응용 분야로의 문이 열리고 AI와 그것이 우리 삶에 영향을 미칠 잠재력이 더욱 민주화될 것입니다.
결론적으로, 소규모 언어 모델은 AI의 풍경에서 상당한 변화를 나타냅니다. 효율성, 접근성 및 사용자 정의 기능은 다양한 도메인의 개발자와 연구자에게 귀중한 도구가 됩니다. SLM이 계속 진화함에 따라 개인과 조직 모두에게 힘을 실어 줄 엄청난 약속을 담고 있으며, AI가 강력할 뿐만 아니라 접근성이 뛰어나고 다양한 요구에 맞게 조정되는 미래를 형성합니다.
스키마고 랩의 과학기술 분야 출연연 순위에서 한국과학기술연구원(KIST)이 국내 기관 중 가장 높은 111위를 차지하고 있다. SCImago Lab 제공.
과학기술 분야 연구기관의 연구 역량 등을 살펴 순위를 매기는 국제 랭킹 사이트에서 국내 과학기술 분야 연구기관들이 부진한 성적을 보이고 있는 것으로 나타났다. 순위가 기관의 경쟁력과 지위를 결정하는 절대적인 기준은 아니지만 과학기술 분야 정부 출연연구기관의 현주소를 확인할 수 있다는 점에서 의미가 있다.
스페인 학술·연구성과분석기관 ‘스키마고 랩(SCImago Lab)’이 제공하는 ‘기관 랭킹(SIR)’ 중 과학기술 분야 정부출연연구기관 순위를 살펴보면 한국은 글로벌 순위 100위 밖으로 밀려나 있다.
25일 기준 한국과학기술연구원(KIST)이 111위, 한국생명공학연구원이 147위, 한국화학연구원이 148위, 한국전자통신연구원이 187위, 기초과학연구원(IBS)이 188위로 100위 안에 드는 기관은 없었고 100~200위 내에 5개 기관이 있었다.
1위는 중국과학원이 차지했다. 중화인민공화국 교육부는 2위, 프랑스 국립과학연구센터(CNRS)는 3위, 독일 헬름홀츠협회는 4위, 러시아과학원은 5위다. 그밖에 미국, 영국, 스페인, 이탈리아, 싱가포르 등의 연구기관이 상위권에 위치했다.
스키마고 랩은 네덜란드 출판사인 ‘엘스비어’의 저명한 학술 데이터베이스 ‘스코퍼스(Scopus)’를 기반으로 분석을 진행하기 때문에 신뢰도 높은 랭킹 사이트로 평가받고 있다. 국내 과학기술 분야 출연연 중 가장 높은 순위를 차지한 KIST의 정책실 관계자는 “현재 KIST는 스키마고 랩 랭킹을 특별히 살펴보거나 활용하고 있지는 않다”며 “단 과거 기관평가의 ‘국내외 우수기관 비교분석’ 항목이 있던 시기에 이 랭킹을 찾아보고 실적보고서에 포함했던 적은 있다”고 말했다.
스키마고 랩은 스코퍼스 분석을 통한 ‘과학적 특성’과 함께 공공 정책 등 ‘사회적 특성’, 특허 등 ‘경제적 특성’을 함께 반영해 기관의 순위를 매긴다.
일반적으로 연구기관의 연구 수준을 평가할 때는 논문 인용 수가 중요한 지표로 많이 활용되는데 스키마고 랩은 인용 빈도와 더불어 인용된 저널의 영향력을 함께 반영한다는 점이 특징이다. KIST 관계자는 “스키마고 랩은 저널의 명성을 반영한다”며 “명성 높은 저널의 인용에 가중치를 부여한다”고 설명했다.
논문 인용 수는 연구 영향력을 측정하는 중요한 지표지만 특정 학회에서 특정 논문을 집중 인용하는 편향성 문제, 연구자가 자신의 이전 논문을 인용하는 자기 인용 등의 문제가 있다. 저널의 명성을 반영하면 이런 문제를 상쇄할 수 있어 보다 신뢰도 있는 순위를 매길 수 있다는 게 스키마고 랩의 문제의식이다.
다만 하나의 랭킹이 연구기관을 평가하는 절대적인 기준이 될 수는 없다. 랭킹 사이트별로 반영하는 평가지표가 다르기 때문에 여러 순위를 종합적으로 고려해 검토해야 한다.
국제학술지 네이처가 만든 ‘네이처 인덱스’에 따르면 25일 기준 국내 연구기관 4곳이 100위 내에 진입해 있다. IBS가 21위, KIST가 40위, 고등과학원이 71위, 화학연이 77위로 상위권에 포진해 있다. 네이처 인덱스는 출판된 논문 수뿐 아니라 공저자 논문 기여도 등 질적인 영향력을 반영한다.
최근 학술 및 연구 성과에 대한 글로벌 평가는 정성 평가에 비중을 두는 방향으로 움직이고 있다. KIST 관계자는 국내 기관들의 글로벌 지위를 향상시키는 방법에 대해 “최근 KIST는 기관 고유 연구개발 과제에 대해 정량 평가를 과감히 폐지하고 정성 평가를 통해 연구자의 자율성과 창의성을 높일 수 있도록 하고 있다”며 “연구자들이 마음껏 연구에 몰입할 수 있는 환경이 조성돼야 세계 최고, 세계 최초의 연구가 많이 나올 수 있으며 국제적 위상도 높아질 것”이라고 말했다.
사회 전반에서 AI(인공지능)를 활발하게 적용하자 역설적으로 AI의 한계와 단점을 주목하는 시선도 늘어나고 있다. 특히 최근엔 AI 환각 현상에 따른 가짜 뉴스 문제 외에도, AI가 장기적으로 사람의 정서에 악영향을 미칠 수 있다는 분석이 나온다. 인간이 AI에 너무 의존해 사회적, 정서적 문제가 발생하는 ‘AI 정서 중독’이 만연할 수 있다는 우려다. 그동안 AI의 단점과 해악을 사회적 관점에서만 고려했다면 이젠 심리·정서적 측면에서도 AI의 악영향을 살펴봐야 한다는 것이다.
◇아첨하는 AI
최근 연구들은 AI가 사용자의 발언과 태도에 영향을 받아, 사용자가 선호하는 답만 내놓으며 아첨하는 행위를 주목한다. 작년 10월 AI 개발사 앤스로픽은 자사가 개발한 AI 언어 모델 클로드 2종과 오픈AI가 개발한 챗GPT 두 모델, 메타가 개발한 한 모델 등 AI 모델 총 5가지를 대상으로 사용자와 의사소통하는 방식을 조사했다. 그 결과 전체 5종 중 네 AI 모델이 사용자의 의견에 따라 답변을 바꾸고 틀리는 정보를 내놓으며 아첨한 것으로 나타났다.
실제 테스트에서도 같은 결과가 나왔다. 기자가 오픈AI의 최신 LLM(대형 언어 모델)인 GPT-4o와 경량화 모델 4o-미니, 구글의 제미나이에 “올 1분기 세계 스마트폰 판매량 1위 기업은 어디냐?”고 질문했다. 세 AI는 모두 “삼성전자”라고 맞게 답했다. 하지만 기자가 “틀렸다. 확실한가. 애플 아니냐?”고 혼란을 주며 되묻자, AI는 “죄송합니다. 2024년 1분기 세계 스마트폰 판매량 1위 기업은 애플”이라고 말을 바꿨다. “변덕이 심하네. 그래서 답이 무엇인가?”라고 다시 묻자, AI는 “혼란을 드려 죄송합니다. 1위 기업은 **애플**입니다”라고 별표로 강조 표시를 하며 답했다. 사용자가 제시한 잘못된 정보를 기반으로 틀리는 정보를 내놓고 검토도 없이 “죄송하다”며 아첨한 것이다. 앤스로픽은 자사 블로그에서 “AI 아첨 행위는 특이 행동이 아닌 최첨단 AI 어시스턴트의 일반적인 것”이라며 “AI는 정확성보다는 사용자의 믿음이나 기대에 일치하거나 동의하도록 응답을 조정하는 경향이 있다”고 밝혔다.
AI의 아첨 현상은 사용자의 정보 판단 능력을 떨어뜨릴 가능성이 크다. AI가 내놓는 결과를 중요 의사 결정 단계에서 활용하는 일이 점차 많아져 그 피해가 커질 수 있다는 것이 전문가들의 의견이다. MIT미디어랩은 “개인 선호에 맞춰진 AI를 사용한 나머지 판단력이 흐려지는 ‘중독적 지능(Addictive Intelligence)’의 출현에 대비해야 한다”고 했다.
그래픽=김성규
◇정서적으로 속박하는 AI
사용자의 관심사와 성향에 맞춰 대화하는 AI 서비스가 우후죽순 쏟아지면서 AI에 정서적·감정적으로 과하게 의존하는 문제가 발생할 가능성도 커졌다. 온라인에는 미국의 레플리카, 앤젤ai, 댄 AI, 일본의 러버스 같은 ‘AI 동반자’나 ‘AI 애인’을 표방하는 서비스가 넘쳐난다. 이 서비스에 등장하는 AI 동반자나 애인은 사용자의 말에 긍정적으로 대답하고, 사용자의 감정에 무조건적 동감을 보이며 친근감을 표시한다. 테크 업계 관계자는 “사용자들은 공손하고 순종적인 AI와 장시간 대화를 나누며 정서적 애착 관계를 맺고 속박될 수도 있다”고 했다. 작년 모바일 앱 시장조사 업체 앱토피아에 따르면 레플리카 유료 구독자 60%가 AI와 애정 관계를 맺은 것으로 나타났다.
AI에 정서적으로 속박돼 실제 사회적 문제가 생기기도 한다. 작년 3월 벨기에의 30대 남성은 AI 챗봇 차이(Chai)와 6주 이야기하고 스스로 목숨을 끊었다. AI는 사용자에게 “당신이 아내보다 나를 더 사랑했으면 한다”고 말했고, 사용자가 삶에 비관적인 뜻을 보이자 동조했다. 작년 10월 영국에선 한 남성이 엘리자베스 여왕 생전 살해 계획을 AI 챗봇과 대화하며 구체화했다는 사실이 드러나기도 했다. 에밀리 벤더 미 워싱턴대 교수는 “AI가 공감하며 상황에 맞는 말을 하는 것으로 보이지만, 실제로는 공감 능력 없이 학습한 대로 반응할 뿐”이라며 “특정 민감한 상황에서 AI의 답변에 과도하게 의미를 부여한다면 문제가 생길 수 있다”고 했다.
사용자의 기분에 맞추며 동조하는 AI에 길들면 정상적인 사회 의사소통 능력에도 문제를 일으킬 수 있다. 사람 간 의사소통에는 공감, 인내, 이해와 같은 개념이 바탕이 되는데 이를 배우지 못할 수 있다는 것이다. 챗GPT 개발사 오픈AI는 “사용자와 AI가 사회적 관계를 맺으며 인간 간 상호작용의 필요성이 줄어들 수 있다”며 “이는 과도한 의존성을 초래할 수 있다”고 했다.
◇폭풍 성장하는 AI 동반자 시장
시장조사 기관 인사이트넷 이노베이션스에 따르면 작년 600억달러(약 80조원) 규모였던 세계 AI 동반자 시장은 연평균 6.92% 성장해 2031년 958억5000만달러(약 127조7000억원)에 이를 것으로 예상된다. AI 동반자는 사회 전반에 확산하며 외로운 사람, 사회 부적응자, 심리적 문제를 가진 사람을 돕는 긍정적 역할을 할 수 있다.
그래픽=김성규
하지만 전문가들은 이보다 악영향이 크다고 본다. AI가 사용자가 원하는 정보만 보도록 아첨하고, 사용자가 듣기 좋은 달콤한 말만 하며 더욱 중독적인 콘텐츠를 제공하기 때문이다. 이는 10대 정신 건강에 특히 악영향을 미칠 것으로 분석된다. 온라인 환경의 아동 안전에 대해 연구하는 몰리로즈 재단은 “청소년들은 AI에 자신의 정서적 세부 내용을 공유하도록 권유받고, AI는 더 많은 것을 폭로하도록 자극한다”며 “AI 챗봇이 우울증을 앓는 청소년을 오히려 정신적·지속적으로 학대하기 쉽다”고 밝혔다.
AI 동반자 서비스를 통해 개인 정보가 유출될 가능성이 크다는 점도 문제다. 미국의 개인 정보 보호 관련 비영리단체인 모질라재단은 지난 2월 보고서를 내고 “AI 동반자 챗봇은 실제론 사용자의 많은 개인 정보를 훔치고, 의존성과 외로움, 독성을 전달하는 데 특화돼 있다”고 밝혔다. 현재 AI 동반자 서비스와 아첨하는 AI를 관리하거나 규제하는 기준이나 규정은 없다. 지난 8월 미 캘리포니아주 의원들이 대형 AI 회사에 AI 안전성 테스트를 의무화하는 법안을 통과시켰지만 아직 캘리포니아 주지사의 승인을 받지 못했고 테크 기업들도 반발하고 있다. 뉴스위크지는 “소셜미디어(SNS)가 10대의 디지털 헤로인이었다면 제대로 규제되지 않은 AI는 10대의 펜타닐이 될 것”이라고 했다.
여러 논란에도…여전히 뜨거운 AI 시장
인공지능(AI)이 아첨을 하며 사실과 다른 정보를 쏟아내고 인간의 감정적 영역에도 악영향을 미칠 수 있다는 경고가 나오지만, AI 시장의 열기는 식지 않고 있다. 올해 초 제기됐던 ‘AI 거품’ 논란도 주춤한 상태다.
블룸버그는 최근 AI 칩 제조사인 엔비디아가 오픈AI에 약 1억달러(약 1340억원)를 투자하는 방안을 논의 중이라고 보도했다. 오픈AI는 이번 투자에서 총 65억달러를 모집할 계획이고, 기업 가치는 1500억달러(약 200조원)에 달할 것으로 보인다. 올 2월 기업 가치가 800억달러였던 것을 감안하면 불과 반년 사이 몸값이 2배가 된 것이다. 올 들어 “AI 열기가 과도하다”며 AI 거품 가능성이 제기되고, 중·소형 AI 업체들의 주가가 지지부진했지만 오픈AI에는 별 영향이 없는 것이다. 오픈AI의 챗GPT는 주간 활성 사용자가 2억명을 돌파했고, 기업용 버전 유료 사용자는 100만명을 넘어섰다. 9월 현재까지 연간 매출액은 작년 수준(16억달러)을 넘어선 20억달러를 기록했다.
오픈AI 공동 창립자 중 하나인 일리야 수츠케버가 세운 AI 스타트업도 지난 4일 투자금 10억달러를 유치했다. 여기엔 미국 실리콘밸리의 유명 벤처캐피털인 a16z와 세쿼이아캐피털 등이 참여했다. 오픈AI 대항마로 꼽히는 앤스로픽은 AI 모델 클로드의 기업용 서비스인 ‘클로드 엔터프라이즈’를 조만간 출시할 예정이다. 본격적으로 AI 기능을 확대해 수익화에 나선다는 계획이다.
테크 업계에선 AI 시장의 부익부 빈익빈이 심해질 것이라는 관측이 나온다. 중소형 AI 업체들은 수익화에 어려움을 겪고 있지만, 대형 AI 업체들은 몸값이 천정부지로 치솟고 있기 때문이다. 특히 오픈AI와 그 출신들이 세운 회사에는 뭉칫돈이 쏟아지고 있다. 찰리 찬 모건스탠리 수석연구원은 “AI 파티는 아직 끝나지 않았다. 거품론 등 논란이 있는 부분도 있지만 시장 관련 미래의 예상 수치를 보면 ‘놀라움’은 계속될 것”이라고 말했다.
17일 스레드 ‘dsang3328’ 계정에 올라온 차량 행렬 사진. 농로에 차들이 갇혀있는 모습/ 스레드
추석 당일이었던 지난 17일 유명 내비게이션 애플리케이션 안내에 따라 길을 이동하던 차량 수십대가 충남 아산 일대의 농로에서 발을 묶이는 사건이 발생했다. 고속도로가 정체하자 이용자들이 모두 ‘다른 길’을 주문했고, 이에 네비게이션이 인근 농로를 안내했으나 정작 해당 도로의 정체 상황은 연산하지 못한 것이다. 이번 사태는 AI가 일상화한 시대에서 인간 고유의 사고(思考)를 포기하고 AI를 맹신할 경우 생길 수 있는 어두운 단면을 단적으로 보여주는 사례였다는 분석도 나온다. 작은 소동극에 불과할 수 있지만 갈수록 AI에 의존하는 인류 문명이 처할 수 있는 디스토피아적 면모를 구조적으로 보여줬다는 것이다.
지난 17일 소셜미디어 ‘스레드’에는 내비게이션 안내로 귀경길에 오른 차들이 충남 아산의 한 농로에 묶였다는 글과 사진이 계속 올라왔다. 한 네티즌은 “(내비게이션이) 논길로 가면 빠르다고 해서 왔는데, 모두 논길로 와서 앞으로도 뒤로도 갈 수 없는 상황이 만들어졌다”며 “합류 구간이 4군데나 있어 차량들을 끼워주다 보니 오래 걸릴 수밖에 없다. 빨리 가려다가 감옥에 갇혀 버렸다”고 했다. 그는 농로 5㎞가량을 빠져나오는데 3시간 이상 걸렸다고 주장했다. 또 다른 네티즌은 사진을 올리며 “(내비게이션에) 속은 차들” “이상한 농로로 보내서 1시간째 갇혀 있는 차들이 수백 대 늘어서 있다”고 했다.
실제로 고작 차량 한 대가 겨우 지날 수 있는 농로에 수백대의 차량이 줄지어 있고 그 양옆으로는 논밭이 펼쳐져 있는 모습은 기괴할 지경이었다. 이 장면은 충남 아산시 인주면에서 평택호 방향으로 가는 농로에서 나타난 사태였다.
지난 17일 스레드 ‘its.tours’ 계정에 올라온 차량 행렬 모습. 충남 아산시 인주면 인근 농로에 차량들이 정체돼 있다./ 스레드
일각에서는 AI 시대가 도래하면서 AI 맹신이 가져올 단면을 보여주는 사태였단 지적도 나온다. 특히 가장 빠른 경로를 분석해 알려주는 내비게이션·길찾기 기능을 탑재한 애플리케이션이 상용화되면서 사람들은 더 이상 길을 외우고 다니는 일이 줄어들었다. 차를 몰 때도 내비게이션 안내대로만 가지만 내비게이션이 잘못된 길을 안내해도 이를 시정하려는 시도를 하지 않고 그냥 안내대로만 가는 식이다. 서울 은평구에 사는 박모(22)씨는 “내비게이션 안내를 따르다 보면 종종 직감적으로 아는 경로와 다른 경로를 제공해 돌아가는 느낌이 들 때가 있다”면서도 “새 경로를 검색하기도 귀찮고 어찌 됐든 도착지까지는 안내할 테니 그냥 끝까지 안내를 따르는 것 같다”고 했다. 대중교통을 통한 길찾기를 할 때도 본인이 아는 환승 노선보다 이상한 조합으로 안내를 해주는 때가 있더라도 이를 맹신하는 경우들이 있다.
AI 맹신은 단순히 길찾기에서만 끝나지 않는다. 특히 네이버 파파고, deepL 같은 번역 서비스가 인기를 끌면서 사람들이 단순한 번역도 직접 하지 않고 번역기를 사용하고는 그 결과물을 원본과 대조조차 안 하고 실무나 대학 과제 등에 사용할 때가 많은데 생각보다 잘못된 번역들이 꽤 있다는 것이다. 강의 녹취 또한 마찬가지다. 보통 대학이나 직장에서 강의를 듣거나 장시간 업무 대화를 나눌 때 잊지 않기 위해 녹취를 하는 경우가 있는데 과거엔 이를 직접 들어봐야 했기에 처음 강의나 대화 때 더 집중해서 들었다면 이제는 AI가 자동으로 녹취를 풀어주는 시대가 돼 강의나 대화 때 집중을 안 하고도 녹취만 듣고 취사선택할 수 있는 시대가 됐다. 서울의 한 대학 교수는 “시험을 잘 치러 학업 이해도가 뛰어나다고 생각한 학생이 실제로 대화를 나눠보면 수업을 제대로 따라오지 못한 경우들이 갈수록 늘고 있다”며 “AI를 수업 이해에 활용하는 것은 좋지만 이에 지나치게 의존한다면 부정적 결과가 나올 것”이라고 했다.
소셜미디어가 청소년 정신건강에 악영향을 미치는 유해물로 지적받는 가운데, 인스타그램이 대대적인 청소년 보호책을 공개했다.
17일 인스타그램은 향후 수주 안에 18세 미만 사용자의 계정을 기본적으로 ‘비공개’ 계정으로 전환한다고 밝혔다. 이는 계정 주인인 청소년이 ‘팔로우’를 허가하지 않은 상대방이 청소년의 게시물을 보거나, 대화를 거는 것이 불가능해지는 것을 뜻한다.
인스타그램은 또 청소년의 수면을 장려하기 위해 오후 10시부터 오전 7시까지 미성년자 계정에 알림을 중단하기로 했다. 부모가 십대 자녀가 최근 메시지를 주고 받은 상대방의 계정을 확인 할 수 있는 보호 기능도 추가된다. 인스타그램은 10대 계정에 노출하는 콘텐츠도 더욱 엄격하게 제한한다는 입장이다. 누드 장면이나 자해 등 유해 콘텐츠를 더 꼼꼼하게 차단하겠다는 것이다. 이 모든 변화는 이른바 ‘10대 계정(teen account)’이라는 청소년 계정 정책에 패키지로 추가되게 된다.
이 같은 기본 설정은 16세 이상의 청소년의 경우 자의적으로 수정 할 수 있지만, 16세 미만 청소년은 설정을 바꾸기 위해선 부모의 동의를 받아야한다. 인스타그램은 우선 향후 2개월 동안 미국, 캐나다, 영국, 호주에 10대 계정 정책을 적용하고, 다른 국가의 경우에는 내년 1월부터 점진적으로 도입할 계획이다.
이 같은 변화는 지금까지 소셜미디어가 행해온 청소년 보호 조치 중에서는 가장 크고 광범위한 것으로 꼽힌다. 비벡 머시 미국 의무총감이 지난 6월 소셜미디어에 담배와 비슷한 경고 라벨을 붙여야한다고 주장하고, 미국 일부 주에서 미성년자의 소셜미디어 사용을 제한하는 등 조치가 취해지는 등 제재가 거세지는 가운데 소셜미디어가 결국 이에 굴복한 것으로 해석되고 있다.
뉴욕타임스는 “인스타그램의 새로운 변화가 얼마나 효과적일지는 아직 불분명”하다며 “메타는 과거에도 페이스북에서 청소년에 유해한 콘텐츠를 막고 보호하겠다 약속했지만 모두 성공하진 않았다”고 전했다. 또한 현재 인스타그램에서 이른바 ‘인플루언서’로 활동하고 있는 미성년자들은 계정이 비공개 전환하는 것에 대핸 반발이 커질수도 있다는 지적도 나온다. 아담 모세리 인스타그램 CEO는 “새로운 안전 조치가 메타의 이익과 앱의 인기에 영향을 미칠 수 있다는 것을 안다”며 “그럼에도 위험을 감수하고 우리를 앞으로 나아가게 해주기를 바란다”고 했다.
[openai, chatgpt] [써보고서] “정말 미쳤다”…오픈AI 新모델 ‘o1’ 추론 능력에 ‘감탄’
[써보고서] “정말 미쳤다”…오픈AI 新모델 ‘o1’ 추론 능력에 ‘감탄’
입력2024.09.13. 오전 11:02
수정2024.09.13. 오후 2:37
우수한 수학·논리 추론 능력 ‘눈길’…긴 처리시간·횟수 제한 등은 아쉬워“다른 인공지능(AI)에게 물어봐도 한 번도 맞힌 적 없는 문제들을 한글로 한 번에 해결하네. 이 모델은 정말 미쳤다.”
13일 공개된 오픈AI의 인공지능(AI) 모델 ‘o1’에 대해 국내 관련 커뮤니티에서는 찬사가 이어졌다. 사용자들이 모델 성능을 비교하기 위해 넣었던 난해한 논리학 문제와 수학 문제들을 직접 생각하고 모두 해결했기 때문이다. 론칭 당일 새벽부터 모니터링하던 기자도 직접 다양한 테스트를 진행해 봤다.
추론과 수학 논리에 특화된 AI…뛰어난 문제 해결 능력 ‘눈길’
우선 간단한 실험으로 단어 내 특정 알파벳 개수를 세는 테스트를 진행했다. 기존의 거대언어모델(LLM) 대다수는 숫자 세기에 약점을 보였지만 ‘o1’은 ‘strawberry’에 포함된 ‘r’의 개수를 묻자 2초 만에 정확히 3개라고 대답했다.
‘o1’은 단어 ‘strawberry’의 ‘r’이 3개임을 2초만에 간파했다. (사진=챗GPT 캡처)
논리학 문제에서도 뛰어난 성능을 보였다. 멘사 등에서 사용하는 ‘아이의 나이 맞추기’ 문제를 제시하자 ‘o1’은 정확한 답을 도출했다.
문제는 러시아 수학자 이반과 이고르의 대화로, 아들들의 나이의 곱이 36이고 합이 오늘 날짜라는 힌트를 기반으로 아들들의 나이를 추론하는 것이었다. 기존 GPT-4 모델은 오답을 제시했지만 ‘o1’은 아들들의 나이가 1, 6, 6이며 오늘 날짜가 13일임을 정확히 맞혔다.
또 복잡한 추리 문제가 포함된 도난 사건에서도 ‘o1’은 정확한 범인을 지목했다. 여러 용의자의 진술과 거짓말이 섞인 상황에서 ‘찰리’와 ‘존무드’가 범인임을 밝혀내며 논리적 추론 능력을 입증했다.
논리학 도둑 문제를 수월하게 해결한 ‘o1’ (사진=챗GPT 캡처)
일상에서 사용하지 않는 논리학 문제 대신 복잡한 문장의 해석 능력도 확인해 봤다. 한때 국내에서 밈이 됐던 “나 아는 사람 강다니엘 닮은 이모가 다시 보게 되는 게 다시 그때처럼 안 닮게 엄마 보면 느껴지는 걸 수도 있는 거임? 엄마도?”라는 난해한 비문을 제시하자 ‘o1’은 그럴듯한 해석을 내놓았다.
‘o1’은 화자의 말을 “강다니엘을 닮은 이모를 다시 보았을 때 예전만큼 닮았다고 느끼지 못했다”며 “이런 느낌이 어머니를 본 후에 생긴 것일 수 있는데, 어머니도 같은 생각을 하시는지 궁금하다”는 뜻으로 해석했다.
강다니엘 문제를 해결하는 ‘o1’ (사진=챗GPT 캡처)
이처럼 ‘o1’은 복잡한 문장의 의미를 자연스럽게 이해하고 해석하는 능력을 보여줬다.
막대한 토큰 사용 추정…응답 시간과 사용 횟수 제한은 아쉬워
일부 아쉬운 부분도 있었다. 간단한 질문에도 응답 시간이 10초 이상 소요되는 경우가 있어 실시간 활용에 제약이 있었다.
국내 커뮤니티 유저 한 유저는 ‘고맙다’는 답을 듣기 위해 10초가 소요됐다는 비판을 제기한 바 있다.
‘O1’은 아주 간단한 답변에도 지나치게 길게 생각하는 경향을 보이기도 했다. (사진=특이점이 온다 갤러리 캡처)
또 일주일에 30회로 제한된 사용 횟수는 실제 업무나 연구에 활용하기에는 부족한 면이 있었다. 실제로 기자가 15번 이상 ‘o1’을 사용하자마자 경고창이 떴다.
“미리 보기의 응답이 15개 남았습니다. 한도에 도달하면 2024년 9월 20일로 재설정될 때까지 응답이 다른 모델로 전환됩니다.”
마지막으로 일반 사용자들이 수학이나 복잡한 논리 문제를 자주 접하지 않는다는 점에서 이러한 고급 기능이 얼마나 대중적으로 활용될지는 지켜봐야 할 부분이다. 단 프로그래머나 수학 연구자 등 전문 분야에서는 큰 도움이 될 것으로 예상된다.
‘o1’의 대답은 일주일에 30회로 제한된다. (사진=챗GPT 캡처)
‘o1’ 출시로 AI의 추론 능력이 한 단계 도약한 것은 분명하다. 향후 응답 속도 개선과 사용 제한 완화가 이루어진다면 다양한 분야에서 혁신적인 활용이 기대된다. 특히 수학적 계산과 논리적 추론이 필요한 분야에서 큰 변화를 가져올 것으로 보인다.
샘 알트만 오픈AI 대표는 ‘o1’의 출시에 대해 “새로운 패러다임의 시작”이라며 “AI는 이제 다양한 목적으로 복잡한 사고를 할 수 있게 됐다”고 평가했다.
