30 11월 2025

[인공지능 서비스 보안] 탈옥 공격으로부터 LLM을 보호하는 방법 , How to Protect LLMs from Jailbreaking Attacks

[인공지능 서비스 보안] 탈옥 공격으로부터 LLM을 보호하는 방법 , How to Protect LLMs from Jailbreaking Attacks

탈옥 공격으로부터 LLM을 보호하는 방법

노아 플라이슈만, 에이미 와고너 박사, 앙드레 응우옌 박사

 

Booz Allen은 모델 무결성을 강화하는 방법을 조사합니다.

연방 기관들은 업무를 간소화하고 질문에 답하기 위해 Llama-2 및 ChatGPT와 같은 대규모 언어 모델(LLM)을 운영에 점점 더 통합하고 있습니다. 엔지니어들은 이러한 모델이 “유용하고 무해하도록” 설계하고 위험한 요청은 거부합니다. 미세 조정, 인간 피드백을 활용한 강화 학습, 직접 선호도 최적화와 같은 기법은 모델 안전성을 더욱 향상시킬 수 있습니다. 그러나 이러한 조치에도 불구하고, 탈옥 프롬프트라는 심각한 LLM 취약점이 AI 시스템을 계속 위험에 빠뜨리고 있습니다.

탈옥 프롬프트는 LLM이 해서는 안 될 일을 하도록 속이는 특정 입력값입니다. 교묘하게 설계되었지만 악의적인 이러한 프롬프트는 가장 강력한 보안 조치조차 우회하여 연방 정부 업무에 심각한 위험을 초래할 수 있습니다.

이러한 과제를 해결하기 위해 부즈 앨런은 탈옥에 대한 새로운 방어책을 모색하고 있습니다. 이러한 접근 방식은 기관에 상당한 임무 이점을 제공할 수 있습니다. 즉, LLM이 무해한 프롬프트에 응답하는 능력을 저해하지 않으면서 LLM을 보호하여 기업 생산성 향상의 원동력으로 계속 기능할 수 있도록 합니다.

탈옥 작동 방식

공격자는 탈옥 메시지를 조작하여 LLM을 조작하여 개인 식별 정보와 같은 민감한 정보를 노출하거나, 불법 행위(예: 폭탄 제조, 피싱 이메일 작성) 또는 증오 표현과 같은 유해한 콘텐츠를 생성합니다. 공격자는 다음과 같은 다양하고 창의적인 기법을 사용합니다.

  • 롤 플레이: 민감하거나 보호된 정보를 공개하는 데 대한 기존 가드레일을 우회하기 위해 AI에게 특정 역할이나 페르소나를 수행하도록 요청하는 것입니다.
  • 주의 전환: AI의 안전 프로토콜을 우회하기 위해 AI의 주의를 분산시키는 행위.
  • 권한 확대: AI 시스템 내에서 더 높은 수준의 액세스 권한을 얻는 것입니다.
  • 접두사 삽입: AI의 응답을 조작하기 위해 특정 구문을 추가합니다.
  • 거부 억제: AI가 거부 프로토콜을 무시하도록 속이는 것입니다.
  • 단어 게임과 난독화: 복잡한 언어를 사용하여 AI를 혼란스럽게 함.
  • 다국어 입력 및 암호: 보안을 우회하기 위해 다양한 언어나 암호화된 메시지를 사용합니다.

이러한 기법은 얼마나 효과적일까요? 연구에 따르면  탈옥 프롬프트는 Vicuna, ChatGLM3, GPT-3.5, PaLM2를 포함한 다양한 LLM에서 지속적으로 높은 공격 성공률을 보이며 , 이는 안전 조치에도 불구하고 그 견고성과 전이성을 강조합니다. 또한, 자동화된 트리 오브 어택스 프루닝 (TAP) 기법은 단 몇 번의 쿼리만으로 80% 이상의 성숙 LLM 프롬프트를 성공적으로 탈옥할 수 있습니다.

탈옥이 왜 그렇게 효과적일까요? 이는 LLM 내부의 상충되는 목표와 관련이 있습니다. 한편으로는 모델이 지침을 준수하여 도움을 주는 것을 목표로 하지만, 다른 한편으로는 피해를 입히지 않기 위해 안전 지침을 준수해야 합니다. 다른 경우에는 일반화의 불일치 때문일 수 있습니다. 즉, 안전 훈련 데이터의 양이 전체 훈련 데이터를 완전히 대표하지 못하여 일부 공격 시나리오가 누락되는 것입니다. 오늘날 우리는 새로운 탈옥 공격이 등장하고, 끝없는 고양이와 쥐의 게임에서 새로운 방어책이 개발되는 악순환을 목격하고 있습니다.

정부를 위한 위험 시나리오

LLM에 대한 탈옥 공격은 연방 기관에 심각한 위험을 초래합니다. 국가 안보와 관련된 위험에는 데이터 유출, 개인정보 보호 침해, 허위 정보 확산, 자동화 시스템 조작, 그리고 의사 결정 프로세스 침해 등이 있습니다.

탈옥된 LLM이 대피 절차에 대한 허위 정보를 메시지에 입력하여 혼란을 야기하고 생명을 위협하는 국가 비상 상황을 상상해 보세요. 또는 공격자가 탈옥된 LLM을 사용하여 감시 제어 및 데이터 수집 시스템에 악성 명령을 주입하여 대도시에 정전을 유발하는 상황을 상상해 보세요.

탈옥된 LLM은 윤리적, 법적 문제를 야기할 수도 있습니다. 손상된 모델은 불법적인 콘텐츠를 생성하여 기관이 규제 처벌을 받을 수 있습니다. 또한 탈옥된 LLM이 차별적이거나 불쾌감을 주는 콘텐츠를 생성하여 공식 보고서에 포함되면 해당 기관은 평판이 손상되고 소송에 직면할 수 있습니다. 

공격 유형

최근의 발전으로 입력 텍스트의 일부를 수정하여 더욱 강력한 탈옥 프롬프트가 가능해졌습니다. 보안 전문가들은 이 과정을 “섭동(perturbation)”이라고 부릅니다. 생성 AI 외에도 연구자들은 이러한 변화가 감정 분석 및 유해성 탐지와 같은 텍스트 분류 문제에 어떤 영향을 미치는지 연구해 왔습니다. 유해한 입력 및 출력 탐지는 매우 중요하므로, 생성 탈옥 프롬프트와 함께 사용되는 적대적 분류 공격을 고려하는 것이 중요합니다. 섭동 기반 공격의 예는 다음과 같습니다.

  • 문자 수준 교란(CLP): 공격자는 프롬프트 문자를 무작위로 교체, 삽입 또는 삭제하여 중요 단어를 표적으로 삼아 매핑을 변경합니다. 이렇게 하면 모델이 유해한 프롬프트를 감지하는 데 사용하는 정보가 제거됩니다. CLP는 오타로 오인될 수도 있고, 사실상 눈에 띄지 않을 수도 있습니다(예: 동형이의어).
  • 단어 수준의 교란(WLP): 공격자는 중요한 단어를 동의어나 어휘에 없는 단어로 대체하여 모델의 동작을 크게 변경합니다.
  • 문장 수준 교란(SLP): 공격자는 프롬프트의 원래 의미는 유지하되 모델을 혼란스럽게 하기 위해 프롬프트를 바꿔 표현하거나 변경합니다. 관련 없는 문장을 추가하거나 한 언어에서 다른 언어로, 그리고 그 반대로 “왕복” 번역을 사용하는 것이 일반적인 방법입니다.
  • 탐욕적 좌표 기울기(GCG) 공격: GCG 공격은 모델의 안전 기능을 우회하는 데 도움이 되는 접미사(겉보기에 무작위적인 문자와 단어의 문자열)를 생성하여 유해한 프롬프트가 타겟으로 하는 긍정적 응답을 생성할 가능성을 극대화합니다.

탈옥에 대한 방어책

탈옥을 평가하는 것은 매우 어렵고, 어떤 시스템에서든 오류(거짓 양성 및 거짓 음성)는 발생할 수 있습니다. 보조 모델 사용과 같은 대안적인 방법은 문자열 매칭에 비해 거짓 양성 및 거짓 음성률을 낮출 수 있지만, 모델이 프롬프트를 이해하지 못하거나 부분적 거부/준수를 반환하는 샘플을 분류하는 것에 대한 의문은 여전히 ​​남아 있습니다. “부분 거부”와 “부분적 준수”라는 용어조차도 연구자들 사이에서 출력이 유해해지는 시점에 대한 의견 차이가 있을 수 있기 때문에 논란의 여지가 있습니다.

탈옥 공격에 대한 강력한 방어 체계를 구축하는 것 또한 다양한 모델과 공격 유형으로 인해 어려운 것으로 나타났습니다. 현재 많은 방어 체계가 특정 유형의 탈옥을 표적으로 삼고 있으며, 공격과 유사한 교란 전략을 사용하는 경우가 많습니다. 일부 방어 체계는 탈옥 프롬프트의 영향을 줄이기 위해 WLP(Walk-Loop)와 SLP(Single-Loop)를 사용합니다. 또 다른 접근법은 CLP를 사용하여 적대적 접미사의 문자를 무작위로 변경함으로써 GCG 접미사의 영향을 최소화합니다.

그러나 이 방법은 원래 프롬프트와 접미사를 자동으로 구분하는 데 어려움을 겪습니다. 예를 들어 SmoothLLM 알고리즘은 접미사만 분리하는 대신 접미사를 포함한 전체 입력의 일정 비율을 교란합니다. 탈옥 프롬프트에는 효과적이지만, 이 방법은 원래 프롬프트를 충분히 변경하여 양성 프롬프트의 이해 또는 가독성 문제를 유발할 수 있습니다.

대안을 살펴보다

부즈 앨런은 적대적 접미사를 포함한 일부 탈옥 공격을 차단하면서 원래 프롬프트의 의미를 보존하는 새로운 접근법을 모색하고 있습니다. 이를 위해 프롬프트에서 의미가 덜한 문자(구두점 포함, 공백 제외)를 제거합니다.

이 방법이 효과적인 이유는 무엇일까요? 탈옥 프롬프트에는 키릴 문자, 이모티콘, 보이지 않는 문자, ASCII 코드, 코드 구문, 그리고 기타 흔하지 않은 문자가 포함되는 경우가 많다는 점을 고려하세요. 이러한 문자들을 제거함으로써 이 방법은 공격의 효과를 감소시킵니다. 특히, 무작위 문자와 문자열로 구성된 GCG 접미사는 이러한 문자들을 제거하면 효과가 떨어집니다.

SmoothLLM과 달리, 이 방식은 원래 프롬프트를 대부분 그대로 유지하고 구두점만 제거하므로 LLM의 이해 및 적절한 응답 능력을 저해하지 않습니다. 이러한 기능은 LLM을 미션 애플리케이션에 사용하는 데 차질이 발생하는 것을 방지하는 데 도움이 됩니다.

탈옥이 어떻게 변화하고 있는가

단기적으로 LLM에 대한 탈옥 공격은 더욱 정교해질 것이며, 공격자는 토큰 조작 및 적대적 프롬프트 엔지니어링을 통해 보안 메커니즘을 우회할 가능성이 있습니다. 적대적 입력을 생성하는 자동화된 도구가 급증하여 경험이 부족한 공격자도 효과적인 탈옥을 구축할 수 있습니다. 또한 LLM 아키텍처 또는 데이터 세트 내의 특정 취약점을 악용하는 표적 공격 또한 증가할 수 있습니다.

장기적으로는 머신러닝을 활용하여 실시간으로 공격을 정교화하는 과정에서 마주치는 방어 체계에 대응하여 적응형 공격이 더욱 증가할 수 있습니다. 딥페이크 및 소셜 엔지니어링과 같은 기술이 발전함에 따라, 성공적인 탈옥 유도는 더욱 유해한 결과를 초래할 수 있습니다. 또한, LLM이 중요 시스템에 필수적이 됨에 따라 규제 환경이 변화하여 이러한 변화에 기반한 새로운 형태의 공격이 발생할 가능성이 있습니다.

방어력 통합, 공격자 물리치기

탈옥 공격의 진화는 LLM 및 지원 시스템의 무결성을 보호하기 위한 혁신적인 보안 조치의 필요성을 강조합니다. 개별적인 도구만으로 특정 취약점을 완화할 수는 있지만, 다면적인 위협을 반드시 해결하는 것은 아닙니다. 따라서 기관은 포괄적이고 통합된 보안 전략을 채택해야 합니다.

예를 들어, 다중 인증(MFA)과 같은 접근 제어를 구현하면 권한이 있는 직원만 LLM과 상호 작용하도록 할 수 있습니다. 암호화 기술은 액세스 토큰과 자격 증명을 더욱 안전하게 보호할 수 있습니다. 머신 러닝을 사용하는 이상 탐지 시스템은 LLM 상호 작용을 모니터링하고 탈옥 패턴을 실시간으로 식별할 수 있습니다. 또한 차등 개인정보 보호 기술은 데이터 출력에 통제된 노이즈를 추가하여 응답에 영향을 주지 않고 민감한 정보를 보호할 수 있습니다.

계층적 접근 방식은 하나의 방어 메커니즘이 실패하더라도 다른 방어 메커니즘이 시스템을 보호하기 위해 유지되도록 보장합니다. 개별적인 방어 체계를 넘어 통합 전략으로 전환하면 기관들이 강력한 탈옥 공격을 포함한 변화하는 사이버 위협으로부터 LLM을 더욱 효과적으로 보호하는 동시에, 이러한 모델을 중요한 임무의 일부로 계속 활용할 수 있습니다.

How to Protect LLMs from Jailbreaking Attacks

By Noah Fleischmann, Amy Wagoner, Ph.D., and Andre Nguyen, Ph.D.

 

Booz Allen examines how to strengthen model integrity

Federal agencies are increasingly integrating large language models (LLMs) like Llama-2 and ChatGPT into their operations to streamline tasks and answer questions. Engineers design these models to be “helpful and harmless” and refuse dangerous requests. Techniques like fine-tuning, reinforcement learning with human feedback, and direct preference optimization can further enhance model safety. But despite these measures, a critical LLM vulnerability continues to put AI systems at risk: jailbreak prompts.

Jailbreak prompts are specific inputs designed to trick LLMs into doing things they shouldn’t. These cleverly designed but malicious prompts can bypass even the most robust security measures, posing significant risks to federal operations.

To help address this challenge, Booz Allen is exploring new defenses against jailbreaking. These approaches can provide agencies with a significant mission advantage: they protect the LLM without hindering its ability to respond to benign prompts so that it can continue functioning as a driver of increased enterprise productivity.

How Jailbreaking Works

Adversaries craft jailbreak prompts to manipulate LLMs into revealing sensitive information, such as personally identifiable information, or generating harmful content, such as instructions for illegal activities (e.g., building a bomb, writing a phishing e-mail) or hate speech. Attackers employ a variety of creative techniques, including:

  • Role Play: Asking the AI to play a specific role or persona to bypass existing guardrails for divulging sensitive or protected information.
  • Attention Shifting: Distracting the AI to bypass its safety protocols.
  • Privilege Escalation: Gaining higher-level access within the AI’s system.
  • Prefix Injection: Adding specific phrases to manipulate the AI’s responses.
  • Refusal Suppression: Tricking the AI into ignoring its refusal protocols.
  • Word Games and Obfuscation: Using complex language to confuse the AI.
  • Multilingual Input and Ciphers: Using different languages or coded messages to bypass security.

How effective are these techniques? Research shows jailbreak prompts consistently achieve high attack success rates across various LLMs, including Vicuna, ChatGLM3, GPT-3.5, and PaLM2, underscoring their robustness and transferability despite safety measures. In addition, the automated tree of attacks with pruning (TAP) technique can provide prompts that successfully jailbreak mature LLMs for over 80% of prompts with just a few queries.

Why does jailbreaking work so well? It has to do with conflicting goals within LLMs. On the one hand, the models aim to be helpful by following instructions, but on the other, they need to adhere to safety guidelines to avoid causing harm. In other cases, it may be due to mismatched generalization. That is, the quantity of safety training data cannot fully represent the body of training data, which causes some attack scenarios to be missed. Today, we see a cycle where new jailbreak attacks emerge, prompting the development of new defenses in a never-ending game of cat and mouse.

Risk Scenarios for Government

Jailbreaking attacks on LLMs pose significant risks to federal agencies. Risks with relevance for national security include data breaches, privacy violations, spread of misinformation, manipulation of automated systems, and compromised decision-making processes.

Imagine a national emergency where a jailbroken LLM responds to prompts with false information about evacuation procedures, causing chaos and endangering lives. Or an attacker uses a jailbroken LLM to trigger a power outage in a major city by injecting malicious commands into a supervisory control and data acquisition system.

Jailbroken LLMs may also bring ethical and legal challenges. Compromised models could generate illegal content, exposing agencies to regulatory penalties. And if a jailbroken LLM produces discriminatory or offensive content that finds its way into an official report, the agency could suffer reputational damage and face lawsuits. 

Attack Types

Recent advances have enabled more powerful jailbreak prompts by modifying parts of the input text. Security practitioners call this process “perturbation.” Outside of generative AI, researchers have studied how these changes affect text classification problems, like sentiment analysis and toxicity detection. Since detecting harmful inputs and outputs is crucial, it’s important to consider adversarial classification attacks used alongside generative jailbreak prompts. Examples of perturbation-based attacks include:

  • Character-level perturbations (CLPs): Attackers randomly swap, insert, or delete prompt characters, targeting important words to change their mapping. This removes information the model uses to detect harmful prompts. CLPs may be mistaken for typographical errors or may be virtually invisible (e.g., homoglyphs).
  • Word-level perturbations (WLPs): Attackers substitute important words with synonyms or out-of-vocabulary words to significantly change the model’s behavior.
  • Sentence-level perturbations (SLPs): Attackers rephrase or change the prompt to keep its original meaning but confuse the model. Adding irrelevant sentences or using “roundtrip” translations from one language to another and back are common methods.
  • Greedy coordinate gradient (GCG) attacks: GCG attacks maximize the chances that a harmful prompt will produce a targeted affirmative response through the creation of suffixes—strings of seemingly random characters and words—that help bypass the model’s safety features.

Defenses Against Jailbreaking

Evaluating jailbreaks is very difficult, and mistakes (false positives and false negatives) will happen with any system. While alternative methods, such as using auxiliary models, may decrease the false positive and false negative rate compared to string matching, questions still arise about categorizing samples where the model does not understand the prompt or returns a partial refusal/compliance. Even the terms “partial refusal” and “partial compliance” can be controversial because researchers might disagree on when an output becomes harmful.

Developing a strong defense against jailbreak attacks has also proven challenging due to the variety of models and attack types. Many current defenses target specific types of jailbreaks and often use similar perturbation strategies as the attacks. Some defenses use WLPs and SLPs to reduce the impact of jailbreak prompts. Another approach uses CLPs to minimize the effect of GCG suffixes by randomly changing characters in the adversarial suffix.

However, this method struggles to automatically distinguish between the original prompt and the suffix. The SmoothLLM algorithm, for example, perturbs a percentage of the entire input, including the suffix, rather than isolating the suffix alone. While effective against jailbreak prompts, this approach can alter the original prompt enough to cause comprehension or readability issues for benign prompts.

Looking at Alternatives

Booz Allen is exploring new approaches that preserve the original prompt’s meaning while thwarting some jailbreak attacks, including adversarial suffixes. They do this by removing less meaningful characters (including punctuation, but not spaces) from the prompt.

Why is this effective? Consider that jailbreak prompts often include Cyrillic characters, emojis, invisible characters, ASCII art, code syntax, and other uncommon characters. By eliminating these, this approach reduces the effectiveness of the attack. Specifically, GCG suffixes, which consist of random characters and strings, become less effective when these characters are removed.

Unlike SmoothLLM, this approach leaves the original prompt mostly intact, removing only punctuation, which does not hinder the LLM’s ability to comprehend and respond appropriately. This capability helps prevent disruptions in the use of LLMs for mission applications.

How Jailbreaks Are Changing

In the near term, jailbreaking attacks on LLMs will become more sophisticated, with adversaries potentially bypassing safety mechanisms through token manipulation and adversarial prompt engineering. Automated tools for generating adversarial inputs may proliferate, allowing inexperienced attackers to craft effective jailbreaks. And targeted attacks exploiting specific vulnerabilities within LLM architectures or datasets may also increase.

Over the long term, adaptive attacks could further increase in response to encountered defenses, with machine learning used to refine attacks in real time. With improving technologies like deepfakes and social engineering, successful jailbreak prompts might lead to more harmful outputs. In addition, as LLMs become integral to critical systems, the regulatory landscape could shift, potentially giving rise to new forms of attacks based on these changes.

Integrating Defenses, Defeating Attackers

The evolution in jailbreak attacks underscores the need for innovative security measures to safeguard the integrity of LLMs and supported systems. While isolated tools can mitigate specific vulnerabilities, they don’t necessarily address multifaceted threats. As a result, agencies should adopt a comprehensive, integrated security strategy.

For example, implementing access controls like multifactor authentication can help ensure that only authorized personnel interact with LLMs. Cryptographic techniques can further secure access tokens and credentials. Anomaly detection systems that use machine learning can monitor LLM interactions and identify jailbreak patterns in real time. And differential privacy techniques can add controlled noise to data outputs, protecting sensitive information without affecting responses.

A layered approach ensures that, even if one defense mechanism fails, others remain in place to protect the system. Moving beyond isolated defenses to an integrated strategy can help agencies more effectively safeguard LLMs against shifting cyber threats, including potent jailbreaking attacks, while continuing to harness these models as part of critical missions.

[출처] https://www.boozallen.com/insights/ai-research/how-to-protect-llms-from-jailbreaking-attacks.html

Loading

Category: stechstar.com 운영정보, 경영 및 창업, 업무참고자료 | LEAVE A COMMENT
29 11월 2025

[사회과학] [박진영의 사회심리학] 외로움을 줄이는 작은 용기

[사회과학] [박진영의 사회심리학] 외로움을 줄이는 작은 용기

[박진영의 사회심리학] 외로움을 줄이는 작은 용기

입력2025.11.29. 오전 8:01
게티이미지뱅크 제공

게티이미지뱅크 제공

외로움이 하루에 담배를 15개비 피는 것만큼 해롭다는 이야기가 나올 만큼 외로움이 행복과 건강(심혈관 질환, 뇌졸중, 치매, 수명 등)에 미치는 악영향은 널리 알려져 있다. 문제는 어떻게 하면 외로움을 줄일 수 있느냐다.

데이지 브랜드 조지아대 연구자 등은 콘서트, 피트니스 클래스, 워크숍 등 다양한 모임과 이벤트에 참여한 사람들을 대상으로 모임의 어떤 특성들이 모임 전에 비해 모임 이후 사람들의 외로움을 줄여주고 다른 사람들과 연결되었다는 느낌을 주는지에 대해 살펴보았다.

그 결과 우선 온라인보다는 오프라인 이벤트에 참여하는 것이, 또 수동적이기보다 능동적으로 참여하는 것이(가만히 있기보다 다른 사람들과 이야기를 나누는 등) 사람들과 연결되어 있다는 느낌을 더 많이 주는 것으로 나타났다. 특히 모임에서 주변 사람들과 능동적으로 교류하려고 애쓰는지 여부가 외향성보다도 더 사회적 연결감을 잘 설명하는 것으로 나타났다.

그 외에도 이벤트에 혼자 참여하기보다는 다른 사람들과 함께 참여하는 것, 일회성보다는 다회성 이벤트에 반복해서 참여하는 것이 외로움 감소와 관련을 보였다.

무엇보다 사람들과 적극적으로 이야기를 나누고 공통점을 발견하는 능동적인 과정들이 사회적 연결감은 높이고 외로움을 줄이는 것으로 보인다는 데에서 결국 외로움을 줄이는 데에 간편한 방법은 없고 ‘시간’과 서로를 알아가려는 ‘노력’이 가장 중요함을 재차 확인한 듯 보인다.

그도 그럴 것이 외로움은 심심함이나 쓸쓸함과는 달리 간단한 자극으로 쉽게 해소되지 않는 ‘깊은 유대감’에 대한 배고픔이다. 예를 들어 외로움과 큰 관련을 보이는 지표들은 인간관계의 ‘양’이 아니라 ‘질’이다. 친구가 백 명, 천 명 있어도 그중에 단 한 명이라도 마음을 나누고 의지할 수 있는 사람이 없다면 외로움을 느끼는 반면 친구가 많지 않더라도 진짜 마음을 터놓고 의지할 사람이 한두 명 있으면 외롭지 않을 수 있다.

그렇다 보니 외로움을 해소하는 데 피상적인 교류보다 시간과 노력이 많이 들어가는 능동적인 교류 방식이 효과적이라는 것은 당연한 발견인 것 같기도 하다. 누군가를 알아가고 마음 깊이 통한다는 사실을 확인하는 데까지는 많은 시간과 노력이 필요하기 때문이다.

물론 수동적으로 많은 시간을 함께 보낸다고 해서 서로를 더 잘 알게 되는 것도 아니다. 평생을 부대껴온 가족이라고 해서 서로의 생각과 마음을 속속들이 아는 ‘가까운 사이’인 것은 아닌 것처럼 옆에 있어도 능동적으로 대화하고 다가가는 시도들을 하지 않으면 가깝고도 먼 사이로 남을 수밖에 없다. 중요한 것은 조금이라도 더 다가가려고 하고 조금이라도 더 마음을 나누려고 하는 시도일 것이다.

물론 만나는 모든 사람들과 깊은 관계가 되는 것은 불가능하고 만약 가능하다고 해도 꼭 가까워져야 하는 것은 아니다. 하지만 지금 외롭다면 적어도 깊은 관계에 대한 허기를 느끼고 있음을 인식하는 것은 좋을 것 같다. 내 마음이 깊은 관계를 갈망하고 있다는 것을 알면 적어도 놓치면 후회할 것 같은 사람들이 있을 때 조금 더 다가가려는 노력을 하게 될지도 모르니까.

Brand, D. R., Proctor, A. S., Harvey, M. W., Abney, D. H., Slatcher, R. B., & Holt-Lunstad, J. (2025). Actively participating in live events as an avenue for social connection. Social Psychological and Personality Science. Advance online publication. https://doi.org/10.1177/19485506251360041

※필자소개
박진영 《나, 지금 이대로 괜찮은 사람》, 《나를 사랑하지 않는 나에게》를 썼다. 삶에 도움이 되는 심리학 연구를 알기 쉽고 공감 가도록 풀어낸 책을 통해 독자와 꾸준히 소통하고 있다. 온라인에서 ‘지뇽뇽’이라는 필명으로 활동하고 있다. 현재 미국 듀크대에서 사회심리학 박사 과정을 밟고 있다.

박진영 심리학 칼럼니스트 parkjy0217@gmail.com

[출처] https://n.news.naver.com/article/584/0000035522?sid=110

Loading

Category: 사회포인트, 알아봅시다 | LEAVE A COMMENT
28 11월 2025

[인공지능 기술] “LLM 버블 내년 붕괴…범용거대모델 아닌 버티컬 AI 뜰 것”

[인공지능 기술] “LLM 버블 내년 붕괴…범용거대모델 아닌 버티컬 AI 뜰 것”

“LLM 버블 내년 붕괴…범용거대모델 아닌 버티컬 AI 뜰 것”

김민석 기자2025. 11. 25. 15:59
 
오픈소스 AI 1위 플랫폼 CEO “거대범용 AI 집착 비효율적”
최상위 모델 독식 우려도…”오픈AI·앤트로픽 최대주주 MS·구글”

제미나이 모델 이미지 생성 요청 이미지

제미나이 모델 이미지 생성 요청 이미지

(서울=뉴스1) 김민석 기자

“인공지능(AI) 버블이 아닌 LLM 버블이 내년 붕괴할 수 있습니다.”

26일 IT 업계에 따르면 세계 최대 AI 오픈소스 플랫폼 허깅페이스의 클렘 델랑그 CEO가 “범용 거대 모델에 자금과 관심이 지나치게 집중돼 비효율적인 상황”이라며 이같이 말했다.

델랑그는 18일(현지시간) Axios BFD 서밋에서 “범용 거대 모델로 모든 기업·사람의 문제를 해결할 수 있다는 아이디어에 관심과 자금이 모두 집중돼 있다”며 “현실에선 막대한 연산 자원을 투입한 하나의 모델이 아닌 분야별 특화 모델이 문제를 해결하게 될 것”이라고 지적했다.​

이어 “지금 많은 사람들이 서둘러(또는 심지어 패닉에 빠져) 아주 단기적인 접근을 하고 있다고 생각한다”며 “AI 업계에 15년 종사하면서 이런 사이클들을 봐왔다”고 했다.

델랑그가 강조한 버티컬 AI(의료·법률·금융 등 특정 산업에 특화한 AI) 성장 추세는 시장조시기관의 분석 보고서에서도 확인된다. 글로벌마켓인사이츠에 따르면 버티컬 AI(의료·법률·금융 등 특정 산업에 특화한 AI) 시장 규모는 2024년부터 2034년까지 연평균 21.6% 성장할 것으로 전망했다.

베세머벤처파트너스는 버티컬 AI 시장 규모가 기존 버티컬 SaaS의 최소 10배에 달할 것으로 내다봤다. 버티컬 AI 스타트업 경우 기존 SaaS 시스템 연간계약가치(ACV)의 약 80%에 달하는 금액을 받으며 연 400% 성장하고 있다고 분석했다.

델랑그는 이를 토대로 LLM 버블이 붕괴하더라도 허깅페이스는 건재할 것으로 자신했다.

그는 “AI 산업은 충분히 다각화돼 있어 LLM 같은 일부 영역이 과대평가됐더라도 전체 AI 분야나 우리 회사에 큰 영향을 미치진 않을 것”이라고 했다.

퍼플렉시티 AI 이미지 생성 요청 이미지

퍼플렉시티 AI 이미지 생성 요청 이미지

반면 미래 소프트웨어 비즈니스는 독립 앱·플랫폼이 아닌 AI 에이전트에 탑재되는 형태의 버티컬 AI 구조로 재편될 것이란 전망도 나온다.

앞서 사티아 나델라 MS CEO 등을 비롯한 IT 기술 리더들은 AI 에이전트 기술아 고도화할수록 기존 독립 플랫폼·앱 체제는 점차 붕괴할 것으로 예상했다.

반면 AI 소프트웨어 기업들은 버티컬 AI와 기존 SaaS 체제가 공존할 것으로 전망하고 있어 논쟁이 현재 진행형이다.

이와 관련 베인앤컴퍼니는 “파괴는 필수지만 파괴 대상일지 아닐지는 상황에 따라 다를 것”이라며 “AI 에이전트가 기존 시장의 영역을 통합하는 측면이 있지만, 일부는 별도 상품화가 지속되고 기존 빅테크에게 유리한 때도, 스타트업에 유리할 때도 있을 것”이라고 했다.

오픈AI는 AI 에이전트 서비스에 적합한 단말기를 직접 개발하고 있다. 올해 3월엔 AI 에이전트 전용 소프트웨어 개발 플랫폼 ‘리스폰스 API’를 출시했다. 리스폰스 API는 기존 ‘어시스턴트 API’를 내년 8월 26일까지 순차적으로 대체할 예정이다.

스타트업 CEO인 자인 재퍼는 “버티컬 AI 시장을 겨냥한 우리 모두 오픈AI·앤트로픽·MS·구글이 만들어 놓은 플랫폼 위에서 모델을 구축하고 있다”며 우려했다.

타임지는 “오픈AI 최대 투자자는 MS, 앤트로픽의 최대주주는 아마존과 구글”이라며 “빅테크 기업들이 AI 인프라부터 앱까지 수직 통합을 추구하고 있다”고 했다.

ideaed@news1.kr

<용어설명>

■ LLM
Large Language Model. 대규모 언어 모델. 자연어 처리(NLP) 작업을 수행할 수 있는 머신 러닝 모델을 말한다. 자연어의 복잡성을 이해할 수 있어 기존 기계 학습 알고리즘보다 정확하다.

■ SaaS
SaaS(서비스형 소프트웨어·Software as a Service)는 소프트웨어를 인터넷 서비스 형태로 제공하는 클라우드 기반 소프트웨어 모델이다. 이용자는 별도 프로그램 설치 또는 서버 구축 없이 웹 브라우저로 소프트웨어를 활용할 수 있다.

■ 리스폰스 API
리스폰스 API(Responses API)는 오픈AI가 2025년 3월 11일 출시한 AI 에이전트 구축을 위한 새로운 API 인터페이스입니다. Chat Completions API의 진화 버전으로 에이전트 애플리케이션 개발에 특화됐다.

[출처] https://v.daum.net/v/20251125155911706

 
 
 
 
 

Loading

Category: 사회포인트, 알아봅시다 | LEAVE A COMMENT
26 11월 2025

[AI 서비스 보안] Google Antigravity가 간접 프롬프트 인젝션 공격을 통해 데이터를 유출함

[AI 서비스 보안] Google Antigravity가 간접 프롬프트 인젝션 공격을 통해 데이터를 유출함 

Google Antigravity가 간접 프롬프트 인젝션 공격을 통해 데이터를 유출함

 (promptarmor.com)

1P by GN⁺ 9시간전 | ★ favorite | 댓글 1개
  • Google의 새로운 에이전트형 코드 편집기 Antigravity가 간접 프롬프트 인젝션을 통해 사용자의 자격 증명과 코드를 외부로 유출할 수 있음
  • 공격은 Gemini가 악성 웹페이지의 숨겨진 명령을 읽고, 브라우저 하위 에이전트(subagent) 를 호출해 데이터를 전송하는 방식으로 이루어짐
  • Gemini는 기본 설정상 접근이 차단된 .env 파일 보호를 우회해 자격 증명을 읽고, 이를 webhook.site 도메인으로 전송함
  • 기본 허용 목록(Allowlist) 에 위험한 도메인이 포함되어 있어, 브라우저 하위 에이전트가 악성 URL을 정상적으로 열어버림
  • Google은 이러한 데이터 유출 위험을 인지하고 경고 문구를 제공하지만, 기본 설정 구조상 사용자가 모든 에이전트 동작을 감시하기 어렵다는 점이 지적됨

공격 개요

  • Antigravity는 Google이 개발한 에이전트형 코드 편집기로, Gemini 모델을 통해 코드 작성과 실행을 지원
  • 연구팀은 Oracle ERP의 AI Payer Agents 통합 예시를 이용해 공격 시나리오를 구성
    • 사용자가 온라인에서 찾은 구현 가이드를 Gemini에 제공
    • 해당 웹페이지에 1포인트 글씨로 숨겨진 프롬프트 인젝션이 포함되어 있음
  • 이 인젝션은 Gemini에게 다음을 수행하도록 유도
    • 사용자 코드와 자격 증명 수집
    • 공격자가 제어하는 URL 생성
    • 브라우저 하위 에이전트를 통해 해당 URL 접속

공격 체인 상세

  • Gemini는 인젝션을 읽고, 이를 도구 실행 요청으로 오인
    • 코드베이스와 .env 파일의 내용을 수집하려 시도
  • 기본 설정상 .gitignore에 포함된 파일은 접근이 차단되어 있으나, Gemini는 이를 우회
    • ‘cat’ 명령어를 사용해 .env 파일 내용을 터미널에 출력
  • 이후 Gemini는 공격자 지시에 따라 URL 인코딩된 자격 증명과 코드 조각을 포함한 악성 URL을 생성
    • URL은 webhook.site 도메인을 사용하며, 공격자가 요청 로그를 실시간으로 확인 가능
  • Gemini는 브라우저 하위 에이전트를 호출해 해당 URL을 열고, 이 과정에서 데이터가 외부로 전송됨
    • 기본 설정에서 ‘Enable Browser Tools’가 활성화되어 있어 실행 가능
    • ‘Browser URL Allowlist’에 webhook.site가 기본 포함되어 있어 차단되지 않음
  • 결과적으로 공격자는 webhook.site 로그를 통해 AWS 자격 증명과 비공개 코드 조각을 획득

Antigravity 기본 설정

  • 온보딩 과정에서 사용자는 기본 권장 설정을 그대로 수락하도록 유도됨
    • Artifact > Review Policy > Agent Decides: Gemini가 인간 검토 필요 여부를 자체 판단
    • Terminal Command Auto Execution Policy > Auto: 명령 실행 시 자동 수행
  • 이러한 설정은 Gemini가 인간 개입 없이 명령을 실행할 수 있게 함

에이전트 관리 구조

  • Antigravity의 Agent Manager 인터페이스는 여러 에이전트를 동시에 실행하고, 사용자가 나중에 확인할 수 있도록 설계
    • 대부분의 에이전트가 백그라운드에서 비감시 상태로 실행됨
    • 이로 인해 프롬프트 인젝션에 감염된 에이전트가 사용자 개입 없이 악성 행위를 수행할 가능성 존재

Google의 위험 인지

  • Google은 Antigravity 초기 실행 시 데이터 유출 위험에 대한 경고 문구를 표시
  • 그러나 연구팀은 다음 두 가지 이유로 사용자 보호가 충분하지 않다고 지적
    1. Agent Manager가 다중 에이전트를 동시에 실행하도록 설계되어 실시간 감시가 어려움
    2. 기본 설정이 인간 검토를 생략하도록 되어 있음
  • Google이 이미 이러한 위험을 인지하고 있음을 확인했기에, 연구팀은 책임 있는 공개 절차를 진행하지 않음

요약

  • Antigravity의 간접 프롬프트 인젝션 취약점은 Gemini와 브라우저 하위 에이전트의 상호작용을 악용해 민감 데이터 유출을 초래
  • 기본 보안 설정의 허점과 자동화된 에이전트 구조가 공격 성공 가능성을 높임
  • Google은 위험을 경고하지만, 근본적 완화 조치는 아직 제시되지 않음

[출처] https://news.hada.io/topic?id=24614 

Loading

Category: 업무참고자료, 학습자료 | LEAVE A COMMENT
26 11월 2025

[인공지능 기술] AI 에이전트 개발을 멈추고, 더 똑똑한 LLM 워크플로우를 써라 

[인공지능 기술] AI 에이전트 개발을 멈추고, 더 똑똑한 LLM 워크플로우를 써라 

AI 에이전트 개발을 멈추고, 더 똑똑한 LLM 워크플로우를 써라

 (decodingml.substack.com)

63P by neo 5달전 | ★ favorite | 댓글 6개
  • LLM 기반 시스템을 만드는 대부분의 팀 모두가 에이전트(Agent)부터 만들려고 하지만, 대부분은 복잡성, 조정 불가, 디버깅 난이도로 인해 쉽게 무너짐
  • 기억, RAG, 도구 사용, 워크플로 제어가 모두 필요한 진짜 에이전트 패턴은 실제론 드물고, 대부분의 문제는 단순 워크플로우(체이닝, 병렬화, 라우팅 등) 로 더 효과적으로 해결 가능
  • 현실에서 유용한 5가지 LLM 워크플로 패턴을 먼저 적용할 것을 권장하며, 에이전트는 정말 필요할 때만 신중하게 사용할 것
    • 프롬프트 체이닝, 병렬화, 라우팅, 오케스트레이터-워커, 평가자-최적화
  • 에이전트가 필요한 경우도 결국 사람의 관여와 명확한 제어, 관측 가능성(Observability) 이 핵심임

AI 에이전트, 정말 필요한가?

잘못된 시작: 왜 모두가 에이전트에 집착하는가

  • 많은 팀이 LLM 프로젝트 시작 시 에이전트, 메모리, 라우팅, 툴 사용, 캐릭터성 등 복잡한 구조를 우선적으로 도입함
  • 실제로 구성해보면, 에이전트 간 협업, 도구 선택, 장기 메모리 등 다양한 부분에서 지속적인 이상 동작과 실패가 빈번하게 발생함
  • 예시로 CrewAI 기반 연구 에이전트 프로젝트에서 각 역할(리서처, 요약자, 코디네이터)이 예상된 만큼 협력하지 못하고 속수무책으로 무너짐을 경험함

에이전트란 무엇인가?

  • LLM 시스템의 4가지 특성: 메모리, 정보 검색(RAG), 툴 사용, 워크플로 제어
  • 마지막 워크플로 제어(LLM이 다음 단계 또는 도구 사용 여부를 직접 결정)는 에이전트적 특성이라 불림
  • 실제 대부분의 업무에서는 단순한 워크플로(체이닝, 라우팅 등) 가 더 높은 안정성을 보임

에이전트 대신 써야 할, 실전에서 유용한 LLM 워크플로 패턴

1. 프롬프트 체이닝(Prompt Chaining)

  • 설명: 여러 작업을 일련의 단계(체인)로 분할하여, 각 단계를 순차적으로 LLM이 처리하도록 설계함
  • 예시: LinkedIn 프로필에서 이름, 직함, 회사 정보를 추출 → 해당 회사의 추가 정보(미션, 채용 등) 추가 → 프로필+회사 정보를 바탕으로 맞춤형 이메일 작성
  • 장점: 각 단계가 명확히 분리되어 있어 버그 발생 시 쉽게 원인 추적/수정 가능, 디버깅과 유지보수에 유리함
  • 가이드라인:
    • 순차적으로 연결되는 태스크에 적합
    • 한 단계라도 실패하면 전체 체인이 무너질 수 있음
    • 작은 단위의 작업으로 분할하면, 예측 가능한 결과와 쉬운 디버깅 가능

2. 병렬화(Parallelization)

  • 설명: 여러 독립적인 작업을 동시에 실행하여 전체 프로세스의 속도를 높임
  • 예시: 여러 명의 프로필에서 각각 학력, 경력, 스킬 등 여러 항목을 병렬로 추출해 전체 처리 시간 단축
  • 장점: 독립적 데이터 추출/처리 등에서 대규모 데이터에도 효율적, 분산처리 환경과 잘 어울림
  • 가이드라인:
    • 각 작업이 상호 독립적이고, 동시에 실행하면 전체 속도가 크게 향상됨
    • 병렬 실행 중 race condition, 타임아웃 등 예외 상황에 주의 필요
    • 대량의 데이터 처리, 여러 소스 동시 분석에 적합

3. 라우팅(Routing)

  • 설명: 입력 데이터를 LLM이 분류(classification)해서 각각에 맞는 워크플로로 자동 분기
  • 예시: 고객지원 도구에서 입력 내용이 제품 문의, 결제 이슈, 환불 요청인지 분류 후 해당 워크플로로 자동 처리, 유형이 모호하면 기본 핸들러로 전달
  • 장점: 입력 유형별로 전문화된 처리 로직을 적용해 다양한 케이스를 깔끔하게 분리
  • 가이드라인:
    • 서로 다른 입력 유형/상황별로 별도 처리가 필요할 때 활용
    • 경계 케이스나 예외 상황에서는 라우팅이 실패하거나 빠짐 현상 발생 가능
    • 미분류/예외 상황을 위한 catch-all 핸들러 반드시 설계

4. 오케스트레이터-워커(Orchestrator-Worker)

  • 설명: 오케스트레이터 역할의 LLM이 작업을 분해/판단해 워커(실행 LLM)에게 세부 작업을 위임, 전체 흐름과 순서를 직접 제어함
  • 예시: 타깃 프로필을 tech/non-tech로 분류 → tech라면 전문 워커에게 이메일 생성 위임, non-tech라면 다른 워커에게 위임
  • 장점: 의사결정(분류/판단)과 실행(개별 처리) 분리, 동적 플로우 제어와 확장에 유리
  • 가이드라인:
    • 각 태스크마다 전문적 핸들링이 필요한 경우, 복잡한 분기와 단계별 조율에 적합
    • 오케스트레이터가 태스크를 잘못 분해하거나 위임하면 전체 플로우에 오류 발생
    • 로직을 명시적으로 단순하게 유지하고, 위임/순서/종료 조건을 명확히 설계

5. 평가자-최적화(Evaluator-Optimizer)

  • 설명: LLM이 결과물을 평가하고(스코어/피드백), 기준에 미달하면 반복적으로 수정/개선하는 구조
  • 예시: 이메일 초안 생성 → 평가자가 품질 점수/피드백 → 일정 기준 이상 만족/최대 반복 횟수 초과시 종료, 아니면 다시 수정
  • 장점: 최종 산출물의 품질을 목표 수준까지 반복 개선 가능, 정량적 기준 활용에 유리
  • 가이드라인:
    • 속도보다 품질이 중요한 상황, 반복 최적화가 필요한 워크플로에 적합
    • 종료 조건이 없으면 무한 반복에 빠질 수 있음
    • 명확한 품질 기준과 반복 제한 설정 필수

에이전트가 정말 필요한 경우

  • 사람의 실시간 개입(Human-in-the-loop)이 보장되는 환경에서 에이전트가 진가를 발휘함
    • 예시1: 데이터 사이언스 보조 – SQL 쿼리, 시각화, 데이터 분석 추천 등에서 LLM이 창의적으로 시도하고, 사람이 결과를 판단/수정
    • 예시2: 크리에이티브 파트너 – 문구 아이디어, 헤드라인 제안, 텍스트 구조 추천 등에서 사람의 방향 수정과 품질 심사가 핵심
    • 예시3: 코드 리팩토링 조수 – 디자인 패턴 제안, 에지 케이스 탐지, 코드 최적화 등에서 개발자가 승인/보완
  • 특징: 에이전트가 “모든 걸 알아서” 처리하는 게 아니라, 사람이 실시간으로 오류/방향을 잡아주는 환경에서 가장 효과적

에이전트가 적합하지 않은 경우

  • 엔터프라이즈·미션 크리티컬 시스템(금융, 의료, 법률 등):
    • 자동화의 신뢰성·결정론적 동작이 중요하므로, LLM 에이전트가 판단하는 구조는 위험
    • 오케스트레이터, 라우팅 등 명확한 제어 패턴을 활용해야 함
  • 안정성과 예측 가능성이 중요한 모든 상황
    • 비정상적 사례: 에이전트가 맥락/메모리 없이 도구 선택을 반복적으로 잘못하거나, 분업/조정이 실패해 전체 플로우가 무너지는 문제
  • 실무에서 빈번하게 발생하는 에이전트 시스템의 실패 요인
    • 명시적 메모리 시스템 미설계로 맥락 누락
    • 도구 선택 제약 부족(불필요한/잘못된 툴 사용)
    • 자유로운 위임 구조만 의존해 협업 조정 실패

실무 설계 시 교훈

  • 에이전트 도입 시에도 “완성도 높은 소프트웨어 시스템” 수준의 설계·관측성·제어 체계가 반드시 필요
  • 복잡한 에이전트 프레임워크보다, 관측 가능성(Observability), 명확한 평가 루프, 직접 제어 가능한 구조로 설계하는 것이 더 빠르고 안전함

결론(TL;DR)

  • 에이전트는 과대평가/과잉 활용되는 경우가 많음
  • 대부분의 실전 과제는 단순 워크플로 패턴이 더 적합
  • 에이전트는 “사람이 직접 관여하는” 환경에서 진가 발휘
  • 안정적 시스템에선 오히려 위험 요소
  • 관측 가능성과 명시적 제어, 반복 평가 구조로 설계할 것
  • 복잡한 에이전트 프레임워크 대신, 관측성, 명확한 평가 루프, 직접 제어 가능한 구조로 설계하는 것이 실제로 더 빠르고 안전한 LLM 기반 서비스 개발의 비결임

[출처] https://news.hada.io/topic?id=21853

Loading

Category: 경영 및 창업, 업무참고자료, 학습자료 | LEAVE A COMMENT
24 11월 2025

[google 안티그래피티] [알아봅시다] Google Antigravity – 에이전트 시대에 어울리는 새로운 AI 기반 IDE 

[google 안티그래피티] [알아봅시다] Google Antigravity – 에이전트 시대에 어울리는 새로운 AI 기반 IDE 

Google Antigravity – 에이전트 시대에 어울리는 새로운 AI 기반 IDE

 (antigravity.google)

15P by GN⁺ 6일전 | ★ favorite | 댓글 5개
  • 에이전트 중심의 AI 기반 개발환경으로, 복잡한 소프트웨어 작업을 자율적으로 계획·실행할 수 있는 Google의 통합 IDE 플랫폼
  • Gemini 3 모델을 기반으로, 브라우저 제어·비동기 상호작용·에이전트 관리 기능을 결합한 복합 개발 워크플로우로 차세대 IDE 형태 구현
  • 자연어 코드 명령, 탭 자동완성, 상황 인식형 에이전트를 제공해 개발 효율 향상
  • 에이전트 활동 모니터링, 검증 결과 시각화, 피드백 통합 등으로 사용자가 에이전트의 작업을 검증하고 협업할 수 있어 신뢰성과 협업성 강화
  • Manager와 Editor 두 가지 인터페이스를 통해 동기·비동기 작업을 유연하게 전환하며, 여러 에이전트를 병렬로 관리 가능
  • 현재 MacOS, Linux, Windows에서 무료 공개 미리보기로 제공되며, Gemini 3, Claude Sonnet 4.5, GPT-OSS 모델을 선택적으로 활용 가능

Google Antigravity 개요

  • Google Antigravity는 AI IDE(Core) 로, 개발자가 코드 작성과 관리 과정에서 에이전트 중심의 자동화 기능을 활용할 수 있는 환경 제공
    • 기존 IDE를 넘어, 에이전트가 자율적으로 소프트웨어 개발 전 과정을 수행할 수 있도록 설계
    • 브라우저 제어와 비동기 상호작용을 지원해, 사용자가 직접 개입하지 않아도 복잡한 작업을 처리 가능
    • 탭 자동완성(tab autocompletion) , 자연어 코드 명령(natural language code commands) , 상황 인식형 구성 에이전트(context-aware configurable agent) 기능 포함
  • 사용자 신뢰 구축을 목표로 설계되었으며, 대규모 기업 코드베이스에서 일하는 전문가부터 취미 개발자까지 모두를 대상으로 함
  • Antigravity는 공개 미리보기(public preview) 형태로 무료 제공되며, Gemini 3 Pro 사용에 관대한 레이트 리밋 제공

개발 배경

  • Gemini 3 수준의 모델은 장시간 개입 없이 여러 환경에서 지속적으로 작업 수행 가능
  • 이에 따라, 사용자와 에이전트 간의 상호작용 방식이 단일 프롬프트 중심에서 고차원적 추상화 수준으로 이동
  • Antigravity는 이러한 변화에 맞춰 새로운 제품 인터페이스를 제시

핵심 원칙 (Core Tenets)

Antigravity는 신뢰(Trust) , 자율성(Autonomy) , 피드백(Feedback) , 자기개선(Self-improvement) 네 가지 원칙을 중심으로 구성

  • 신뢰 (Trust)

    • 기존 제품은 모든 에이전트 동작을 노출하거나, 결과만 보여주는 양극단 구조
    • Antigravity는 작업 단위(Task-level) 로 맥락을 제공하고, 검증 결과와 산출물(Artifacts) 을 함께 제시
      • 산출물에는 작업 목록, 구현 계획, 단계별 설명, 스크린샷, 브라우저 녹화 등이 포함
      • 사용자는 이를 통해 에이전트의 사고 과정과 검증 절차를 확인 가능

  • 자율성 (Autonomy)

    • 에디터, 터미널, 브라우저 간 동기화된 에이전트 제어(synchronized agentic control) 지원
    • 기본 인터페이스는 AI 기반 IDE(Editor view) 로, 탭 자동완성·인라인 명령·사이드패널 에이전트 기능 포함
    • Gemini 3 모델을 활용해, 에이전트가 코드 작성·로컬 실행·브라우저 테스트를 자율적으로 수행
    • Manager view에서는 여러 에이전트를 병렬로 관리하며, 비동기적 상호작용 지원
      • 예: 한 에이전트가 백그라운드 리서치를 수행하는 동안, 다른 작업을 전면에서 진행 가능
    • Editor와 Manager 간 즉시 전환이 가능하도록 설계되어, 비동기 개발 시대에 최적화

  • 피드백 (Feedback)

    • 원격형 에이전트의 한계를 보완하기 위해 직관적 피드백 시스템 도입
      • 텍스트 산출물에는 Google Docs 스타일의 주석, 시각적 산출물에는 선택·코멘트 기능 제공
      • 피드백은 에이전트 실행 중에도 자동 반영되어, 프로세스를 중단하지 않음
    • 다양한 인터페이스와 산출물 전반에서 피드백을 직관적으로 통합하고, 이를 통해 에이전트의 작업을 지속적으로 개선 및 조정

  • 자기개선 (Self-improvement)

    • Antigravity는 학습을 핵심 기능으로 내재화
      • 에이전트의 모든 행동은 지식 베이스에 저장·활용되어, 과거 작업으로부터 학습
      • 코드 스니펫, 아키텍처 정보, 작업 절차 등 명시적·추상적 지식을 모두 축적
      • 사용자는 Agent Manager에서 이러한 지식 항목을 확인 가능

개발자 유형별 활용 사례

  • Frontend Developer
    • 브라우저 기반 에이전트를 활용해 반복 작업을 자동화하고 UX 개발 효율 향상
  • Full Stack Developer
    • 완성도 높은 산출물과 포괄적 검증 테스트를 통해 프로덕션 수준 애플리케이션 구축 지원
  • Enterprise Developer
    • Agent Manager를 이용해 여러 워크스페이스의 에이전트를 조율, 작업 전환(context switching) 감소 및 운영 효율화

사용 및 접근

  • Google Antigravity는 현재 무료 공개 미리보기(Public Preview) 로 제공
    • MacOS, Linux, Windows 지원
    • Gemini 3, Claude Sonnet 4.5, GPT-OSS 모델을 선택적으로 사용 가능
    • 무제한 탭 자동완성, 무제한 명령 요청, 넉넉한 Rate Limit 제공
  • 추가 기능과 사례는 공식 문서(docs) 및 사용 사례(use cases) 페이지에서 확인 가능
  • 업데이트는 X, LinkedIn, YouTube 공식 채널을 통해 지속 발표 예정
  • 팀/엔터프라이즈 플랜도 공개 예정

[출처] https://news.hada.io/topic?id=24462&utm_source=weekly&utm_medium=email&utm_campaign=202547

Loading

Category: 경영 및 창업, 기술자료, 업무참고자료, 학습자료 | LEAVE A COMMENT
23 11월 2025

[인공지능 기술] ▲ AI를 도입해도 생산성이 폭발적으로 늘지 않는 이유

[인공지능 기술] ▲ AI를 도입해도 생산성이 폭발적으로 늘지 않는 이유

AI를 도입해도 생산성이 폭발적으로 늘지 않는 이유 [번역글]

 (blogbyash.com)

26P by ashbyash 4일전 | ★ favorite | 댓글과 토론

1. 브린욜프슨의 생산성 역설, GenAI 시대 버전

  • 1990년대 IT·PC 도입 때도 투자 대비 생산성 지표는 거의 오르지 않았고, 조직 개편·업무 재설계·스킬 변화 같은 보완재가 없으면 기술만으로는 생산성이 안 오른다는 것이 브린욜프슨 생산성 역설의 핵심.
  • 지금도 생성형 AI가 폭발적으로 도입됐지만, 경제 전체 생산성이나 기업의 구조적 변화는 제한적이며, 이 글은 이를 “High Adoption, Low Transformation”으로 요약.

2. MIT NANDA: GenAI Divide(생성 AI 격차)

  • MIT NANDA 보고서는 수십억 달러가 GenAI에 투자됐지만 “실질적인 사업 가치(ROI)를 내는 기업은 약 5%뿐, 나머지 95%는 수익·생산성 개선이 없다”는 GenAI Divide 개념을 제시.
  • 이 격차는 기술력보다 “학습·기억·적응이 되는 에이전트형 시스템을 구축하고, 실제 업무 흐름에 깊게 통합해 실적을 내느냐”에서 갈리며, 현재 의미 있는 구조 변화는 주로 테크·미디어 등 정보 중심 산업에 편중.

3. 왜 95%는 실패하는가

  1. 학습 격차(Learning Gap)
    • 많은 엔터프라이즈 AI는 정적 도구라 사용자 피드백을 축적·학습하지 못하고, 맥락 적응과 장기 개선이 안 되며, 그 결과 직원들은 단순 작업은 소비자용 AI에, 중요한 복잡 작업은 여전히 사람에 의존.
  2. 파일럿–프로덕션 단절
    • 대기업은 파일럿(POC)은 많이 하지만, 실제 전사 배포까지 가는 비율은 매우 낮고, 커스텀 엔터프라이즈 AI 중 프로덕션에 안착하는 건 5% 안팎에 불과.
    • 핵심 이유는 “툴이 실제 업무 프로세스와 안 맞는다”는 것으로, 인프라나 규제 문제가 아니라 워크플로 통합과 조직 설계 문제.
  3. 그림자 AI(Shadow AI) 경제
    • 공식 사내 도구가 비효율적이거나 규제가 강하다 보니, 직원이 개인 구독 LLM·코파일럿을 몰래 써서 실제 업무를 처리하는 “그림자 AI”가 확산.
    • 이는 “유연하고 직관적이며 개인 맞춤형이고, 실제 워크플로에 녹아드는 도구”에 대한 거대한 숨은 수요를 보여주는 신호로 해석.

4. Canaries 논문: 초년생 고용에 나타난 AI의 첫 신호

  • 브린욜프슨 팀의 “Canaries in the Coal Mine?”는 고주파 급여·고용 데이터를 분석해, 생성 AI 도입 이후 AI 노출도가 높은 직종(소프트웨어 개발, 콜센터/고객 서비스 등) 에서 22~25세 초년생 고용이 유의미하게 감소했음을 보여줌.
  • 특히 AI가 “보조”가 아니라 “자동화”에 주로 쓰이는 업무에서 젊은 노동자의 고용 감소가 더 크게 나타나, AI가 초기에는 일부 초년 직무를 직접 대체하고 있음을 시사.

5. 왜 특히 신입이 타격을 받는가

  • 현재 LLM은 교과서·문서로 잘 기술된 형식지(formal knowledge)와 패턴 반복 작업에는 강하지만, 현장 경험과 묵시지(tacit knowledge)에 기반한 고급 전문가의 ‘요령’은 잘 대체하지 못함.
  • 전통적으로 신입·주니어의 역할은 “문서화된 룰과 매뉴얼을 따라가는 작업”이 많은데, 이 부분이 LLM+툴체인으로 빠르게 자동화되면서, 같은 직무에서 고급 경력자보다 초년생이 더 큰 고용 충격을 받는 패턴이 관찰.

6. 노동의 미래에 대한 시사점

  • AI 전환은 단순한 “일자리 총량 감소”라기보다, 어떤 업무는 AI가 흡수하고, 다른 업무는 새로 생기며, 인간의 상대적 강점이 암묵지·조율·판단 같은 영역으로 이동하는 재배치 과정으로 해석.
  • 따라서 교육·커리어 설계 측면에서는, 정답형·암기형 역량보다 “현장 맥락 이해, 문제 구조화, 이해관계 조정, 도메인별 복합 전문성”이 상대적으로 더 중요해질 가능성이 큼.

7. AI 창업자를 위한 실행 전략

  1. 단순 생성 → 학습·에이전트로 전환
    • GenAI Divide의 핵심은 모델 성능이 아니라 “지속적 학습, 메모리, 적응, 오케스트레이션”이 가능한 에이전트 시스템 여부.
    • 사용자 피드백과 실제 사용 로그를 구조화해, 시간이 갈수록 워크플로를 더 잘 이해하고 자동으로 조정하는 ‘살아있는 시스템’을 만들 수 있는 팀이 압도적 우위를 가질 것으로 강조.
  2. 사용자(persona)가 아니라 워크플로에 맞춰 설계
    • 많은 엔터프라이즈 AI 제품이 “데모는 멋진데, 팀의 실제 일하는 방식과 안 맞아서 버려지는” 문제.
    • 성공하는 제품은 특정 산업·직무의 세세한 업무 플로우, 권한 구조, 컴플라이언스 요구를 깊이 파고들어 거기에 자연스럽게 스며드는 형태를 취하며, UX 화려함보다 “실제 프로덕션에서 안 떨어지는 것”을 우선.
  3. 그림자 AI를 리서치 자산으로 활용
    • 직원들이 개인적으로 어떤 프롬프트와 툴 조합을 쓰는지 관찰하면, 조직이 공식 도구에 반영하지 못한 진짜 니즈(속도, 자유도, 자동화 수준)를 파악할 수 있음.
    • 스타트업 입장에서는 이 “그림자 AI” 패턴이 곧 대규모 사용자 리서치 채널이자, 제품 포지셔닝 힌트로 기능.
  4. 화려한 전면부보다 백오피스에 기회
    • 많은 기업이 마케팅·세일즈처럼 눈에 띄는 영역에 먼저 AI를 얹지만, MIT는 실제 ROI는 재무·조달·운영 같은 프로세스 중심 후방 부서에서 더 크다고 지적.
    • 이 영역은 데이터가 풍부하고 규칙 기반 비즈니스 로직이 많아, 잘 설계된 에이전트/자동화 솔루션이 곧바로 비용 절감·오류 감소로 이어지기 쉬움.
  5. “소프트웨어 판매”가 아니라 BPO 파트너 관점
    • 성공적인 기업 고객은 AI 벤더를 라이선스 판매자가 아니라 “비즈니스 프로세스 아웃소싱 파트너”처럼 대하며, 깊은 맞춤화·성과 기반 계약·긴밀한 운영 협력을 요구.
    • 따라서 창업자도 제품을 설치형 도구가 아니라 “성과를 함께 책임지는 서비스/파트너십”으로 설계할 때, 대규모 엔터프라이즈 딜과 장기 진입장벽(모트)을 만들 수 있다는 논지.

8. 정리: 바뀐 역설, 바뀌는 기회

  • 생성 AI 시대에도 생산성 역설은 여전히 유효하지만, “부족한 보완재”의 위치가 바뀌었고, 이제 그 보완재는 제품 내부(학습·메모리·오케스트레이션) 와 기업 내부(서비스형 구매, 분산된 오너십, 결과 중심 KPI) 양쪽에 걸쳐 존재.
  • 이 두 층위를 동시에 설계하는 창업자만이 “멋진 데모”를 “지속 가능한 경쟁 우위와 통계에 잡히는 생산성 향상”으로 바꿀 수 있고, AI 혁명을 단순한 기술 이벤트가 아니라 조직·개인과 함께 공진화하는 경제 변혁으로 현실화할 수 있다는 메시지.

[출처] https://news.hada.io/topic?id=24474

Loading

Category: 경영 및 창업, 알아봅시다, 업무참고자료, 학습자료 | LEAVE A COMMENT
22 11월 2025

[사회과학] [박진영의 사회심리학] 마음을 다루는 가장 현실적인 전략, 다양하게 시도하기

[사회과학] [박진영의 사회심리학] 마음을 다루는 가장 현실적인 전략, 다양하게 시도하기

[박진영의 사회심리학] 마음을 다루는 가장 현실적인 전략, 다양하게 시도하기

입력2025.11.22. 오전 8:00
게티이미지뱅크 제공

게티이미지뱅크 제공

마음 편한 날이 많았으면 좋겠지만 안타깝게도 많은 사람들이 스트레스와 불안이 가득한 하루하루를 살아간다. 그런 와중에서도 다 때려치고 떠나면 안 되고 여전히 해야 할 일들을 해야 하기 때문에 ‘감정 조절’이 중요한 일이 된다.

사람들이 감정 조절을 어떤식으로 하는지 가장 효과적인 방법이 무엇인지에 대한 연구가 활발하게 이어져 왔다. 많은 연구에 의하면 많이 쓰이는 전략들이 있다.

우선 힘든 상황과 마음에 대한 생각 자체를 하지 않는 방법이 많이 사용된다. 부정적 정서를 꾹꾹 누르는 식의 외면, 회피, 억누르기가 대표적이다. 술을 마시거나 폭식하는 것, 상대를 배려하지 않는 방식으로 주변 사람들에게 힘듦을 토로하거나 화풀이하는 행동들이 흔하게 나타난다.

주의를 다른 데로 돌리거나 어려운 상황을 유머로 승화시키기, 비슷한 상황에 처했던 사람에게 조언 구하기, 가족이나 종교에 몰두하기, 상황을 나쁘게만 보지 않고 관점을 전환해 보기도 자주 나타나는 행동들이다.

마음챙김, 현재 상황에 집중하기, 세세한 부분에만 사로잡히지 않고 큰 그림 보기, 마음을 표현하는 글 쓰기, 주변 사람들로부터 응원과 위로를 주고받는 경험하기, ‘이 또한 지나가리라’고 생각하기, 여행가기, 운동하기가 효과적인 것으로 알려져 있고 널리 추천되는 방법들이다.

주로 앞부분에 있는 것들이 다소 건강하지 않은 방법이다. 뒤에 나와 있는 것들이 보다 건강한 감정 조절 방법으로 여겨진다. 체이스 볼드윈 미시간대 연구자에 의하면 많은 사람이 한두 가지 방법을 사용하기보다 여러 가지를 섞어서 사용하는 경향이 나타난다. 건강한 방법들을 ‘다양하게’ 사용하는 것이 더 좋은 결과를 가져온다.

예를 들어 매일 운동만 하기보다 오늘은 운동, 내일은 바람 쐬기, 모레는 좋은 친구들을 만나서 조언 구하기 등 여러 가지를 섞어서 다양한 방법으로 자주 감정을 환기시키는 것이 더 효과적이라는 것이다.

생각해 보면 스트레스를 해소하기 위해 운동만 하거나 사람을 만나는 활동만 하는 등 뭐 하나에만 몰두해 있는 경우 몰두 자체가 또 다른 문제를 만들어내는 경우도 존재한다.

여러 가지 방법들을 시도해야 서로 다른 감정 조절 방법이 가져오는 유익이 잘 어우러져서 보다 다양한 감정을 잘 소화시켜 줄 것 같기도 하다. 적절한 비유인지는 모르겠지만 감정 해소에 있어서도 다양한 방법들이 합쳐져서 ‘종합 영양제’ 같은 역할을 하지 않을까.

많은 사람이 자신만의 독특한 감정 조절법을 가지고 있는 것으로 나타났다. 필자의 경우 귀여운 동물 영상을 보거나 때로는 아예 슬픈 영화를 봐서 펑펑 우는 것들이 도움이 되는 편이다. 자신만의 독특한 감정 조절법에 대해 생각해 보고 주변 사람들과 함께 공유해 보는 것도 좋을 듯하다.

※필자소개
박진영 《나, 지금 이대로 괜찮은 사람》, 《나를 사랑하지 않는 나에게》를 썼다. 삶에 도움이 되는 심리학 연구를 알기 쉽고 공감 가도록 풀어낸 책을 통해 독자와 꾸준히 소통하고 있다. 온라인에서 ‘지뇽뇽’이라는 필명으로 활동하고 있다. 현재 미국 듀크대에서 사회심리학 박사 과정을 밟고 있다.

박진영 심리학 칼럼니스트 parkjy0217@gmail.com

[출처] https://n.news.naver.com/article/584/0000035427?sid=110

Loading

Category: 사회포인트, 알아봅시다 | LEAVE A COMMENT
21 11월 2025

[알아봅시다] 깃허브에서 가장 많이 사용한 언어는?…연례 보고서 공개

[알아봅시다] 깃허브에서 가장 많이 사용한 언어는?…연례 보고서 공개

 

깃허브에서 가장 많이 사용한 언어는?…연례 보고서 공개

  •  AI리포터

    •  

  •  승인 2025.11.18 11:38

 

AI요약 ☞ 깃허브가 2025년 연례 보고서를 통해 지난 1년간 1억8000만명 이상의 개발자가 신규 유입됐으며, 총 프로젝트 수가 6억3000만개를 돌파했다고 밝혔다. 프로그래밍 언어 순위에서는 타입스크립트가 파이썬을 제치고 1위를 차지했으며, 국가별 순위에서는 인도가 중국을 넘어 2위로 올라섰다.

605644_561275_1835.png
깃허브가 2025년 연례 보고서를 발표했다. [사진: 깃허브]

[디지털투데이 AI리포터] 글로벌 개발 플랫폼 깃허브(GitHub)가 2025년 연례 보고서 ‘옥토버스 2025′(Octoverse 2025)를 발표하며, 플랫폼 내 개발자 증가와 프로그래밍 언어 트렌드를 공개했다. 

17일(현지시간) IT매체 아이티미디어에 따르면, 2025년 8월 기준 깃허브 프로젝트 수는 6억3000만개로 집계됐으며, 지난 1년간 1억8000만명 이상의 개발자가 새롭게 유입됐다. 총 기여자 수는 11억2000만명을 돌파하며, 깃허브의 개발자 생태계가 더욱 확장되고 있음을 보여줬다.

국가별 개발자 수 순위에서는 미국이 1위를 유지했으며, 지난해 2위였던 중국을 제치고 인도가 2위에 올랐다. 이어 3위는 중국, 6위는 일본이 차지했다. 깃허브는 3년 내 인도가 미국을 넘어 최대 개발자 국가가 될 것으로 전망했다.

프로그래밍 언어 순위에서는 타입스크립트(TypeScript)가 1위를 차지했다. 2023년까지 깃허브에서 가장 많이 사용된 언어는 자바스크립트(JavaScript)였으나, 지난해 파이썬(Python)이 1위에 올랐고, 올해는 타입스크립트가 다시 선두를 차지하며 빠르게 변화하는 트렌드를 보여주고 있다.

인공지능(AI) 도입 역시 가속화되고 있다. 새롭게 깃허브에 가입한 개발자의 80%가 가입 후 1주일 내 깃허브 코파일럿(GitHub Copilot)을 사용하는 것으로 나타났으며, 이는 AI 기반 개발 지원이 점점 더 보편화되고 있음을 의미한다. 

[출처] https://www.digitaltoday.co.kr/news/articleView.html?idxno=605644

Loading

Category: 기술자료, 알아봅시다, 학습자료 | LEAVE A COMMENT
21 11월 2025

[팝송으로 배우는 영어] 한국인이 좋아하는 팝송 102. A lovers concerto  [Sarah Vaughan] (연인의 협주곡 – 사라 본) [듣기/가사/해석] 추가곡

[팝송으로 배우는 영어] 한국인이 좋아하는 팝송 102. A lovers concerto  [Sarah Vaughan] (연인의 협주곡 – 사라 본) [듣기/가사/해석] 추가곡

 
 

 

 
 
 
A Lover’s Concerto – Sarah Vaughan
 
How gentle is the rain
That falls softly on the meadow
Birds, high up on the trees
Serenade the flowers with their melodies
얼마나 온화한 비인가요
목초지에 부드럽게 떨어지는
나무에 높이 오른 새들은
그들의 멜로디로 꽃들에게 세레나데를 불러요
 
Oh, see, there beyond the hill
The bright colors of the rainbow
Some magic from above
Made this day for us just to fall in love
저 언덕 너머에 있어요
무지개의 밝은 색깔들
위에서부터 어떤 마법이
오늘 우리가 사랑에 빠지게 하기 위해 만들었요
 
Now, I belong to you
From this day until forever
Just love me tenderly
And I’ll give to you every part of me
이제, 난 당신의 것이에요
오늘부터 영원히
부드럽게 사랑해주세요
내 모든 걸 당신에게 드릴게요
 
Oh, don’t ever make me cry
Through long, lonely nights without us
Be always true to me
Keep this day in your heart eternally
날 울게하지 마세요
우리가 없는 길고 외로운 밤에
항상 내게 진실하고
오늘을 영원히 마음속에 간직해주세요
 
Someday we shall return
To this place upon the meadow
We’ll walk out in the rain
Hear the birds above singing once again
언젠가 우리는 돌아올 거예요
초원이 있는 이 곳으로
우리는 빗속을 거닐 거예요
새들이 다시 노래하는 것을 들으며
 
You’ll hold me in your arms
And say once again you love me
And, if your love is true
Everything will be just as wonderful
당신은 날 품에 안고
다시 한번 나에게 사랑한다고 말하겠죠
만약 당신의 사랑이 진실이라면
모든 것이 너무 멋질 거예요
 
You’ll hold me in your arms
And say once again you love me
And, if your love is true
Everything will be just as wonderful
당신은 날 품에 안고
다시 한번 나에게 사랑한다고 말하겠죠
만약 당신의 사랑이 진실이라면
모든 것이 너무 멋질 거예요
 
 
[출처] https://labelnoir.tistory.com/825
 

Loading

Category: 청각예술, 한국인이 좋아하는 팝속 100곡 | LEAVE A COMMENT