[인공지능 개발자]  Claude Code 완전 가이드: 해커톤 우승자의 70가지 파워 팁 [54p PDF] 

Claude_Code_완전_가이드_70가지_팁.pdf

[출처] https://news.hada.io/topic?id=26526&utm_source=weekly&utm_medium=email&utm_campaign=202607

[정보기술] [알아봅시다] 2025년 AI를 대표하는 8개의 키워드는

콜린스와 메리엄 웹스터 등 해외의 유명 사전들은 올해의 단어로 각각 ‘바이브 코딩(wibe coding)’과 ‘슬롭(Slop)’을 선정했다. AI가 이제는 전문 영역을 넘어 일상에 파고들었다는 증거로 볼 수 있다.

AI타임스도 올 한해를 정리하며 대표적인 AI 키워드를 뽑아봤다. 이를 통해 올해 기술 트렌드를 되돌아본다. 그리고 이는 2026년에도 주요한 어젠다가 될 가능성이 크다.

1. 에이전트(Agentic)

AI가 단순한 챗봇을 넘어 인간을 대신해 업무를 자동화해 줄 것이라는 기대감이 반영된 단어다. 올해 초에는 샘 알트먼 오픈AI CEO도 연말쯤 에이전트가 기업에 본격 투입될 것으로 봤다. 그리고 월 2만달러의 사용료를 부과할 것이라는 말까지 나왔다.

그런 에이전트는 아직 등장하지 않았다. 현재는 상담사를 대신하는 정도로, 대부분은 테스트 단계로 볼 수 있다. 그리고 이 용어는 이제 AI 자체를 뜻하거나 마케팅용으로 활용되고 있다.

더 중요한 것은 에이전트 역할을 수행하기 위해서는 모델 성능의 향상은 물론, 기존 워크플로우의 적용과 기업 문화와의 충돌, 거버넌스 등의 문제를 해결해야 한다는 점이 드러났다는 것이다. 기술의 완성도보다 비즈니스 통합 난이도가 AI 확산의 병목이 된다는 교훈을 얻은 해였다.

내년에도 에이전트는 업계의 화두가 될 것으로 보인다. 또 이는 모델이 성능 자체만큼이나 애플리케이션으로서의 유용성이 점점 중요해질 것을 예고한다.

2. 바이브 코딩

AI가 현실 문제 해결에 가장 큰 도움을 준 사례로 꼽을 수 있는 것이 바로 AI 코딩이다. 즉, 바이브 코딩이 인기를 끈 것은 AI의 가장 성공적인 사례로 꼽혔다는 것으로 볼 수 있다.

연초부터 빅테크의 수장들이 자체 업무에 이를 적극 도입했다고 밝혔고, 이 영향으로 마이크로소프트가 코더 수천명을 해고하는 일까지 일어났다.

AI는 글쓰기처럼 추상적인 분야보다는, 정확한 답이 있고 이를 자체적으로 검증할 수 있는 수학이나 코딩 등에 강할 수밖에 없다. 이에 따라 AI 코딩의 성능은 앞으로도 크게 발전할 가능성이 크다. 그리고 이는 성공적인 에이전트 사례로 확장될 가능성이 크다.

3. 데이터센터

지난해까지 주요 AI 업체가 ‘모델’ 중심으로 움직였다면, 올해는 ‘인프라’에 집중했다. 1월부터 오픈AI는 ‘스타게이트’라는 초대형 프로젝트로 포문을 열었으며, 1년 내내 관련 발표를 내놓았다. 빅테크들도 일제히 투자 확대를 선언했다.

이는 첨단 모델 개발을 위한 컴퓨팅 확보라는 측면과 동시에 폭발적인 사용자 확대에 따른 추론(inference) 능력, 즉 서비스 확대라는 측면이 반영돼 있다. 

이와 맞물려 에너지 문제도 크게 주목받았다. 동시에 엔비디아는 세계에서 가장 가치가 높은 기업으로 올라섰다. 미국과 중국과의 기술 갈등의 핵심도 데이터센터를 이루는 칩이었다. 

또 이는 ‘AI 버블’ 논란의 핵심이 됐다. 이제는 우주 데이터센터까지 거론되고 있다.

이제 인프라 구축은 일부 빅테크의 문제를 넘어, 소버린 AI라는 추세를 타고 전 세계로 확대되고 있다. 국내도 알트먼 CEO와 젠슨 황 CEO가 잇달아 방문, 데이터 센터와 GPU 공급을 약속했다.

4. 초지능(Superintelligence)

인공일반지능(AGI)에 대한 논의는 올해에도 활발했다. 이미 일부 분야에서는 AI가 인간의 능력을 넘어섰다는 분위기가 형성됐으며, 오픈AI 등은 이를 넘어 ‘초지능’을 새로운 목표로 내세웠다.

특히, LLM으로는 AGI에 도달하기 어렵다는 점이 자주 지적됐다. 이 때문에 월드 모델이 보완책으로 제시됐다. 얀 르쿤 메타 전 수석 과학자까지 합류, 내년에는 이 분야에서도 빠른 발전이 기대된다.

초지능과 관련해 가장 눈길을 끌었던 것은 메타가 MSL을 설립한 것이다. 이름부터 ‘메타 초지능 연구실(meta superintelligence lab)’로, 이를 조직하기 위해 막대한 자금을 퍼부으며 인재 경쟁에 불을 댕겼다. 이 때문에 일부 AI 연구원들은 프로 스포츠 스타에 맞먹는 몸값을 기록했다.

5. 추론(reasoning)과 강화 학습(RL)

추론은 지난해 출시된 오픈AI의 ‘o1’으로 새로운 AI 성능 향상의 기준이 됐다. 이는 AI 모델의 학습을 위한 데이터 고갈과 스케일링 법칙의 한계를 넘는 돌파구로 여겨졌다. 

모델 학습 측면에서는 RL이 새로운 대세가 됐다. 이는 에이전틱 AI를 위해서도 핵심 메커니즘으로 꼽힌다.

AI 전문 기술 용어로 유행이 된 것으로는 ‘증류(Distillation)’와 ‘전문가 혼합(MoE)’ 등을 꼽을 수 있다. 이는 올해 초 세계적인 충격을 안겼던 딥시크의 핵심 기술이라는 점 때문에 부각됐다.

이는 또 오픈 소스가 주류로 올라서는 기반을 마련했다. 특히 중국의 모델은 이제 미국을 따라잡았다는 평가를 받을 정도로 성장했다. 

6. 피지컬 AI (Physical AI)

AI의 최종 애플리케이션으로 꼽히는 휴머노이드 로봇은 올해부터 본격적인 과대광고가 시작됐다. 일론 머스크 CEO는 테슬라를 로봇 회사로 광고했고, 정부의 드라이브로 중국에서는 로봇 체육대회와 화려한 데모 영상이 쏟아졌다. 엔비디아도 이런 흐름에 기름을 부었다.

물론, 휴머노이드는 두뇌 역할을 하는 AI의 완성은 물론, 엔지니어링 문제 해결과 비용 효율 등이 모두 해결돼야 한다. 단기간의 확장은 무리라는 평이다. 

하지만 이는 산업 현장에 AI와 디지털 트윈, 엔지니어링의 결합을 통한 자동화, 즉 피지컬 AI를 화두로 끌어 올렸다. 광범위하게는 자율주행도 여기에 포함된다.

피지컬 AI는 앞서 언급한 AI의 추론과 멀티모달 모델, 월드 모델, 에이전틱 AI 등과 연결된다. 특히 올해는 텍스트를 넘어 이미지, 비디오, 음성 등 모든 데이터를 이해하고 생성하는 멀티모달 모델이 보편화된 해로 볼 수 있다. 

이는 앞으로도 몇년간 중요하게 다뤄질 것으로 예상된다. 이는 AI를 실물 경제와 통합하는 핵심이기 때문이다. 

7.  AI 정신병과 아첨

올해는 AI의 정확도 말고도 사용자에게 미치는 ‘영향’이 강조됐다. AI 챗봇 사용자의 폭발적인 증가에 따라 이제까지 숨겨진 문제가 드러난 것이기도 하지만, 수익 확대를 위한 사용자 참여 확대를 위해 모델을 손 본 AI 기업의 탓이 크다.

지난해에는 챗봇이 청소년의 자살을 유도했다는 사례가 처음 등장한 데 이어, 올해에는 아부와 망상 부추김 등이 잇달아 보고됐다. 

이 문제는 AI 기업이 연구실에서 서비스 기업으로 확장 중이라는 것을 보여주기도 한다. 사용자가 9억명을 넘어서며, 과거 소셜 미디어 등이 겪었던 문제를 반복하는 것으로 볼 수 있다.

또 이제까지는 환각이나 편향 등 기술적인 문제로 치부했던 AI의 문제를 사회적인 차원으로 끌어 올린 것으로 볼 수 있다. 즉, AI 안전 문제가 인류 멸망과 같은 극단적인 디스토피아에 머물지 않고 규제 등의 논의를 이끈 구체적인 사례다.

8. 국가대표 모델

국내에서는 독자 AI 파운데이션 모델 즉, ‘국가대표 모델’ 선정이 최고의 이슈였다. 지난해부터 거론됐던 이 프로젝트는 새 정부 출범으로 본격화했고, 지난여름 내내 화제가 됐다. 그 결과, 5개의 컨소시엄이 선정됐다.

기업들은 국가대표라는 타이틀을 놓치지 않기 위해 애를 썼다. 선정 직전에는 기업들이 일제히 자체 모델을 선보였다. 지난 몇년간 국내에서 출시된 모델보다 올해 선보인 모델이 더 많다고 꼽힐 정도였다.

이처럼 이번 프로젝트는 미국이나 중국에 비해 잠잠하던 파운데이션 모델 출시에 불을 댕겼고, 기업의 기술 경쟁을 유발했다는 점에서는 긍정적으로 볼 수 있다.

앞으로 등장할 국대 모델의 성능은 물론, 활용성이 더 중요하다. 글로벌 프론티어 모델이나 해외 오픈 소스에 맞서 경쟁력을 확보할 수 있을지의 문제다.

하지만, 올해 국내 AI 업계에 실질적인 영향을 미친 것은 B2B 중심의 버티컬 AI로 볼 수 있다. 산업별 특화 LLM을 통해 금융과 제조, 헬스케어 등 특정 도메인의 문제를 해결하는 데 집중했다. 범용성보다는 전문성으로 이동했다고 보는 것이 맞다. 

소비자 시장에서는 ‘제타’나 ‘크랙’ 등 캐릭터 챗봇이 젊은 층을 중심으로 상업 성공의 조짐을 보였다.

또 정부는 국내의 AI 반도체(NPU) 스타트업을 중심으로 소버린 AI 전략을 결합해 하드웨어 국산화를 위해 드라이브를 걸었다.

9. 기타 – AI의 경계 확장과 충돌

올해 AI 챗봇의 폭발적인 성장을 견인한 것은 이미지 생성 기능이었다. 지난 3월 챗GPT의 ‘지브리 스타일’과 9월 구글의 ‘나노 바나나’ 등이 주인공이다. 

이는 기존 모델의 성능에 집중하던 AI 업계의 분위기에도 큰 영향을 미쳤다. 오픈AI는 이달 초 ‘코드 레드’를 발령했는데, 여기에는 사용자의 챗봇 활용 경험을 개선하는 데 집중하는 것이 목표로 제시됐다. 그리고 새로운 이미지 생성 모델도 내놓았다.

이처럼 AI로 생성한 이미지와 영상은 AI 슬롭이라는 단어를 만들어 냈다. 오픈AI의 동영상 생성 앱 ‘소라’의 인기와 메타의 ‘바이브’ 출시 등이 이를 부채질했다.

저작권에 대한 논쟁도 거세졌다. 특히 앤트로픽은 업계에서 처음으로 저작권을 인정하는 소송 합의안을 내놓았다. ‘공정 사용(Fair Use)’은 내년에도 쟁점 사항이 될 것으로 보인다.

‘검색 엔진 최적화(SEO)’에 이어 ‘생성 엔진 최적화(GEO)’라는 용어가 등장한 것도 두드러졌다. 이는 20여년이 넘도록 정보 획득의 주요한 방법으로 자리 잡은 검색이 이제는 AI 챗봇으로 이동하고 있다는 것을 보여주는 사례이기 때문이다.

이 밖에도 ‘AI 안경’으로 대표된 웨어러블도 주목할 만하다. 특히 오픈AI가 챗GPT 전용 장치를 준비 중으로, 이는 내년의 주요 키워드로 떠오를 가능성이 크다.

AI타임스 news@aitimes.com

[출처] https://www.aitimes.com/news/articleView.html?idxno=205131

[인공지능 개발자] [알아봅시다] Ollama Python에서 사용하기

pip install ollama

import ollama
ollama.pull('llama2')

response = ollama.chat(model='solar', messages=[
  {
    'role': 'user',
    'content': 'Why is the sky blue?',
  },
])
print(response['message']['content'])

ollama.embeddings(model='mistral', prompt='The sky is blue because of rayleigh scattering')

pip install chromadb

import ollama
import chromadb

documents = [
  "Llamas are members of the camelid family meaning they're pretty closely related to vicuñas and camels",
  "Llamas were first domesticated and used as pack animals 4,000 to 5,000 years ago in the Peruvian highlands",
  "Llamas can grow as much as 6 feet tall though the average llama between 5 feet 6 inches and 5 feet 9 inches tall",
  "Llamas weigh between 280 and 450 pounds and can carry 25 to 30 percent of their body weight",
  "Llamas are vegetarians and have very efficient digestive systems",
  "Llamas live to be about 20 years old, though some only live for 15 years and others live to be 30 years old",
]

client = chromadb.Client()
collection = client.create_collection(name="docs2")

# store each document in a vector embedding database
for i, d in enumerate(documents):
  response = ollama.embeddings(model="mistral", prompt=d)
  embedding = response["embedding"]
  collection.add(
    ids=[str(i)],
    embeddings=[embedding],
    documents=[d]
  )

# an example prompt
prompt = "What animals are llamas related to?"

# generate an embedding for the prompt and retrieve the most relevant doc
response = ollama.embeddings(
  prompt=prompt,
  model="mistral"
)
results = collection.query(
  query_embeddings=[response["embedding"]],
  n_results=1
)
data = results['documents'][0][0]

output = ollama.generate(
  model="mistral",
  prompt=f"Using this data: {data}. Respond to this prompt: {prompt}"
)

print(output['response'])

[인공지능 개발자] Spring AI로 LLM 연결하기(Feat: ollama)

들어가면서

올해 초 LLM에 관심이 생겨 이것저것 찾아보다가 Spring AI를 알게 되었고, 최근 정식 버전인 1.0.0이 출시되면서 본격적으로 공부하게 되었습니다.
제가 느끼기에 Spring AI는 LLM 연결을 매우 쉽게 도와주며, 다음과 같은 다양한 기능을 제공합니다:

• 프롬프트 전처리/후처리를 위한 Advisor
• JSON → DTO 구조화 출력 지원
• LLM이 메서드를 직접 호출하는 Function Calling
• RAG, MCP, 멀티모달 등 다양한 고급 기능 지원

덕분에 이제는 Python 기반 도구가 아니더라도, Java 환경에서도 LLM을 효과적으로 활용할 수 있게 되었습니다.
이 블로그 시리즈는 총 3편으로 구성될 예정이며, 각 주제는 다음과 같습니다:

1. Spring AI로 LLM 연결하고 구조화된 출력하기
2. Advisor로 LLM에 추가 정보 제공 및 응답 가공하기 (feat. RAG)
3. Function Calling으로 LLM에게 메서드 제공하기 (feat. AI Agent)
   이번 포스팅은 그 첫 번째 주제인 “Spring AI로 LLM 연결하고 구조화된 출력하기”입니다.

기본적인 설정법

Spring AI는 다양한 LLM 제공자(OpenAI, Azure, Ollama 등)와 연동할 수 있습니다.
저는 이 포스팅에서 로컬에서 실행 가능한 오픈소스 플랫폼인 Ollama를 기준으로 설명하겠습니다.

• 참고: Spring AI는 Java 17 이상부터 지원됩니다.

Ollama는 다양한 오픈소스 LLM을 PC에 직접 다운로드하여 실행할 수 있는 플랫폼입니다.
따라서 외부로 유출되면 안 되는 개인정보나 대외비 문서를 처리할 때 적합한 선택이 될 수 있습니다.

 - 의존성 추가 (Maven 기준)
<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-starter-model-ollama</artifactId>
</dependency>

 - 설정 파일 기본적인 설정
 # Ollama 서버 주소
spring.ai.ollama.base-url=http://localhost:11434 
# 모델 다운로드 전략(always, when_missing, never)
spring.ai.ollama.init.pull-model-strategy=when_missing
# 기본 셋팅 llm모델
spring.ai.ollama.chat.model= qwen3:1.7b 
# 창의성 조절: 높을수록 자유로운 응답
spring.ai.ollama.chat.temperature= 0.8
# 최대 응답 토큰 수
spring.ai.ollama.chat.max-tokens= 1024
# Embedding 모델
spring.ai.ollama.embedding.model=bona/bge-m3-korean

추가적인 설정에 대해서는 url에서 확인 가능합니다.
https://docs.spring.io/spring-ai/reference/api/chat/ollama-chat.html#_chat_properties

예제 코드

Spring AI에서는 LLM의 응답을 두 가지 방식으로 받을 수 있습니다.

1. 단일 출력 방식: 한 번에 전체 응답을 받아 처리
2. 스트리밍 출력 방식 (Flux): LLM 응답을 실시간으로 조각 단위로 받기
   예제를 통해 두 방식의 사용법과, JSON 구조화된 출력 방식까지 함께 살펴보겠습니다.

???? ChatModel과 ChatClient의 차이

Spring AI에는 ChatModel과 ChatClient라는 두 개의 주요 구성 요소가 있습니다.

• ChatModel: LLM과의 저수준 통신 역할을 합니다.
• ChatClient: ChatModel을 래핑한 상위 레벨 API로, 프롬프트 구성, 응답 처리, Advisor, RAG 등 다양한 확장 기능을 제공합니다.

단일 출력 방식

@AllArgsConstructor
@RestController
public class ModelClient {

    // Spring이 OllamaChatModel 구현체 자동 주입
    private final ChatModel chatModel;

    @GetMapping("/v1/model-client")
    public ChatResponse modelClientV1(@RequestParam("text") String text) {

        // 시스템 메시지는 LLM이 반드시 지켜야 할 지침
        // 유저 메시지는 사용자의 입력
        Prompt prompt = new Prompt(
                List.of(
                        new SystemMessage("너는 친절한 AI 비서야. 절대 추론 과정을 보여주지 말고 요약만 응답해."),
                        new UserMessage(text)
                ));

        return ChatClient.create(chatModel)
                .prompt(prompt)
                .call()
                .content(); // 전체 응답을 한 번에 반환
    }
}

스트리밍 출력 방식 (Flux)

스트리밍 방식은 채팅처럼 실시간으로 응답이 필요한 UI에 적합합니다.

@AllArgsConstructor
@RestController
public class ModelClient {

  private final ChatModel chatModel;

  @GetMapping(value = "/v2/model-client", produces = "text/plain;charset=UTF-8")
  public Flux<String> getModelClientV2(@RequestParam("text") String text) {

      // 시스템 메시지는 LLM이 반드시 지켜야 할 지침
      // 유저 메시지는 사용자의 입력
      Prompt prompt = new Prompt(
              List.of(
                      new SystemMessage("너는 친절한 AI 비서야"),
                      new UserMessage(text)
              ));

      return ChatClient.create(this.chatModel)
              .prompt(prompt)
              .stream() // 스트리밍 응답 시작
              .content(); // Flux<String>으로 실시간 조각 응답 수신
    }
}

구조화된 출력 받기 (JSON → DTO)

내부적으로는 LLM에게 “이런 구조로 응답해줘”라고 명시한 후 결과를 DTO에 바인딩합니다.
하지만 LLM이 해당 형식대로 정확하게 응답하지 않으면 파싱 에러가 발생할 수 있습니다.
안정성을 높이기 위해 시스템 메시지에 형식을 반복적으로 명확히 명시하거나, 구조 유도 프롬프트 예제를 함께 제공하는 것이 좋습니다.

@AllArgsConstructor
@RestController
public class ModelClient {

    private final ChatModel chatModel;

    @GetMapping("/v3/model-client")
    public ActorFilms modelClientV3(@RequestParam("text") String text) {

        // 사용자 입력을 이용해 프롬프트 템플릿 구성
        String template = """
            Generate the filmography of 5 movies for {actor}.
        """;

        Prompt prompt = new Prompt(
                List.of(
                        new SystemMessage("너는 친절한 AI 비서야. 절대 추론 과정을 보여주지 말고 요약만 응답해."),
                        new UserMessage(new PromptTemplate(template).render(Map.of("actor", text)))
                ));

        ChatModel gemma = OllamaChatModel.builder()
                .ollamaApi(OllamaApi.builder().build())
                .defaultOptions(
                        OllamaOptions.builder()
                                .model("gemma3n:e4b")
                                .temperature(0.4)
                                .build())
                .build();

        return ChatClient.create(gemma)
                .prompt(prompt)
                .call()
                .entity(ActorFilms.class); // 결과를 DTO로 구조화
    }

    record ActorFilms(String actor, List<String> movies) {}
}

프롬프트 요청 예시 (내부 동작 확인용)
Spring AI가 구조화 출력을 위해 내부적으로 LLM에게 다음과 같이 요청을 구성합니다.

request: ChatClientRequest[
- 저희가 입력한 명령 프롬프트 입력입니다.
prompt=Prompt{
    messages=[SystemMessage{textContent='너는 친절한 AI 비서야. 절대 추론과정을 보여주지 말고 요약만 응답해', messageType=SYSTEM, metadata={messageType=SYSTEM}}, 
    UserMessage{content='Generate the filmography of 5 movies for 하정우.', properties={messageType=USER}, messageType=USER}], modelOptions=org.springframework.ai.ollama.api.OllamaOptions@48e29a2c}, 

- 여기에 해당 DTO 객체의 정의가 들어갑니다.
context={spring.ai.chat.client.output.format=Your response should be in JSON format.
Do not include any explanations, only provide a RFC8259 compliant JSON response following this format without deviation.
Do not include markdown code blocks in your response.
Remove the ```json markdown from the output.
Here is the JSON Schema instance your output must adhere to:
```{
  "$schema" : "https://json-schema.org/draft/2020-12/schema",
  "type" : "object",
  "properties" : {
    "actor" : {
      "type" : "string"
    },
    "movies" : {
      "type" : "array",
      "items" : {
        "type" : "string"
      }
    }
  },
  "additionalProperties" : false
}```
}]

마치며

AI를 실제 프로젝트에 도입하는 것은 어렵고 복잡할 것 같다는 막연한 생각이 있었지만,
Spring AI를 통해 Java 환경에서도 LLM을 손쉽게 연결하고 활용할 수 있다는 가능성을 확인할 수 있었습니다.

물론 성능, 속도, 프롬프트 설계, 적절한 모델 선택 등 실무에서 고려할 요소들은 많지만,
이번 실습을 통해 LLM을 실제 서비스에 적용하는 출발점을 잡을 수 있었습니다.

다음 포스팅에서는 Advisor 기능을 활용해 LLM 응답을 가공하고,
간단한 RAG(Retrieval-Augmented Generation) 기능을 구현해보겠습니다.

이 기능은 Logging, 크롤링된 문서, RDBMS 정보 등 다양한 외부 지식 소스를 LLM과 연결해
더 정확하고 신뢰도 높은 응답을 생성하도록 도와주는 방식입니다.

해당 예시는 github에 있습니다.
url: https://github.com/Zero-Human/springAi

참고자료

• Spring AI 공식 문서

[출처] https://zero-human.tistory.com/9

[google 안티그래피티] [알아봅시다] Google Antigravity – 에이전트 시대에 어울리는 새로운 AI 기반 IDE 

[알아봅시다] 깃허브에서 가장 많이 사용한 언어는?…연례 보고서 공개

AI요약 ☞ 깃허브가 2025년 연례 보고서를 통해 지난 1년간 1억8000만명 이상의 개발자가 신규 유입됐으며, 총 프로젝트 수가 6억3000만개를 돌파했다고 밝혔다. 프로그래밍 언어 순위에서는 타입스크립트가 파이썬을 제치고 1위를 차지했으며, 국가별 순위에서는 인도가 중국을 넘어 2위로 올라섰다.

[디지털투데이 AI리포터] 글로벌 개발 플랫폼 깃허브(GitHub)가 2025년 연례 보고서 ‘옥토버스 2025′(Octoverse 2025)를 발표하며, 플랫폼 내 개발자 증가와 프로그래밍 언어 트렌드를 공개했다. 

17일(현지시간) IT매체 아이티미디어에 따르면, 2025년 8월 기준 깃허브 프로젝트 수는 6억3000만개로 집계됐으며, 지난 1년간 1억8000만명 이상의 개발자가 새롭게 유입됐다. 총 기여자 수는 11억2000만명을 돌파하며, 깃허브의 개발자 생태계가 더욱 확장되고 있음을 보여줬다.

국가별 개발자 수 순위에서는 미국이 1위를 유지했으며, 지난해 2위였던 중국을 제치고 인도가 2위에 올랐다. 이어 3위는 중국, 6위는 일본이 차지했다. 깃허브는 3년 내 인도가 미국을 넘어 최대 개발자 국가가 될 것으로 전망했다.

프로그래밍 언어 순위에서는 타입스크립트(TypeScript)가 1위를 차지했다. 2023년까지 깃허브에서 가장 많이 사용된 언어는 자바스크립트(JavaScript)였으나, 지난해 파이썬(Python)이 1위에 올랐고, 올해는 타입스크립트가 다시 선두를 차지하며 빠르게 변화하는 트렌드를 보여주고 있다.

인공지능(AI) 도입 역시 가속화되고 있다. 새롭게 깃허브에 가입한 개발자의 80%가 가입 후 1주일 내 깃허브 코파일럿(GitHub Copilot)을 사용하는 것으로 나타났으며, 이는 AI 기반 개발 지원이 점점 더 보편화되고 있음을 의미한다. 

[출처] https://www.digitaltoday.co.kr/news/articleView.html?idxno=605644

[인공지능 기술] 텐서플로우(TensorFlow)에서 파이토치(PyTorch)로 환승하기

*해당 포스팅은 이 원문을 번역, 정리(요약)한 것입니다.

텐서플로우가 파이토치보다 1년 먼저 나왔지만, 최근 많은 개발자들이 텐서플로우에서 파이토치로 넘어가고 있는 실정이다.

이번 아티클에서는 텐서플로우에서 파이토치로 넘어가는 방법에 대해 이야기하려고 한다. 

먼저 각 딥러닝 프레임워크를 사용하는 이유에 대해 살펴본 후, 간단한 예제를 통해 파이토치와 가까워지는 시간을 가져보려 한다.

1. 프레임워크 개요

1.1. 텐서플로우

2015년 구글에서 발표한 딥러닝 프레임워크. 텐서플로우 2.0로 업데이트되면서 케라스(keras)와 통합되었다.

1.2. 파이토치

2016년 페이스북에서 발표한 딥러닝 프레임워크. 파이썬 언어와 자연스럽게 어우러진다는 장점이 있다.

파이토치를 텐서 단위의 딥러닝 모델을 GPU 위에서 계산할 수 있는 플랫폼으로 이해할 수 있다.

동적인(dynamic) 그래프를 생성하고, 그때그때(on the fly) 모델의 동작 원리를 살펴볼 수 있다.

2. 왜 텐서플로우에서 파이토치로?

– 파이토치와 다르게 텐서플로우는 정적인(static) 그래프를 생성한다.

– 파이토치는 특정 그래프 작업에 맞춰 모델을 정의하고 조작할 수 있다. (RNN처럼 입력 길이가 가변적인 상황에서 유용)

– 파이토치는 근본적으로 파이썬을 기반으로 개발되었기 때문에 좀더 직관적이다.

– 텐서플로우가 익히기 좀더 까다로운 편. 

– 신속하게 프로토타입을 개발하고 연구하는 데 파이토치가 가장 적합하다.

3. 텐서플로우에서 파이토치로 넘어가기

GPU 환경에서 두 프레임워크를 설치하는 과정은 생략하겠습니다.

텐서플로우에서 파이토치로 넘어가는 건 그렇게 복잡한 편이 아니다.

파이토치는 문제를 해결하는 데 있어 파이써닉한 접근방식을 취하기 때문이다.

3.1. 텐서 다루기

각 프레임워크에서 임의의 텐서를 초기화해보자. 방법은 크게 다르지 않다.

텐서플로우

import tensorflow as tf

rank2_tensor = tf.constant([[1, 2],
                            [3, 4],
                            [5, 6]], dtype=tf.int32)PYTHON

파이토치

import torch

rank2_tensor = torch.tensor([[1, 2],
                             [3, 4],
                             [5, 6]], dtype=torch.int32)PYTHON

간단한 텐서 연산을 수행해보자.

텐서플로우

a = tf.constant([[1, 2],
                 [3, 4]])
b = tf.constant([[1, 1],
                 [1, 1]])
                 
a = tf.Variable(a)
b = tf.Variable(b)

print(tf.add(a, b), "n")
print(tf.multiply(a, b), "n")
print(tf.matmul(a, b), "n")PYTHON

파이토치

a = torch.tensor([1, 2, 3], dtype=torch.float)
b = torch.tensor([7, 8, 9], dtype=torch.float)

print(torch.add(a, b))
print(torch.subtract(b, a))
print(a.mul(b))
print(a.dot(b))PYTHON

3.2. 작동 메카니즘

딥러닝 프레임워크는 연산 그래프를 활용한다. 연산 그래프는 최선의 결과를 얻기 위해 연산이 이루어져야 하는 순서를 정의한다.

딥러닝 모델을 계산하기 위해 크게 두 개의 인터프리터가 사용되는데,

하나는 프로그래밍 언어에 이용되고(대부분의 경우 파이썬) 나머지 하나는 연산 그래프를 뜻대로 조작하는 데 사용된다.

따라서 연산 그래프를 세팅할 때는 파이썬 같은 프로그래밍 언어를 통해, 실행 메카니즘은 다른 언어를 통해 이루어지게 된다.

애초에 효율성 및 최적화 문제 때문에 이런 이상한(?) 세팅이 구성됐다고 볼 수 있다.

텐서플로우의 경우 정적인 연산 그래프를 활용한다. 전형적인 “Define and Run” 방식으로 작동한다. 처음에 모든 변수들을 생성, 연결한 다음, 이들을 정적인 세션에 초기화하게 된다.

하지만 이렇게 정적인 그래프에 변수 파라미터를 정의하는 방식이 비효율적이라고 여겨지기도 한다. 특히 RNN 형식의 모델을 쓰는 경우에 그렇다.

Define-and-Run : 연산 그래프를 먼저 정의한 후에 데이터를 흘려보내 결과를 얻는 방식

정적인 텐서플로우 그래프를 살펴보자.

import tensorflow as tf

a = tf.Variable(15)
b = tf.Variable(5)

prod = tf.multiply(a, b)
sum = tf.add(a, b)

result = prod/sum
print(result)PYTHON

파이토치의 경우, 동적인 그래프를 활용하기 때문에 코드를 입력할 때 연산 그래프가 설계된다.

유저가 변수를 처음 선언할 때 연산 그래프가 바로 만들어지고, 각 훈련 iteration 마다 연산 그래프가 다시 만들어진다.

정적인 그래프보다 동적인 그래프를 선호하는 이유는, 다른 요소는 건드리지 않고 필요한 요소들만 수정할 수 있기 때문이다.

이러한 방법의 단점을 꼽자면 그래프를 재설계 하는 데 종종 시간이 좀더 걸린다는 점이다.

아래 움짤은 파이토치 작동 방식을 보여준다.

3.3. 반복 훈련(training loops)에서의 비교

텐서플로우에서 훈련 루프를 만드는 과정은 다소 복잡하고 직관과는 거리가 멀다.

보통은 tf.function을 데코레이터로 써서 정적 그래프 관점에서 모델을 컴파일 한다. 

일반적으로 텐서플로우는 즉시 실행(eager execution)을 활용한다. 이는 디버깅에는 용이하지만 빠른 실행에는 불리하다.

따라서 tf.function을 활용해서 전역적인(global) 퍼포먼스 최적화를 적용한다.

즉시 실행 (Eager execution) : 그래프 생성 없이 연산을 즉시 실행하는 명령형 프로그래밍 환경

그 다음 학습 과정을 정의할 때는 Gradient Tape 기능을 통해 자동 미분(automatic differentiation)을 수행한다.

그래디언트 값이 적용되고, 역전파 과정이 이루어질 때, 최종적으로 훈련 파라미터가 업데이트 된다.

모델의 훈련을 끝내고 나면 원했던 값들을 리턴 받을 수 있다.

@tf.function
def train_step(x, y):
     with tf.GradientTape() as tape:
          logits = model(x, training=True)
          loss_value = loss_fn(y, logits)
     grads = tape.gradient(loss_value, model.trainable_weights)
     optimizer.apply_gradients(zip(grads, model.trainable_weights))
     train_acc_metric.update_state(y, logits)
     return loss_valuePYTHON

파이토치에서 학습 루프를 정의하는 건 보다 간단하고 직관적이다. 변수를 생성하고 동적 그래프를 그때그때 정의하면서 모델을 학습할 수 있다. 데이터와 타겟을 디바이스(CPU/GPU)에 할당하고 순전파를 연산한다.

모델이 순전파(feed-forward) 연산을 마치고 나면, pytorch의 사전 정의된 개체들을 통해 역전파 과정을 수행할 수 있다. 그래디언트를 계산하고, 역전파 방법론을 적용함으로써 파라미터를 업데이트 한다.

for epoch in range(epochs):
     for batch, (data, target) in enumerate(train_loader):
          # cuda 파라미터 가져오기
          data = data.to(device=device)
          target = target.to(device=device)
          # 순전파
          score = model(data)
          loss = criterion(score, target)
          # 역전파
          optimizer.zero_grad()
          loss.backward()
          optimizer.step()PYTHON

4. MNIST로 파이토치 이해하기

필요한 라이브러리를 불러온다

import torch
import torchvision
import torch.nn as nn
import torch.nn.functional as F
from torch.utils.data import DataLoader

import numpy as np
import matplotlib.pyplot as pltPYTHON

디바이스 파라미터를 설정한다. 

device = torch.device('cuda' if torch.cuda.is_available() else cpu)PYTHON

하이퍼파라미터를 세팅한다.

num_classes = 10
input_size = 784
batch_size = 64
lr = 0.0001
epochs = 3PYTHON

텐서플로우처럼 파이토치도 MNIST 등 기본 데이터셋을 불러올 수 있다.

T = torchvision.transform.Compose([torchvision.transforms.ToTensor()])

X_train = torchvision.datasets.MNIST(root='/datasets', \
                                     train=True, \
                                     download=True, \
                                     transform=T)
train_loader = DataLoader(dataset=X_train, batch_size=batch_size, shuffle=True)

X_test = torchvision.datasets.MNIST(root='/datasets', \
                                     train=False, \
                                     download=True, \
                                     transform=T)
test_loader = DataLoader(dataset=X_test, batch_size=batch_size, shuffle=True)PYTHON

“Linear” function 으로 정의되는 fully connected layer 를 선언할 것이다.

텐서플로우였다면 Dense function을 사용했을 거라는 점을 기억하자.

class neural_network(nn.Module):
     def __init__(self, input_size, num_classes):
          super(neural_network, self).__init__()
          self.fc1 = nn.Linear(in_features=input_size, out_features=50)
          self.fc2 = nn.Linear(in_features=50, out_features_num_classes)
          
     def forward(self, x):
          x = self.fc1(x)
          x = F.relu(x)
          x = self.fc2(x)
          return xPYTHON

이제 loss 와 옵티마이저를 선택해보자.

학습에 있어서는, 순전파를 수행한 다음 최적의 가중치를 학습하기 위해 역전파를 적용할 것이다.

# 손실함수와 옵티마이저
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters(), lr=lr)

# 훈련
for epoch in range(epochs):
     for batch, (data, target) in enumerate(train_loader):
          data = data.to(device=device)
          target = target.to(device=device)
          
          data = data.reshape(data.shape[0], -1)
          
          # 순전파
          score = model(data)
          loss = criterion(score, target)
          
          # 역전파
          optimizer.zero_grad()
          loss.backward()
          optimizer.step()PYTHON

모델을 평가해보자.

def check_accuracy(loader, model):
    num_correct = 0
    num_samples = 0
    model.eval()

    with torch.no_grad():
        for x, y in loader:
            x = x.to(device=device)
            y = y.to(device=device)
            x = x.reshape(x.shape[0], -1)

            scores = model(x)
            _, predictions = scores.max(1)
            num_correct += (predictions == y).sum()
            num_samples += predictions.size(0)

        if num_samples == 60000:
            print(f"Train accuracy = {float(num_correct) / float(num_samples) * 100:.2f}")
        else:
            print(f"Test accuracy = {float(num_correct) / float(num_samples) * 100:.2f}")

    model.train()
    
check_accuracy(train_loader, model)
check_accuracy(test_loader, model)PYTHON

5. 꼭 파이토치여야 할까?

5.1. 파이토치의 장점

1. 본질적으로 파이써닉하다

파이토치로 된 코드는 파이써닉하다. 즉, 절차적인 코딩 방식이(procedural coding) 파이썬 요소와 유사하다.

텐서플로우로 작업할 때는 코드가 다소 low-level에 있어 이해하기가 어렵다.

(이런 이유로 keras 같은 high-level API가 텐서플로우 2.0으로 통합되고 있다.)

파이토치의 기능들은 Numpy, Scipy, Cpython과 같은 다른 라이브러리와 함께 적용하기 좋다.

또 파이토치의 문법이나 응용 방식이 정통 파이썬 프로그래밍 방식과 매우 유사하기 때문에 학습 난이도가 낮다.

2. 문서화가 잘 되어 있고 커뮤니티가 잘 형성되어 있다

3. 동적 그래프

메모리를 미리 지정하기 어려울 때 동적으로 생성된 그래프를 유용하게 쓸 수 있다.

4. 많은 개발자들이 프로젝트에 파이토치를 활용하고 있다

5.2. 파이토치의 단점

1. 시각화 기술이 부족하다

텐서플로우의 경우 텐서보드(Tensorboard)라는 시각화 툴킷을 통해 학습 및 검증 정확도 및 loss, 모델 그래프, 히스토그램, 이미지 등 다양한 요소를 모니터링 할 수 있다. 파이토치에 Tensorboard를 활용하는 것도 방법이다.

2. 배포를 위해서는 API 서버가 요구된다

텐서플로우의 장점 중 하나가 프로덕션 툴이 다양하다는 것이다. production-ready 상태로 빌드되기 때문에 텐서플로우의 확장성이 크다.

inference나 학습된 모델 주기(lifetimes) 등을 다룰 수 있다.

오늘은 텐서플로우와 파이토치를 비교하며 대략적으로 파이토치가 어떤 프레임워크인지 살펴보았다.

다음 글에서는 파이토치의 모델 정의, 학습, 추론에 대해 자세하게 살펴보겠다.

[출처] https://woo-niverse.tistory.com/246

[기술 에세이] [기술 블로그] 개발은 나이와 함께 익어간다