[알아봅시다][ETC] 왜 똑똑한 사람들은 더 행복하지 않을까? 

[출처] https://news.hada.io/topic?id=24183&utm_source=weekly&utm_medium=email&utm_campaign=202545

[사회과학] [박진영의 사회심리학] 내 마음 속 ‘지옥’을 비우려면

오픈AI 제공

어린 시절을 돌아보면 ‘비교’와 ‘불안’이 항상 마음 한구석에 자리하고 있었다. 어렸을 때부터 좋은 학교를 가지 못하면 인생이 망할 것처럼 이야기하는 어른들 때문이었는지, 언제부턴가 조금만 미끄러지면 삶이 끝장나기라도 하는 것처럼 늘 두려움 속에서 살았던 것 같다.

친구들이 좋은 결과를 얻으면 함께 기뻐하는 마음과 함께 나는 왜 이렇게 좋은 결과를 내지 못하는 거냐는 자기비난과 열등감이 자라났다. 그러면서 친구의 기쁨을 온전히 함께 기뻐하지 못하는 나의 속물스러움에 질리고 자신을 더더욱 혐오하는 파괴적인 굴레에 갇혀 있었던 것 같다.

다행히 시간이 지나면서 점차 내가 최악일 때나 가장 좋은 모습일 때나 한결같이 나를 응원해주는 사람들과 나의 성취를 자신의 일인 것처럼 함께 기뻐해주는 사람들을 만나게 되었다. 그러면서 누군가에게 생긴 기쁜 일을 함께 기뻐하면 그만큼 내 행복도 배가 된다는 사실을 조금씩 경험하게 되었던 것 같다.

덕분에 쓸데없는 자기비난과 열등감, 자기혐오가 많이 줄어들었다. 생각해보면 쓸데없이 마음속에 지옥을 담아두고 살았던 것 같다. 내 마음이 지옥이면 가장 큰 피해를 보는 사람은 결국 나다.

한편 누군가의 좋은 일을 굳이 나에 관한 일로 해석해버리는 습관 또한 자기 과몰입(hyper-egoic) 상태라는 생각이 든다. 많은 사람들이 습관적으로 삶의 대부분을 ‘자기 자신’에 대한 생각에 빠져 보내는 자아중독 상태에 빠져 있다.

마크 리어리 듀크대 심리학자에 의하면 이런 자기 과몰입 상태에는 고질적으로 많은 양의 주의를 바깥세상보다 자기 자신에게 쓰는 것, 세상 모든 일을 자신의 관점에서 해석하는 자기중심성, 타인의 시선을 신경 쓰며 살아가는 타율성 같은 것들이 포함된다.

친구에게 생긴 좋은 일에 대해 들으면 친구에게 포커스를 둬야 하는데 그런 상황에서도 굳이 자기 자신에게로 주의를 돌려 결국 뭐든지 자기 자신에 대한 일로 만들어버리는 것 역시 고질적인 자기 과몰입에 해당될 것이다. 이런 점에서도 자기 과몰입은 정신 건강과 나아가 인간관계에도 해로운 영향을 미칠 수 있다.

자신에게 이런 면이 있다면 빨리 인정하고 최소한 누군가 잘된다고 해서 내가 잘못되는 것이 아님을 생각해보는 것이 좋겠다. 안타깝지만 ‘사촌이 땅을 사면 배가 아프다’는 말이 존재하는 것을 보면 또 의외로 연인이나 부부 관계에서도 특히 이성애자 남성의 경우 자신의 파트너가 자신보다 더 잘 나가면 위축되는 현상이 많은 걸 보면 흔히 나타나는 현상인 것 같다. 아마도 이런 사고방식이 한 사회가 좀 더 불행해지는 데 한몫할지도 모르겠다.

연구들에 의하면 ‘파이가 정해져 있다는 믿음(fixed-pie perception)’, 함께 나눠 먹는 파이의 양은 정해져 있어서 타인이 조금 더 많이 먹으면 내 몫이 줄어든다는 생각이 자기파괴적인 질투나 근시안적이고 지나치게 경쟁적인 태도와 관련을 보인다.

물론 그런 상황도 존재하겠지만 내 친구에게 생긴 좋은 일이 직접적으로 나에게 안 좋은 영향을 미치는 경우는 거의 없다(예를 들어 ‘내가 잘된다고 해서 네가 잘 안 되는 게 아니야’라는 말처럼). 그나마 나에게 우호적인 사람들을 경쟁적인 시선으로 바라보는 것보다 적어도 이 사람들과는 ‘함께’ 잘되기를 바라는 것이 장기적으로 모두의 행복에 훨씬 바람직할 것이다.

삶은 원래 별거 없고 우리에게 찾아온 좋은 인연들을 쫓아버릴 만큼 중요한 일도 잘 없다. 뭐라도 잡아보려고 주먹을 꼭 쥐고 살아가기보다, 보다 편안한 마음으로 살아갈 수 있기를 바래본다.

※필자소개
박진영. 《나, 지금 이대로 괜찮은 사람》, 《나를 사랑하지 않는 나에게》를 썼다. 삶에 도움이 되는 심리학 연구를 알기 쉽고 공감 가도록 풀어낸 책을 통해 독자와 꾸준히 소통하고 있다. 온라인에서 ‘지뇽뇽’이라는 필명으로 활동하고 있다. 현재 미국 듀크대에서 사회심리학 박사 과정을 밟고 있다.

박진영 심리학 칼럼니스트 parkjy0217@gmail.com

[출처] https://n.news.naver.com/article/584/0000035128?sid=110

[인공지능 기술]  스타트업에게 좋은 소식: 기업들은 AI를 제대로 구현하지 못하고 있다

• MIT의 연구 조사결과 기업 AI 프로젝트가 95% 실패율을 보인다고 하지만, 실제로는 대기업이 AI를 자체 구축하지 못하는 구조적 문제를 드러낸 것
• 대기업들은 내부 IT팀이나 컨설팅 회사를 통해 AI 시스템을 구축하려 하지만, 제품 개발 역량 부족과 정치적 장벽으로 대부분 실패
• 외부 스타트업 벤더를 선택한 프로젝트의 성공률이 자체 개발보다 훨씬 높았으며, 기업들은 이제 스타트업의 솔루션에 의존할 수밖에 없는 상황
• 대기업 엔지니어링 팀 내부에 AI 회의론자들이 다수 포진해 있어 실제 작동하는 제품을 만들 수 없으며, 이것이 스타트업에게 전례 없는 기회를 제공
• AI 네이티브 시스템 구축과 전환 비용으로 인한 높은 진입장벽이 형성되어, 제대로 작동하는 솔루션을 만들 수 있는 스타트업에게 유리한 환경 조성

MIT 연구 보고서의 실제 내용

• AI 인플루언서들이 퍼뜨린 왜곡된 해석: X와 YouTube에서 “95% AI 프로젝트 실패율”을 “AI는 사기다” 라는 증거로 제시
• 실제 연구 내용은 기업의 AI 도입 방식과 성공 요인에 대한 분석이며, AI 에이전트의 실제 작동 방식과 효과적인 접근법을 확인
• 대학생들조차 트윗 버전만 읽고 “YC가 말하는 AI 스타트업들이 작동하지 않는다”고 잘못 결론

기업 AI 도입의 구조적 실패 원인

• 내부 IT 시스템의 고질적 문제: 대부분의 기업 내부 IT 시스템이 품질이 낮으며, Ernst & Young이나 Deloitte 같은 컨설팅 회사를 고용해도 문제가 두 배로 증가
• Apple도 소프트웨어 개발에 실패: 무한한 자본과 인재 접근성을 가진 Apple조차 캘린더 앱에서 매일 버그 발생
  • 일반 기업이나 IT 부서가 좋은 소프트웨어를 만들기 어려운 현실을 보여주는 사례
• 조직 내 정치적 갈등: 대기업에서 정교한 소프트웨어 배포 시 여러 팀이 관여하면서 정치적 싸움과 영역 다툼 발생
  • 컨설턴트들이 데이터 과학팀, 고객지원팀, IT팀 등을 중재하며 요구사항 문서 작성
  • 하지만 컨설턴트들은 실제 소프트웨어 구축 기술 전문성 부족
• 레거시 시스템의 한계: 기업 내부 시스템이 너무 오래되고 사일로화되어 있어, 외부 컨설팅 전문성과 소프트웨어 구축 역량이 동시에 필요
• 최종 결과물은 위원회가 디자인한 낙타 같은 형태로, 실용성 없는 타협의 산물

성공적인 스타트업 사례들

• Tactile (비즈니스 의사결정 엔진)

  • 은행의 KYC/AML 실시간 처리: 대출 신청자의 신용 확인과 비즈니스 규칙 검증을 일일 수백만 건 규모로 처리
  • Citibank와 JP Morgan이 자체 개발 시도했으나 3~5년과 수천만 달러 소요
  • Tactile은 REST API로 실시간 의사결정 제공, 최신 AI 모델 플러그인 가능, 예산의 일부와 훨씬 짧은 시간에 구축

• Greenlight (은행용 AI 시스템)

  • 한 은행이 기존 벤더 Ernst & Young에게 AI 시스템 구축 요청
  • Ernst & Young이 1년간 개발했으나 완전히 실패
  • 은행이 다시 Greenlight에 접촉해 현재 완전히 배포되어 작동 중

• 연구 결과: 외부 벤더 vs 내부 개발

  • 조사된 프로젝트 중 2/3가 자체 개발 또는 컨설팅 회사 협력
  • 1/3만이 Greenlight나 Tactile 같은 외부 벤더 제품 구매
  • 외부 벤더 선택 시 성공률이 자체 개발보다 훨씬 높음

스타트업이 성공하는 이유

• 폴리매스(polymath) 부족 문제: 제품과 엔지니어링 모두에 능숙한 인재가 극히 드묾
  • 뛰어난 엔지니어들이 코딩에만 집중하며 은행 직원 같은 도메인 사용자와 소통 불가
  • 도메인 전문가들은 코딩이나 기술, 디자인, 제품 출시 역량 부족
• Windsurf 사례: 엔지니어링 학위 없는 영업 리더가 Windsurf로 자체 도구 제작
  • IQ 150급 조직에서는 이미 발생 중이지만, 대부분의 조직에서는 아직 불가능
• 스타트업 형태의 공백: 모든 비즈니스 프로세스와 시스템에 스타트업이 채워야 할 공백 존재
• 희귀한 역량 조합 필요: 최신 AI 이해도, 제품 감각, 인간적 프로세스 이해를 모두 갖춘 인재

• Castle AI 사례 (모기지 서버)

  • 레거시 벤더들의 AI 추가 시도: 수십 년 된 시스템 위에 AI를 덧붙이며 경쟁 대응
  • 은행들이 신뢰하는 기존 벤더와 베이크오프(bake-off) 경쟁 필수
  • 많은 경우 벤더 솔루션이 “AI를 그냥 얹은” 수준으로 매우 열악
  • Castle AI는 처음부터 네이티브로 구축된 제품 감각으로 대형 은행 계약 체결
  • 배치 후 1년 만에 성과 달성

• Reducto 사례 (문서 처리)

  • YC 런치를 통해 FAANG 기업이 직접 발견: 배치 후 154일 만에 FAANG 기업 계약 체결
  • 해당 기업은 수년간 자체 솔루션 구축 시도
    • 오픈소스, AWS Tesseract 등 다양한 OCR 솔루션 시도했으나 실패
  • 제품 우수성(product excellence) 으로 계약 획득
  • 내부팀과 경쟁하며 조직 정치를 섬세하게 탐색해야 했음
    • MIT 보고서에서도 언급된 과제
  • 현재 1~2년 이상 프로덕션 환경에서 운영 중

성공 전략

• 챔피언 키우기: 똑똑한 젊은이들에게 기회를 주고 싶은 내부 인물 확보
• 이상적인 기업 내부 챔피언 유형
  • 스타트업 꿈을 가졌지만 위험회피적인 직원: 실제로는 창업하지 않을 사람들
  • 흥미로운 스타트업을 통해 대리만족을 경험하려는 성향
  • 자신이 스타트업 여정에 함께한다고 느끼며 창업자의 성공을 원함
  • 내면의 스타트업 꿈을 키우고 싶어하는 사람들 찾기
• 창업자가 취할 자세
  • 정장을 입거나 Microsoft 홈페이지를 모방하는 등 형식주의 따르지 말 것
  • 진정성 있게 스타트업답게 행동하는 것이 중요
  • 똑똑하고 현명하게 보이는 것은 중요하지만, 과도한 형식은 불필요

기업의 AI 도입 의지와 스타트업 기회

• MIT 보고서의 긍정적 핵심 메시지: 기업들의 압도적인 AI 도입 수요
• 과거 TripleByte 운영 시절보다 FAANG 기업에 AI 에이전트 판매가 훨씬 용이
• 기업들은 기존 소프트웨어 회사나 후기 단계 스타트업에서 솔루션 구매 선호
  • 더 많은 자금과 덜 위험해 보이는 업체 선호
• 근본적으로 제품을 만들 수 없는 구조적 문제:
  • 대기업 엔지니어링 팀이 AI를 믿지 않는 사람들로 구성
  • 코드 생성 도구 사용하지 않음
  • MIT 연구가 과대평가라고 말하면 리트윗하며 좋아함
  • 믿고 싶은 내러티브에 집착
• 엔지니어들이 믿지 않으면 작동하는 제품 구축 불가능
• 스타트업에게 전례 없는 기회: 작동하는 제품을 만들면 기업들이 대화할 수밖에 없음
  • 내부 구축 불가능, 기존 회사에도 갈 수 없는 상황

AI 회의론자들에게 보내는 메시지

• 직접 시도해보라

  • 엔지니어라면 실제 프로젝트에 투자해 사용해볼 것
  • 한 번 시도해 변수 이름 오류 났다고 포기하지 말 것
  • 메인 업무가 아닌 재미있는 사이드 프로젝트로도 가능
  • “Vibe Coding Dad’s Night” 사례: 기술적이지 않은 집주인이 세입자 임대료 확인 시스템 제작
  • 10배 엔지니어를 100배로, 1배 엔지니어를 10배로 만드는 도구
  • 내면의 감정을 극복해야 하는 과제

• Andrej Karpathy 인터뷰 왜곡 사례

  • 트윗: “Karpathy가 에이전트가 과대평가되었다고 말함”
  • 실제 발언: 에이전트에게 프롬프트만 주고 완벽한 결과를 기대할 수 없으며, 올바른 데이터, 컨텍스트, 평가, 도구 작업 필요
  • 실제 의미: 스타트업과 소프트웨어 개발자들에게 엄청난 기회
    • 구축해야 할 훌륭한 도구가 아직 산더미
  • AI는 도구이며 더 잘 작동하도록 도와야 함, 마법처럼 작동하길 기대하면 안 됨

AI 네이티브 시스템 재구축은 기회

• 모든 시스템을 AI 네이티브로 완전히 재작성 필요
• 소프트웨어가 AI와 함께 작동하도록 완전히 새로 작성되어야 함
• 창업자들에게 무한한 기회 제공
• “일단 시스템 훈련에 시간을 투자하면, 전환 비용이 감당할 수 없을 정도로 높아질 것“
• 이것이 바로 해자(moat): ChatGPT 래퍼가 해자가 없다고 걱정하는 사람들에게 명확한 답

결론: 스타트업의 기회

• AI 비관론자들의 잘못된 해석: 95% 실패율을 AI 불가능의 증거로 왜곡
• 실제 메시지: AI 구현이 매우 어려우며 5%만 성공
• 하지만 YC 합격률은 1% 미만: 그 1%의 창업자들이 성공하는 상위 1% 구현 사례 창출
• 성공 요인: 뛰어난 기술력 + 폴리매스적 역량 + 타인에 대한 이해
  • 50억 달러 핀테크 CIO가 진정으로 원하는 것을 이해
• 5%에 포함될 수 있다는 자신감: 실제로 뛰어나다면 절대 가능하며, YC에 수많은 사례가 존재함

[출처] https://news.hada.io/topic?id=24197

[인공지능 기술] 텐서플로우(TensorFlow)에서 파이토치(PyTorch)로 환승하기

*해당 포스팅은 이 원문을 번역, 정리(요약)한 것입니다.

텐서플로우가 파이토치보다 1년 먼저 나왔지만, 최근 많은 개발자들이 텐서플로우에서 파이토치로 넘어가고 있는 실정이다.

이번 아티클에서는 텐서플로우에서 파이토치로 넘어가는 방법에 대해 이야기하려고 한다. 

먼저 각 딥러닝 프레임워크를 사용하는 이유에 대해 살펴본 후, 간단한 예제를 통해 파이토치와 가까워지는 시간을 가져보려 한다.

1. 프레임워크 개요

1.1. 텐서플로우

2015년 구글에서 발표한 딥러닝 프레임워크. 텐서플로우 2.0로 업데이트되면서 케라스(keras)와 통합되었다.

1.2. 파이토치

2016년 페이스북에서 발표한 딥러닝 프레임워크. 파이썬 언어와 자연스럽게 어우러진다는 장점이 있다.

파이토치를 텐서 단위의 딥러닝 모델을 GPU 위에서 계산할 수 있는 플랫폼으로 이해할 수 있다.

동적인(dynamic) 그래프를 생성하고, 그때그때(on the fly) 모델의 동작 원리를 살펴볼 수 있다.

2. 왜 텐서플로우에서 파이토치로?

– 파이토치와 다르게 텐서플로우는 정적인(static) 그래프를 생성한다.

– 파이토치는 특정 그래프 작업에 맞춰 모델을 정의하고 조작할 수 있다. (RNN처럼 입력 길이가 가변적인 상황에서 유용)

– 파이토치는 근본적으로 파이썬을 기반으로 개발되었기 때문에 좀더 직관적이다.

– 텐서플로우가 익히기 좀더 까다로운 편. 

– 신속하게 프로토타입을 개발하고 연구하는 데 파이토치가 가장 적합하다.

3. 텐서플로우에서 파이토치로 넘어가기

GPU 환경에서 두 프레임워크를 설치하는 과정은 생략하겠습니다.

텐서플로우에서 파이토치로 넘어가는 건 그렇게 복잡한 편이 아니다.

파이토치는 문제를 해결하는 데 있어 파이써닉한 접근방식을 취하기 때문이다.

3.1. 텐서 다루기

각 프레임워크에서 임의의 텐서를 초기화해보자. 방법은 크게 다르지 않다.

텐서플로우

import tensorflow as tf

rank2_tensor = tf.constant([[1, 2],
                            [3, 4],
                            [5, 6]], dtype=tf.int32)PYTHON

파이토치

import torch

rank2_tensor = torch.tensor([[1, 2],
                             [3, 4],
                             [5, 6]], dtype=torch.int32)PYTHON

간단한 텐서 연산을 수행해보자.

텐서플로우

a = tf.constant([[1, 2],
                 [3, 4]])
b = tf.constant([[1, 1],
                 [1, 1]])
                 
a = tf.Variable(a)
b = tf.Variable(b)

print(tf.add(a, b), "n")
print(tf.multiply(a, b), "n")
print(tf.matmul(a, b), "n")PYTHON

파이토치

a = torch.tensor([1, 2, 3], dtype=torch.float)
b = torch.tensor([7, 8, 9], dtype=torch.float)

print(torch.add(a, b))
print(torch.subtract(b, a))
print(a.mul(b))
print(a.dot(b))PYTHON

3.2. 작동 메카니즘

딥러닝 프레임워크는 연산 그래프를 활용한다. 연산 그래프는 최선의 결과를 얻기 위해 연산이 이루어져야 하는 순서를 정의한다.

딥러닝 모델을 계산하기 위해 크게 두 개의 인터프리터가 사용되는데,

하나는 프로그래밍 언어에 이용되고(대부분의 경우 파이썬) 나머지 하나는 연산 그래프를 뜻대로 조작하는 데 사용된다.

따라서 연산 그래프를 세팅할 때는 파이썬 같은 프로그래밍 언어를 통해, 실행 메카니즘은 다른 언어를 통해 이루어지게 된다.

애초에 효율성 및 최적화 문제 때문에 이런 이상한(?) 세팅이 구성됐다고 볼 수 있다.

텐서플로우의 경우 정적인 연산 그래프를 활용한다. 전형적인 “Define and Run” 방식으로 작동한다. 처음에 모든 변수들을 생성, 연결한 다음, 이들을 정적인 세션에 초기화하게 된다.

하지만 이렇게 정적인 그래프에 변수 파라미터를 정의하는 방식이 비효율적이라고 여겨지기도 한다. 특히 RNN 형식의 모델을 쓰는 경우에 그렇다.

Define-and-Run : 연산 그래프를 먼저 정의한 후에 데이터를 흘려보내 결과를 얻는 방식

정적인 텐서플로우 그래프를 살펴보자.

import tensorflow as tf

a = tf.Variable(15)
b = tf.Variable(5)

prod = tf.multiply(a, b)
sum = tf.add(a, b)

result = prod/sum
print(result)PYTHON

파이토치의 경우, 동적인 그래프를 활용하기 때문에 코드를 입력할 때 연산 그래프가 설계된다.

유저가 변수를 처음 선언할 때 연산 그래프가 바로 만들어지고, 각 훈련 iteration 마다 연산 그래프가 다시 만들어진다.

정적인 그래프보다 동적인 그래프를 선호하는 이유는, 다른 요소는 건드리지 않고 필요한 요소들만 수정할 수 있기 때문이다.

이러한 방법의 단점을 꼽자면 그래프를 재설계 하는 데 종종 시간이 좀더 걸린다는 점이다.

아래 움짤은 파이토치 작동 방식을 보여준다.

3.3. 반복 훈련(training loops)에서의 비교

텐서플로우에서 훈련 루프를 만드는 과정은 다소 복잡하고 직관과는 거리가 멀다.

보통은 tf.function을 데코레이터로 써서 정적 그래프 관점에서 모델을 컴파일 한다. 

일반적으로 텐서플로우는 즉시 실행(eager execution)을 활용한다. 이는 디버깅에는 용이하지만 빠른 실행에는 불리하다.

따라서 tf.function을 활용해서 전역적인(global) 퍼포먼스 최적화를 적용한다.

즉시 실행 (Eager execution) : 그래프 생성 없이 연산을 즉시 실행하는 명령형 프로그래밍 환경

그 다음 학습 과정을 정의할 때는 Gradient Tape 기능을 통해 자동 미분(automatic differentiation)을 수행한다.

그래디언트 값이 적용되고, 역전파 과정이 이루어질 때, 최종적으로 훈련 파라미터가 업데이트 된다.

모델의 훈련을 끝내고 나면 원했던 값들을 리턴 받을 수 있다.

@tf.function
def train_step(x, y):
     with tf.GradientTape() as tape:
          logits = model(x, training=True)
          loss_value = loss_fn(y, logits)
     grads = tape.gradient(loss_value, model.trainable_weights)
     optimizer.apply_gradients(zip(grads, model.trainable_weights))
     train_acc_metric.update_state(y, logits)
     return loss_valuePYTHON

파이토치에서 학습 루프를 정의하는 건 보다 간단하고 직관적이다. 변수를 생성하고 동적 그래프를 그때그때 정의하면서 모델을 학습할 수 있다. 데이터와 타겟을 디바이스(CPU/GPU)에 할당하고 순전파를 연산한다.

모델이 순전파(feed-forward) 연산을 마치고 나면, pytorch의 사전 정의된 개체들을 통해 역전파 과정을 수행할 수 있다. 그래디언트를 계산하고, 역전파 방법론을 적용함으로써 파라미터를 업데이트 한다.

for epoch in range(epochs):
     for batch, (data, target) in enumerate(train_loader):
          # cuda 파라미터 가져오기
          data = data.to(device=device)
          target = target.to(device=device)
          # 순전파
          score = model(data)
          loss = criterion(score, target)
          # 역전파
          optimizer.zero_grad()
          loss.backward()
          optimizer.step()PYTHON

4. MNIST로 파이토치 이해하기

필요한 라이브러리를 불러온다

import torch
import torchvision
import torch.nn as nn
import torch.nn.functional as F
from torch.utils.data import DataLoader

import numpy as np
import matplotlib.pyplot as pltPYTHON

디바이스 파라미터를 설정한다. 

device = torch.device('cuda' if torch.cuda.is_available() else cpu)PYTHON

하이퍼파라미터를 세팅한다.

num_classes = 10
input_size = 784
batch_size = 64
lr = 0.0001
epochs = 3PYTHON

텐서플로우처럼 파이토치도 MNIST 등 기본 데이터셋을 불러올 수 있다.

T = torchvision.transform.Compose([torchvision.transforms.ToTensor()])

X_train = torchvision.datasets.MNIST(root='/datasets', \
                                     train=True, \
                                     download=True, \
                                     transform=T)
train_loader = DataLoader(dataset=X_train, batch_size=batch_size, shuffle=True)

X_test = torchvision.datasets.MNIST(root='/datasets', \
                                     train=False, \
                                     download=True, \
                                     transform=T)
test_loader = DataLoader(dataset=X_test, batch_size=batch_size, shuffle=True)PYTHON

“Linear” function 으로 정의되는 fully connected layer 를 선언할 것이다.

텐서플로우였다면 Dense function을 사용했을 거라는 점을 기억하자.

class neural_network(nn.Module):
     def __init__(self, input_size, num_classes):
          super(neural_network, self).__init__()
          self.fc1 = nn.Linear(in_features=input_size, out_features=50)
          self.fc2 = nn.Linear(in_features=50, out_features_num_classes)
          
     def forward(self, x):
          x = self.fc1(x)
          x = F.relu(x)
          x = self.fc2(x)
          return xPYTHON

이제 loss 와 옵티마이저를 선택해보자.

학습에 있어서는, 순전파를 수행한 다음 최적의 가중치를 학습하기 위해 역전파를 적용할 것이다.

# 손실함수와 옵티마이저
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters(), lr=lr)

# 훈련
for epoch in range(epochs):
     for batch, (data, target) in enumerate(train_loader):
          data = data.to(device=device)
          target = target.to(device=device)
          
          data = data.reshape(data.shape[0], -1)
          
          # 순전파
          score = model(data)
          loss = criterion(score, target)
          
          # 역전파
          optimizer.zero_grad()
          loss.backward()
          optimizer.step()PYTHON

모델을 평가해보자.

def check_accuracy(loader, model):
    num_correct = 0
    num_samples = 0
    model.eval()

    with torch.no_grad():
        for x, y in loader:
            x = x.to(device=device)
            y = y.to(device=device)
            x = x.reshape(x.shape[0], -1)

            scores = model(x)
            _, predictions = scores.max(1)
            num_correct += (predictions == y).sum()
            num_samples += predictions.size(0)

        if num_samples == 60000:
            print(f"Train accuracy = {float(num_correct) / float(num_samples) * 100:.2f}")
        else:
            print(f"Test accuracy = {float(num_correct) / float(num_samples) * 100:.2f}")

    model.train()
    
check_accuracy(train_loader, model)
check_accuracy(test_loader, model)PYTHON

5. 꼭 파이토치여야 할까?

5.1. 파이토치의 장점

1. 본질적으로 파이써닉하다

파이토치로 된 코드는 파이써닉하다. 즉, 절차적인 코딩 방식이(procedural coding) 파이썬 요소와 유사하다.

텐서플로우로 작업할 때는 코드가 다소 low-level에 있어 이해하기가 어렵다.

(이런 이유로 keras 같은 high-level API가 텐서플로우 2.0으로 통합되고 있다.)

파이토치의 기능들은 Numpy, Scipy, Cpython과 같은 다른 라이브러리와 함께 적용하기 좋다.

또 파이토치의 문법이나 응용 방식이 정통 파이썬 프로그래밍 방식과 매우 유사하기 때문에 학습 난이도가 낮다.

2. 문서화가 잘 되어 있고 커뮤니티가 잘 형성되어 있다

3. 동적 그래프

메모리를 미리 지정하기 어려울 때 동적으로 생성된 그래프를 유용하게 쓸 수 있다.

4. 많은 개발자들이 프로젝트에 파이토치를 활용하고 있다

5.2. 파이토치의 단점

1. 시각화 기술이 부족하다

텐서플로우의 경우 텐서보드(Tensorboard)라는 시각화 툴킷을 통해 학습 및 검증 정확도 및 loss, 모델 그래프, 히스토그램, 이미지 등 다양한 요소를 모니터링 할 수 있다. 파이토치에 Tensorboard를 활용하는 것도 방법이다.

2. 배포를 위해서는 API 서버가 요구된다

텐서플로우의 장점 중 하나가 프로덕션 툴이 다양하다는 것이다. production-ready 상태로 빌드되기 때문에 텐서플로우의 확장성이 크다.

inference나 학습된 모델 주기(lifetimes) 등을 다룰 수 있다.

오늘은 텐서플로우와 파이토치를 비교하며 대략적으로 파이토치가 어떤 프레임워크인지 살펴보았다.

다음 글에서는 파이토치의 모델 정의, 학습, 추론에 대해 자세하게 살펴보겠다.

[출처] https://woo-niverse.tistory.com/246

[사회과학] [박진영의 사회심리학] 지혜는 겸손에서 비롯된다

오픈AI 제공

평소 자신이 무언가를 잘못 알고 있거나 틀릴 가능성을 어느 정도 인식하고 있는 사람이 있는 반면 그렇지 않은 사람이 있다. 예를 들어 다른 사람들은 이따금씩 틀리더라도 자신만은 그렇지 않을 것이고 자신이 옳다고 생각하는 것들은 대체로 다른 상황에서도 다른 사람들에게도 ‘내가 대체로 옳다’고 여기는 자신감이 쓸데없이 과한 사람들이 있다.

이렇게 자신의 지적 한계에 대해 인식하는 특성을 ‘지적 겸손’이라고 부른다. 안타깝게도 연구들에 의하면 이는 꽤 안정적인 특성이라서 지적 겸손도가 높은 사람들은 일반적으로 어떤 현상을 바라볼 때 한 가지 설명(보통 자신의 시각)에만 매몰되어 있기보다 서로 다른 다양한 시각에 열려 있는 편이다.

자신과 의견이 다르다고 해서 누군가를 미워하거나 적대시하는 일도 비교적 적다. 복잡한 현상에 대해 지나친 단순화나 과한 일반화를 좋아하지 않고 복잡하게 얽혀 있는 다양한 층위의 원인들을 파고드는 것을 좋아하는 편이다.

이와 달리 지적 겸손도가 낮은 사람들의 경우 보통 자신의 시각에 지나치게 과한 가중치를 두고 자신의 의견과 비슷한 의견만 골라서 듣는 경향이 있다.

자신과 생각이 다른 사람을 싫어하거나 배척하는 일이 비교적 흔하게 나타나고 문제의 복잡함에 반해 지나치게 ‘간단명료한 설명’을 선호한다. 그러다 보니 지적 겸손도에 따라 좀 더 지혜로운 사람이 될 수 있는지의 여부가 달라지기도 한다.

물론 어느 정도 옳고 그름이 명확한 문제에 대해서는 그나마 지적 겸손도가 낮은 것이 큰 문제가 되지 않을 수 있지만 이런 경우에도 사람들은 지적 겸손도가 낮기보다 높은 사람들의 의견을 더 잘 청취하는 경향이 있다.

예를 들어 과학자들의 경우에도 지적 겸손도가 높을 때(또는 높다고 여겨질 때), 사람들이 더 과학자들이 한 연구 내용을 신뢰한다는 발견들이 있었다. 또 조직 내에서도 리더의 지적 겸손도가 높을 때 그렇지 않을 때에 비해 창의적인 결과물들이 더 많이 나온다는 연구 결과들도 있었다.

비교적 ‘정답’이 존재하는 세계에서도 그렇지만 정답이라는 것이 존재하지 않고 다양한 입장이 상충하는 사회적 문제나 인간관계에서의 갈등 상황에서도 지적 겸손은 중요한 역할을 한다. 조나 코에트키 피츠버그대 연구자의 연구에 의하면, 지적 겸손도가 높은 사람들은 그렇지 않은 사람들에 비해 다양한 ‘갈등’ 상황을 더 잘 해쳐나가는 편이다.

지적 겸손도가 높은 사람들은 그렇지 않은 사람들에 비해 갈등 상황에서

① 긍정적 정보 전달: 다른 사람들이 자신의 입장을 잘 이해할 수 있도록 자신에게 있어 중요한 것들에 대해 솔직하게 이야기
② 긍정적 회피: 사람들이 여러 대안을 더 잘 검토할 수 있도록 문제를 차후 다시 논의하자고 제안
③ 긍정적 개방: 어떤 해결책을 제안하기 전에 상대방에게 있어 가장 중요한 요소들이 무엇인지 살핌
④ 긍정적 연대: 함께 마음을 모아 해결하면 문제를 해결할 수 있을 것이라고 믿는 건설적인 행동을 더 자주 한다고 보고하는 것으로 나타났다.

그런 반면 지적 겸손도가 높은 사람들은 지적 겸손도가 낮은 사람들에 비해

⑤ 부정적 공격: 상대방에게 무례한 태도를 보이거나
⑥ 부정적 회피: 갈등이 불편해서 침묵을 지키거나 대화 주제를 바꾸는 등의 해로운 행동은 덜 하는 편이라고 보고했다.

나아가 역사적으로 첨예한 국가 간, 집단 간 갈등 상황에서도 지적 겸손도가 높은 사람들은 그렇지 않은 사람들에 비해 양쪽의 입장에 좀 더 균등한 관심을 보이고 팔이 안으로 굽기보다 외집단 사람들의 피해 상황과 고통에 대해서도 인지하며 폭력적이기보다 대화를 통한 해결을 선호한다는 발견들이 있었다.

점점 살면서 겪는 대부분의 문제들에서 꼭 ‘한 가지 정답’만 존재하는 경우는 드물 것이라는 생각이 든다. 특히 서로 다른 의견들이 부딪히는 문제에서는 더더욱 그럴 것이다. 그렇기 때문에 내 생각이 반드시 옳거나 특히 내 생각만 옳을 가능성은 아마 매우 적을 것이다.

당연한 이야기인 것 같지만 안타깝게도 우리 모두 이런 지혜를 기본적으로 장착하고 있는 것은 아니어서 내가 반드시 옳다는 생각이 들 때면 나의 지적 겸손도를 따져봐야겠다는 생각이 든다.

※필자소개
박진영. 《나, 지금 이대로 괜찮은 사람》, 《나를 사랑하지 않는 나에게》를 썼다. 삶에 도움이 되는 심리학 연구를 알기 쉽고 공감 가도록 풀어낸 책을 통해 독자와 꾸준히 소통하고 있다. 온라인에서 ‘지뇽뇽’이라는 필명으로 활동하고 있다. 현재 미국 듀크대에서 사회심리학 박사 과정을 밟고 있다.

박진영 심리학 칼럼니스트 parkjy0217@gmail.com

[출처] https://n.news.naver.com/article/584/0000035010?sid=110

[기술 에세이] [기술 블로그] 개발은 나이와 함께 익어간다 

[사회과학] [박진영의 사회심리학] 불행, 개인 탓만은 아니다

오픈AI 제공

많은 사람들이 어려움을 겪는 사람들을 보면 안타까움을 느끼면서도 동시에 “왜?”, “어쩌다가?” 같은 질문을 던진다. 집에 불이 나거나 실직을 하는 등 부주의나 실수 같은 개인의 책임이 있을 수도 있는 일에 대해서는 물론이고 큰 병에 걸리는 것처럼 항상 뚜렷한 원인이나 책임이 존재하는 것은 아닌 문제들에 대해서도 나름 원인을 찾아보려고 애쓴다.

물론 나쁜 일에 대해 어떤 원인을 밝히려고 노력하는 것은 유용할 때가 많다. 왜 그런 일이 발생했는지 알아야 자신이나 주변 사람들에게 비슷한 나쁜 일이 발생하는 것을 막을 수 있을 것이고 최소한 자신의 힘으로 나쁜 일을 어느 정도 막을 수 있다는 ‘통제감’을 가지는 것이 가능하다. 문제는 그런 노력이 개인에 대한 지나친 비난과 구조적인 문제를 감추고 지속시키는 결과를 가져올 수 있다는 것이다.

사람들은 삶이 예측 가능하고 자신의 힘으로 통제할 수 있기를 바란다. 조금만 생각해 봐도 세상에는 우리가 계획한 대로 되지 않는 일이 더 많고(예> 불경기, 운) 한 치 앞도 살필 수 없는 것이 삶이지만 노력하고 착하게 살면 나쁜 일이 닥치지 않을 것이라고 믿고 싶어한다. 그 대표적인 예가 세상은 대체로 공정하다는 믿음(Belief in a Just World)이다.

이 믿음 덕분에 그렇지 않은 사례들이 즐비함에도 내가 하는 행동들이 무의미하지 않다는 의미감과 잘될 거라는 희망을 가지고 살아가는 것이 가능하다. 하지만 그와 동시에 착하고 열심히 살아온 사람들에게 나쁜 일이 닥치는 불편한 사실을 외면하게 되기도 한다. 재난 뉴스에 “그러게 거기 왜 갔냐”는 댓글들이 달리고 무고한 피해자에게 “걔도 뭔가 잘못을 했을 거다”라는 추측과 2차 가해가 따라붙는다.

자신의 통제감과 희망을 유지하기 위해서 사회 구조적인 문제가 숨어 있는 문제들, 예를 들어 ‘가난’에 대해서도 빈부격차나 높은 물가와 실업률, 낮은 임금 같은 문제들을 전부 ‘게으름’ 같은 개인 내적 문제로 환원시키기도 한다.

대부분의 문제들이 개인 내적·외적 요소들이 얼키고설켜 만들어지고 겉으로 보이는 것보다 훨씬 복잡한 이면을 가지고 있음에도 이것들을 너무 단순하게 축소시켜 버린다. 그러다 보니 진짜 해결해야 할 문제를 놓치고 괜한 사람들만 비난하는 것으로 문제 해결을 종결시키고 만다.

최근 연구들에 의하면 ‘내가 노력하면 된다’는 믿음은 동기부여에 도움이 된다는 이점이 있지만 특히 ‘남들도 대체로 자신에게 걸맞은 결과를 얻는다’는 믿음은 가난한 사람에 대해 게으르거나 능력이 부족하다는 낙인을 찍는 것이나 이미 차별받고 있는 사람들을 더 차별하고 처벌하려는 행동과 관련을 보인다.

나의 상황과 타인의 상황이 전혀 다를 수 있고 내가 노력하면 할 수 있는 일이 누군가에게는 전혀 다른 차원의 문제일 수 있다. 하지만 이렇게 삶의 문제들을 입체적으로 다각도에서 분석하는 데에는 많은 훈련이 필요하다.

어쩌면 생각보다 해결 방법은 단순할지도 모른다. 삶은 한 치 앞도 예측하기 힘들고 많은 문제들이 개인 내적·외적 요소들에 걸쳐 복잡하게 꼬여 있으며 세상에는 내가 모르는 차원의 문제들도 존재함을 인정하면 적어도 타인의 삶을 쉽게 판단하는 행동은 삼가게 되지 않을까?

연구들에 의하면 ‘지혜로운’ 사람들의 경우 이와 같이 인간의 삶은 다층적이고 다면적임을 아는 편이다. 이 세상에 단순하고 간단한 문제란 없음을 기억해야겠다.

※필자소개
박진영. 《나, 지금 이대로 괜찮은 사람》, 《나를 사랑하지 않는 나에게》를 썼다. 삶에 도움이 되는 심리학 연구를 알기 쉽고 공감 가도록 풀어낸 책을 통해 독자와 꾸준히 소통하고 있다. 온라인에서 ‘지뇽뇽’이라는 필명으로 활동하고 있다. 현재 미국 듀크대에서 사회심리학 박사 과정을 밟고 있다.

박진영 심리학 칼럼니스트 parkjy0217@gmail.com

[출처] https://n.news.naver.com/article/584/0000034905