[데이터분석 & 데이터 사이언스] 수많은 데이터 사이언티스트들이 직장을 떠나는 이유는 무엇인가?

맞다. 나는 데이터 사이언티스트다. 당신이 읽은 제목도 제대로 읽은 거 맞다. 누군가는 이런 이야기를 해야만 한다. 우리는 데이터 사이언티스트가 21세기의 가장 섹시한 직업이라거나, 꿈의 직업으로 보일 만큼 엄청나게 돈을 많이 번다는 식의 이야기를 굉장히 많이 듣는다. 이 분야에는 복잡한 문제를 괴짜같이 놀라운 방법으로 해결해내는 뛰어난 능력자들이 많은데, 이 직업이 매력적인 이유는 이런 측면에 있다.

하지만 진실은 이렇다. 파이낸셜 타임스의 글에 따르면, 데이터 사이언티스트들은 일반적으로 “일주일에 한두 시간은 새 직장을 구하는 데 쓴다”. 심지어 “새로운 직장을 구하고 있다고 응답한 개발자 중 1위는 머신러닝 전문가(14.3%)다. 데이터 사이언티스트는 근소한 차이로 2위다(13.2%).” 이 데이터는 스택 오버플로가 개발자 64,000명을 대상으로 한 설문조사에서 수집된 것이다.

나도 같은 상황에 처해있었고, 최근에는 직장을 바꿨다.

그렇다면 왜 수많은 데이터 사이언티스트들이 새 직장을 구하려 할까?

이 질문에 답하기 전에 내가 여전히 데이터 사이언티스트라는 것을 밝혀 둔다. 전반적으로 나는 이 직업을 사랑하고, 데이터 사이언티스트가 되려고 하는 사람들의 의욕을 꺾을 마음이 없다. 데이터 사이언티스트는 즐겁고, 흥미롭고, 보람 있는 직업이다. 이 글의 목적은 일부러 반대 측 이야기를 하는 악마의 변호인이 되어서 부정적인 면을 조명하는 데 있다.

내가 보기에 많은 데이터 사이언티스트들이 자신의 직업에 만족하지 못하는 데는 크게 네 가지 이유가 있다.

빅데이터는 십대의 섹스와 같다. 다들 그것에 대해 말하지만, 진짜로 어떻게 하는지는 아무도 모르고, 나만 빼고 모두가 하고 있을 거라 생각한다. 그래서 다들 자기도 하고 있다고 주장한다. - Dan Ariely

매우 적절한 비유다. 나를 포함해서, 많은 주니어 데이터 사이언티스트들은 최신의 쿨한 머신러닝 알고리즘을 이용해 복잡한 문제를 해결하고 비즈니스에 엄청난 영향을 미칠 수 있을 거라 믿었기 때문에 데이터 과학에 뛰어들었다. 우리가 하는 일이 기존에 해왔던 일들 보다 훨씬 중요하게 느껴지는 것이다. 그러나, 보통은 안 그렇다.

내가 보기에 수많은 데이터 사이언티스트들이 업계를 떠나는 핵심적인 이유는 기대와 현실이 다르다는 것이다. 여기에는 다양한 이유가 있지만, 이 글에서 전부 다룰 수는 없고, 내가 직면했던 근본적인 문제들을 이야기하고자 한다.

회사마다 상황이 다르니 모두 다 그렇다고 할 수는 없겠지만, 많은 회사들이 AI를 이용해 가치를 얻어낼 수 있을 정도의 적절한 인프라를 구축하지 못한 상태에서 데이터 사이언티스트를 고용한다. 이 때문에 AI 분야의 콜드 스타트 문제가 발생한다. 이런 상황에 주니어를 고용하기 전에 경험 많은 시니어 데이터 전문가를 고용하지 못했다는 문제가 결합되면, 회사와 데이터 사이언티스트 양쪽 모두가 환멸을 느끼고 불행한 관계가 되는 법 레시피를 얻은 셈이다. 데이터 사이언티스트는 인사이트를 얻어낼 스마트한 머신러닝 알고리즘을 만드는 일을 하게 될 줄 알았겠지만 그러지 못한다. 데이터 인프라를 정리하고 분석 보고서 쓰는 일부터 해야 하기 때문이다. 반면 회사는 그저 매일 하는 미팅에 사용할 차트 한 장이 필요했을 뿐이다. 그러고 나면 회사도 좌절하게 된다. 새로운 가치를 충분히, 빨리 찾아내지 못하고, 결과적으로 이런 문제들 때문에 데이터 사이언티스트도 자신의 직무에 만족하지 못하게 되기 때문이다.

Robert Chang은 주니어 데이터 사이언티스트들에게 조언하며 다음과 같이 굉장히 통찰력 있는 이야기를 했다.

일하게 될 곳의 전체 업무 절차(critical path)가 자신이 하고자 하는 것에 얼마나 부합하는지 따져봐야 한다. 자신이 바라는 것에 가장 잘 부합하는 업무 절차를 갖추고 있는 프로젝트, 팀, 회사를 찾아라.

이 조언은 고용주와 데이터 사이언티스트의 관계를 강조하는 것이다. 회사가 제대로 준비되어 있지 않거나 데이터 사이언티스트의 기대와 부합하지 않는 목표를 가지고 있다면, 데이터 사이언티스트가 다른 일을 찾게 되는 것은 시간 문제다.

이 문제에 흥미가 생긴다면, 온라인 쇼핑몰 Wish에서 분석 팀을 만든 과정을 다룬 Samson Hu의 연재 글을 읽어 보길 권한다. 통찰이 담겨있는 훌륭한 글이다.

데이터 사이언티스트가 환멸을 느끼는 또 다른 이유는 내가 학계에 환멸을 느꼈던 이유와 비슷하다. 나는 내가 회사뿐만 아니라 전 세계 모든 사람들에게 엄청나게 큰 영향을 미칠 수 있을 거라고 생각했다. 현실은, 만약 회사의 핵심 사업이 머신러닝을 운용하는게 아니라면(나는 미디어 출판사에 다녔었다) 당신이 하는 데이터 과학 작업은 아주 작은 추가 이득 정도를 만들어 낼 수 있을 뿐이다. 데이터 과학으로 굉장히 의미 있는 가치를 만들어 내거나, 운 좋게 얻어 걸려서 금맥을 찾는 일이 생길 수도 있겠지만, 근건 굉장히 드문 일이다.

정치 문제에 관해서는 “데이터 사이언스에서 가장 어려운 것: 정치"라는 훌륭한 글이 이미 있다. 꼭 읽어 보길 권한다. 이 글의 도입부 몇 문장은 내가 말하고자 하는 것을 요약하고 있다.

Support Vector Machines 알고리즘을 공부하려고 아침 6시에 일어났을 때, “이거 진짜 힘드네. 하지만 나는 고용주들이 탐낼 사람이 될 거야” 하고 생각했다. 만약 타임머신(DeLorean)이 있다면, 과거로 돌아가 내 자신에게 말해 줄거다. “개소리하고 앉았네”.

경축! 아무것도 안하여 에스천사게임즈가 새로운 모습으로 재오픈 하였습니다.
어린이용이며, 설치가 필요없는 브라우저 게임입니다.
https://s1004games.com

다양한 머신러닝 알고리즘을 알면 가치 있는 데이터 사이언티스트가 될 거라고 진지하게 생각하고 있다면, 내가 처음에 지적했던 것을 다시 생각해보라. 현실은 기대하는 것과 다르다.

진실은, 비즈니스에서 가장 영향력 있는 사람들이 당신에 대해 좋은 인상을 갖도록 노력하는 일을 해야 한다는 것이다. 단지 윗분들이 당신에 대해 좋은 인상을 갖도록 하기 위한 목적으로 단순한 프로젝트를 수행하고, 동시에 윗분들이 필요하다고 할 때마다 데이터베이스에서 지표들을 뽑아 제 시간에 가져다 주는 추가 업무를 끝없이 해야만 한다. 나는 이전 직장에서 이런 일을 굉장히 많이 해야만 했다. 절망적이게도, 이런 일이 이 직업의 필수적인 부분이다.

윗분들을 기쁘게 하는 일이라면 뭐든지 해야 한다는 것에 관해 조금 더 이야기하자면, 영향력 있는 윗사람들은 대부분 “데이터 사이언티스트”가 뭔 지 모른다. 이는 당신이 데이터 분석 전문가일 뿐만 아니라 ‘보고서 만들어주는 애’가 되어야 한다는 것을 의미한다. 동시에 데이터베이스 전문가가 되어야 한다는 것도 잊으면 안된다.

비 기술 분야의 경영진뿐만 아니라 대부분의 사람들은 당신이 엄청나게 많은 스킬을 보유하고 있을 거라 가정한다. 기술 분야에 있는 동료들도 당신이 데이터와 관련된 거라면 무엇이든 다 알 거라고 생각한다. Spark, Hadoop, Hive, Pig, SQL, Neo4J, MySQL, Python, R, Scala, Tensorflow, A/B Testing, NLP, 머신러닝의 모든 것, 이 외에 당신이 생각해낼 수 있는 데이터와 관련된 모든 것들을 잘 알고 있어야만 한다. 그건 그렇고, 만약 이 모든 게 적혀 있는 직무명세서를 발견한다면 빨리 도망쳐라. 그 회사가 자신들의 데이터 전략에 관해 아무 생각이 없고, 누가 됐든 데이터와 관련된 사람을 뽑으면 회사에 있는 데이터와 관련된 모든 문제를 해결해줄 거라 믿기 때문에 아무나 고용하려 한다는 것을 암시하는 것이다.

그런데 이게 끝이 아니다. 사람들은 당신은 이 모든 것을 잘 알고 있고, 분명 모든 데이터에 접근할 수 있을 것이기 때문에 데이터와 관련된 질문이라면 무엇이든 답변해줄 거라 생각한다. 그러니까, 안 물어봤어도 적어도 5분 전에는 담당자한테 메일로 답변을 보내놨어야 한다.

모든 사람들에게 자신이 실제로 아는 것은 무엇이고 다루기 어려운 것은 무엇인지를 얘기한다는 것은 쉽지 않은 일이다. 누군가 자신을 나쁘게 볼까 봐서가 아니라, 현장 경험이 별로 없는 주니어 데이터 사이언티스트처럼 여기게 될 것이 걱정되기 때문이다. 그렇게 되면 상황이 정말 어려워질 수 있다.

종종 성공한 데이터 제품을 접하면, 똑똑한 기능, 전문적으로 디자인된 UI를 볼 수 있다. 특히, 적어도 사용자가 보기에 문제를 적절히 해결하고 유용한 결과물을 만들어 낸다. 그러니까 만약 데이터 사이언티스트가 머신러닝 알고리즘을 만들고 적용하는 방법을 익히는 데에만 시간을 쏟았다면, 가치 있는 제품을 만들어내 프로젝트를 성공적으로 이끈 팀에서 아주 작은 역할만을 담당하게 되는 것이다(비록 필수적인 역할이라 하더라도). 즉, 고립된 상태로 일하는 데이터 사이언스 팀은 가치를 만들어내는데 어려움을 겪게 되는 것이다.

그런데도 여전히 많은 기업들이 자신들만의 프로젝트를 수행하기 위해 코드를 짜고 문제를 해결하려 노력하는 데이터 사이언스 팀을 운용하고 있다. 어떤 경우에는 그것 만으로 충분할 수도 있다. 예를 들어, 분기에 한번 정도 고정된 스프레드시트를 만들어 내는게 목표라면 데이터 사이언스 팀이 가치를 만들어 낼 수 있다. 반면 지능화된 추천 시스템을 최적화해서 맞춤형 웹사이트에 구현하는게 목표라면, 대다수 데이터 사이언티스트가 갖추고 있을 거라고 보기 어려운 매우 다양한 기술들이 필요하다(진정한 유니콘 데이터 사이언티스트만이 이 일을 해낼 수 있다). 따라서 고립된 채로 일하는 데이터 사이언스 팀이 프로젝트를 맡으면, 그 프로젝트는 실패할 가능성이 매우 높다(혹은 굉장히 오래 걸리거나. 대기업에서 고립된 팀을 다른 팀과 협력하도록 재조직하는 것은 쉽지 않기 때문이다).

따라서 현장에서 일을 잘하는 데이터 사이언티스가 되고자 한다면, 단지 캐글 대회에서 좋은 성적을 거두고 온라인 교육 코스 몇 개 수료하는 것만으로는 충분하지 않다. 불행하게도, 위계와 정치가 비즈니스에서 어떤 식으로 작동하는지 이해해야만 한다(관점에 따라서는 좋은 것일수도 있다). 데이터 사이언스 분야에서 만족할 만한 직장을 구하려면, 자신이 기대하는 업무 절차를 갖춘 회사를 찾는 것을 핵심 목표로 삼아야 한다. 하지만 그렇더라도, 데이터 사이언스의 역할에 대해 가지고 있던 기대는 낮춰야 할 것이다.

누구든 코멘트, 질문, 반대 의견이 있다면 환영한다. 데이터 사이언티스트가 되고자 하는 사람들이 충분한 정보를 바탕으로 진로를 결정할 수 있도록 도우려면 건설적인 토론이 필수적이기 때문이다.

이 글이 이 직업에 대한 흥미를 잃게 만든 것은 아니길 바란다.

읽어줘서 감사하다. :)

이 글은 Jonny Brooks-Bartlett의 Here’s why so many data scientists are leaving their jobs를 번역한 것입니다.

[출처] https://github.com/youngwoos/etc/blob/master/Here%E2%80%99s%20why%20so%20many%20data%20scientists%20are%20leaving%20their%20jobs.md#%EC%88%98%EB%A7%8E%EC%9D%80-%EB%8D%B0%EC%9D%B4%ED%84%B0-%EC%82%AC%EC%9D%B4%EC%96%B8%ED%8B%B0%EC%8A%A4%ED%8A%B8%EB%93%A4%EC%9D%B4-%EC%A7%81%EC%9E%A5%EC%9D%84-%EB%96%A0%EB%82%98%EB%8A%94-%EC%9D%B4%EC%9C%A0%EB%8A%94-%EB%AC%B4%EC%97%87%EC%9D%B8%EA%B0%80