31 1월 2017

IDG 블로그 | 2017년에 버려질 빅데이터 도구 7가지

IDG 블로그 | 2017년에 버려질 빅데이터 도구 7가지

InfoWorld
빅데이터라는 모험이 시작된 지 꽤 됐다. 그러다 보니, 이제 더 이상 새롭지 않은 것들도 있다. 더 나아가 방해가 될 수도 있는 기술도 있다. 빅데이터는 변화가 빠른 엔터프라이즈 기술이다. 일부 소프트웨어는 새로운 기술의 탄생을 알려주는 역할을 할 뿐이다.

Credit: Getty Images Bank

향후 수년 동안 기술들의 업그레이드와 교체가 빅데이터 도입의 성공과 실패를 좌지우지 할 수도 있다. 이에 교체를 고려해야 할 기술들을 정리해봤다.

1. 맵리듀스(MapReduce)
맵리듀스는 느리다. 문제 해결에 가장 적합한 도구 역할을 하는 경우가 정말 드물다. 맵리듀스를 ‘부분 집합’으로 간주할 수 있는 가장 흔한 DAG(Directed Acyclic Graph) 기술 등 선택할 수 있는 알고리즘들이 많다.
맞춤형 맵리듀스 작업을 많이 했다면, 스파크(Spark)와의 성능 차이만으로도 교체에 수반되는 비용과 노력을 정당화할 수 있을 것이다.

2. 스톰(Storm)
스파크가 스트리밍 세상을 집어 삼킬 것이라고 말하지는 않겠다. 그러나 아마 그럴 것이다. 또 에이펙스(Apex)와 플린크(Flink) 등 성능과 레이턴시가 스톰보다 우수한 스파크 대안들이 존재한다.
또한 레이턴시 허용 한도를 평가하고, 저 수준에서의 한층 복잡한 코드의 버그가 몇 ms의 가치가 있는지 생각해봐야 한다. 스톰은 지원이 미흡하다. 호튼웍스(Hortonworks)가 유일하다. 그렇지만 호튼웍스가 직면하는 시장 압력이 높아지고 있다는 점을 감안하면, 스톰이 더 큰 주목을 끌 확률은 낮다.

3. 피그(Pig)
스파크 등 완벽한 대안 기술이 많다. 처음에는 피그가 빅데이터에 꽤 좋은 ‘PL/SQL’로 보일지 모르겠다. 그러나 곧 조금 이상하다는 점을 발견할 것이다.

4. 자바(Java)
JVM(Java virtual machine)이 아닌 언어를 의미한다. 빅데이터 용으로는 신택스(syntax)가 무겁다. 또한 람다(Lambda)와 같은 새로운 아키텍처가 이상한 방식으로 결합되었다. 빅데이터의 상당 부분이 스칼라(Scala)와 파이썬(Python)으로 이동했다. 후자는 성능 저하를 감당할 수 있지만 파이썬 라이브러리가 필요하거나, 파이썬 개발자가 많을 때 적합한다.
물론 통계에 R을 이용할 수도 있다. 그러나 R의 스케일 기능이 미흡하기 때문에 파이썬으로 옮겨야 한다.

5. 테즈(Tez)
테즈는 또 다른 호튼웍스의 펫 프로젝트(공감대나 중요성이 아닌, 개인적인 선호도로 추진된 프로젝트)이다. DAG를 구현한 기술이다. 그러나 스파크와 다르다. 개발자 가운데 한 명은 이를 ‘어셈블리 언어’라고 설명했다.
호튼웍스 배포판의 경우 테즈와 하이브(Hive), 다른 도구를 이용할 수 밖에 없을 것이다. 그러나 아마 다른 배포판에서는 스파크 엔진을 이용하고 있을지도 모르겠다.
테즈는 버그가 많다. 특히 특정 한 벤더의 프로젝트다. 따라서 다른 기술이나 커뮤니티의 지원을 받지 못한다. 다른 솔루션에서는 찾아볼 수 없는 확실한 장점도 없다. 개인적으로 정리될 것으로 판단되는 엔진이다.

6. 우지(Oozie)
필자는 오래 전부터 우지를 싫어했다. 워크플로우 엔진이 아니다. 그렇다고 스케줄러도 아니다. 그런데 둘다 된다. 동시에 둘다 되지 않기도 한다. 게다가 버그투성이다. 스트림셋(StreamSet), DAG 구현 기술 등 우지의 대부분 기능을 대신해 줄 대안들이 많다.

7. 플룸(Flume)
스트림셋과 카프카(Kafka) 등 플룸의 대안이 될 수 있는 솔루션이 많다. 2015년 5월 20일 발표는 플룸이 구식 기술임을 알려준다. 연간 대비 ‘활동 수준’을 확인해보기 바란다. 몸도 마음도 떠났다. 다른 기술로 옮겨가야 할 때다.

언급한 도구들을 아마 2018년까지는 벗어나야 할 지 모른다. 또 무슨 기술이 있을까? 구식이지만, 완벽한 대안 기술이 구현되지 않아 입지가 남아있는 기술들도 있다. 하지만 이들은 향후 교체에 대비해야 할 기술들이다.

1. 하이브(Hive)
지나칠 정도로 문제가 많다. 그러나 하이브는 최소 수준에서나마 성능을 충족하는 분산형 데이터베이스다. RDBMS들이 40년 동안 최고 기술임을 입증했다면, 이런 괴물이 등장하지 않았을 것이라는 점에 유념할 필요가 있다.

2. HDFS
자바에서 시스템 수준 서비스를 개발하는 것은 썩 좋은 생각이 아니다. 자바의 메모리 관리 능력 때문에 속도가 조금 느려지기도 한다. HDFS 네임노드(NameNode)는 모든 분야에서 이상적이지 못하며, 병목을 발생시킨다.
여러 벤더가 이를 개선하기 위한 편법을 개발했다. 그러나 더 좋은 것들이 존재한다. 다른 분산형 파일 시스템들이 있다. 맵알-FS(MapR-FS)는 꽤 잘 설계된 기술이다. 또 글러스터(Gluster) 같은 기술도 있다.

미래를 내다보면서, 유망해 보이지만 노후화 될 기술들을 찾아 정리할 시기다. 지금까지 그런 기술들을 골라봤다. 혹시 더 추가할 기술이 있는가? editor@itworld.co.kr

[출처] http://www.itworld.co.kr/print/101665

Loading

21 1월 2017

‘나홀로족’을 위한 혼자서 노는 법

 ‘나홀로족’을 위한 혼자서 노는 법

입력 : 2017.01.21 11:12

주부들의 삶은 대체로 가족들과 함께인 경우가 많지만, 가끔 혼자 시간을 보내야 할 때가 되면 뭘 해야 할지 몰라서 막막할 때가 있다. 요즘 ‘나홀로족’이 유행이라고 한다. 가족들에게 의지하지 않고 혼자서 시간을 보낼 수 있는 다양한 방법을 알아봤다.

혼자서 논다는 말은 결국 나를 사랑한다는 것이다. 혼자서 즐기는 방법을 발굴하고 연구하는 것은 자신을 사랑하는 방법을 찾아 내 인생을 더 풍요롭게 만드는 일이기도 하다. 집에 혼자 있을 때 멍때리면서 시간을 낭비하지 말고, 나를 돌아보고 나를 좀 더 채울 수 있는 행위들로 삶을 채워보자.

■  아지트 찾기
카페는 많지만 마음에 쏙 드는, 마음 편하게 쉴 수 있는 아지트 같은 공간을 찾는 것은 쉽지 않다. 유행하는 잡지나 책을 보고 음악을 들으면서 자신만의 즐거움을 누릴 수 있는 좋은 카페를 몇 군데 알아놓자. 전망도 좋고 조용한 곳을 나만의 아지트로 삼으면 혼자서의 시간을 즐길 수 있는 훌륭한 쉼터가 될 것이다. 유치원 엄마들과 삼삼오오 모여서 수다를 떨 때와는 또 다른 평화로운 시간을 만날 수 있다.

■  미래의 나에게 편지 보내기
5년 후, 10년 후의 나는 어떤 생각과 모습으로 살고 있을까. 지금의 솔직한 생각과 감정을 편지로 써서 5년 후의 나에게 전해보자. 나중에 그 시간이 되었을 때의 기분을 기대하면서 하나하나 써 내려가다 보면 지금을 더 충실하게 살아야겠다는 마음까지 가질 수 있다.

■  하루를 비디오로 찍자
매일 똑같이, 시시하게 흘러가는 하루 같지만 모든 사람의 인생은 멋진 영화 한 편이 될 수 있다. 지금의 하루를 비디오로 찍어놓으면 나중에 내가 주인공인 한 편의 훌륭한 영화가 탄생한다. 내가 감독이 되어 연출하고, 내가 출연해서 나의 일과를 생생하게 찍어보는 것. 젊었을 때의 모습과 가족의 모습, 강아지의 재롱 등 내 공간을 하나씩 기록하는 놀이를 해보자.

■  나를 위한 기념일 만들기
생일이 아닌, 가족들의 행사가 아닌 본인만을 위한 기념일을 정해서 혼자 즐기는 날로 정한다. 제일 좋아하는 계절, 제일 좋아하는 날짜를 정한 다음 매년 그날 자신에게 즐거운 이벤트를 해주는 식이다. 첫 번째 날 그만큼 더 특별한 선물과 이벤트를 하면 오래도록 기억에 남을 것이다.

■  미션: 하루 종일 꼭 붙어 있기
내가 좋아하는 책, 인형, 볼펜, 카메라 등 하나의 물건을 정해서 그 물건과 떨어지지 않고 그것에 완전히 몰입하는 미션이다. 하나에 집중하는 시간이 산만해진 마음을 정돈하고, 그것만으로도 많은 일을 할 수 있게 해준다. 책을 예로 든다면, 책을 베개로 삼기, 책에서 특정 단어 찾아보기, 책을 펼쳐서 나오는 숫자의 합 맞추기, 책에서 감동 문구 줄 치기, 책 겉표지 싸기 등등 다양한 활동이 가능하다.

■  새벽 기차여행
떠나는 것은 언제나 즐거운 일이다. 새벽 첫 기차에 몸을 싣고 어디로든 출발해보자. 만나게 되는 모든 것들이 유쾌하고 아름답게 보인다. 기차가 철로를 달리는 모습만 상상해도 기쁘게 된다. 새벽 기차여행이 좋은 이유는 사람이 많지 않고 혼자 조용하게 떠오르는 해를 보면서 생각에 빠지기 좋기 때문이다.

■  버스 타고 종점까지
목적을 가진 여행이 피곤하고 부담스럽다면 집 앞 가까운 버스정류장으로 가서 마음에 드는 버스를 골라 타자. 맨 뒷좌석에 앉아서 여유 있게 버스가 가는 대로 창밖 경치를 구경하며 종점까지 가는 것이다. 버스 종점은 대부분 도심에서 벗어나 자연에 가까운 곳에 위치해 있어서 비용 대비 색다른 기분을 느끼기 좋다. 익숙하지 않은 것들을 구경하는 것도 흥미로운 일이 된다. 예기치 않은 것들을 볼 수 있고, 혼자서의 한적함을 즐겨볼 수도 있는 간단하고 좋은 방법이다.

■  소리 채집하기
파도 소리, 계곡물 흐르는 소리, 바람이 부는 소리, 비가 내리는 소리, 귀뚜라미 소리, 아기 웃음소리, 엄마의 다정한 목소리 등등. 좋아하는 소리의 장소를 찾아서 그것을 녹음해보자. 힘들거나 외로울 때 좋아하는 소리를 들으면 굉장한 치유 효과가 있다.

■  스트레스 탈출구
큰 소리를 원 없이 지를 수 있는 장소가 있다. 바로 경기장이다. 축구나 농구 등 경기를 보면서 목청껏 응원하며 소리를 지르는 시간을 가져보자. 응원가를 따라 부르면 스트레스가 날아가고 자유로움을 느낄 수 있다. 혼자 놀기의 실력이 조금 높아졌다면 혼자서 노래방에 가는 것도 추천한다.

■  행복했던 일 100가지 찾기
노트를 펼치고 행복했던 일 100가지를 적어본다. 개수가 많아 보이지만, 소소한 행복의 느낌을 찾으면 얼마든지 채울 수 있다. 중요한 것은 모든 것에 행복이 있다는 것이다. 행복이라는 안경을 쓰고 바라보면 모든 것에 행복해진다.

■  고요 속 침묵 여행
“침묵 속에서 영혼은 더 뚜렷이 빛나는 길을 찾고, 형태를 알 수 없던 목표들이 수정같이 맑게 모습을 드러낸다”라는 간디의 말이 있다. 침묵을 연습하면 할수록 우리는 내면 깊숙이 들어갈 수 있게 된다는 뜻이다. 침묵을 연습하는 것은 마음의 유리창을 닦는 것과 같다. 부정적인 생각으로 어수선한 마음을 침묵으로 깨끗하게 잠재워보자. 한 시간만이라도 완전히 침묵하면 마음이 고요해지는 기쁨을 느낄 수 있다.

■  셀프 강의
남에게 듣는 강의만 강의가 아니다. 내가 나에게 강의를 해주자. 나보다 더 나를 잘 아는 사람은 없으니 실질적인 강의가 될 수 있다. 나에게 무엇이 필요한지 진지하게 생각해보고 그것을 도울 수 있는 자료를 모아보자. 나 자신을 설득해서 실력을 올리는 유익한 시간이 될 수 있다.

■  나홀로 마니또
남을 돕는 것이 곧 나를 돕는 것이다. 가족 중 한 사람, 혹은 평소 가깝게 지내는 친구들 중 한 명을 정해 항상 마음으로 기도하면서 정성껏 사랑을 베푼다. 물질적인 도움보다 격려를 해주고 마음을 써주는 것이 더 좋다. 내 일에만 신경을 쓰기보다 스스로 남을 도울 때 사람은 더 행복한 기분을 느끼고 삶이 충만해진다.

나의 혼자 놀기 수준은?

혼자 놀기에도 레벨이 있고 단계가 있다. 실력이 점점 늘어날수록 나를 사랑하는 마음도 그만큼씩 커진다는 것을 기억하자.

왕초보 | 혼자만의 아지트 만들기, 혼자 요리하기
초보 | 혼자 엽기사진 찍기, 혼자 영화 보기
중수 | 일상 비디오 찍기, 나홀로 마니또
고수 | 혼자 연주하기, 혼자 탐정놀이
초고수 | 혼자 복불복 게임, 혼자 미래여행
왕 | 혼자 연애하기, 혼자 연기하기
신 | 가상 죽음 체험, 셀프 강의

출처 : http://news.chosun.com/site/data/html_dir/2017/01/09/2017010901648.html

[출처] http://news.chosun.com/site/data/html_dir/2017/01/09/2017010901648.html

Loading

24 12월 2016

역사는 되풀이 된다 라는 말의 어원을 찾아봤습니다.

역사는 되풀이 된다 라는 말의 어원을 찾아봤습니다.

H.G 웰즈 라는 역사학자가 한말로

” 우리가 역사를 통해 배우는 가장 현저한 사실은, 우리가 역사를 통해서 아무것도 배우지 못한다는사실이다. 그래서 역사는 되풀이 된다.”

라는 말입니다.

뒤만 짤라내니 그냥 역사가 되풀이 되는구나 하는 분이 계시던데, 원래 의미 자체는 과거 역사에서 아무런 교훈을 얻지 못했기  때문에 과거의 오류와 비극이 오늘에 다시 되풀이 된다라는 말로  간단히 말해서 과거의 역사를 배우고 교훈을 얻어 다시 현대에 같은 오류나 비극을 겪지 말자는  의미로 해석하면 됩니다.

저도 원래부터 역사는 되풀이 된다라는 말이 과거의 잘못을 다시하지 말자는 의미로 알고 있었는데 그냥 말그대로 역사가 되풀이 되는 것으로 쓰시는 분을 보고 놀랐습니다. 고등교육을 받으셨다면 저렇게 쓰진 못할텐데, 아무래도 고등교육을 받지 못하신 분인 듯 합니다.

또한 우리가 역사를 배우는 의미는 과거에 있었던 역사를 통해서 잘된 것, 잘못된 것을 고루 배우고 그속에서 교훈이나 나아갈 방향을 찾아 더 나은 미래를 만들자는 의미입니다.

단지 누군가의 업적을 찬양하는 것, 일부 누군가의 우리 조상은 잘못한 것이 아니다 라는 변명을 듣기 위해 배우는 것이 아닙니다.

[출처] http://www.gasengi.com/m/bbs/board.php?bo_table=politics_bbs&wr_id=772411

Loading

22 12월 2016

학문연구의 일반적인 삼단계 (3단계)

학문연구의 일반적인 삼단계 (3단계)

역사학자 토인비는 그의 역작 ‘역사의 연구’에서 학문 연구의 일반적인 삼단계를 말했다.

첫 단계는 관심있는 현상에 주목하고 데이터를 모으고 기록하는 것이다.

두 번째 단계는 데이터를 분석하여 가설내지 법칙을 유도한 단계이고,

세 번째 단계는 법칙을 바탕으로 다가올 미래를 예측하거나 새로운 현상을 창조하는 것이다.

나는 (우리는) 어디까지 인가?

Loading