[실시간 분석 시스템] 일단 데이터 들여다 보기

이전 글 "Open & Share"에서 언급했던 빅데이터 3가지 수행원칙을 다시 한번 정리해보면 아래와 같다.

1. 시스템 구축이 목적이 아니라 서비스 분석, 인사이트 도출 등이 우선이다.
2. 2주 정도의 작은 단위의 기간을 통해 프로토타이핑을 하고, 시스템은 작은 규모로, 필요한 시스템부터 하나씩 하나씩 도입, 적용 해나가며 완성해 나간다.
3. 분석, 인사이트 도출과 프로토타이핑 된 내용들은 모두 Visualization, 자동화하기 위해 노력한다.

첫 번째로 언급한 서비스 분석, 인사이트 도출을 하기 위해서는 가장 중요한 것이 기반 플랫폼을 구축하고 나서가 아니라 현재 적재되어 있는 데이터를 쉽게, 그리고, 깊이 있게 들여다 볼 수 있어야 한다. 데이터를 지속적으로 보다 보면 생각하지 못했던 인사이트가 나올 것이다. 또한, 해당 서비스 뿐 아니라, 타 서비스 그리고, 오픈 데이터를 매시업 하면 더욱 양질의 새로운 인사이트를 생성 할 수 있다.

이런 경우 가장 효과적인 방법은 위에서 세 번째로 언급한 Visualization 이다. 다행히 Visualization을 쉽게 접근해서 생성할 수 있는 다양한 오픈 소스들이 널려 있다. 유용한 도구는 본 글 마지막 부분을 참고하기 바란다. 해당 서비스 및 연관 서비스, 오픈 데이터를 매시업하여 도출한 새로운 인사이트를 오픈 된 Visualization 도구를 통해 표현 한다면, 그 효과는 극대화 될 것이다.

이 때 효과적인 분석 도구는 여러 칼럼에서도 언급된 "R"이다. R은 엔터프라이즈 버전도 있지만, 우리가 하고자 하는 목적을 위해서는 오픈 소스 버전을 사용해도 충분하다.

데이터를 들여다 보면..

위 그림은 오픈소스 R을 이용하여 Twitter 상의 특정 주제가 언급된 데이터를 읽어 들여, WordCloud 형태로 그려준 예이다. 이 또한, PC상에서 R을 설치하고, 이미 제공되어 있는 WordCloud 패키지 등을 활용하여 간단하게 만들어 볼 수 있다. 관련된 소스는 이곳을 (http://wp.me/p2Stwv-4s) 참고하면 된다.



위 그림은 kth의 모바일 포토 SNS 인 푸딩.투 이용자들이 사진을 등록한 위치 분포도 이다. 데이터는 RDBMS에 있는 데이터를 기반으로 오픈소스 그래프 유틸리티를 활용한 화면이다. 이런 분석 화면을 만들기 위해서는 굳이 대용량의 분산,저장,분석 플랫폼이 필요 없으며, RDBMS에 저장된 데이터를 오픈소스 그래프 유틸리티의 형식에 맞게 텍스트화 하여 간단히 만들 수 있다.

빅데이터 분석을 위해..

위에서 본 분석들이 거창한 빅데이터 플랫폼이 필요하지 않다는 것을 말하고 싶다. 간단히 오픈된 프로그램을 활용하거나, 현재의 환경에서도 충분히 분석을 하고 인사이트를 만들어 낼수 있다. 이런 분석들이 자주, 그리고, 깊이를 더해 가다보면, 자연스럽게 좀 더 대용량의 데이터를 처리해야 하거나, 복잡한 분석이 필요하여 대용량 분산 처리를 위한 빅데이터 플랫폼이 필요하게 되어 구축을 하게 될 것이다.

참고

Chart를 위한 Visualization은 아래의 도구가 유용하다. 일부 상용버전도 있지만, 모두다 파워풀한 기능을 제공하기 때문에 상황에 맞게 적절하게 활용하면 아주 유용한 도구들이다.

o D3.js (Data-Driven Documents)
- a JavaScript library for manipulating documents based on data.
- http://d3js.org/

o Google Charts
- https://developers.google.com/chart/

o Kendo UI
- jQuery HTML5 framework for desktop, mobile app development, HTML5 data visualization
- http://www.kendoui.com/

o Sencha Ext JS
- JavaScript Framework for Rich Desktop Apps
- http://www.sencha.com/products/extjs/

o Highcharts JS
- a charting library written in pure HTML5/JavaScript, offering intuitive, interactive charts to your web site or web application
- http://www.highcharts.com/

o amCharts
- a robust charting tool that will suit any data visualization need.
- http://www.amcharts.com/

경축! 아무것도 안하여 에스천사게임즈가 새로운 모습으로 재오픈 하였습니다.
어린이용이며, 설치가 필요없는 브라우저 게임입니다.
https://s1004games.com

출처 : 한국데이터베이스진흥원

제공 : DB포탈사이트 DBguide.net

[출처] http://www.dbguide.net/knowledge.db?cmd=specialist_view&boardUid=175971&boardConfigUid=108&boardStep=0