COMPUTERS Social Analytics 소개 및 관련 서비스 TechSensing

NHN 기술전략팀 배영규 

최근 스마트폰의 보급으로 트위터나 Facebook, 미투데이 등의 소셜 네트워크 서비스가 모바일 환경과 접목되면서 급성장했습니다. 지금 이 순간에도 엄청난 양의 데이터를 사용자 스스로 생산하고 있습니다. 그래서 Social Analytics에는 항상 빅 데이터(Big Data)라는 말이 따라다닙니다. 사용자 스스로 생산하는 빅 데이터는 마치 21세기의 금맥과 같으며, "정보 혁명"에서 이제는 "소셜 데이터 혁명"의 시대가 도래한 것입니다. 이 글에서는 Social Analytics를 구현하는 주요 기술과 적용 분야는 무엇인지 살펴보고, 소셜 미디어 분석 서비스 업체로는 어떤 업체가 있는지 알아보겠습니다.

데이터를 분석할 때 가장 시간과 비용이 많이 드는 과정이 데이터의 전처리 과정이다. 소셜 네트워크 서비스에서는 각종 로그와 서비스 관련 데이터가 실시간으로 엄청나게 빠르게 쌓인다. Social Analytics는 이처럼 빠르게 쌓이는 빅 데이터를 분산 저장 시스템, 그래프 기반 데이터베이스, 그래프 분석 기술 등을 활용하여 효율적으로 전처리하고 분석한다.

빅 데이터를 효율적으로 처리하는 분산 저장 시스템으로는 Hadoop을 활용할 수 있다. 그래프 기반 데이터베이스에는 Neo4J나 InfiniteGraph가 있다. 그리고 GoldenOrb 같은 오픈소스를 대용량 그래프 분석에 활용한다.

빅 데이터를 분석하는 엔진에는 오픈소스 기반의 통계 엔진인 R과 Mahout이 있다.

최근에 주로 사용하는 엔진은 R이다. Google, Facebook, Amazon.com과 같은 기업도 R을 사용하여 분산 컴퓨팅 환경을 구성한다고 한다. R의 기본 패키지와 함께 플러그 인으로 만들어진 수많은 서드파티 패키지를 사용할 수 있다. 그렇기 때문에 기본적인 통계 분석 패키지, 데이터 마이닝 패키지 등 수많은 패키지를 자유롭게 사용할 수 있다. 또한 R은 Hadoop 환경에서 분산 처리가 가능하다. 퍼듀 대학교(Perdue University)의 Saptarshi Guha(현재 PaloAlto Revolutionanalytics에서 근무 중)가 만든 RHIPE(R and Hadoop Integrated Processing Environment)는 R을 Hadoop 환경에서 MapReduce와 연결시켜 수백만 개의 데이터를 매우 짧은 시간에 분석할 수 있도록 한 프로그램이다.

다음의 통계 분석 그래프를 보면 R이 어느 정도 인기가 있는지 짐작하실 수 있다.

그림 1 연도별 통계 분석: 소프트웨어별 메일 Discussion 트래픽 양[1]

그림 2 투표 결과: 데이터 마이닝/분석용 소프트웨어 사용 순위[2]

R과 함께 주목해야 할 오픈소스인 Mahout은 2011년 12월 기준으로 0.5 버전까지 릴리스되었다. Mahout은 Hadoop 환경에서 쓸 수 있는 Machine learning library 모음을 제공한다. 또한 Classification, Clustering, Data mining 등과 관련해 널리 알려진 알고리즘을 구현한 라이브러리를 Map/Reduce로 실행할 수 있도록 만들어서 제공한다.

R과 Mahout 모두 Hadoop 환경에서 사용할 수 있어 둘을 적절히 활용하여 분석 인프라를 구성하는 것도 좋은 방법일 것이다. 이외에 Weka 같은 오픈소스도 있다.

CRM 등의 시스템에서 주로 이용한 기존의 전통적인 분석 방법에서는 ETL 툴을 이용한 배치(batch) 방식으로 일(day), 주(week), 월(month) 등의 주기로 원천 소스 데이터에서 분석 데이터를 수집했다. 수집한 데이터를 ODS(Operational Data Storage)를 거쳐 분석 Data Mart로 구성하여 DW(Data Warehousing)를 구축했다.

이 방식으로는 기업의 내부(internal) 데이터는 처리할 수 있지만, 소셜 네트워크 서비스와 같이 기업 외부에서 실시간으로 생산되는 엄청난 양의 데이터를 처리하는 데에는 어려움이 있다. 기업 내부의 데이터와 소셜 네트워크 서비스의 데이터를 함께 처리하려면 기존의 Batch 방식 외에 빅 데이터를 실시간으로 처리하는 기술이 필요하다.

빅 데이터를 실시간으로 처리하는 방식에는 CEP(Complex Event Processing) 기술에서 정의한 Event를 Catch하여 데이터로 저장하지 않고 분석하거나, 룰 엔진으로 Action을 수행하는 개념을 도입하는 방식도 있다[4].

그림 3 CEP 구성도 [3]

실시간 처리(Realtime Processing)의 중요성은 Hadoop의 Batch Processing을 실시간 처리로 개선하려는 Facebook의 사례[4, 5, 6]나 트위터의 사례[7, 8]를 참고하면 알 수 있다.

그림 4 Facebook의 실시간 처리 아키텍처[4]

트위터에서 2011년 9월에 오픈소스로 발표한 실시간 스트림 프로세싱 엔진인 Storm도 앞으로 관심 있게 살펴볼 필요가 있다.

Social Analytics의 최종 목표는 분석 자체가 아니라 분석으로 얻은 결과를 서비스에 접목하거나 분석 자체를 서비스로 만들어 제공하는 것이라고 볼 수 있다. 이를 위해서는 데이터 분석 결과를 더 통찰력 있게 보도록 도와주는 데이터 시각화(Information Visualization) 기술이 중요하다.

Social Graph Visualization을 위해 오픈 소스로 제공되는 분석 도구에는 Gephi, NodeXL와 같은 도구가 있다.

그림 5 Gephi를 이용한 소셜 네트워크 관계도 시각화

또한 라이브러리 형태로 제공되는 도구도 많다. Java 기반의 JUNG(Java Universal Network/Graph Framework), Prefuse, Prefuse의 Flash 버전인 Flare, JavaScript 기반의 Google Visualization Chart API나 실시간 데이터 변화를 동적으로 보여 주는 Google Motion Chart, Protovis, InfoVis, Raphael 등이 라이브러리 형태로 제공되는 도구이다.

데이터는 성격에 따라 다음과 같이 비정형 데이터, 정형 데이터, 준정형 데이터로 나눌 수 있다.

• 비정형 데이터(Unstructured Data): 트위터, 미투데이 등의 포스팅 글이나 쇼핑몰의 상품평과 같이 텍스트 형태로 된 데이터. 텍스트 마이닝(text mining) 기법으로 데이터에서 의미 있는 정보를 찾아야 한다.
• 정형 데이터(Structured Data): 성별, 연령대, 직업 등의 정형화된 데이터
• 준정형 데이터(Semi-Structured Data): 태그와 같이 메타 데이터 성격을 띠는 데이터

소셜 미디어에서 생산되는 데이터는 대부분 텍스트와 같은 비정형(Unstructured) 데이터이다. 이와 같은 테스트 형태의 비정형 데이터 분석에는 사용자 간의 관계 및 유사 커뮤니티를 발굴하기 위해 비지도학습(unsupervised learning) 기법을 활용하는 빈도가 높고, 텍스트 마이닝, 소셜 네트워크 분석(social network analysis), 군집분석(clustering) 등이 주로 사용된다.

텍스트 마이닝은 비정형 데이터를 대상으로 자연 언어 처리 기술과 문서 처리 기술을 이용해 유용한 정보를 찾아내는 기술이다. 소셜 미디어에서 생산하는 데이터는 트위터나 Facebook의 포스팅된 글과 같이 비정형 데이터이기 때문에 데이터 분석에 텍스트 마이닝을 활용할 수 있다.

텍스트 마이닝 기술로 사용자의 글을 분석하여 특정 상품이나 서비스에 대한 선호도 및 여론의 방향을 파악할 수 있다. 문장 형태의 비정형 데이터를 정형화하는 데이터 전처리 기술에 대한 노하우가 필요하며, 선호도를 파악할 수 있도록 호감(positive)과 비호감(negative)을 인지하는 단어에 대한 노하우가 필요하다.

소셜 네트워크 분석(Social Network Analysis)은 그래프는 노드(nodes or vertices)와 두 노드를 연결하는 선(edge)으로 구성되어 있다는 그래프 이론(graph theory)을 이용하여 그래프에 있는 사용자의 중요도를 측정하는 기술이다. 입소문의 중심이나 허브 역할을 하는 사용자를 찾거나 비슷한 성향으로 군집된 사용자군(group or community)을 발굴하는 데 주로 이용한다.

소셜 네트워크 분석에서 사용하는 주요 지표에는 연결선 수(degree), 중개 중심성(betweenness centrality), 근접 중심성(closeness centrality), 고유벡터 중심성(eigenvector centrality), (leading eigenvector of sociomatrix: 중심성), 군집 정도(clustering coefficient) 등이 있다.

• SVMs(Support Vector Machines): 미리 사전에 긍정/부정으로 분류된 학습 데이터(Training Sets)로 텍스트의 긍정/부정 의견을 분류하는 방식이다. [11, 12, 13]
• N-grams or Part Of Speech: N-grams 단어 구조로 긍정/부정을 찾는 방식이다. "I do not like to drink tea"라는 문장이 있고 이 문장을 Bi-gram Decomposition으로 분리하면, "I-do", "do-not", "not-like"와 같은 식으로 분리한다. N은 주로 1, 2, 3까지 사용한다.
• Lexicon-based Approach: 사전에 미리 정의된 긍정/부정 Bag of Words(1-grams or Uni-grams)를 이용하여 텍스트에 포함된 긍정/부정 단어의 출현 빈도로 긍정과 부정을 판별하는 기법이다. LIWC(Linguistic Inquiry andWord Count)나 POMS(Profile of Mood States) 같은 사전을 이용할 수 있는데 한국어에서는 사용할 수 없다. 긍정/부정 코퍼스(Corpus)를 만드는 것이 관건이라고 할 수 있다[14].
• Linguistic Approach: 텍스트의 문법적인 구조를 파악하여 극성을 판별하는 기법이다. 주로 Lexicon-based Approach 방식과 함께 사용한다. 문맥(context) 등을 파악하여 극성을 판별한다[15, 16].

Recommendation

이 글에서 설명하는 Recommendation은 소셜 네트워크 서비스의 '친구 추천'을 의미한다. 서로 유사한 토픽을 포스팅하는지 분석하는 Content Matching 기법이나 Contents Matching과 소셜 링크(Link) 정보를 활용하는 Content-plus-Link(CplusL) 기법 또는 Friend-of-Friend(FoF) 기법 등을 이용하여 소셜 네트워크상에 친구를 추천하는 분야이다[22].

경축! 아무것도 안하여 에스천사게임즈가 새로운 모습으로 재오픈 하였습니다.
어린이용이며, 설치가 필요없는 브라우저 게임입니다.
https://s1004games.com

친구 추천은 대상이 되는 서비스의 성격에 따라 달라질 수 있다. 예를 들어, Facebook이나 미투데이와 같은 서비스에서는 FoF 기법을 활용할 수 있지만, 더 사적인(private) 서비스인 네이버톡이나 카카오톡과 같은 MIM(Mobile Instant Messaging) 서비스에서는 친구로 추천할 대상 범위에 대한 제약이나 조건이 더 복잡하다.

R 분산 기술을 사용할 수 있는 클라우드 컴퓨팅 환경을 제공하는 서비스이다.

Google Cloud Storage의 데이터를 활용하여 Classification 예측 모델링을 할 수 있는 서비스를 API 형태로 제공한다. R을 이용해서 Interface할 수 있는 기능도 제공한다.

국내 서비스로 미디컴과 다음소프트가 공동 개발한 소셜 여론 분석 서비스이다. 일반인 대상의 무료 서비스와 기업의 소셜 마케팅 방향을 제시하는 기업 대상의 서비스를 제공한다. 특히 기업 대상 서비스에는 제품과 브랜드, 시장동향 파악, 경쟁사 활동 비교 분석 등의 서비스가 있다.

국내 서비스로 소셜 의견 검색 엔진 사이트이다. 버즈니 영화가이드, 맛집가이드 등의 아이폰, 안드로이드 버전의 모바일 의견 검색 서비스를 제공한다.

2011년 3월에 Salesforce.com에 인수된 선두 소셜미디어 모니터링 업체이다. Facebook과 트위터, YouTube, LinkedIn, 블로그 등 다양한 소셜 미디어에서 이루어지는 수천만 건의 대화를 필터링해 대중의 관심 사항을 파악하는 서비스를 제공한다.

과거 1,000일간의 트위터, Facebook, Myspace 등의 소셜 미디어 데이터를 축적, 분석하는 플랫폼이다. 빅 데이터 분산 처리를 위해 Hadoop을 기반으로 하고, 데이터베이스 역시 NoSQL 계열의 오픈소스인 MongoDB를 사용한다고 한다. 제공하는 서비스로는 입소문 및 선호도 분석 결과 리포팅 서비스, 소셜 네트워크 분석과 군집 분석을 활용한 챔피온 커뮤니티 및 그래프 분석 서비스, 그리고 큰 영향력을 발휘하는 오피니언 리더를 탐색하여 타겟팅 캠페인을 실시하는 서비스 등이 있다[3].

트위터상의 실시간 감정(Sentiment) 검색 서비스를 제공한다.

트위터상에서 특정 브랜드, 상품, 사람 또는 토픽에 대해서 감정 분석 서비스를 제공한다.

트위터상에서 특정 브랜드, 상품 등에 대해서 감정 분석 서비스를 제공한다.

트위터, Facebook, LinkedIn 등의 사용자의 영향력(Social Influence) 평가 서비스를 제공한다.

트위터나 블로그 등의 사용자의 영향력 평가 서비스를 제공한다.

• 트위터의 사용자 영향력 평가 서비스: http://tweetlevel.edelman.com/
• 블로그의 사용자 영향력 평가 서비스: http://bloglevel.edelman.com/

트위터 사용자의 영향력 평가 서비스를 제공한다.

트위터 사용자의 영향력 평가 서비스를 제공한다.

블로그, 소셜 네트워크 서비스, 뉴스, 마이크로 블로그, 포럼 등을 분석하여 토픽, 트렌드 분석, 영향력 있는 사용자(Top Influencers) 분석 등의 서비스를 제공한다.

소셜 CRM과 관련된 서비스 및 솔루션을 제공한다.

소셜 CRM과 관련된 서비스 및 솔루션을 제공한다.

온라인 상에서 기업의 이미지 관리를 위한 서비스를 제공한다.

소셜 CRM과 관련된 서비스를 제공한다.

소셜 플랫폼(Social Platform)과 관련된 서비스 및 솔루션을 제공한다.

참고 자료

[1] Plot of listserv discussion traffic by year
[2] Poll Results: Top Languages for Data Mining/Analytics
[3] Big Data Analytics Korea 2011
[4] Real Time analytics for Big Data: Facebook's New Realtime Analytics System
[5] Real Time Analytics for Big Data: An Alternative Approach
[6] Facebook's New Realtime Analytics System: HBase To Process 20 Billion Events Per Day
[7] Preview of Storm: The Hadoop of Real Time Processing
[8] A Storm is coming: more details and plans for release
[9] 소셜 미디어의 시대, 보이지 않는 금맥을 찾아라.
[10] Pang, B., & Lee, L. (2008). Opinion mining and sentiment analysis. Foundations and Trends in Information Retrieval, 1(1?2), 1?135
[11] ]Pak, A.,&Paroubek, P. (2010).Twitter as a corpus for sentiment analysis and opinion mining. In Proceedings of LREC 2010 (pp. 1320?1326). Paris: European Language Resource Association. Retrieved November 5, 2010.
[12] Pang, B., & Lee, L. (2005). Seeing stars: Exploiting class relationships for sentiment categorization with respect to rating scales. In Proceedings of the 43rd Annual Association for Computational Linguistics Conference (pp. 115?124). Morristown, NJ: Association for Computational Linguistics.
[13] ]Pang, B., Lee, L., & Vaithyanathan, S. (2002). Thumbs up? Sentiment classification using machine learning techniques. In Proceedings of the Conference on Empirical Methods in Natural Language Processing (pp. 79?86). Morristown, NJ: Association for Computational Linguistics.
[14] ] Taboada, M., Brooke, J., Tofiloski, M., Voll, K., & Stede, M. (in press). Lexicon-based methods for sentiment analysis. Computational Linguistics.
[15] Wilson, T., Wiebe, J., & Hoffman, P. (2009). Recognizing contextual polarity: An exploration of features for phrase-level sentiment analysis. Computational Linguistics, 35(3), 399?433.
[16] Wilson, T., Wiebe, J., & Hoffman, P. (2005). Recognizing contextual polarity in phrase-level sentiment analysis. Proceedings of Human Language Technology Conference and Conference on Empirical Methods in Natural Language Processing (HLT/EMNLP), pages 347?354, Vancouver.
[17] Blei DM, Ng AY, Jordan MI (2003) Latent dirichlet allocation. J Mach Learn Res 3 (4-5):993-1022
[18] ] Cha, M., Haddadi, H., Benevenuto, F., & Gummadi, K. P. (2010). Measuring user influence in Twitter: The million follower fallacy. In Proceedings of the International AAAI Conference on Weblogs and Social Media.
[19]
[20] Tumasjan, A., Sprenger, T.O., Sandner, P.G., Welpe, I.M. (2010) Predicting elections with Twitter: What 140 characters reveal about political sentiment, In: 4th International AAAI Conference on Weblogs and Social Media (ICWSM)
[21] S. Asur, B.A. Huberman, (2010) Predicting the Future with Social Media.
[22] Jilin Chen, Werner Geyer, Casey Dugan, Michael Muller, Ido Guy. (2009) Make new friends, but keep the old: recommending people on social networking sites. In Proceedings of the 27th international conference on Human factors in computing systems.
[23] Girvan M, Newman MEJ. (2002) Community structure in social and biological networks. P Natl Acad Sci USA 99 (12):7821-7826
[24] Flake GW, Lawrence S, Giles CL, Coetzee FM. (2002) Self-organization and identification of web communities.
[25] Clauset A, Newman MEJ, Moore C. (2004) Finding community structure in very large networks. Phys Rev E 70 (6)
[26] 30 Useful Social Media Monitoring Tools

NHN 기술전략팀 배영규

2000년 부터 CRM 솔루션 개발 업무를 주로 해왔으며, 2009년 NHN에 입사하여 프로젝트 관리 업무를 하다가 현재는 기술전략팀에서 opinion mining, sentiment analysis와 같은 데이터 분석 관련된 기술 연구를 하고 있습니다. 소셜 데이터와 같은 대량의 비정형 데이터로 부터 어떻게 하면 인사이트를 쉽고 빠르게 찾을 수 있을까를 항상 고민하고 있습니다.