알아봅시다 [알아봅시다] 빅데이터 컴퓨팅 인프라

최근 ICT 분야의 핫이슈를 꼽자면 '빅데이터'를 빼놓을 수 없습니다. 빅데이터는 기업이나 국가의 경쟁력을 좌우하는 핵심 요소로 주목받고 있습니다. 그 이유는 기존의 일부 데이터를 분석해 얻어지는 결과보다 빅데이터 분석 결과가 더 정확하고, 전에는 몰랐던 새로운 사실을 발견하거나 새로운 지식을 창출할 수 있기 때문입니다.

남들보다 더 빨리 알지 못했던 것을 발견해 활용함으로써 경쟁력을 확보할 수 있다는 점도 빅데이터를 통해 가능한 일입니다. 즉 빅데이터의 가치는 대량의 다양한 데이터를 고속으로 처리할 수 있는 고확장성과 고성능 컴퓨팅 인프라를 확보하지 않고선 얻을 수 없다는 얘기입니다.

빅데이터 분야에서 더 많은 데이터를 기반으로 가치 있는 정보를 빠른 시간 내에 얻으려면 분산컴퓨팅 기술, 고성능 컴퓨팅 기술, 인메모리 컴퓨팅 기술 등의 컴퓨팅 인프라가 필요한데, 이에 대해 살펴보도록 하겠습니다.

◇분산컴퓨팅 기술=빅데이터에서 가장 문제가 되는 것은 '데이터 규모'입니다. 데이터가 연평균 35% 증가하고 있어 이를 저장·처리하기 위해서는 컴퓨터 용량이 지속적 늘어나야 합니다.

데이터 증가에 따라 가장 손쉽게 컴퓨터 용량을 늘려 이용하는 방법에는 '클러스터 기반의 분산컴퓨팅'이 있습니다. 같은 공간 내의 서버들을 네트워크 장비로 연결해 활용할 수 있도록 구성한 컴퓨터 시스템으로, 용량 확장이 필요할 때마다 쉽게 노드 추가를 할 수 있어 대규모 데이터를 분산해서 빠르게 처리할 수 있습니다.

분산컴퓨팅은 용량 확장뿐 아니라 시스템의 가용성 제공 측면에서도 매우 중요한 기술입니다. 특정 노드에 장애가 발생하면 다른 노드를 이용해 계속 서비스할 수 있으며, 장애 복구도 장애 노드만을 대상으로 처리하면 사용할 수 있게 돼 시스템 전체를 복구하는 것에 비해 상대적으로 적은 시간을 들여 복구가 가능합니다. 특정 노드에 장애가 발생해도 저장 데이터의 손실이 발생하지 않습니다.

이렇듯 분산컴퓨팅 기술은 빅데이터 활용을 지원하는 데 있어 가장 중요한 기반 기술로 활용되고 있으며, 구글, 네이버 등 웹 포털 서비스 업체에서도 사용자의 검색 패턴과 웹 내비게이션 패턴 등을 분석해 개인화 서비스를 제공하는 등 전 서비스 영역에서 분산컴퓨팅 기술을 활용하고 있습니다.

페이스북, 트위터 등 소셜 네트워크 서비스 업체와 아마존, 지마켓 등 인터넷 쇼핑몰 업체 사용자에게서 수집한 대규모 데이터를 분석, 쇼핑패턴 파악을 파악하고 타깃 마케팅을 하거나 상품 기획 또는 이벤트 행사 기획에도 적용하고 있습니다.

◇고성능 컴퓨팅 기술=빅데이터 시대에는 데이터 생성 및 처리 속도가 매우 중요한 기술적 이슈가 되며, 이를 위해 고성능 컴퓨팅과 인메모리 컴퓨팅을 기반 기술로 활용하고 있습니다. 고성능 컴퓨팅을 위해서는 다수의 프로세서 또는 노드들을 연결해 고도의 연산능력을 갖춘 컴퓨터 시스템을 구성, 이를 최대한 활용해 고속 처리를 제공하는 분산 병렬 컴퓨팅이 중요합니다.

빅데이터 분석을 위한 고성능 컴퓨터는 기초과학 분야의 연구개발이나 금융, 물류, 의학, 교육 등 다양한 산업에서 쓰이고 있는데 대표적인 예가 슈퍼컴퓨터를 빅데이터 플랫폼으로 활용하는 것입니다. 슈퍼컴퓨터는 쓰나미 발생 예측을 위한 연구, 기후변화 연구 등 지구환경 변AP화를 관찰해 대량의 데이터를 분석해 앞으로의 변화를 예측하는 데 활용되고 있으며, 신용카드 도용 및 보험 사기 등을 사전에 예방하기 위해 금융, 보험 분야에서도 널리 쓰이고 있습니다.

◇인메모리 컴퓨팅 기술=전통적으로 디스크 기반 스토리지에 있는 데이터를 메인 메모리로 옮겨 활용하는 기술을 뜻합니다. 기존 디스크 기반의 데이터 저장 영역보다 훨씬 빠른 속도의 데이터 저장 및 전달체계를 갖춰 많은 기업들이 실시간 의사결정을 위한 데이터 처리 기술로 활용하고 있습니다. 이러한 인메모리 컴퓨팅 기술은 빅데이터에서도 필수적인 기술로 손꼽히는데, 현재 가장 활발하게 인메모리 기술이 활용되는 분야는 데이터베이스로, 인메모리를 활용해 데이터베이스 자체를 메모리에 올려 입출력을 빠르게 해 데이터 분석, 저장, 제공 등을 빠른 속도로 지원합니다.

인메모리 컴퓨팅 기술로 가장 큰 효과를 볼 수 있는 분야는 사기 방지, 신용카드 부정사용 방지 등으로, 신용카드를 결제 단말기에 읽히는 순간 분실·도난된 신용카드인지를 확인하는 방식으로 활용됩니다. 증권업계에서는 실시간 수익률을 분석하는데 인메모리 기술을 적용하고 있습니다. 일본에서는 실시간 교통정보 시스템에 인메모리 기술을 활용해 택시가 복잡한 교통망의 구간별 차량 대수 및 교통정보를 실시간으로 수집한 뒤 최적 코스로 손님을 빠르게 모시고 있습니다. 우리나라에서는 버스, 지하철, 택시 등 대중교통 정보와 연계시켜 교통서비스 수준을 높이는 데 활용할 수 있습니다.

분산컴퓨팅 기술과 고성능 컴퓨팅 기술, 인메모리 컴퓨팅 기술이 더욱 고도화되고 조화롭게 연계된다면 빅데이터 처리 플랫폼으로 가장 효과적으로 활용될 수 있을 것입니다.

대전=이준기기자 bongchu@dt.co.kr

도움말=한국전자통신연구원(ETRI)