[딜라이트닷넷 창간기획/빅데이터 보안] 빅데이터가 된 로그, 그 로그를 분석하는 통합로그분석시스템 : 어차피 정보를 잘 출력하는 로그를 분석하면 되지 하둡으로 장애 잘 일으키는 시스템 을 빅데이터로 포장하면 모가달라지남
2016.05.04 09:55
[딜라이트닷넷 창간기획/빅데이터 보안] 빅데이터가 된 로그, 그 로그를 분석하는 통합로그분석시스템 : 어차피 정보를 잘 출력하는 로그를 분석하면 되지 하둡으로 장애 잘 일으키는 시스템 을 빅데이터로 포장하면 모가달라지남
[딜라이트닷넷 창간기획/빅데이터 보안] 빅데이터가 된 로그, 그 로그를 분석하는 통합로그분석시스템
2013.10.02 08:49:57 / 이민형 기자
- [딜라이트닷넷 창간4주년/분석의시대] 빅데이터 분석을 활용한 지능형 보안 강화①
갈수록 복잡해지는 IT 환경과 보안위협의 급증, 지능화에 따라 최근 보다 능동적이고 효과적으로 대응하기 위한 방법으로 보안관리에 빅데이터 기술을 결합하는 사례가 늘어나고 있다.
<딜라이트닷넷>은 기존의 보안정보이벤트관리(SIEM) 솔루션의 고도화를 비롯해 빅데이터 분석을 탑재한 통합로그분석시스템의 현안을 살펴본다.
또 하둡과 같은 빅데이터 플랫폼, 분석기술을 접목해 보안수준을 높이고 있는 업체들의 전략과 솔루션의 강점을 살펴본다. <편집자주>
날로 고도화되는 보안위협으로 인해 통합로그분석시스템에 대한 업계의 관심이 높아지고 있다. 기존의 단일 보안솔루션(방화벽, 침입방지시스템 등)만으로는 보안위협에 대응하기 어렵기 때문이다.
또 기존에 수집만 하던 로그의 가치를 보안담당자들이 깨닫게되면서 로그분석에 대한 수요가 많아진 것으로 분석된다.
통합로그분석시스템은 방화벽, 침입방지시스템 등 네트워크 보안장비를 비롯해 호스트, 메인프레임 등 기업내 모든 어플라이언스에서 내놓는 로그를 저장하고 이를 통해 유의미한 데이터를 생성한다. 빅데이터 분석을 보안에 활용한 사례다.
또 수많은 정형·비정형데이터를 마이닝해 유의미한 수치를 뽑아낼 수 있다. 가령 같은 지점에서 발생하는 오류에 대한 로그가 각각의 어플라이언스에서 도출됐다면 이를 바탕으로 정확한 진단이 가능하다는 의미다.
여기서 생성된 데이터는 기업내 보안 취약점을 알아낼 수 있도록 도와주거나 전사적인 리스크 관리에도 탁월한 효과를 발휘하고 있다.
아울러 개인정보를 취급하는 모든 사업자들은 사용자의 접속기록(로그)을 안전하게 보관할 수 있도록 기술적·관리적 조치를 취해야한다는 법적인 이슈도 통합로그관리시스템의 인기요인 중 하나다.
◆통합로그분석시스템, 보안정보이벤트관리(SIEM)과는 무엇이 다를까
여기까지만 본다면 통합로그분석시스템은 통합정보관리(ESM)이나 보안정보이벤트관리(SIEM)와 크게 다른점이 없어보인다. ESM, SIEM 역시 로그와 이벤트를 수집, 분석하는 기능을 갖추고 있기 때문이다.
그럼 통합로그분석시스템 전문업체의 이야기를 들어보자. 딜라이트닷넷은 이상준 유넷시스템 연구소장과 이용섭 이너버스 차장과 인터뷰를 진행했다.
기자 “SIEM과 통합로그분석시스템은 별로 다른게 없는 것 같습니다. 무슨 차이점이 있나요?”
이상준 유넷시스템 연구소장 “양 솔루션은 로그 또는 이벤트를 수집하고 분석하는 고유의 기능은 서로 유사한 것은 사실입니다. 하지만 통합로그분석시스템은 수집, 분석 성능과 분석의 유연성에 초점을 맞추고 있습니다. 반면 SIEM은 보안 침입, 사고에 대한 시그니처를 보유하고 있고 보안사고에 대한 예·경보, 후속 처리 등에 초점을 맞추고 있습니다.”
이용섭 이너버스 차장 “초창기 로그관리의 주요 이슈는 시스템의 정상적인 동작 여부를 확인하고 에러를 점검하기 위해 데이터를 손상하지 않고 원본 로그 파일을 보관하는 것이 주 목적이었습니다. 하지만 IT인프라의 대형화의 빅데이터 시대가 열리면서, 근래의 통합로그분석시스템은 수집, 처리된 대용량의 로그 데이터의 연계성을 분석해 침입탐지, 이상징후 탐지, 내부정보 유출 모니터링 등 고도의 상관분석 기술을 활용하는 방향으로 가고 있습니다.”
즉, 통합로그분석시스템은 로그 수집은 기본 기능이며, 분석의 성능과 유연성, 데이터간 연계성에 초점을 맞추고 있다고 볼 수 있다.
◆하둡이 ‘킹왕짱?’…“꼭 그런 것은 아니다”
빅데이터라는 용어의 등장으로 ‘하둡(Hadoop)‘이라는 기술도 부각됐다. 하둡은 대량의 데이터를 처리할 수 있는 분산 처리 파일 시스템 중 하나다. 일각에서는 하둡이 빅데이터 분석에 가장 빠른 시스템이라고 이야기하지만 그렇지는 않다.
이상준 연구소장의 이야기를 들어보자
“빅데이터 기술은 규모의 경제 개념이 적용됩니다. 일정 숫자 이상의 서버에 분산 저장/분석 환경에서나 스탠드얼론(Stand Alone) 시스템보다 좋은 성능을 발휘할 수 있게되는데, 이 정도의 규모의 로그를 생산하는 기업이나 기관은 극소수에 불과합니다. 즉, 빅데이터 분석에 하둡만 고집할 필요는 없다는 것입니다.”
빅데이터 분석의 핵심은 정형, 반정형데이터를 얼마나 빨리 분석할 수 있느냐에 달려있다. 수집되는 로그의 형태가 다양하고 그 양이 어마어마해지다보니 하둡을 채택하는 경우가 많은 것일 뿐, 독자적으로 분산 처리가 가능하다면 문제될 것은 없다는 의미다.
물론 통합로그분석시스템을 도입하기 전에 벤치마크테스트(BMT)를 통해 성능을 확인하는 것은 당연한 절차이고, 시스템 환경에 따라 달라질 수 있어 하둡의 효용에 대해서는 여기서 마무리 짓고자 한다.
◆“이정도는 돼야 통합로그분석시스템 아니겠어?”
하둡 기술을 채택하지 않고도 빅데이터 분석이 가능하다고 방금 전 설명했다. 그렇다면 빅데이터 분석을 위해 통합로그분석시스템이 갖춰야할 것은 무엇일까.
최소한 이정도의 스펙은 갖춰줘야 그래도 ‘아, 이 제품은 빅데이터 분석을 할 수 있겠구나’라고 생각하지 않겠는가.
통합로그분석시스템이 갖춰야 할 최소한의 요건으로 이 소장과 이 차장은 똑같이 ‘대용량 로그를 처리할 수 있는 성능’을 꼽았다.
이 소장 “10기가 방화벽이 피크타임때 생산하는 로그는 초당 2만건 정도가 발생하는데요, 시스템의 수집, 분석 성능이 이보다 못하면 통합로그분석시스템이라는 타이틀이 무색하지 않겠어요?”
이 차장 “맞습니다. 통합로그분석시스템은 무엇보다도 대용량 로그를 처리할 수 있는 고성능의 분산처리기술과 상관분석 알고리즘, 복잡한 쿼리를 처리하고 신속한 결과값을 산출할 수 있는 능력을 지녀야 합니다.”
기자 “새로운 장비가 들어왔을때는 기존 시스템을 얼마나 고쳐야하나요? 이런 부분도 중요하지 않을까요?”
이 소장 “그렇습니다. 새로운 로그를 수집할 때마다 제품을 수정해야 한다던지, 전문가에 의해서만 가능한다면 활용성이 제한될 것입니다. 수집과 분석의 유연성을 가지고 있어야 합니다.”
기자 “빅데이터 분석이 핵심인데, 그 많은 데이터를 보관하려면 어떻게 해야합니까. 스토리지가 꽉 찬다면요?”
이 차장 “그 말대로 대용량 로그관리가 가능하려면 이에 대응할 수 있는 분석 처리 기술과 저장능력을 가지고 있어여 합니다.”
이 소장 “추가로 스토리지를 증설할 수 있는 확장성을 갖춘다면 더더욱 좋겠죠.”
[이민형 기자 블로그=인터넷 일상다반사]
광고 클릭에서 발생하는 수익금은 모두 웹사이트 서버의 유지 및 관리, 그리고 기술 콘텐츠 향상을 위해 쓰여집니다.
