[빅데이터] 빅데이터란?

2000년대 초 IT 버블 이후 현재까지 가장 각광받고 있는 IT 트렌드를 꼽으라면 다음과 같은 키워드를 선정할 수 있습니다.

 

- 스마트 기기(Smart Device)

- 플랫폼 기반 사업(Platform Business)

- 빅데이터(Big Data)

 

위 세 가지 중에서 플랫폼 기반 사업은 애플이 아이팟의 아이튠즈와 아이폰의 iOS를 시장에 선보이며 자리를 잡게 되었고 스마트 기기는 마찬가지로 애플이 2007년 아이폰을 세상에 선보이며 휴대폰과 컴퓨터 시장을 뒤엎는 일대 혁신을 일으키면서 확실하게 자리를 잡았죠.

 

하지만 빅데이터는 아직 그리 명확하게 자리를 잡은 상황이 아닙니다. 세상에 조금씩 알려지기 시작했을 뿐 여전히 그 실체를 무엇이라고 정의내려야 하는지, 그것이 구체적으로 어떤 결과를 갖고 오는지, 기존의 것과 무엇이 다른지 등 상당 부분이 베일에 쌓여져 있습니다.

 

그래서 이번 글에서부터 빅데이터에 대해 조금씩 접근해볼까 합니다. 과연 빅데이터란 무엇인지, 그것이 마케팅과 브랜등에 있어 어떤 혁신을 갖고 올 수 있는지, 빅데이터에 낀 거품은 무엇인지 등을 간단하게 살펴보고자 합니다.

 

빅데이터란 무엇인가?

 

빅데이터가 처음 등장한 시기는 아마도 2001년으로 보아야 할 것입니다. 왜냐하면 당시 e-commerce가 IT붐을 타고 높은 관심을 보일 때 데이터의 새로운 차원에 대해 얘기한 Douglas Laney의 "3D Data Management: Controlling Data Voulme, Velocity and Variety"가 발표된 시기가 그 때이기 때문입니다. 레이니의 3V 개념은 인터넷 경제 시대의 데이터 폭증에 대한 묘사였지만 그 이후 빅데이터의 조건을 언급할 때 사용되는 중요한 개념으로 발전하게 되었습니다.

 

이 후 빅데이터는 조금씩 그 개념을 드러내기 시작했습니다. 하지만 이 때까지도 빅데이터는 전산 프로그래머, 데이터 분석가들 중심으로 방대한 규모의 데이터를 분석하기 위해 기존 분석 아키텍처로는 한계가 있다는 것, 또한 급증하는 데이터 증가에 대응하기 위해 보다 능동적인 형태의 분석 시스템과 알고리즘, 그리고 새로운 유형의 정보 분류 등에 대한 전문적 영역으로 한정되어 논의가 진행되었습니다.

 

최근 논의되고 있는 빅데이터의 개념은 2010년을 전후로 대규모 데이터를 통해 의미있는 결과를 도출한-이 중엔 오바마 대통령의 재선 캠페인도 포함됩니다-사례들이 소개되면서 서서히 정립된 것입니다. 특히, 맥킨지의 James Manyika와 Michael Chui가 정리한 『Big Data: The next frontier for innovation, competition and Productivity』와 비슷한 시기 나온 IDC의 John Gantz와 David Reinsel의 『Big Data: Extracting Value from Chaos(IDC IVIEW, June)』등에 의해 체계적인 개념으로 정리되었습니다.

 

현재까지 정의된 빅데이터에 대한 정의는 다음과 같습니다.

 

Big data is high volume, high velocity, and/or high variety information assets that require new forms of processing to enable enhanced decision making, insight discovery and process optimization.

- by Gartner(2012)     

 

(빅데이터란) 수십에서 수천 테라바이트 정도의 거대한 크기를 갖고, 여러 가지 다양한 비정형 데이터를 포함하고 있으며, 생성-유통-소비(이용)가 몇 촛에서 몇 시간 단위로 일어나 기존의 방식으로는 관리와 분석이 매우 어려운 데이터 집합(을 의미한다)

- 함유근, 채승병(2012)

 

하지만 이런 개념적 정의에도 불구하고 여전히 빅데이터는 쉽게 이해되지 않는 용어입니다. 아마도 그 이유는 빅데이터의 정의가 내포하고 있는 데이터의 규모와 유형, 처리속도에 대한 설명이 그저 더 크고, 구조적 형태에서 비구조적 형태로 확장되고, 빨라졌다는 것 외엔 기존 데이터 기반 분석활동 혹은 CRM과 차이가 없기 때문입니다.

 

빅데이터의 중요성은 맥락과 의미론에 있다

 

사실 빅데이터가 이렇게 관심을 받게 된 이유는 다양한 맥락적 정보(Contextual Information)간 교차 분석을 통해 새로운 의미 발견을 가능하게 했기 때문입니다. 앞서 제시된 3V는 데이터에 대한 물리적 특징을 나타내는 용어일 뿐입니다. 실제 기존 데이터 기반 분석/응용 활동과 근본적인 차이는 없습니다.

 

하지만 실제 사례를 본다면 그 차이를 알 수 있습니다. 빅데이터 사례로 많이 거론되는 구글 트렌드 검색을 통한 미국 독감 발생 예측 사례는 여러 지역에서 산개되어 발생하는 독감에 대한 검색 정보와 이를 실시간으로 추적하는 구글 검색엔진, 그리고 이 정보를 IP 기반 위치 정보와 교차 분석하여 매핑하는 관계형 데이터베이스 마이닝과 시각화 기술이 있었기 때문에 새로운 가치를 창출할 수 있었던 것입니다.

 

이런 의미 때문에 비정형 혹은 비구조적 데이터 분석이 빅데이터 개념에서 중요한 과제로 등장했다고 봐야 합니다. 기존에는 그저 정형화되어 분류된 데이터들간의 상관 관계나 역학 관계를 통해서 의미를 도출하던 방식에서 벗어나 이제는 전혀 상관 없어 보이는 데이터들간의 비교·대조를 통해 새로운 가치를 추출해낼 수 있게 된 것이니까요.

 

사실 이러한 맥락은 빅데이터 논의에서 크게 부각되지 않고 있습니다. 왜냐하면 대부분 전문가들이나 서적들이 말하는 것은 쉽게 정의내릴 수 있는 규모, 속도, 그리고 다양성이기 때문이죠. 하지만 이런 질문을 던져 봐야 합니다. 빅데이터에서 (데이터의) 다양성이 왜 중요한가?

아직 빅데이터는 제대로 그 모습을 드러낸 것이 아니라 생각합니다. 과거의 데이터 마이닝 기술이 주장하던 것과 빅데이터가 정확히 어떤 지점에서 구분이 되는지도 불명확합니다. 하지만 그럼에도 불구하고 주목해야 할 이유는 분명 있습니다. 그것은 우리가 규모 측면에서 분명히 빅 데이터 세상에서 살고 있기 때문입니다.

 

그 어떤 시대보다 데이터 생성양이 많은 오늘날. 기업들은 자신들에게 쏟아져 들어오는 데이터가 얼마나 많은지, 그 중 무엇을 사용하고 있고 무엇을 버리고(혹은 처리하지 못하고) 있는지, 새로운 가치를 추출해볼 수 있는 데이터는 무엇인지...그런 것들만 파악해도, 어쩌면 놀라운 신대륙이 기업 앞에 제시될 수도 있을 것입니다. 그렇기 때문에 빅데이터를 간과할 수 없는 것이겠죠.

 

Copyrights ⓒ 2013 녹차화분 All rights reserved.