최근 TV와 신문, 인터넷 등 각종 매체에서 ‘빅 데이터’와 관련된 주제의 정보를 쉽게 접할 수 있다. 많은 매체들이 빅 데이터의 한계점은 간과한 체 이점과 가능성에만 집중하는 모습을 보였던 반면에 본조는 개인의 데이터와 프라이버시 보호, ‘빅 브라더’의 등장 등 부정적 측면과 한계점에 좀 더 집중하였다.
그러던 중 ‘서울시를 빛낸 10대 정책’ 중 2위에 선정된 서울시의 올빼미 버스가 빅 데이터를 분석하여 얻어진 결과라는 점을 접하였고, 공공의 이익을 위한 빅 데이터 활용이 빅 데이터의 부정적 측면을 충분히 상쇄시킬 수 있을 것이라는 가능성에 매료되었다.
이에 빅 데이터의 한계점과 공공부문 활용에 대한 큰 틀을 주제로 선정하게 제안서를 제출하였다. 이후 위의 주제와 관련하여 조사를 진행하면서 방대한 양의 데이터 속에서 해당기관에 유효한 자료와 결과를 도출하지 못하면 효력이 없다는 또다른 한계점을 지각하였다. 따라서 제안서에서 제시한 공공부문의 활용과 빅 데이터의 분석의 중요성을 중심으로 빅 데이터의 한계점을 극복하는 방향으로 연구를 진행하였다.
2. 빅데이터 개념
1) 빅데이터 정의
많은 사람들이 빅 데이터를 ‘빅(Big)+데이터(Data)’식의 단순 합성어적 의미로 알고 있는데, 이러한 의미로 받아들이면 빅 데이터의 본질적인 의미와 가치를 놓치게 된다.
농협경제연구소는 다음과 같이 정의하였다.1)1) 범지인, 최성종, 『빅 데이터 활용사례와 시사점』, (농협경제연구소, 2013, 8, 28)
빅 데이터는 기존의 방식으로는 저장, 관리, 분석이 어려울 정도로 규모가 크고 순환 속도가 빠르며, 형식이 다양한 데이터 또는 이러한 데이터를 분석하는 방법을 통칭한다.
즉, 빅 데이터는 단순히 대용량 데이터 그 자체만을 지칭하는 것이 아니라 그 데이터를 효과적으로 처리하고 분석할 수 있는 기술의 총칭이다.