빅데이터는 어느 곳에나 필요하다

 '빅데이터'를 가트너와 IDC가 2012년 주목해야 할 IT화두로 꼽으면서 관심은 높아지고 있지만, 정작 어디다가 활용해야하는지 혹은 필요하지 않다고 생각하는 사업자들이 많은 것 같습니다. 빅데이터는 이미 모든 기업과 상공업자에게도 필요한 요소가 되었고, 얼마나 활용할 수 있는가에 따라서 가치가 달라집니다.

---

빅데이터는 어느 곳에나 필요하다

 '빅데이터'가 어느 곳에나 '필요하다'보단 '필요해졌다'가 옳을지도 모릅니다. 빅데이터라는 것은 이미 존재하고 있는 것이였고, 이제 테크놀로지 분야를 넘어서 다양한 방면에서 활용 될 수 있다는 것이 가트너와 IDC의 의견입니다. 하지만 정형화 되지 않은 개념때문에 오히려 거부감을 일으키고 상황을 지켜보자는 쪽이 많습니다.

 거부감을 일으키기보단 지금이라도 빅데이터가 어떻게 활용되어 왔는지, 내 분야에서 어떻게 활용할 수 있는지를 검토할 수 있어야 향후 빅데이터 경쟁을 통한 가치 창출이 가능해 질 것입니다.

---

빅데이터

 백날 전문가들이며 나와서 떠들어 봐야 일반 대중들에게는 관심 밖인 문제입니다.

 개인 홈페이지가 유행을 하더니 좀 더 구축이 쉬워진 블로그나 쉽도록 만든 온라인 쇼핑몰이 무지막지하게 유행했던 적이 있었죠. 하지만 이런 기술의 보급이 제대로 이루어지지 않았던 농촌에서는 아무런 관심도 없었습니다. 그런데 농촌의 수익성이나 경쟁에 있어 다각화가 필요해지자 기술을 빨리 접한 사람들이 농산물을 공판장이 아닌 직접 온라인 직거래를 하기 시작했습니다. 당연히 먼저 시작했던 사람들의 수익성은 증대되었고, 뒤따라 진입한 사람들은 작물의 다양성이나 가격경쟁을 해야했습니다.

 빅데이터도 이런 존재가 될 가능성이 높습니다. 경쟁 상대와의 차별적인 부분이 필요하고, 그 필요한 부분을 메울 수 있는 기술정보가 필요한데 현 상황에서 그런 필요성이 빅데이터에 있다는 것이죠.

---

활용

 빅데이터가 가장 잘 활용되고 있는 영역이 어떤 것일까요? 바로 '일기예보'입니다.

 일기예보는 오랜시간 기상에 대한 정보와 관측, 분석의 알고리즘을 토대로 날씨 정보를 출력합니다. 미래를 어느 수준 예측하는 것입니다. 가끔 안맞는 부분이 있기도 하지만 적어도 데이터 분석에 의한 정보이기 때문에 확률이 매우 높은 예측이죠. 간단하게 생각 할 수 있는 빅데이터의 예가 바로 '예측'입니다.

 일기예보가 가능한 이유는 기후 변화에 대한 끝없는 자료 누적과 그 자료의 분석이 날이 갈수록 세분화되고 정확해지기 때문인데 이 수많은 정보 데이터를 저장하고 분석하는 것 자체가 빅데이터의 활용이라는 것이죠. 구름 한점의 위치도 놓칠 수 없도록 점점 더 정보는 정확해지고 갈수록 일기예보의 정확도는 커집니다.

 또 한가지 놀라운 예를 들어보죠. 바로 '월스트리트'입니다. 우리는 대게 물리학자들을 연구소나 실험실에서 노트에 공식을 써가며 유레카를 외치는 모습으로 상상할지도 모르지만, 현재 월스트리트에는 2000명이상의 물리학자가 투입되어있습니다. 바로 빅데이터 알고리즘의 분석을 위해서인데, 1792년 창립된 뉴욕 거래소에서 나온 데이터를 지금까지 분석하고 그를 토대로 한 예측으로 자본을 끌어모으는데 일조하고 있습니다. 자본의 흐름을 읽어낼 수 있다는 것은 그만큼 이익을 극대화 할 수 있다는 것입니다. 대부분의 월스트리트의 애널리스트들이 내놓는 예측과 분석이 이런 빅데이터에서 산출되는 것들이죠.

 빅데이터라는 것은 이미 우리 삶에 깊숙히 파고 들어있습니다. 그런데 일기예보나 월스트리트나 범위가 너무 넓습니다. 일반 상공인들이 2000명의 물리학자를 고용하거나 구름의 위치를 파악하려 인공위성을 띄울 수도 없는 노릇이죠. 그렇다면 이런 빅데이터를 대중들이 어떻게 분석하여 활용을 할 수 있다는 것일까요?

---

대중에게 다가올 빅데이터

 울프람알파나 구글번역, 위에서 예를 든 일기예보처럼 기업에서 제공하는 서비스의 형태로써 대중들이 빅데이터를 활용할 수 있기도 합니다. 하지만 지금 필자가 얘기하고자 하는 것은 다른 것입니다.

 예를 들어 식당업주가 빅데이터를 활용하게 된다면, 어느 계절, 어느 시간대에 연령, 성별으로 나뉜 손님이 어떤 음식을 얼만큼 주문하더라의 데이터를 수년을 축적했다고 합시다. 그럼 이 식당의 손님에 대한 데이터가 나오게 되고 어느 수준 예측이 가능해집니다. 물론 메뉴의 맛이나 변수에 의해 확률이 100%라고 할 수는 없겠지만, 정확한 데이터를 토대로 재료 구입이나 준비, 관리 등을 효율적으로 할 수 있고 그건 결국 이익으로 직결됩니다.

 편의점의 경우도 CCTV를 통한 손님의 체류시간데이터나 위치와 구색에 따른 판매도, 선호도 등의 데이터를 축적해 나가면 편의점의 상황에 맞는 좀 더 효율적인 구색과 판매전략을 짜낼 수 있습니다.

 온라인 쇼핑몰의 경우 인터페이스의 비채에 따른 클릭수와 유입경로 등의 분석 자료를 통해 마케팅 전략을 세울 수도 있겠죠.

 물론 이런 것들은 과거에도 하려고 하면 가능했던 것들입니다. 하지만 일기예보나 월스트리트 같은 규모로 움직여야 가능했던 것이조. 그러나 현재에 와서는 누구나 가능한 시점이 왔다는 것이 중요합니다. 예전과 다르게 높은 용량의 저장 공간이 저렴해졌고, 이를 클라우드로 대여해주거나 데이터 분석을 일반인들도 쉽게 사용할  수 있는 분석도구를 제공하는 업체도 생겨날 것입니다. 현재 소셜디어 컨설팅 업체들처럼 말이죠.

 지금은 자본력과 기술이 있는 기업들만 움직이는 부분이지만, 중소기업이나 스타트업 기업과 개인상공인들도 쉽게 빅데이터를 활용할 수 있는 날이 몇년 안에 도달할 것입니다. 그렇다면 적어도 내 영역에서 빅데이터를 어떻게 활용하면 좋을지 생각을 해봐야하고 미리 일정 수준의 데이터를 분석하는 방법을 연구해보는 것도 곧 들이닥칠 빅데이터 물결에서 경쟁력을 지닐 수 있는 힘이 될 것입니다.

 개인이 계속해서 MP3파일을 저장하고 늘려 수만곡의 음악이 컴퓨터에 저장되어 있다면, 음악파일을 토대로 기분에 따라 재생되는 음악에 따라 가수에 따라 맞춤 자동 재생을 해주는 데이터 분석도 가능하겠죠. 이렇듯 어느 부분에서나 온라인이나 하드디스크에 계속해서 발생하고 쌓여가는 데이터는 날이 갈 수록 늘어나고 있고, 누구나 빅데이터를 이해하고 활용하게 될 것입니다.

 기술 정보의 단순학 격차가 큰 격차를 만들어내왔던 것을 보면, 빅데이터가 앞으로 그 역할을 해낼 것이고 클라우드처럼 우왕좌왕하는 것이 아닌, 그에 대비한 이해와 활용에 대한 방어책을 미리 준비할 필요가 있습니다.