본문 바로가기

IT/BigData

페이스북이 빅데이터 교육을 전 직원에 실시하는 까닭

 빅데이터가 본격적으로 활용되면서 도입하는 기업도 늘었지만, 여전히 빅데이터가 무엇인지 감을 못 잡은 기업도 셀 수 없이 많습니다. 빅데이터로 이익이 창출되고 있음에도 아직 생소한 것인데, 기업들이 빅데이터를 적극 활용하는 것에서 가장 큰 어려움을 느끼는 부분이 직원들의 전반적인 '빅데이터에 대한 지식 부족'입니다.





페이스북, 빅데이터 강화하는 까닭


 컴퓨터 공학을 전공했다면 빅데이터를 쉽게 이해할 것 같지만, 여전히 IT 전문가들 사이에서도 어려운 주제가 빅데이터입니다. 어떤 데이터를 얼마나, 그리고 어떻게 활용해 무엇을 개발해 이익을 창출할지의 고민은 어렵기만 합니다. 더군다나 기업이 적극 빅데이터를 활용하지 않을 때는 개발자의 힘만으로 빅데이터 문제를 해결하기가 쉽지 않습니다. 상호 간 유기적일 필요가 있는 것입니다.




부트캠프



 FORTUNE은 '페이스북이 본사 엔지니어에게만 실시했던 빅 데이터 툴 교육에 초점을 맞춘 6주간의 훈련 프로그램을 확대해 5,000명 전 직원에 2주 집중 코스로 운영하기로 했다'고 보도했습니다. 페이스북의 애널리스틱 책임자 켄 루딘(Ken Rudin)은 '우리는 모든 직원이 데이터를 감각적으로 활용할 수 있는 기본은 갖춘 사람을 원한다'면서, '그럼 몇 명의 분석팀이 데이터를 활용하는데 병목현상을 겪지 않을 것'이라고 얘기했습니다. 페이스북은 현재 약 100명의 분석팀을 운영하며, 외부 전문가를 영입하고는 있지만 전 직원이 빅데이터의 접근이 수월해야 전체적인 업무가 유연해질 수 있다는 것입니다. 루딘은 이어 '빅데이터의 분석툴이 중요한 것이 아니라 올바른 사고가 중요하다'며, '모든 직원이 데이터를 자신들의 작업 일부로서 중요한 요소임을 느낄 수 있는 문화를 만들어야 한다'고 강조했습니다.


 페이스북은 하루에 500TB 이상의 데이터를 생산하고 있으며, 페이스북 하둡은 100PB 이상의 정보가 처리됩니다. 105TB의 정보가 30분마다 스캔되고 있으며, 이러한 데이터베이스를 통해 하루에 7만 쿼리들이 실행됩니다. 매달 300억 개의 페이스북 메세지, 하루에 페이스북으로 유통되는 유튜브 동영상의 분량만 5백 년을 봐야 하는 수준입니다. 11억 1천만 명이 만들어내는 이 어마어마한 데이터를 제대로 활용하는 것은 페이스북의 비즈니스 역량을 가장 탄탄하게 할 핵심입니다.


 시장조사기관 eMarketer은 보고서를 통해 페이스북이 올해 13% 모바일 광고 점유율을 기록할 것으로 예상했습니다. 지난해 점유율인 5.3%에 비해 두 배 이상 상승할 것이라는 예상인데, 이 광고 매출에 지대한 영향을 미치는 것 또한 빅데이터입니다. 비즈니스 모델을 성장시키기 위해 빅데이터를 강화하는 것은 필수 조건입니다.




페이스북



 필수 조건인 것은 알겠는데, 왜 분석팀 외 모든 직원에 빅데이터 교육을 실시하는 것일까요?


 페이스북이 원래 6주간의 본사 엔지니어를 대상으로 교육을 했던 것은 분석팀의 분석만 듣고 그것을 개발에 활용하라는 것이 아니라 데이터 활용에 개발자들이 참여할 수 있도록 하여 분석 툴을 이해하고, 이를 활용한 소프트웨어 개발에 임할 수 있게 하기 위해서입니다. 마치 기획자에게 프로그래밍을 교육하고, 프로그래머에게 인터페이스 디자인을 교육하는 것과 마찬가지입니다.


 페이스북은 지난 1월, '그래프 검색'이라는 검색 서비스를 공개했는데, 이 또한 빅데이터의 분석을 통해 검색 조건을 추려내고, 알고리즘을 통해 검색 결과를 도출해낼 수 있도록 개발되었습니다. 그냥 단순히 검색 단어만 가지고 검색하는 것이 아니라 페이스북의 전체적인 데이터를 활용할 수 있는 검색 서비스를 내놓은 것입니다. 이런 데이터를 활용한 서비스를 계속 개발하고, 서로 간의 데이터 활용이 효율적으로 연결되기 위해선 전체 엔지니어들이 빅데이터의 개념을 인지할 필요가 있다고 페이스북은 판단한 것입니다.


 그리고 이번 교육은 엔지니어들뿐 아니라 마케팅, 기획, 서비스, 관리 등 모든 부서를 아우르는데, 데이터를 업무에 활용해 마케팅을 구성하고, 기획하고, 서비스를 제공하며, 관리할 수 있는 시스템을 만들어 굳이 분석팀에서 데이터가 이렇다저렇다 할 필요없이 유기적이고 적극적으로 접근하는 활로를 열어 분석된 데이터를 낭비 없이 업무에 사용할 수 있도록 하자는 생각입니다.


 분석팀이 아무리 수많은 데이터를 분석하고 자료를 내놓아도 이를 각 부서가 활용하지 못한다면 분석하는 수고를 낭비하는 것밖에 되지 않습니다. 페이스북은 그럴 바엔 전 직원을 대상으로 빅데이터 교육을 실시하고, 빅데이터 활용을 통한 이익 증대를 전 직원으로 확대화하는 방안을 마련한 것입니다.




빅데이터


 표면만 보면 '아, 페이스북이 빅데이터 시대를 맞아 저런 정책을 펼치는구나'로 인식할 수 있지만, 확대해보면 '기업들이 빅데이터 분석을 도입하면서 이 데이터를 낭비 없이 사용하고 싶어하고, 직원들에게 빅데이터에 대한 기초적인 재량을 요구한다'는 것입니다. 애초 이런 요구는 분석팀이나 IT 부서에서나 나타나는 것이었는데, 전 직원을 대상으로 해야 한다는 것을 페이스북이 제시하고 나선 것입니다.

 빅데이터 분석을 하라는 것이 아니라 하다못해 빅데이터의 개념을 한 줄이라도 알고 있길 바라는 것이고, 그것이 기업의 전반적인 업무에 활용되길 바라기 시작한 것입니다.


 실제 빅데이터 분석을 하고는 있지만, 대부분의 부서가 이를 활용하는 방법을 이해하지 못하고 있으며, 데이터를 토대로 한 예상이 아니라 데이터만 가지고 그래프를 그리는 수준에 지나지 않아 애를 먹고 있습니다. 그렇다고 해서 IT 부서들이 빅데이터를 적극 활용하고 있는가 하면, 그렇지도 못하기 때문에 페이스북의 이번 빅데이터 교육 정책은 상당히 전진해 있으며, 빅데이터를 활용하고자 하는 기업이 어떤 인재들을 필요로 해야 하는지를 간접적으로 제시하고 있습니다.


 루딘은 끝으로 이렇게 얘기합니다. '모두 분석을 수행해야 한다!'