미래 경쟁력을 좌우하는 21세기의 원유 2012년 미 행정부는 빅 데이터의 연구 및 개발에 2억 달러를 투자한다고 발표했다. 이 자리에서 오바마 대통령은 정부뿐만 아니라 모두가 함께 노력해야 한다며 협조를 요청하기도 했다. 그렇다면 오바마 대통령은 빅 데이터에 왜 이토록 관심을 쏟는 것일까? 데이터가 우리 생활에서 사용된 것은 비단 어제 오늘이 아니지만 스마트폰과 SNS의 등장으로 데이터가 폭증하게 되었다. 2010년에만 생성된 데이터가 2003년의 20배가 넘는 1.2제타바이트에 육박한다. 기존에는 이렇게 흘러넘치는 데이터는 방치되거나 버려졌지만 대용량의 데이터를 저렴한 비용으로 빠르게 분석할 수 있는 소프트웨어 플랫폼들이 등장했다. 이제는 SNS에 남긴 잡담에서 상품의 수요를 파악할 수 있으며, 제품의 평판을 관리할 수도 있다. 애플의 음성인식 서비스인 시리(Siri)나 구글의 실시간 번역은 사용자들이 남긴 빅 데이터를 바탕으로 만들어졌다. 또한 정부 영역에서도 보다 정교한 물가정산시스템과 빠른 긴급재난 방재시스템을 만드는 것이 가능하다. IT 리서치 전문회사인 가트너는 데이터를 “미래 경쟁력을 좌우하는 21세기의 원유”라고 했으며, 영국 경제주간지 「이코노미스트」는 빅 데이터를 활용함으로써 전 세계가 직면한 환경, 식량, 에너지, 의료 문제를 해결할 수 있을 것이라고 전망했다. 지금 전 세계는 빅 데이터에 대해 새로운 비즈니스 창출은 물론 미래 국가 경쟁력을 좌우할 수 있는 핵심 요소로 평가하며 주목하고 있다. 독감예보, 짝 찾기도 가능한 빅 데이터의 활용 사례 구글은 미국 질병통제예방센터보다 2주 빠르게 독감의 확산을 예측했다. 독감 증상이 있는 사람들이 늘어나면 독감과 관련한 어휘가 검색되는 빈도수가 높아진다는 것을 알아낸 것이다. 또한 UC 버클리 대학교의 교수 할 배리언은 포드의 경차 판매량과 검색된 빈도수가 정확한 비레관계로 존재한다는 것을 밝히며 검색빈도수를 통해 소비자들의 행동변화를 실시간으로 파악해 경제지표를 미리 예측할 수 있다고 했다. 빅 데이터는 우리 일상에서도 이용되고 있지만 인식하지 못하고 있다. 페이스북 친구 추천, 검색을 통한 맛집 추천, 소셜커머스 등 우리가 인식하지 못하고 사용하던 것들이 모두 빅 데이터를 활용한 것이다. 게다가 이성 간의 만남을 주선하는 소셜데이팅 업체를 통해 잘 맞는 이성도 찾을 수 있다. 이미 빅 데이터는 다양한 분야에서 우리 일상에 깊숙이 자리잡고 있는 것이다. 21세기 금맥을 선점하기 위한 글로벌 IT 기업들의 동향 빅 데이터 시대의 서막을 알린 것은 IBM의 인공지능 컴퓨터 왓슨이다. 왓슨은 퀴즈쇼 ‘제퍼디!’에서 인간 최강자들과 겨뤄 우승하며 유명해졌다. 빅 데이터 기술을 기반으로 3초에 약 2억 장 분량의 자료를 처리할 수 있는 왓슨은 이전에는 불가능했던 인간 언어의 처리와 의사결정의 영역을 개척했다. 왓슨은 이미 2011년 9월부터 미국의 의료보험 업체인 웰포인트에 도입돼 수백만 건의 의료특허 문헌을 분석하기도 했다. 2012년에는 월가에 고용됐으며 시티은행에 도입돼 투자정보 등을 실시간으로 분석하는데 활용될 전망이다. 빅 데이터 시대를 대비해 비즈니스 분석 및 최적화 시장에 역량을 집중 투자한 IBM은 2011년 MS를 제치고 애플에 이어 IT 기업 2위로 올라섰다. 한편 빅 데이터 플랫폼 경쟁도 치열하다. 오픈 소스로 공개된 ‘하둡’은 저렴한 비용으로 빅 데이터를 처리할 수 있는 플랫폼으로 주목을 받고 있다. 하둡은 구글이 자사 서비스를 위해 개발하다가 오픈소스로 공개한 것을 더욱 발전시킨 플랫폼이다. IBM, 오라클, MS 등 글로벌 IT 기업이 하둡 진영에 편입되었고 야후는 하둡 소프트웨어 엔지니어링 사업부를 만들었다. 구글은 애초에 자신이 모태가 되었던 하둡을 뒤쫓기 위해 빅쿼리를 선보였고 초당 테라바이트의 정보가 만들어지는 페이스북 역시 독자적인 빅 데이터 플랫폼 개발에 나섰다. 빅 브라더가 되지 않기 위한 공공기관의 혁신 방안 제시 정부가 데이터를 수집하고 분석하는 것에서 그치는 것이 아니라 국민과 공유할 수 있는 플랫폼을 갖춘다면 무수한 업무혁신과 공공부문의 개혁도 가능하다. 빅 데이터를 이용하여 물가변화를 세밀하게 포착할 수 있고 세원 확보, 농축수산물의 원산지 확인 자료로도 활용될 수 있다. 또한 국가 예산의 집행내역을 부처별, 지자체별로 공개하거나 지자체 의회에서 논의되고 있는 의결되는 사안에 대해서 공개하는 등 다방면에서 빅 데이터를 국민에게 공개하여 정부의 투명성을 확보할 수 있다. 호주, 영국 정부는 이미 공공부문의 빅 데이터를 수집, 공유하는 프로젝트를 ‘정부2.0’이라는 이름으로 진행하고 있다. 공공정보가 민간에게 실시간으로 공개되고 이를 활용한 정책과 프로젝트가 더 활발히 진행된다면 경제적인 부가가치 창출뿐 아니라 민주주의 발전에도 기여할 수 있다. 이처럼 이 책에서는 스마트폰과 SNS가 대중화되면서 폭증한 데이터를 어떻게 가공하고 활용하느냐에 따라 비즈니스뿐만 아니라 정부와 공공부문의 미래가 바뀔 수 있다고 말한다. 또한 이미 빅 데이터가 활용되고 있는 글로벌 IT 기업과 각국의 다양한 사례를 살펴보며 새로운 비즈니스 창출의 기회를 엿보고 공공기관 혁신 방안을 제시한다.

윤형중 매경이코노미에서 2년간 IT 분야를 담당했고 주로 통신 시장의 구조적인 문제와 벤처 분야를 취재했다. 현재 TV조선 경제부에서 산업 분야를 맡고 있다. 연세대학교 금속시스템공학과를 졸업했고, 재학 시절 영자 신문사와 토론 동아리 활동 등 학과 공부보다 과외 활동에 매진했다. 이해관계를 떠나 단 한 사람에게라도 긍정적인 영향을 주는 글을 쓰기 위해 기자를 하고 있다. 공감적 경청이 인생의 모토다. 이메일 | philyoon23@gmail.com 블로그 | http://empahearing.tistory.com/

머리말 1. 왜 빅 데이터인가 빅 데이터, 왜 떴을까 개인에 대한 거의 모든 정보가 ‘어딘가에’ 저장 데이터 활용하려면 분석능력 필수 - 구글트렌드에 ‘아이폰’과 ‘갤럭시’를 입력해보면 - IT Insight 오픈 플랫폼의 위대함 2. 빅 데이터의 활용 데이터로 미래를 예측한다 - 빅 데이터로 헤지펀드 운용, 대통령선거 예측도 가능 트위터에서 금을 캔다고? 새로운 금맥 소셜 애널리틱스 - IT Insight 소셜 애널리틱스의 3가지 방법 이전에 없던 인공지능 서비스, 어떻게 나온 거지? 소비자들이 흘린 정보로 숨은 수요 찾는다 - 데이터 분석으로 잘 맞는 이성 찾아주기도 패스트패션이 성공한 이유 - 재봉사 한 명 없이 옷 20억 벌 만드는 리앤펑 머니볼이 알려준 의사결정의 비밀 3. 빅 데이터의 공공기관 활용 서울버스 사건이 알려준 정부2.0 - 국내 공공분야 빅 데이터 활용 시 경제효과 10.7조원 빅 데이터와 민주주의가 무슨 상관? - 빅 데이터로 검찰, 국세청 개혁도 가능 4. 빅 데이터의 강자 클라우드 업체 - 데이터 사이언티스트 10년 내 30만 명 부족 빅 데이터 플랫폼 경쟁 - 오픈소스 하둡 vs 구글 빅쿼리 인터넷, SW 기업 5. 빅 데이터, 새로운 빅 브라더인가? 누군가 당신을 지켜보고 있다 - 별걸 다 기억하는 사회, ‘잊혀질 권리’ 부상 빅 데이터, 누구의 소유인가 빅 데이터 거품론 주요 참고 문헌