빅 데이터의 중요성

 

 

IBM과 구글의 자동 번역 프로젝트의 경쟁에서 IBM은 참패하였고 구글은 성공하여 자동 번역 분야에서 일인 독주 체제를 갖추는 계기가 되었다. IT 분야에서 무수히 벌어지는 경쟁 중에 하나로 볼 수 도 있겠지만 IBM과 구글의 자동번역 분야에서의 경쟁은 많은 시사점을 제시한다.

 

두 기업의 성패에 주된 이유는 다름 아닌 빅데이터에 대한 접근 방법이었기 때문이다.

 

 

과거 40여년 동안 과학자들은 컴퓨터에게 명사, 동사와 같은 구조와 음운을 이해시키는 방법으로 자동번역 프로그램의 개발에 힘써왔으나, IBM과 구글은 기존 방법과 달리 전문가가 번역한 문건을 DB화해서 비슷한 문장과 어구를 대응시키는 통계적 기법을 활용하여 번역문제를 해결하려고 시도하였다.

 

여기까지는 두 기업 모두 출발은 기존의 한계를 극복한 새로운 접근으로 성공의 실마리를 찾는 듯 하였다.

그러나 구글은 자동번역 솔루션의 성공 기업이 되었고, IBM은 쓸쓸히 참패를 맛 봐야 했다. 이는 지금 인터넷 브라우저에서 구글의 자동번역 기능을 사용해 봐도 그 우수성을 알 수 있다.

 

그러면 처음에 접근법은 같았으나 결과가 달라진 이유는 무엇일까?

매칭에 참고하는 DB 차이가 두 기업의 자동번역 프로젝트의 성패를 좌우한 것이다.

IBM은 캐나다 의회의 '수백만 건'의 문서를 활용하여 영어-불어 자동번역 시스템 개발을 시도했으나 실패하였고, 반면에 구글은 동일 방식이지만 '수억 건'의 자료를 활용하여 50개 언어 간의 자동번역 시스템 개발에 성공한 것이다.

 

바로 '수백만 건'과 '수억 건'의 차이가 두 기업의 성패를 좌우한 것이다.

빅 데이터(Big Data)의 양적 거대함이 불가능을 가능으로 바꿨으며, 구글이 활용한 빅 데이터 솔루션이 마술을 발휘한 것이다.

 

 

 

빅 데이터란? 

 

2011년 5월 맥킨지 자료에 의하면 매달 300억개의 콘텐츠가 페이스북에에서 공유되며 전세계 데이터는 매년 40% 씩 증가하고 있으며 이를 처리하기 위하여 IT 지출은 매년 5% 씩 증가하고 있다.

 

 

▲ 사진 출처 : 이코노미플러스

 

그런데 빅 데이터를 활용하게 되면 미국 의료 분야에서 매년 3,300억 달러 가치의 생산 가능 효과가 있으며, 이 액수는 연간 스페인 전체 의료비 지출의 2배에 달하는 돈이다. 또한 유럽 공공 분야에서 빅 데이터를 활용하면 2,500억 유로의 절감 효과를 볼 수 있는데 이 액수는 그리스 GDP와 비슷한 금액이다.

 

그럼 이처럼 엄청난 효과를 발휘하는 빅 데이터는 무엇이며, 이를 활용하기 위해서는 어떻게 해야 할까?

 

한마디로 빅 데이터를 정의하기는 쉽지 않다. 그래도 2011년 IDC가 내린 정의가 이해에 도움을 줄 수 있겠다.

 

빅 데이터(Big Data)란 비디오, 오디오, 텍스트 등 다양한 형태의 대규모 데이터로 부터 저렴한 비용으로 가치를 추출하고 데이터의 초고속 수집, 발굴, 분석을 지원하도록 고안된 차세대 기술 및 아키텍쳐이다.

 

빅 데이터란 단지 대규모 자료만을 의미하는게 아니라 이를 수집 분석하는 기술까지를 의미하는 용어라 이해하면 되겠다.

 

 

 

빅 데이터가 왜 중요한가?

 

2012년 IT 업계에 핫 이슈는 빅 데이터이다.

그리고 빅 데이터를 제4의 경영자원으로서 혁신과 경쟁력 강화, 생산성 향상에 가장 중요한 요소라 평가하고 있다. 구체적으로 빅 데이터를 활용하는 경우를 살펴보자.

 

빅 데이터를 분석하면,

 

1. (혁신) 소비자의 행동과 시장변동을 예측할 수 있어 비지니스 모델을 혁신하고 신사업을 발굴할 수

             있다. 

2. (경쟁력) 원가절감과 제품 차별화, 그리고 투명성 증가로 기업 경쟁력을 강화할 수 있다.

3. (생산성) 산업 부문 전반의 생상성을 향상하여 GDP 증가를 가져온다.

 

도대체 빅 테이터가 무엇이기에 이처럼 획기적인 결과를 가져온단 말인가?

 

지금도 우리 주위에는 수없이 많은 데이터들이 흘러 다니고 있다. 그리고 이러한 데이터를 들여다 보면 의미있는 정보를 얻을 수 있다. 여기서 빅 데이터가 새로운 기회를 제공하는 것이다. 기존에는 불가능했던 일들이 다양한 형태의 대용량 데이터를 신속하게 활용(수집, 발굴, 분석)하게 되면서 가능해진 것이다.

 

정답은 다양한 대용량 데이터를 신속히 분석하여 새로운 통찰력을 얻을 수 있다는 점이다.

 

 

 

다중 채널의 고객에 대한 감성 및 경험을 분석하여 마케팅에 활용하며,

신생아실에서 예측 분석을 통해 생명을 위협하는 상황을 최대한 빨리 감지하며,

기후/지리 데이터를 분석하여 풍력 발전기 및 풍력 발전소 부지 계획과 날씨 패턴을 분석하며,

실시간 트랜젝션 데이터를 기반으로 리스크 측정 및 이에 대한 의사 결정을 신속히 하며,

산재되어 있는 비디오, 오디오와 테이터 피드를 통해 범인과 위협을 감지할 수 있다.

 

위에서 설명한 예들은 빅 데이터를 활용한 극히 일부라 할 수 있다.

 

 

현재 모든 기업이 보유한 빅 데이터는 거대한 가치 추출이 가능한 만큼 충분한 규모를 보유하고 있다.

이제는 누가 먼저 그 가치를 추출해 내느냐가 향후 기업의 성패를 가늠하리라 본다.

앞에서 살펴 본 IBM과 구글의 사례를 보면 그 결과는 분명하다.

 

 

앞으로 빅 데이터는 다양한 산업군에서 다양하게 활용될 것이다. 

마지막으로 빅 데이터의 활용 가능한 분야를 산업별로 정리해 보았다. 

 

산업군	활용 분야
금융 산업	기업 브랜드 관리, 마케팅/고객관리, 위험관리, 거래를 위한 의사 결정, 시장 분석
제조 산업	생산성 향상, 공정의 안정성 및 신뢰성 제고
통신 산업	마케팅/고객관리
공공 기관	공공 안전, 사이버 보안
유통 산업	마케팅/고객관리
의료 산업	혁신적인 의료서비스 제공

 

 

IT 분야에서 빅 데이터의 활용은 삶의 가치에 커다란 변화를 가져올 수 있다.

그러나 한편으로는 개인의 정보가 활용된다는 점에서 보안 측면에 많은 주의가 요구된다.