미래를 바꿀 전략기술 ‘빅데이터’ 현명하게 활용하려면

“빅데이터는 미래 경쟁력을 좌우하는 21세기 원유다.”

미국의 시장조사기관 가트너는 2012년 빅데이터를 ‘미래를 바꿀 세계 10대 기술’ 중 하나로 선정했고, 그 이후 매년 전략기술 중 하나로 꼽고 있다. 최근 빅데이터의 활용과 가능성에 대해 다양한 논의가 이뤄지고 있지만, 여전히 많은 사람들은 빅데이터를 단순히 ‘거대한 정보 덩어리’로만 이해하고 있다. 그러나 전문가들은 그렇게 이해해서는 빅데이터를 결코 제대로 활용할 수 없다고 입을 모은다.

빅데이터는 기업이나 정부에서 일상적으로 생산되는 정형화된 데이터 이외에 활용되지는 않고 있지만 꾸준히 생산되고 있는 사진이나 동영상 등 비정형화된 데이터까지 포괄하는 개념이다. 빅데이터라고 불리기 위해서는 ▲크기(Volume) ▲다양성(Variety) ▲속도(Velocity)의 3가지 특성을 갖고 있어야 한다. 크기는 데이터의 물리적 크기, 다양성은 데이터의 형태, 속도는 데이터 처리 능력을 말한다. 3가지 요건을 모두 갖추고 있어야 빅데이터라고 이야기할 수 있다. 단순히 데이터양이 많다고 해서 빅데이터가 되는 것이 아니란 얘기다.

빅데이터의 시대가 되면서 중요해진 것은 방대하고 복잡한 데이터로부터 ‘질’ 높은 정보를 선별하고 발굴해 내는 일이다. 이렇게 선별된 빅데이터 정보는 소개팅에서부터 질병 예측까지 활용 범위가 무궁무진하다.

소셜미디어 기업인 태그드닷컴은 관계 정보 데이터를 분석해 실시간으로 개인 맞춤형 네트워크 데이팅 서비스를 제공하고 있다. 기존의 데이트 정보 제공 서비스는 개인적 친분이나 나이, 직업, 재력, 학벌 등 만남 대상의 프로필 매칭에 주로 의존하지만, 태그드닷컴은 사용자 1억명에 대한 빅데이터를 이용해 사람 간 관계를 예측, 연결 가능성이 높은 사람들을 선별해 상대를 소개해 준다. 이를 통해 남녀 교제가 성사될 확률을 높이고 있다.

유럽연합(EU)의 의료정보 시스템인 ‘메디시스’는 의학전문 사이트 400개와 뉴스포털 3750여개 등에서 수집한 뉴스를 수백 개 그룹으로 분류해 공중보건에 영향을 미치는 사건을 탐지, 위험을 사전에 경고한다. 수많은 데이터 중 주기적 사건 등 정보 가치가 낮은 데이터를 필터링해 중요한 이벤트만 찾아낸다.

검색 엔진인 구글은 발열·기침 등 감기나 독감과 관련한 단어 검색 빈도를 바탕으로 독감의 유행 형태를 파악하는 ‘구글 독감 트렌드 서비스’를 제공하고 있다. 지역별 독감과 관련한 키워드 검색 패턴을 실시간으로 분석해 독감 확산 여부를 의료 당국의 조사보다 빠르고 정확하게 알아내는 것으로 유명하다.

영국의 에너지 기업 센트리카는 소비자들에게 스마트 계량기를 설치해 검침 데이터와 날씨, 기온, 습도 등 데이터 패턴을 분석함으로써 고객별 에너지 소비 패턴을 파악한다. 이를 그룹화해 미래 전력 소비 예측에 활용하고 있다.

빅데이터는 생물학과 천문학, 기상학 등 연구개발(R&D)에도 많이 활용되고 있다.

지구에서 바라본 밤하늘의 입체 지도를 그리는 ‘슬론 디지털 스카이 서베이’ 프로젝트에서 활용되는 데이터는 40테라바이트 정도로, 두꺼운 단행본 책 100만권에 해당하는 정보를 담고 있다.

또 전 세계 천문대에서 생산되는 천문 데이터는 하루 30테라바이트 분량의 정보가 쏟아져 나오고 있다. 이제는 천문학에서도 수많은 정보 중 필요한 것만 뽑아 쓰는 기술이 강조되고 있다.

천문학만큼 빅데이터의 활용도가 높은 분야가 기상학이다. 실제로 우리나라 기상청에서는 매일 정확한 예보를 위해 1.7테라바이트 이상의 데이터를 처리하고 있다. 기상 빅데이터들은 기업의 마케팅 활동에도 활용되고 있다. 날씨라는 공공 데이터를 활용해 매장의 배치나 주문량 조절을 한다. 기업들이 매년 크리스마스에 눈이 올지 안 올지를 예측하는 이벤트를 하고 있는데 이 역시 날씨 빅데이터를 활용하면서 자신들의 손해를 최소화하고 있다.

생물학 분야에서는 DNA, RNA, 단백질 서열 및 유전자들의 발현과 조절에 대한 데이터양이 급격히 증가하면서 이를 활용해 생명 현상을 이해하려는 생물정보학이 주목받고 있다.

빅데이터 활용이 확대될수록 방대하고 복잡한 데이터 중 질 높은 정보를 선별적으로 발굴해 낼 수 있는 ‘데이터 사이언티스트’나 ‘빅데이터 큐레이터’의 중요성이 커지고 있다.

빅데이터 사이언티스트는 연구 분야보다는 기업들의 마케팅 분야에서 특히 수요가 높다. 데이터를 잘 다룰 수 있는 사람의 역할이 결정적이라는 얘기다.

전문가들은 “아무리 현실을 잘 반영하는 빅데이터가 있더라도 전문가가 필요한 정보를 찾아내지 못한다면 슈퍼컴퓨터 등 빅데이터에 대한 하드웨어 투자는 불필요한 낭비에 불과하다”고 지적하고 있다.

유용하 기자 edmondy@seoul.co.kr