“빅데이터 화두, 기업용 SW 시장 관통”
상태바
“빅데이터 화두, 기업용 SW 시장 관통”
  • 오현식 기자
  • 승인 2014.01.15 18:51
  • 댓글 0
이 기사를 공유합니다

빅데이터 2.0 시대 개막 … 기업 눈높이 충족 솔루션 등장

오늘날 데이터는 막대한 규모로 생성되고 있다. IDC에 따르면, 2012년 2.7ZB에 달했던 전세계 데이터량은 2016년 8ZB로, 2020년에는 35ZB까지 늘어날 것으로 예상된다. 이러한 데이터 폭증과 함께 IT 기술의 진화는 빅데이터라는 새로운 이슈를 촉발시켰다.

보다 더 정확한 결과를 도출, 비즈니스 통찰력과 예측력을 높임으로써 비즈니스의 경쟁우위를 확보하고 성공을 담보하기 위해 더 많은 데이터를 활용하자는 흐름이 바로 빅데이터다. 기존보다 많은 데이터를 분석대상으로 하기에 기존 기업의 분석 대상에서 소외됐던 비정형 혹은 반정형 데이터에 초점이 맞춰진다.
말 그대로 특정한 형태로 분류할 수 있는 정형 데이터는 취합과 분석이 용이해 초기부터 기업 비즈니스에 적극 활용돼 왔다. 데이터베이스(DB)가 대표적이다. 고객 데이터베이스의 경우, 고객정보 중에서 일정한 형식으로 묶을 수 있는 특성, 예를 들어 주소, 전화번호, 구매내역 등을 넣어 향후 고객 마케팅에 활용했던 것으로, DB는 기업의 정형 데이터를 대표한다.

일정한 형식으로 묶을 수 있는 정형 데이터와 달리 비정형 데이터는 가치를 담고 있더라도 이를 분류, 활용하기가 어려워 소외돼 왔다. 기업 비즈니스와 관련된 모든 데이터를 수집·저장·분석하기에 기술적 어려움 뿐 아니라 지나치게 비용이 많이 소요돼 낭비적 요소가 컸기 때문이다.

그러나 기술 발전은 이러한 한계를 극복하게 하고 있다. 하둡(Hadoop) 등 저렴하게 다양한 데이터를 저장할 수 있는 방식은 비용적 측면의 부담을 제거했으며, 메모리를 적극 활용해 분석성능을 높임으로써 더 많은 데이터를 빠르게 분석하고, 가치를 뽑아낼 수 있게 됐다. 이렇듯 기존 정형 데이터에 더해 비정형과 반정형 데이터를 포괄, 의미를 뽑아내려는 것이 바로 빅데이터이며, 등장 이후 비즈니스 혁신 방안으로 높은 관심을 모으고 있다.

빅데이터 시대, 출발점에 서다
빅데이터는 등장 초기부터 IT의 혁신 동력으로 주목받았다. 비즈니스 불확실성이 높아지고 있는 시점에서 통찰력을 향상시키고, 기업이 보유한 정보의 가치를 극대화해 성공의 디딤돌로 활용할 수 있기 때문이다.

지난 몇 년간 빅데이터가 논의 혹은 시범적용 수준에 그쳤다면, 2013년에는 의미있는 빅데이터 사례가 발굴돼 본격적인 확산의 기초가 마련된 해로 볼 수 있다. SK텔레콤, KT, 다음커뮤니케이션 등을 비롯해 서울시, 건강보험심사평가원, 국립재난안전연구원 등의 일반기업과 공공분야 등에서의 빅데이터 성공사례가 발굴되면서 가치를 증명하고 있는 것이다.

서울시가 운행하고 있는 심야전용 시내버스는 대표적 빅데이터 활용사례로 꼽을 수 있다. 서울시는 KT와 함께 30억건의 통화량 데이터를 분석해 강남과 홍대, 동대문, 신림, 종로 등 심야 유동인구가 집중되는 곳을 파악, 최적의 노선을 산출함으로써 시민의 교통불편을 해소해 높은 호응을 얻고 있다. 서울사 심야버스는 안전행정부가 주최한 지방행정정보화 연찬회에서 대통령상을 수상하는 등 우리 생활 주변에서 빅데이터를 기반으로 더 높은 가치를 창조한 사례로 손꼽히고 있다.

SK텔레콤과 KT 등도 빅데이터 활용에 적극 나서 사용자 데이터를 분석해 서비스 품질을 높이고, 새로운 가치를 창출하고 있다. KT의 경우, 통화 기록, 데이터 사용 기록 로그 등에 빅데이터 기술을 적용해 500억원 이상의 비용절감과 장애대응 시간 50% 단축을 이뤄냈다고 알려진다. GS홈쇼핑도 고객행동 분석에 빅데이터 분석 기술을 적용해 고객의 요구변화를 신속하게 파악, 매출증대 및 고객 만족도 향상의 기반으로 삼고 있다.

빅데이터를 활용해 혁신을 이뤄낸 사례가 알려지면서 빅데이터는 본격적인 성장을 맞이할 것으로 기대를 받고 있다. 정부 역시 빅데이터에 힘을 싣고 있다. 2012년 말 발표된 빅데이터 마스터플랜에 따라 4개 영역 12개 세부과제 아래 정부와 민간이 총 5000억원을 투입해 빅데이터 기반을 조성, 빅데이터를 통한 신성장동력 창출에 나설 계획이다.

이에 따라 국내 빅데이터 시장의 고속 성장이 예견되고 있다. 한국과학기술정보연구원(KISTI)의 2013년 4월 발표에 따르면, 국내 빅데이터 시장은 2015년 2억6300만달러, 2020년에는 9억달러로 고속 성장이 전망된다. 이에 따라 국내 IT시장에서 빅데이터가 차지하는 비중도 2013년 0.6%에서 2020년에는 2.6%까지 증가할 것으로 예상된다. IDC는 ‘전세계 빅데이터 기술 및 서비스 전망 보고서’에서 전세계 빅데이터 시장은 2010년 32억달러에서 40% 이상의 연평균 성장률을 보이면서 성장해 오는 2015년에는 169억달러 규모가 될 것으로 예측했다.

기술 성숙도 ‘쑥쑥’
빅데이터를 위한 기술도 빠르게 발전하고 있다. 보다 진보된 기능의 아파치 하둡 2.0이 공식 릴리즈되고, SQL 온 하둡(SQL on Hadoop)과 같이 편의성과 안정성을 높이는 기술의 성숙도가 높아지면서 본격적인 확산의 기반을 맞이하고 있다.

권영길 그루터 사장은 “지금까지 국내 빅데이터가 불충분한 이해에서 혼란을 겪었다면 이제는 여러 사례로 빅데이터 이해도가 높아졌다. 또한 빅데이터는 하둡 2.0, 아파치 타조 등 관련 기술의 개발과 생태계 활성화가 이뤄지면서 본격적인 확산이 개시될 것”이라는 기대를 전했다.

아파치 하둡 2.0은 더욱 성숙도를 높여가는 빅데이터 기술을 보여준다. 하둡은 비용효율적인 대용량 데이터 저장을 실현할 수 있게 해 빅데이터를 촉발시킨 직접적인 요소로 꼽힌다. 2013년 말 발표된 아파치 하둡 2.0은 하둡 내에 직접 애플리케이션을 구현할 수 있게 해 기업 애플리케이션 플랫폼으로써 기능할 수 있게 했으며, 스냅샷, NFSv3 파일시스템 지원 등이 가능하도록 확장성도 강화됐다.

또 프로세싱 엔진과 애플리케이션에 하드웨어 리소스를 효율적으로 분배하는 리소스 관리 엔진인 얀(YARN : Yet Another Resource Negotiator)이 포함돼 기업이 중시하는 안정성 측면도 강화됐다. 또 리소스 분배뿐 아니라 다양한 데이터 처리 엔진을 연결할 수 있게 됐으며, 한 번에 작업을 하나씩 수행해야 함으로써 지적됐던 편의성 문제도 해소했으며, 이중화 구성을 지원함으로써 기업 적용에 필수적인 고가용성 부분도 만족시켰다. 즉 기업에서 하둡을 도입 활용할 수 있는 매력을 한층 높인 것이다.

SQL 온 하둡과 같이 성능과 편의성을 높이는 기술의 본모습이 드러나고 있다는 점도 호재다. SQL 온 하둡 기술은 맵리듀스와 같은 생소한 방식을 활용해야 하는 불편을 해소하고, 동시에 익숙한 SQL을 하둡에 직접 적용해 편의성을 향상시킬 뿐 아니라 하둡 데이터의 분석 속도도 끌어올릴 수 있어 기업의 빅데이터 활용을 더욱 향상시킬 수 있는 기술이다.

하둡이 빅데이터 시대의 문을 열었지만, 데이터 분석에 맵리듀스라는 방식을 사용하는 점이 단점으로 꼽혔다. 분산 컴퓨팅 지원을 목적으로 개발된 맵리듀스는 맵(Map)과 리듀스(Reduce)라는 함수를 활용해 데이터를 분석하는 프레임워크로, 원하는 분석을 수행하기 위해서는 매번 별도의 프로그래밍 과정이 필요해 불편이 컸다. SQL을 하둡에서 직접 활용할 수 있게 함으로써 이러한 단점을 해소하자는 것이 바로 SQL 온 하둡으로 단순한 질의 기능뿐만 아니라 완전한 데이터 정의 기능과 조작 기능을 갖추고, 대화식으로 사용할 수 있어 편리성을 높일 수 있다.

미국 클라우데라의 ‘임팔라’, 호튼웍스의 ‘스팅거’, 맵알의 ‘드릴’, EMC ‘호크’ 등 SQL 온 하둡 기술이 속속 등장하고 있는 가운데 우리나라 개발자가 제안한 ‘타조’의 첫 번째 공식 릴리즈인 0.2 버전이 2013년 말 발표되는 등 기술 성숙도가 높아지고 있다.

특히 타조는 우리나라 개발자의 제안 기술일 뿐 아니라 SK텔레콤 등에 적용되면서 유용성을 입증해 더욱 관심을 모으고 있다. 타조를 적용한 SK텔레콤은 빅데이터 처리시 표준 ANSI SQL 언어를 사용, 100ms의 쿼리 처리 시간을 보였다. 그루터가 진행한 쿼리 처리 벤치마크 테스트에서 타조는 샘플 데이터를 330초만에 처리한 반면 하이브는 827초가 걸려 우수한 성능을 입증했다.

‘피보탈HD’에서 ‘호크(HAWQ)’로 SQL 온 하둡에 대응하고 있는 EMC는 분석 성능 향상을 위한 ‘젬파이어’와 ‘SQL파이어’의 출시를 목전에 두고 있다. EMC가 보유한 계층형 데이터 처리 기술을 활용해 자주 사용되는 데이터는 메모리단에 올려 보다 빠르게 분석할 수 있도록 하는 것이 핵심으로 가파르게 진화하고 있는 빅데이터 기술을 보여주는 실사례다.

마이크로소프트도 2013년 초 DW 솔루션인 ‘마이크로소프트 SQL 서버 2012 PDW’에서 SQL 온 하둡을 구현하는 폴리베이스(PolyBase) 기능을 탑재해 하둡과의 직접적인 연결에 나섰으며, IBM도 ‘빅SQL’이란 이름의 SQL 온 하둡 기술 개발을 진행하는 등 기술 경쟁이 한창이다.

이러한 기술 경쟁은 고객 선택권을 높일 뿐 아니라 경쟁을 통해 기술진화를 가속화하는 긍정적 측면이 있다. 더욱 진화된 기술을 더 많은 기업이 활용함으로써 시장이 확산되는 선순환 효과를 가져올 수 있는 것으로, 2014년 빅데이터 시대의 본격 개막을 알리는 신호탄이다.



댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.