“AWS 클라우드의 장점은 125개의 다양한 서비스를 필요한 용도에 맞춰 레고 블록을 조립하듯이 구성하는 것만으로도 손쉽게 빅데이터 분석 환경을 구축할 수 있다는 점이다.”
4일 아마존웹서비스(AWS)코리아가 역삼동 본사에서 진행한 미디어브리핑에서 양승도 AWS 솔루션즈 아키텍트 매니저는 ‘AWS의 빅데이터와 데이터 레이크 서비스의 특징’에 대해 이 같이 설명했다.
데이터가 기업의 핵심 자원으로 여겨지면서 빅데이터는 기업 경쟁력을 가르는 중요한 요소로 자리 잡고 있다. 견고한 빅데이터 전략은 기업들로 하여금 새로운 수익 창출과 경쟁력을 확보할 수 있도록 하며, 데이터 레이크는 다양한 유형의 대량 데이터를 처리해야 하는 과제를 해결하는 데이터 저장 및 분석 방법으로서 인기를 얻고 있다.
그러나 아직까지 많은 기업들이 빅데이터 분석 환경을 갖추는 과정에서 시간과 비용을 허비하며 어려움을 호소하고 있다는 지적이다.
양승도 매니저는 “데이터 분석을 위해서는 방법론에 맞는 적당한 툴과 기술들을 사용하는 것이 중요하다. 그러다보니 기업들은 자사에 맞는 툴과 기술을 찾는데 많은 시간과 비용을 허비하고 있으며, 그 과정에서 왜 빅데이터 프로젝트를 진행하는지 목적을 잊어버리는 경우가 많다”고 말했다.
이에 양승도 매니저는 빅데이터 분석에 필요한 조건들을 클라우드에서 대응할 수 있음을 강조했다. AWS가 데이터 웨어하우징(DW), 클릭 스트림 분석, 사기 탐지, 추천 엔진, 이벤트 기반 ETL, 서버리스 컴퓨팅 등을 비롯해 사실상 모든 빅데이터 애플리케이션을 신속하게 확장할 수 있도록 하며, 클라우드에서 데이터 레이크를 구축하고 인공지능(AI)/머신러닝(ML)을 사용해 모든 데이터를 분석할 수 있는 가장 안전하고 효율적인 서비스 포트폴리오를 제공하고 있다는 설명이다.
특히 아마존 S3가 정형/비정형 데이터를 가리지 않고 사실상 무한대로 데이터 저장이 가능하며, 높은 내구성과 보안성을 바탕으로 계층화된 효율적인 오브젝트 스토리지 역할로 기능할 수 있음을 강조했다. 여기에 카탈로그 제작 및 데이터 전처리를 위한 ETL 역할을 맡는 글루를 통해 AI/ML을 위한 파운데이션으로 활용 가능하다는 것도 장점으로 덧붙였다.
양승도 매니저는 “AWS 클라우드는 그동안 사용하지 않고 흘려보냈던 빅데이터들을 쉽게 분석하고 비용 효율적으로 활용할 수 있도록 해줌으로써 기업에게 비즈니스 가치를 제공할 수 있다”고 말했다.
