[데이터넷] 비록 클라우드 사업자(CSP)들이 다양한 데이터 분석 서비스를 제공한다 하더라도 기업에서 이를 독자적으로 활용하기에는 어려움이 따른다. 대부분 오픈소스 기반으로 만들어진데다가 솔루션 서비스 범위가 너무 잘게 나눠져 있어 여러 솔루션을 조합해 활용해야 하기 때문이다. 이러한 문제를 해소하기 위해서는 해당 분야 혹은 서비스 경험이 많은 MSP와 파트너십을 맺고 단계적으로 확장하며 고도화해 나가는 방식의 개발이 필요하다는 것이 베스핀글로벌의 입장이다.

국내에서 데이터 활용 확대 및 데이터 분석 수요가 증가하면서 이를 수용하고자 하는 데이터 플랫폼에 대한 요구 사항이 더 명확해지고 구체화되고 있다. 베스핀글로벌이 제공하는 데이터옵스(DataOPs) 서비스는 클라우드 기반 분석 플랫폼 구축을 위한 컨설팅 서비스부터 구축, 운영을 위한 토털 서비스를 제공한다.

우선적으로 CSP가 제공하는 솔루션 및 서비스를 기반으로 확장성 있는 데이터 분석 아키텍처를 구성하고, 이를 보완할 수 있는 영역에 대해 인더스트리 특화, 서비스 특화 기능을 가진 클라우드 네이티브 기반 플랫폼 사업자 및 솔루션 사업자와의 연계를 통해 최적의 아키텍처 설계·구축을 지원한다.

데이터 플랫폼 서비스 측면에서는 아직 클라우드에 분석 환경을 구축한 경험이 없는 고객사를 대상으로 베스핀글로벌이 가진 구축 방법론 및 자동화 도구에 기반해 신규 클라우드 네이티브 분석 플랫폼을 구축할 수 있는 ‘데이터 애널리틱스-퀵 스타트팩(Data Analytics-Quick Start Pack)’을 제공한다. 이를 통해 1개월의 빠른 시간 안에 CSP 솔루션 기반으로 분석 환경을 구축하고, 향후 발전 방향에 대한 로드맵을 생성할 수 있다.

공유 전동 킥보드 ‘킥고잉’ 운영사 울룰로는 해당 서비스를 통해 서비스 활성화 관점 및 운영 효율화 관점에서 의사결정할 수 있는 분석 환경을 빠르게 구축하고, 이를 바탕으로 직접 고도화 단계로 전환해 나갔다.

추가적으로 베스핀글로벌은 옵스나우(OpsNow)라는 클라우드 관리 플랫폼(CMP)을 기반으로 클라우드 기반 분석 환경 구축 시 발생할 수 있는 과다한 비용 발생 및 비효율적 자원 사용 등에 대한 이슈를 지속적으로 모니터링하고 관리할 수 있는 솔루션도 제공하고 있다.

“데이터 분석, 크게 생각해서 작게 시작하라” 초기에 분석서비스 시장에서 근무할 때 자주 들었던 이야기가 ‘크게 생각해서 작게 시작하라(Think Big, Start Small!)’였다. 우선적으로 기업이 가지고 있는 데이터를 낭비되지 않고 모으는 작업부터 시작하고, 이를 기반으로 기업 내 데이터 분석가들이 자유롭게 활용할 수 있는 환경을 제공하는 것부터 시작해야 한다. 그리고 분석 환경도 처음부터 모두 자동화된 형태로 데이터 수집-저장-분석까지 진행하는 것이 아니라 초기에는 애드혹(Ad-Hoc) 분석을 제공하는 것부터 시작해 클라우드 특성인 언제든지 빠르게 생성하고, 테스트하고, 검증하고, 활용할 수 있는 부분을 이용해 점진적으로 기업에 필요한 환경을 확장해 나가는 것이 중요하다. 그럴 경우 좀 더 비용 효율적으로 클라우드 기반 데이터 분석 환경을 구축할 수 있다. 또 데이터 분석 환경 특성상 데이터에 대한 이해가 높아질수록 데이터를 활용해 사용할 수 있는 다양한 방법이 생성될 수 있다. 이러한 부분은 CSP 및 MSP가 제공하는 다양한 솔루션과 서비스를 통해 보다 쉽게 확장하고 구축할 수 있을 것이다.

전문 그룹서 고급 서비스 제공
클라우드 MSP 전문 기업 클루커스도 클라우드 데이터 분석과 관련한 DAaaS(Data Analytics as a Service)를 제공한다. DAaaS는 데이터 분석에 대한 엔드 투 엔드 전체를 서비스하며 데이터 수집-저장-정제-분석-시각화로 진행되는 분석 프로젝트와 수집-저장-전처리-모델 개발 및 검증-ML옵스로 진행되는 머신러닝 프로젝트까지 모든 데이터 전반에 걸쳐 서비스를 제공한다.

클루커스에서 이러한 서비스가 가능한 이유는 데이터 전문 그룹을 보유하고 있을 뿐만 아니라 DBA, 데이터 엔지니어, 데이터 분석가, 데이터 사이언티스트 등 역할별 전문가를 보유하고 있기 때문이다.

여기에 DAaaS의 자동화 및 편의성을 제공하는 포털 형태의 서비스를 개발 중이며, 올해 상반기 중으로 데이터의 수집과 저장을 자동화하는 것을 목표로 하고 있다.

고객 사례도 다양하다. 엔터프라이즈 기업인 A사는 기존 SAP, SQL서버, MySQL, 오라클 등 계열사별로 다양한 DBMS를 사용하면서 각 계열사마다 별도로 데이터를 분석하고 특정 분석 요건에서만 전체 데이터를 모아서 분석했다. 그로 인해 데이터 사일로가 발생했고, 모든 데이터를 통합해 상시 분석하기를 원했다.

클루커스는 흩어진 데이터를 통합하기 위해 클라우드 환경에서 제공되는 통합 플랫폼을 사용해 데이터 통합 환경을 구성하고, EDW를 구축했다. 또 데이터 마트 구성 및 시각화까지 모든 서비스를 클라우드 환경으로 마이그레이션했고 성공적으로 운영하고 있다.

또 글로벌 자동차 기업인 B사는 전기자동차 시장에서 배터리 부분의 모니터링과 데이터를 분석하고자 하는 니즈가 있었다. 배터리 플랫폼의 구성을 클라우드 환경에서 디지털 트윈으로 구축하고 배터리의 수명을 예측하는 프로젝트를 진행했다.

디지털 트윈의 구축으로 배터리 플랫폼의 이상감지를 시각적으로 보여줌으로써 보다 명시적인 모니터링이 가능했으며, 데이터 분석 모델링으로 배터리의 수명을 예측하고 사용자의 행동과 배터리 수명과의 연관관계를 찾아 보다 나은 환경을 사용자에게 제공하고 있다.

김신영 클루커스 데이터분석그룹 리드는 “시중에 유통되고 있는 모든 플랫폼을 이해하고 전달하기에는 어려움이 있다. 그렇기에 플랫폼 사용 방법에 대한 이해보다는 자체 엔진에 대한 이해로 접근해야 한다. 또 어떤 산업군에서 어떤 솔루션이나 플랫폼을 사용해 분석하고 개발하는 것을 선호하는지 등의 분석 수요에 대해서도 이해해야 한다. 클루커스는 이처럼 다양한 시장의 니즈를 충족하기 위해 보다 넓은 범위로 접근하고자 하며, 항상 새로운 기술들을 고객들보다 먼저 익히는데 초점을 두고 있다”고 밝혔다.

향후 클루커스는 클라우드 분석 시장이 금융권으로도 확장될 것으로 보고 대응을 준비 중이다. 그러나 아직까지는 정보보안 규정이 까다롭고 규제 문제가 많아 조심스럽지만 금융권에서 규제와 보안 요건을 충족하며 클라우드를 도입할 수 있는 방안을 모색 중이며, 몇몇 금융사는 클라우드로 일부 시스템을 전환하거나 마이그레이션을 진행 중이기에 동시다발적으로 사례가 늘어날 것으로 예상했다.

데이터 클라우드로 활용성 높여
모든 기업이 자사 ‘데이터 클라우드’를 통해 데이터를 활용할 수 있도록 지원하겠다는 스노우플레이크도 국내 지사를 설립하고 한국 시장 공략에 나섰다. 스노우플레이크 측은 레거시 데이터 플랫폼과 빅데이터 솔루션이 기업의 모든 데이터를 쉽게 수집해 신속하게 분석하고, 모든 비즈니스 사용자에게 데이터 기반 인사이트를 제공한다는 본래의 목적을 달성하지 못하고 있음을 지적한다.

이 문제를 해결하기 위해 스노우플레이크는 처음부터 클라우드에서 새로운 데이터 플랫폼을 구축했다. 새로운 아키텍처가 데이터 파이프라인, DW, 데이터 레이크, 데이터 애플리케이션 개발 및 데이터 익스체인지 구축의 핵심 요소로 설계돼 관리하는 데이터를 쉽고 안전하게 공유할 수 있다. 그 결과 스노우플레이크는 강력하고 사용이 편리한 서비스형 플랫폼 ‘데이터 클라우드’ 제공하고 있다.

데이터 클라우드는 스노우플레이크의 고객, 파트너, 데이터 제공자가 데이터 장벽을 없애고 급격히 증가하는 데이터셋에서 안전하고 체계화된 방식으로 규정을 준수하면서 가치를 창출할 수 있는 글로벌 에코시스템이다. 이미 수천여 기업이 원활하고 체계적인 액세스를 통해 데이터의 잠재력을 탐색, 공유 및 실현하고 있다.

스노우플레이크는 외부 테이블을 활용해 스노우플레이크 내에서 데이터 레이크 내의 데이터에 즉시 액세스할 수 있도록 링크하기에 데이터를 이동하거나 또는 복사할 필요가 없다. 게다가 외부 테이블에 대한 구체화된 뷰(Materialized View)가 데이터를 사전 처리하므로 분석 속도가 매우 빨라진다.

한국은 기술 혁신을 선도하는 대표적인 국가이며 새로운 데이터를 가장 많이 생산하는 나라 중 하나다. 한국 기업들은 전 세계에서 가장 앞서가는 사고를 하는 조직이며 이제 데이터 사일로를 없애고 데이터를 경쟁력으로 활용할 수 있는 기회를 맞고 있다.

이에 스노우플레이크는 자사 데이터 클라우드를 통해 한국 기업들이 전체 데이터 네트워크에 액세스해 보다 깊이 있는 데이터 인사이트를 확보하고, 데이터에서 더 많은 비즈니스 가치를 창출할 수 있을 것으로 내다보고 있다.

클라우드 분석 목적 명확히 해야
20세기 기업의 가치는 하드웨어 기반의 인프라 위에서 만들어졌다면, 21세기 기업의 가치는 소프트웨어 기반의 인프라 위에서 만들어지고 있다. 21세기 기업 가치는 기업이 보유한 소프트웨어 파워를 얼마나 높일 수 있는지에 따라서 결정되며, 기업이 구축한 소프트웨어 자산을 최적화하고 고도화하는 과정은 양질의 데이터 확보와 AI를 통해서 이뤄진다.

기업이 양질의 데이터를 확보하고 AI로부터 기업 가치를 높이기 위해서는 지속적인 데이터 실험과 실패를 경험하면서, 이 과정을 극복하기 위한 지속적인 노력과 개선 과정이 필수적이다.

업계에서는 지속적인 실험과 실패 그리고 이 문제를 해결하고 개선하는 프로세스를 유지할 수 있는 기업과 이 프로세스를 유지할 수 없는 기업이 소프트웨어 기반 기업 가치를 구분 짓는 기준이 될 것으로 전망하고 있다. 결과적으로 소프트웨어 중심의 기업 가치가 필요한 모든 산업 분야에서 데이터 분석이 일반화될 것이며, 기업의 데이터 분석은 유연성, 즉시성 및 확장성이 뛰어난 클라우드에서 대부분 이뤄질 것이라는 분석이다.

무엇보다 데이터 분석을 통해서 기업의 가치를 높이는 과정은 기업이 당면한 문제를 정의하는 것에서부터 시작한다. 그리고 설정한 문제를 해결하기 위해 반복적인 실패를 경험하고, 반복적인 실패를 통해서 지속해서 개선하는 과정이 연속해서 이어진다. 반복적인 실패를 용인하지 못하는 조직을 데이터 분석을 통해서 기업의 가치를 높이는 결과를 얻을 수는 없다.

데이터 분석·AI 분야는 반복적인 실패를 극복하는 과정이기에 실패 비용을 최소화하고 지속해서 확장되는 자원 규모를 효과적으로 관리하는 체계가 필요하다.

무엇보다 초기 투자 비용을 최소화하고, 필요한 자원을 즉시 제공해 자원을 지나치게 크게 할당하는 비용을 낭비하는 체계를 갖추는 것이 필요하다. 또 데이터 분석·AI 분야는 반복적인 실패를 극복하면서 지속해서 사용 자원 규모와 기술 체계가 커지는 특성을 갖는다. 초기 투자 비용을 최소화하고 적절한 자원 확장을 즉시 지원하는 체계를 구성하는 환경으로 현시점에서 가장 뛰어난 가성비와 효율성을 보이는 것은 클라우드 서비스다.

장성우 한국오라클 전무는 “기업은 클라우드 환경에 데이터 분석 플랫폼을 구성함으로써 초기 투자 비용을 최소화하고, 필요한 자원을 즉시성으로 제공하는 유연성과 지속해서 증가하는 자원 확장에 효과적으로 대응하는 플랫폼을 구축할 수 있다”며 “클라우드 환경에서 데브옵스(DevOps)를 확장한 ML옵스를 적용해 클라우드 자원 활용성과 비용 최적화를 실현할 수 있다”고 당부했다.

데이터 분석을 위한 명확한 목적을 갖는 것 또한 간과해서는 안 된다. 모든 산업에서 광범위하고 깊은 수준의 디지털 혁신이 요구되면서 그 근간이 되는 데이터 분석 환경은 새로운 시대를 위한 준비의 시작이다. 그러나 이러한 디지털 혁신은 성장을 위한 고객의 이해뿐만 아니라 업무 관점에서는 무엇을, 어떻게, 왜 등을 고민하게 되는데, 분석 경쟁력 확보는 ‘목적’을 명확히 함으로써 시작돼야 한다.

공성배 메가존클라우드 상무는 “단순히 데이터 분석에 대한 신기술과 기반 데이터가 있어서 시작하는 것이 아니라 분석을 통해 진행하고자 하는 목적을 명확히 정의하고, 각 고객사가 진행할 수 있는 내재화 위치를 확인한 후, 이에 맞는 솔루션과 컨설팅을 환경에 맞게 적용하고 진화해 나가는 방안을 고려해야 한다”고 밝혔다.