[데이터넷] 현재 데이터의 가치는 과거보다 훨씬 높아졌고, 미래에도 더욱 높아질 전망이다. 따라서 데이터 경쟁력을 갖추지 못한 기업들은 도태될 수 있다. 기술 발전 속도가 급격하게 빨라지고 있는 만큼 기업들은 미래 경쟁력을 위해 데이터 분석 플랫폼에 대한 투자를 지속 확대할 필요가 있다. <편집자>

지난 2005년 전 세계에서 0.16ZB 규모로 생산됐던 데이터의 양은 2020년에 64.2ZB에 육박할 정도로 늘어났으며, 일상생활이나 중요한 정책 결정, 금융, 의료, 과학의 발전을 위해 데이터가 활용되고 있다. 또 시장조사기관 IDC의 예측에 따르면 2017년 15%에 그쳤던 실시간 데이터의 비중이 2025년에는 약 30%에 달할 것으로 예상되는데, 그만큼 우수한 고객 경험을 제공하고 비즈니스 점유율을 높이려는 기업은 증가하는 실시간 데이터의 증가를 활용할 수 있는 역량을 갖춰야 한다.

단순히 데이터를 특정 시점의 비즈니스 결과로만 바라보던 과거와 달리 현재 기업은 데이터를 소비자의 행동 패턴과 결합함으로써 소비자를 이전보다 훨씬 잘 이해할 수 있게 됐다. 이제 많은 기업이 디지털 전환을 준비하고 진행함에 따라 데이터의 가치가 점점 중요하게 인식되고 있으며, 폭넓게 활용되고 있다.

중요성 커지는 분석 플랫폼
디지털 전환은 기업이 디지털화되는 세상에서 변화를 수용하고 경쟁력을 유지하는데 도움이 되며, 비즈니스 운영의 디지털화와 자동화는 효율성을 개선하고 혁신을 촉진하며 새로운 비즈니스 모델 구축으로 이어진다.

데이터를 활용해 기업은 고객 또는 고객 그룹이 웹사이트에서 무엇을 하는지, 어떤 상품을 구매하는지, 상품을 찾기 위한 검색 키워드는 무엇이었는지 등의 정보를 바탕으로 고객의 미래 요구 사항을 충족시키기 위한 목표를 설정하고 이를 구현해서 서비스로 제공한다.

과거에는 데이터가 비즈니스 결과의 KPI 제공이나 오퍼레이션 용도로만 활용됐다면, 최근 기업에서는 구매/활동 데이터를 기반으로 상품 개발, 상품 추천, 고객 분류, 구매 예측, 공급망 관리를 수행할 뿐만 아니라 제조 설비에서 발생하는 데이터를 사물인터넷(IoT) 서비스와 결합해 공정을 개선하는 데 활용하고 있다.

전례 없는 글로벌 팬데믹 상황으로 인해 많은 사람들이 고통을 받고 기업에도 위기상황이 발생했지만, 이는 동시에 우리에게 교훈을 전하기도 했다. 누구도 예상치 못했던 급격한 변화의 한복판에서 생존하기 위해서는 비용과 시간을 절감하고, 신속하게 결정을 내려야 한다는 것이다. 그러기 위해서는 데이터와 의사결정에 필요한 데이터로 분석하기 위한 플랫폼이 필요하다.

분석 플랫폼 역할과 의의
엔터프라이즈 고객은 그동안 분석 플랫폼 구축을 온프레미스 기반 레거시 분석 시스템의 1 대1 교체나 BI(Business Intelligence) 솔루션의 도입으로 간주해왔다. 그러나 분석 플랫폼은 데이터를 소스로부터 수집하는 ‘데이터 파이프라인’, 수집된 데이터를 저장하는 ‘저장소’, 저장된 데이터를 가공하는 ‘데이터 처리 영역’과 ‘데이터 시각화 영역’으로 분류되며, 이를 총체적으로 이해하는 것이 중요하다.

데이터는 분석 플랫폼을 구성하는 가장 중요한 요소로 고객의 구매 데이터, 배송 등 정형화된 데이터와 고객의 행동 데이터 등의 반정형 데이터, 이미지, 동영상 등 비정형 데이터로 구성된다. 데이터 분석과 KPI 측정 및 시각화를 위해 설계하는 시점에서 데이터를 바라보는 관점을 정의하고 서비스를 배포하는 것이 일반적이다.

많은 기업 고객이 데이터는 많지만 어떤 데이터를 활용해야 할지 모르겠다며 어려움을 호소한다. 먼저 데이터를 통해 무엇을 보려는지, 실시간성이 필요한지 또 무엇을 분석하려고 하는지를 정의해야 필요하지 않은 데이터를 수집·저장하는데 드는 비용과 리소스를 소모하는 것을 방지할 수 있다.

필요한 데이터를 정의한 다음에는 그 데이터를 수집·저장하기 위한 데이터 파이프라인과 저장소를 마련해야 한다. 실시간성 데이터의 필요 여부에 따라 데이터 파이프라인과 저장소가 달라질 수 있다. 저비용 파일 형태로 저장해 다양한 워크로드에서 분석에 활용할 수 있는 데이터 레이크, 정형화해 더욱 쉽게 분석에 활용할 수 있는 데이터 웨어하우스(DW)로 저장 방법을 달리하거나 두 개의 저장소를 같이 활용하는 경우가 많다.

원천 데이터의 종류가 늘어나고 이를 재가공한 데이터도 많아지면서 데이터의 데이터베이스, 테이블, 스키마(schema) 등의 메타 정보를 관리하는 도구들이 필요한데, 이는 데이터 카탈로그라는 형태로 지원된다. 저장된 데이터는 데이터 웨어하우스를 통해 가공하거나 대표적인 대용량 분산 처리 시스템인 하둡(Hadoop), 하이브(Hive), 스파크(Spark) 등을 활용해 필요한 데이터로 가공할 수 있다.

이렇게 가공된 데이터들에 BI 또는 시각화 툴을 적용해 다양한 비즈니스 영역의 의사결정을 내리고, 인공지능(AI)·머신러닝(ML)을 활용해 새로운 비즈니스 구축에 분석 플랫폼이 활용된다.

분석 플랫폼 구축·활용 시 문제점
기업들이 디지털 전환 달성 과정에서 어려움을 겪는 인력과 기술력의 부재는 분석 플랫폼의 구축·활용에도 걸림돌로 작용한다. 특히 오프라인 기반 비즈니스 모델이나 제조 기반의 비즈니스 모델을 가지고 있는 경우가 대부분 이에 해당한다.

국내 엔터프라이즈 기업 대다수는 일반적으로 핵심 경쟁력을 가지고 있는 영역을 제외하고는 외주를 주로 활용한다. 그렇다 보니 기존에 구축된 레거시 플랫폼 역시 상당수가 외주에서 개발·운영되며, 기업 내부에서 클라우드 환경에서의 분석 플랫폼 구축·활용을 진행할 수 있는 인력이나 기술력을 가지고 있는 경우가 드물다.

이때 외주를 통해 디지털 전환 작업을 수행하는 경우가 많으며, 일부 기업에서는 핵심 인력을 채용해 디지털 전환을 진행하기도 한다. 그러나 개발 인력은 자유로운 조직문화를 가진 디지털 네이티브 기업에 대한 선호도가 높기 때문에, 상대적으로 보수적인 조직문화를 가지고 있는 기업들은 인력 내재화를 위한 의지에도 불구하고 채용에 많은 어려움을 겪기도 한다.

분석 플랫폼 도입 시 고객들은 경우 1 대 1 전환을 생각하는 경우가 많다. 온프레미스 기반의 레거시 환경에서 사용하고 있는 구성 요소들을 클라우드 환경에서도 동일하게 구현할 수 있는 솔루션을 찾는 것이다.

온프레미스 환경에서는 운영·서비스·분석 워크로드의 데이터가 분석 솔루션에 집중되는 경우가 많다. 성능과 요구 사항이 서로 다른 여러 워크로드가 동시에 실행되다 보니 분석 솔루션의 성격에 맞지 않는 워크로드가 생겨나기도 한다. 클라우드에서는 데이터 스토리지와 데이터 프로세싱을 분리하고 각각의 워크로드의 성격에 맞는 분석 솔루션을 제공함으로써 성능과 비용을 최적화하는 것이 가능하다.

끝으로 데이터의 활용 사례가 다양해지면서 데이터를 생산하는 조직과 소비하는 조직이 다른 경우 데이터 거버넌스 이슈로 인해 많은 비효율이 발생하거나 데이터의 정합성이 훼손되고 있다. 데이터의 누락이나 오염으로 인한 비즈니스 KPI 오류, 검색·추천 등 대고객 서비스 오류, AB 테스트 결과 오류가 발생하는 것이 대표적인 예다.

데이터 활용도가 높은 기업에서 이러한 문제를 성장통처럼 겪게 되는데, 현재는 단일 조직에서 데이터를 수집·소비하지만, 추후 확장 계획이 있다면 반드시 이에 대해 고려하고 진행해야 한다.

모든 기업에서 내부 인력만을 활용해 디지털 전환을 달성해야 할 필요는 없지만, 디지털 전환을 통해 이루고자 하는 것들이 잘 반영될 수 있도록 전반적인 내용을 기획하고 전사적으로 주도해 나가는 과정은 매우 중요하다. 디지털 전환에 대한 로드맵을 구성하고 주도하는 최소한의 인력을 배치한 후, 클라우드에서 제공하는 다양한 네이티브 솔루션들을 활용해 비즈니스에 적용함으로써 성공 사례를 구축하고, 추후 고도화 작업을 위한 인력들을 확충하는 것도 하나의 방법이다.

디지털 전환을 통해 분석 플랫폼을 클라우드로 이전 시 데이터의 수집·저장·처리 방법이 변경되기 때문에 온프레미스와 클라우드의 1 대 1 전환 방식이 아닌 전반적인 재설계가 필요하다. 또 비용과 운영 측면에서의 효율을 고려한다면 클라우드 네이티브 형태로 재구축하는 것이 라이선스 문제나 확장성을 고려할 때 장기적인 관점에서 유리하다.

데이터 거버넌스의 경우 아마존, 쿠팡의 사례와 같이 데이터 생산자와 소비자를 구분해 필요한 데이터를 구독 시스템 형태로 소비할 수 있도록 하는 것이 가능하다. 이를 통해 데이터 생산자가 데이터에 대한 정의를 하고, 소비자는 이에 대한 정보와 변경을 확인함으로써 데이터 변경에 대응이 가능한 시스템을 구축하고 활용할 수 있다.

현업 데이터 활용 역량 높여야
데이터 활용은 디지털 혁신의 다음 물결이 되리라고 확신한다. 이를 위해 많은 기업이 퍼블릭 클라우드 환경에서 AI·ML, BI, 애드혹 데이터 분석, 데이터 기반 서비스를 개발하기 위해 데이터 레이크를 구성을 진행하거나 이를 계획하고 있다.

클라우드에서 레거시 온프레미스처럼 데이터 저장소를 사용하거나 자체 관리를 실행하는 조직은 여전히 데이터베이스 프로비저닝, 패치, 구성 또는 백업과 같은 관리 작업을 처리해야 한다. AWS는 이를 대신 처리하고 있으며, 고객은 AWS의 탁월한 경험, 성숙도, 안정성, 보안 및 성능을 활용하는 동시에 가장 중요한 애플리케이션 개발에 집중할 수 있다.

그러나 데이터 수집·저장·분석을 전담 운영하는 중앙 집중적인 방식을 취하는 기업에서는 소수의 데이터 분석가, 비즈니스 분석가들만 유용한 데이터에 접근하고 있다. 데이터가 증가하고 분석이 필요한 데이터 소스는 확장되고 있지만, 데이터를 처리하는 엔지니어나 분석가들은 수요를 시장에서 대응하지 못하고 있고, 확장이 어려워 많은 데이터 장애를 경험하고 있다. 또 데이터 활용을 통해 비즈니스 성과를 도출하지 못하고 있다.

데이터를 통한 새로운 비즈니스의 혁신을 진행하려면 과거처럼 분석가들이나 DW 엔지니어와 같은 소수의 전문가에게만 맡기는 것 대신, 다수의 구성원들이 데이터를 통해서 다양한 가치를 찾을 수 있도록 해야만 한다. 비즈니스 규모가 커지고 복잡해질수록 그리고 비즈니스 환경이 빠르게 변화할수록 현업에서 일하는 구성원이 비즈니스를 가장 잘 이해하고 있기 때문이다.

따라서 데이터를 누구나 쉽게 접근하고 거기서 통찰력을 얻을 수 있게 하는 것이 중요하다. 데이터 전문가 집단에서는 회사 전반에 걸쳐 사용되는 KPI나 데이터의 기준에 대한 정의를 내리고, 데이터 사용자들이 데이터를 쉽게 찾고 사용할 수 있는 환경과 자동화 된 툴을 제공하며 데이터 거버넌스와 보안에 집중하는 것이 보다 바람직하다.

데이터 메시로 분석 최적화
한편 중앙 집중화된 시스템에 데이터를 모으고 분석할 경우 데이터에 대한 도메인 지식이 부족해 원하는 성과를 도출하기가 어렵고, 데이터의 소스 변경에 따른 데이터 거버넌스가 무너질 수도 있다. 데이터 소스의 종류가 많거나 데이터 사용자들이 많아지는 경우 데이터를 한 곳으로 모으기 위한 리소스가 증가한다. 그러다 보면 결국 도메인 데이터 사용자(데이터 분석가, 데이터 과학자, 서비스 개발자) 단위의 크고 작은 분석 플랫폼이 다수 생겨나기도 한다.

이와 같은 문제들을 해결하기 위해 등장한 ‘데이터 메시(Data Mesh)’ 분석 시스템 아키텍처는 기존 중앙 집중적인 분석 시스템과 달리 업무별로 독립된 분석 시스템을 보유하고 있으며, 데이터 생산자 및 소비자의 요구 사항을 빠르게 반영하고 해당 업무에 적합한 기술을 사용하기 때문에 최적화가 가능하다.

이는 분석 시스템의 마이크로서비스 아키텍처(MSA)와도 유사한 형태로, 데이터 메시를 사용한다 하더라도 전사적인 BI 구성을 위해 중앙 집중 분석 시스템과 부서별 데이터의 탐색 및 구독을 데이터 카탈로그의 확장과 권한 관리 시스템이 필요하다.

현재 데이터의 가치는 과거 어느 때보다 높아졌고, 미래에도 그 가치는 더욱 높아질 것이다. 기업 내 분석 플랫폼 활용이 혁신이 아닌 필수 요소로 자리매김하고, 이를 위한 데이터 경쟁력을 갖추지 못한 기업들은 도태되고 말 것이다.

기술 발전 속도가 급격하게 빨라지고 있는 만큼 기업들은 미래 경쟁력을 위해 분석 플랫폼에 대한 투자를 지속 확대하고, 다가오는 변화에 대응할 수 있도록 내재화 역량을 강화하는 한편 그에 따르는 조직문화의 변화도 준비해야 할 것이다.

단순히 데이터를 분석하고 활용할 수 있는 플랫폼뿐만 아니라 과거 소수의 전문가 집단에만 독점됐던 데이터들이 조직 전반에 걸쳐 활용될 수 있도록 조직문화도 진화해야 한다. 일부 구성원에게 누군가에게 데이터를 의지하는 것이 아닌 데이터를 통해 도출한 의미 있는 결과를 모든 구성원들이 활용할 수 있도록 변화해야 한다.

지금 우리는 데이터 홍수의 시대를 경험하고 있으며, 앞으로도 더 많은 양의 다양한 데이터가 끊임없이 생성될 것이다. 모든 산업 전반에서 데이터의 활용이 극대화되고 있으며, 데이터를 비즈니스에 적극 활용하는 기업들의 가치는 점점 높아지고 있다.

이미 데이터를 활용한 비즈니스 성공 사례가 다수 입증됐으며, 앞으로도 이는 선택이 아닌 기업의 미래 생존 전략의 필수 요소로 자리매김할 것이다. 기업의 미래 생존을 위해 더 이상 데이터 활용 환경을 위한 투자와 구성원의 데이터를 활용하는 능력 향상을 위한 투자에 고민하지 않았으면 한다.