[데이터넷] 빅데이터가 이제는 4차 산업혁명의 핵심 경쟁력이자 전제조건으로 손꼽히고 있다. 문제는 쌓이는 데이터가 많아지고 복잡성이 더해지면서 데이터 사일로(silo)에 빠져 오히려 혼란만 가중될 수 있다는 것이다. 이에 많은 양의 데이터를 최소 비용으로 관리함으로써 데이터 ROI를 극대화하고 나아가 데이터 가치를 창출하는 방법을 제시하고자 한다. 여기에 데이터 운영의 한 방법으로 부상하는 데이터옵스(DataOps) 개념과 데이터옵스를 실행시킬 최적의 솔루션을 살펴본다. <편집자>

데이터는 기업에게 인적 자원 다음으로 소중한 지적 자산이다. 빅데이터와 분석이 등장하면서 데이터는 ‘부수적 산물’에서 ‘매출 향상의 기회’로 지위가 격상됐다. 이제 핵심은 감에 의존하던 방식을 탈피해 데이터에 기반해 의사결정을 내리는 데이터 주도(data-driven)적인 이노베이터들에게 어떻게 적합한 데이터를 제공할 것인가이다.

이노베이터는 데이터를 통해 시장과 상품을 잘 이해하고, 데이터 주도적인 상품으로 보다 많은 매출을 창출해내는 주역이다. 하지만 이상과 현실의 괴리는 크다. 여전히 많은 기업이 통찰력을 확보하기 위해 데이터 사일로 속에서 고군분투하고 있다.

이는 리소스와 기회 상실이라는 큰 대가를 치른다. 가능한 많은 양의 데이터를 최소 비용으로 충분히 관리해야 한다. 이것만 해결되면 더 많은 성과를 창출할 수 있다. 데이터 ROI 극대화를 위한 3가지 전략은 다음과 같다.

● 인프라 비용 절감

전통적인 IT 비용 절감의 주된 방식은 프로세스 효율성 향상이다. 사물인터넷(IoT)과 같이 새롭게 등장한 아키텍처를 이용하면 예측과 진단이 가능한 분석 등 새로운 영역으로 효율성을 확대할 수 있다. 비용 절감은 물론이고 추가 비용을 고민할 필요가 없다. IT 인프라 자동화를 통해 확보된 통찰력이 비즈니스에 적용되기까지 소요되는 비용을 절감하는 방안만 고민하면 된다.

문제는 어떻게 가능하게 하느냐다. 비즈니스 자동화를 어떻게 구현해야 하는가에 대한 답은 고급 분석, 인공지능(AI), 그리고 머신러닝에서 찾을 수 있다. AI옵스(AIOps)를 활용하면 낮은 비용으로 IT 인프라에서 더 많은 데이터 운영이 가능하다. 데이터 관리가 간소화되면 보다 많은 데이터를 관리할 수 있고 이를 통해 얻는 가치도 증가한다.

● 데이터 관리 합리화로 혁신 집중

데이터를 통한 혁신 과정에서 가장 큰 장애물은 사내 데이터 사일로다. 기업 데이터 관리는 인프라 투자의 영향을 받는다. 부서 단위로 투자가 이뤄지기 때문에 수많은 단위별 데이터를 가진 기업이 많고, 이런 상태에서는 큰 그림을 그리기 어렵다. 데이터 관리가 합리적으로 이뤄지면 기업은 모든 데이터에 대해 단일 전략을 수립할 수 있고, 각 팀은 필요한 데이터에 접속할 수 있게 된다. 유연한 데이터 소비 및 관리 모델이 확보되면 기업은 불필요한 곳에 투자하는 시간을 줄이고 더 중요한 혁신에 집중할 수 있다.

● 데이터 기반 혁신

AI옵스와 자동화된 인프라를 활용해 적은 비용으로 원하는 데이터를 얻을 수 있지만 혁신까지 가능한 건 아니다. 혁신의 주체는 사람이다. 가능한 많은 데이터를 관리하고 액세스할 수 있어야 비로소 최적의 데이터 ROI가 모습을 드러낸다.

이를 통해 기업은 고객, 상품 가격 책정, 설비 운영 방식, 설비 유지보수 강화 등을 더 잘 이해할 수 있다. 향상된 데이터 사이언스 기술까지도 적용할 수 있으며, 더 많은 매출을 창출할 방안도 더욱 쉽게 찾아낼 수 있다. 이 같은 민첩성이 확보되면 기존 고객과 유사 시장의 신규 고객에게 가치를 제공하는 새로운 방안을 모색할 수 있고, 이를 통해 데이터 ROI도 가속화된다.

데이터 수집·저장, 여전히 최우선인가?

기업들은 데이터에서 많은 가치를 얻기 원하지만 필요한 정보를 정확히 찾아내는 일은 갈수록 어려워지고 있다. 이제는 데이터 수집·저장·분석에서 한 걸음 더 나아가 데이터 운영이 화두다.

데이터 운영에서 최근 주목받는 데이터옵스는 적합한 데이터를 적시에 올바른 장소로 가져올 수 있는 프로세스를 자동화함으로써 데이터의 궁극적인 잠재력을 최대한 발휘하도록 하는 전략 실행 방법이다. 개발과 운영을 함께하는 데브옵스(DevOps)와 마찬가지로 분석, 데이터 및 비즈니스 팀을 하나로 통합해 비즈니스 의사 결정의 품질과 예측 가능성을 향상시키고 가치 창출 시간을 단축한다.

빅데이터 수집과 저장, 보호는 개별 업무가 주목적일 때 중심이 되던 영역이다. 지금도 데이터 주도 기업이나 머신러닝 기술을 활용 중인 기업들은 데이터 수집이나 저장을 반복적으로 강조하지만, 정작 자사에 유용한 데이터나 외부에서 가져온 데이터가 어디 있는지 모르는 경우가 허다하다.

기업들은 여전히 데이터를 모으는 데만 집중한다. 따라서 데이터 활용을 위한 프로젝트 역시 모은 데이터의 일부만을 가져다 쓸 뿐이다. 데이터 처리를 수십 번 반복해 분석 모형을 만들지만, 무엇을 얼마나 반복했는지는 남기지 않는다.

기존 결과물에는 중간 과정이 전혀 남아있지 않아 결과물을 통해 데이터를 재활용하려면 이미 했던 작업을 처음부터 다시 할 수밖에 없다. 기존 결과물을 재활용할 수 없는 단계에 이르면서 결과물의 활용도, 즉 ‘데이터 운영’에 관심이 높아지고 있다.

새로운 데이터 운영 접근 방식 ‘데이터옵스’

데이터 분석과 관리 방식에 새로운 툴과 기술이 등장했지만 데이터 민첩성 부족은 수년간 문제가 됐다. 그리고 이 문제는 많은 기업들에게 트랜스포메이션을 기반으로 혁신 가속화를 지원하는 분석, 머신러닝, AI 구현에 가장 큰 걸림돌이 되고 있다. 새로운 데이터 운영 관리 솔루션이 필요해진 것이다.

데이터 운영은 아직 불확실하고 광범위한 개념이지만, 그 용어와 개념은 관련 시장의 문화까지 포함하는 영역으로 점차 확장될 전망이다. 이는 앞으로 데이터 운영에 더욱 예의주시가 필요한 이유다.

데이터옵스는 조직 전체의 데이터 관리자와 소비자 간 데이터 플로우 커뮤니케이션 통합 및 자동화 향상에 중점을 둔 협업적 데이터 관리 규칙으로 등장했다. 효과적인 데이터옵스를 구현하기 위해서는 데이터 관리 인프라, 메타데이터 기반의 주도적인 데이터 관리 툴, 정책 기반 자동화가 중요하다.

데이터옵스는 많은 기업에게 새로운 접근 방식이다. 첫 단계는 대부분 분석과 머신러닝을 위한 데이터 파이프라인 강화로 시작한다. 데이터 탐지, 통합, 전송 자동화, 가속화는 가공되지 않은 데이터를 실행 가능한 통찰력으로 전환하는 데 필요한 시간을 단축시키는 핵심이다.

데이터옵스 전략은 ▲분석 속도 ▲거버넌스 ▲에지 투 클라우드(edge-to-cloud) 운영 민첩성이라는 세 가지 핵심 요소를 만족시켜야 한다. 또한 데이터옵스를 구체화하기 위해서는 탐색, 메타데이터 관리, 정책 기반 거버넌스·유지관리, 자동화된 데이터 통합 및 데이터 파이프라인 구축 등의 기술이 필요하다. 이렇게 많은 코어 기술들의 혼재는 성공적인 데이터 운영을 위한 올바른 데이터 플랫폼의 필요성과 연결될 수 있다.

데이터 활용·운영 핵심 ‘펜타호’

앞서 언급한 데이터옵스 전략을 구현할 올바른 데이터 플랫폼이 바로 ‘펜타호(Pentaho)’다. 펜타호는 기업의 데이터 활용의 민첩성을 높이고 성공적인 데이터 운영을 위한 데이터옵스 환경을 지원한다.

펜타호는 루마다(Lumada)의 구성 요소인 데이터 및 분석 플랫폼을 관장하는 핵심 구성요소로, 최근 업그레이드 버전 8.3이 발표되며 또 한 번 업계의 주목을 받고 있다. 펜타호 8.3에서 강화된 핵심 분야는 크게 세 가지로 ▲데이터 파이프라인 구축 ▲데이터 가시성 확보를 통한 거버넌스 강화 ▲멀티 클라우드 지원 확대를 꼽을 수 있다.

펜타호는 데이터 통합, 분석, 시각화를 하나의 워크플로우로 구현한 통합 빅데이터 처리 및 분석 플랫폼이다. 펜타호는 데이터 웨어하우스 및 데이터 레이크와 같은 기존 도구를 AI, 머신러닝 등의 새로운 기술과 결합시켜 데이터 통합 및 파이프라인 기능을 강화해 왔다. 펜타호 8.3은 기업이 데이터에서 인사이트를 도출할 때 방해되는 요소를 제거하고 데이터 관리 방식을 현대화할 수 있도록 지원한다.

기업이 데이터옵스를 성공적으로 구현하기 위해서는 적합한 데이터를 적시에 활용할 수 있어야 하며, 펜타호 8.3이 바로 이를 보장해준다. 펜타호 8.3은 데이터 저장 비용을 최소화하고 높은 서비스 수준을 제공한다. 데이터 검색과 액세스 지원은 물론 거버넌스 규정을 준수한다. 이를 통해 기업들은 데이터에서 실행 가능한 인사이트를 도출하고 경제적 가치 또한 확보할 수 있다.