그동안 전문가의 영역으로만 여겨졌던 데이터 분석의 문턱이 점차 낮아지고 있다. 복잡한 통계 분석을 할 줄 몰라도 단지 마우스 클릭 몇 번만으로 데이터를 분석할 수 있으며, 그 결과 또한 보기 쉽게 차트나 그래프 형태로 나타내주는 툴들이 등장하고 있기 때문이다. 이처럼 ‘분석의 대중화’가 이뤄지면서 ‘데이터 사이언티스트’라 불리는 전문가가 아니어도 누구나 데이터 분석을 할 수 있는 ‘시티즌 데이터 사이언티스트’와 ‘셀프 서비스 분석’ 개념 역시 확산되고 있다. <편집자>

 

그동안 데이터 분석은 데이터 전문가 또는 IT부서의 역할이었다. 현업에서 데이터 분석이 필요할 경우, 이들에게 의뢰해서 결과 리포트를 공유 받는 것이 고작이었다. 기업 데이터베이스(DB)에 저장된 데이터들을 다루려면 복잡한 SQL 쿼리 등을 알아야만 했으며, 분석을 위한 데이터를 준비하는 과정도 오래 걸렸기에 현업들이 맡기에는 부담이 컸다.

그러나 빅데이터 개념이 등장하고, 분석해야 할 대상도 영상, 음성 등 정형 데이터가 아닌 비정형 데이터들까지 확대되면서 데이터 분석 트렌드도 변하기 시작했다. 전통적인 통계 분석 솔루션들이 아닌 오픈소스를 비롯해 다양한 분석 솔루션과 기법들이 등장하면서 기존 데이터 분석 전문가들이 경험해보지 못한 환경들이 만들어지고 있다. 반대로 정형 데이터 분석 경험이 부족하지만, 비정형 데이터 분석을 전문적으로 다루는 사람들도 등장하고 있다. 한 마디로 데이터 분석 분야는 이질적인 환경들이 합쳐지면서 복잡해지고 있는 실정이다.

이에 데이터 분석 업계도 점차 움직임이 분주해지고 있다. 점차 방대해지는 데이터를 빠르고 신속하게 분석하면서도, 전통적인 정형 데이터 환경과 새롭게 떠오르는 비정형 데이터 분석 환경을 아우를 수 있어야 했기 때문이다. 뿐만 아니라 그 수가 많지 않은 데이터 분석 전문가나 IT부서의 부담 역시 줄여줄 수 있어야 했다.

그 대안으로 등장하기 시작한 것이 ‘시티즌 데이터 사이언티스트’ 개념이다. 한정된 데이터 분석 전문가나 IT부서에서 점차 늘어나고 있는 기업 내 데이터 분석 요구를 모두 지원할 수 없게 되다 보니, 현업에서 스스로 데이터를 탐색하고 분석해 활용할 수 있도록 하자는 취지다. 이에 전문 분석 과정을 몰라도 시각화 등을 토대로 쉽게 데이터를 탐색하고 분석해서 활용할 수 있는 솔루션들이 등장하기 시작했다.

빠르게 변하는 시장…현업 데이터 분석 필요성 증가

관련 업계에서는 데이터 분석 트렌드가 누구나 쉽게 할 수 있는 방향으로 변하는 것이 필연적인 과정으로 보기도 한다.

4차 산업혁명 시대가 되면서 제조업계는 맞춤형 소량 생산체제로 변하고 있으며, 기업들 역시 빠르게 변하는 시장 상황에 대처하기 위해 빠른 의사결정을 필요로 하고 있다.

이는 데이터 분석에도 동일하게 적용되고 있다. 이전처럼 오랫동안 데이터 분석 결과를 기다릴 수 없게 된 것이다. 시장 상황은 이미 변했는데, 뒤늦게 데이터 분석 결과를 받아봤자 아무런 소용이 없다. 대신 실시간으로 데이터를 분석하고, 도출된 결과를 빠르게 비즈니스에 반영하는 것을 필요로 하고 있다.

이것이 가능하려면 데이터 분석 전문가나 IT부서에서 분석한 결과를 기다리는 것보다 현업에서 데이터 분석이 이뤄질 필요가 있다. 그래야 빠르게 판단하고 대응할 수 있기 때문이다. 가령 제품 판매 추이 데이터를 분석해서 판매가 빠른 매장과 느린 매장 등을 확인한 후, 판매가 빠른 매장으로 제품 공급을 늘리고 판매가 느린 매장으로는 제품 공급을 줄이는 등의 결정은 실시간적으로 이뤄져야 한다. 만약 이 같이 할 수 없다면 제품 판매가 빠른 매장은 제 때 물건을 공급받지 못해 추가적인 매출을 기대할 수 없으며, 제품 판매가 느린 매장은 계속 재고만 떠안고 있는 상황이 발생하게 돼 기업 입장에서 손해라고 볼 수 있다.

이는 최근 클라우드(Cloud) 환경이 확산되면서 엣지(Edge) 컴퓨팅의 중요성이 떠오르는 것과도 마찬가지다. 수집된 모든 데이터를 중앙 클라우드 데이터센터로 보내 분석하고 결과를 기다릴 수 있지만, 자율주행차 등 실시간적인 결정을 필요로 하는 곳에서는 그 시간을 기다릴 수 없다. 바로 앞에 사람이 뛰어들어 사고가 날 환경에 처했을 경우 재빨리 정지하거나 진로를 변경해 사고를 막아야 하며, 이를 위해서는 차량 내부에서 자체적으로 상황을 판단하고 결정이 내려져야 한다. 그렇지 않고 중앙 데이터센터에서 분석된 결과를 기다리다가는 사고로 이어질 수밖에 없다.

쉬운 사용성과 시각화가 강점

비록 현업에서의 데이터 분석 니즈가 증가했다고 하지만, 데이터 분석 전문가나 IT부서처럼 전문적으로 데이터를 다룰 수 있는 능력은 부족하다. 이들은 자신이 맡고 있는 업무 처리를 위해 데이터와 분석 결과가 필요한 것뿐이지, 데이터 분석 업무를 맡은 것은 아니기 때문이다.

이들을 위해 등장한 것이 ‘셀프 서비스 분석’ 솔루션이다. 데이터 분석 전문가나 IT부서에서 전해줬던 대시보드 등을 직접 제작하고, 이를 토대로 얻은 인사이트를 공유할 수 있도록 하고 있다. 초기와 달리 최근에는 빅데이터 소스들에 대한 지원도 강화되고 있으며, 사용자 인터페이스(UI)에 많은 초점이 맞춰져 시각화 기능 역시 강화되고 있는 추세다.

이 같은 현상이 비단 최근에 등장한 것만은 아니다. 이미 1990년대 말부터 DW(Data Warehouse) 솔루션들이 등장하면서 좀 더 쉽게 데이터를 다룰 수 있도록 했으며, BI(Business Intelligence) 솔루션들도 대시보드 등을 통해 쉽게 데이터 분석 결과를 볼 수 있도록 한 바 있다. 여기에 OLAP(On-Line Analytical Processing) 기능도 포함되면서 전사 BI 솔루션 시장이 활황을 맞기도 했다. 이후 CRM 솔루션의 열풍과 함께 시각화만을 전문으로 하는 솔루션들도 등장하면서 ‘셀프 서비스 분석’을 지향하는 솔루션들이 점차 확산됐다.

오픈소스·인공지능 등 최신 IT 트렌드 접목

그동안 데이터 분석은 통계학과 전공자들이 SAS 솔루션을 토대로 RDB 기반의 정형화된 데이터를 분석하는 것이 주류였다. RDB 기반의 데이터에서는 이들이 강점을 보였으나, 빅데이터가 등장한 이후 비정형 데이터에 대한 분석은 기존 방식으로 할 수 없다는 한계가 있었다.

그 대안으로 R과 같은 새로운 분석 솔루션들이 등장했다. 특히 R은 데이터 분석과 시각화에 강점을 보이면서 오랫동안 데이터 분석을 주도해 왔던 SAS 위주의 분석 시장에 도전하면서 점차 영향력을 넓혀나가고 있다. 오픈소스 기반의 넓은 패키지와 활발한 커뮤니티 역시 장점이다.

알파고 이후 붐을 탄 인공지능도 데이터 분석에 접목되고 있다. 다양한 알고리즘이 개발돼 활용되고 있으며, 도출된 결과들 중에서 비즈니스 의사결정에 가장 적합한 것을 추천하는 등의 중요한 역할을 하고 있다. 이에 데이터 분석과 의사결정 최적화까지 제공하는 기업과 솔루션도 등장하고 있다.

오픈소스, 인공지능 등 새로운 IT 트렌드가 접목되면서 데이터 분석의 허들도 차츰 낮아지고 있다. 통계 분석은 통계학의 복잡한 식을 전제로 하고 있기에 배우기도 쉽지 않으며, 분석하고 해석하는 것 역시 만만치 않았다. 이에 통계를 배우다가도 포기하는 이가 부지기수였다. 그러니 머신 러닝과 같은 인공지능이 접목된 이후 간단한 명령어만으로도 직관적인 색인(Index)이 제공되며, 통계학에서 필요로 하던 각종 검증이나 유의 수준 등을 일일이 확인하지 않아도 되게 됐다. 분석 데이터 역시 정형과 비정형으로 구분할 필요가 없으며, 알고리즘도 인터넷에서 필요한 것들을 찾아볼 수 있다.

폐쇄적 환경, 개방 지향적으로 탈바꿈

4차 산업혁명 시대가 되면서 기업들에게 가장 강조되는 주제 중 하나가 디지털 트랜스포메이션이다. 혁신하지 않으면 경쟁에서 도태되고 살아남을 수 없다는 것이 다양한 사례들을 통해 입증되면서 기업들은 비즈니스 민첩성과 유연성을 확보하기 위해 노력하고 있다. 재미있는 사실은 기업들에게 디지털 트랜스포메이션을 해야 한다고 주장하는 곳들도 동일하게 해당된다는 사실이다.

40년 넘게 데이터 분석 시장의 강자로 군림해왔던 SAS는 폐쇄적이었던 솔루션 체계를 개방적으로 탈바꿈시키고자 ‘다양성’과 ‘확장성’, ‘신뢰성’을 앞세운 분석 플랫폼 SAS 바이야(Viya)를 출시했다. R을 포함한 오픈소스와도 연계시킬 수 있으며 시각화 탐색부터 인공지능 기술 등도 접목된 것이 특징이다. 이는 통계 분석 전문가들만 사용 가능했던 환경에서 나아가 누구나 원하는 대로 분석할 수 있는 환경을 제공한다는 것을 의미한다.

특히 SAS는 기존 자사 솔루션들에 ‘비주얼’이라는 단어를 붙여 시각화를 통한 쉬운 사용성을 강조한다. 통계를 모르더라도 툴을 사용해서 쉽게 분석할 수 있도록 했다는 설명이다. 특정 몇 가지 컴포넌트만 사용하는 것이 아니라 어렵게만 느껴졌던 고급 분석의 모듈들이 포함됐으며 머신 러닝 알고리즘과 시계열 예측을 위한 포어캐스팅(Forecasting), 텍스트 분석 등이 제공된다.

이 중 SAS 비주얼 애널리틱스는 셀프 서비스 기능으로 누구나 분석을 활용할 수 있으며, 코딩 없이도 데이터 기반의 명확한 의사결정을 내릴 수 있도록 지원한다. 사용자는 주요 관계, 이상 값, 클러스터, 트렌드 등 필수 정보를 직관적인 형태로 확인하고, 인터랙티브 데이터 검색을 통해 모든 옵션을 검토함으로써 사건이 발생한 주요 원인을 손쉽게 파악할 수 있다. 또 예측, 목표 추구, 시나리오 분석, 의사결정 트리, 경로 분석 등 다양한 고급 분석 기법을 간편하게 이용할 수 있다.

인터랙티브 보고서와 대시보드를 빠르게 생성하고 웹, 모바일, 마이크로소프트 애플리케이션을 통해 손쉽게 공유함으로써 다른 사용자와 협업할 수 있다. 실무진과 임원진은 모바일 BI 기능을 통해 언제 어디서나 태블릿과 스마트폰으로 인터랙티브 대시보드와 보고서를 이용하고, 모바일 테더링 기능을 통해 인터넷 접속이 불가능하더라도 보고서를 탐색할 수 있다. 수신자는 필터와 드릴스루(drill-through) 기능을 사용해 관련 정보의 세부 내용까지 상세하게 확인할 수 있다.

<구축사례> kt wiz, 팬 데이터 분석으로 고객 경험 및 재방문율 증대 2013년에 창단된 kt wiz는 신생 야구팀인 만큼 보다 체계적인 방법으로 팬심을 사로잡기 위한 노력이 필요했다. kt wiz의 초기 회원 관리 시스템인 ‘kt wiz 멤버십 시스템’은 가입자의 성별, 연령대 등 일차원적 데이터 분석은 가능했지만, 다차원 분석이나 마케팅 담당자가 직접 실시간으로 데이터를 분석하는데 한계가 있었다. kt wiz는 통계 분석에 대한 전문 지식이 없는 마케터도 현업에서 직접 데이터를 추출, 가공, 분석하고, 프로모션 결과와 고객 동원 및 이탈 상황을 상시 모니터링할 수 있는 환경이 필요했다. 이에 kt wiz는 비전문가도 쉽게 사용할 수 있는 SAS의 빅데이터 고급 분석 및 시각화 솔루션 ‘SAS 비주얼 애널리틱스(SAS Visual Analytics)’를 도입했다. kt wiz는 SAS 비주얼 애널리틱스를 기반으로 ▲회원 가입 시점의 인구 통계학적 분석 ▲티켓 구매 시점의 외부 요인 관계 분석 ▲경기장 방문 시점의 고객 평균 인입 분석 ▲멤버십 회원의 프로모션 반응과 경기장 참석 현황을 모니터링 할 수 있게 됐다. kt wiz는 빅데이터 분석을 기반으로 CRM 캠페인을 진행해 회원의 재방문률을 높이고, 캠페인의 결과도 분석해 보다 효과적인 캠페인을 기획하게 됐다. 또한 회원에 대한 혜택 제공도 보다 전략적으로 배포하고 관리할 수 있게 됐다. 예를 들어 관중이 감소하는 8월과 9월에는 회원 혜택을 사용하지 않은 회원에게 별도 안내해 방문을 유도할 수 있다. 다차원 분석을 통해 캠페인도 더욱 체계를 갖추게 됐다. 캠페인 실행 후 실행률, 접촉률, 티켓 사용 여부 등을 확인해 결과 값을 분석하고, 사용률이 낮으면 2차 캠페인을 통해 사용을 독려하고, 사용률에 변화가 없으면 더 이상 캠페인을 전개하지 않는다.