[데이터넷] 세계경제포럼(WEF)이 경제 성장을 촉진하는 통화로 데이터를 지목하면서 2011년부터 이를 자산 등급으로 식별하기 시작했다. 10년이 지난 지금 데이터의 가치는 증가했고, 현재 팬더믹 상황에서 데이터 중심 비즈니스가 우위를 점하기 시작했다. 따라서 경제 회복 계획에서 ‘데이터 중심화’를 추진하는 것은 이제 자연스러운 일이다.
데이터를 활용해 보다 효율적으로 업무를 수행하고자 하는 기업은 강력한 데이터 분석 기능이 필요하다는 의견이 많았다. 하지만 ‘데이터 관리’ 개념도 데이터 분석만큼이나 중요하지만 무심코 지나치기 일쑤다.
좋은 데이터 관리란 기본적으로 사용자가 적절한 장소에서 적시에 적절한 데이터에 액세스할 수 있게 해주는 것이다. 그리고 이를 위해서 조직은 개인이 신중하게 가계부를 관리하는 것처럼 데이터를 관리해야 한다.
소프트웨어 기반 데이터 패브릭 구축 중요
국내에서는 금융 데이터를 거래할 수 있는 최초의 플랫폼인 금융데이터거래소(FinDX)가 있으며, 여기에서 데이터 관리에 관한 아이디어를 얻을 수 있다. 금융권은 편리한 금융거래를 위한 데이터 교환 플랫폼을 만들어 디지털 전환 가속화에 총력을 기울이고 있다.
코로나19 팬데믹으로 촉발된 ‘비대면 접촉’ 추세로 올해 거래의 91.2%가 온라인 또는 모바일을 통해 이뤄졌다. 금융 데이터는 소매, 통신 및 의료와 같은 다른 산업에서 생성된 인구 통계 데이터와 통합돼 새로운 인사이트를 얻고 타 업계와 협력하는 데 도움을 줄 수 있다. 예를 들어 보험 회사의 경우, 의료 기관에서 수집한 병력을 분석하여 건강 보험 계획을 다양화할 수 있다.
FinDX가 등장하기 전까지는 소비자 정보 일부가 별도의 장소에 보관된 것처럼 많은 기업들은 데이터 사일로 문제를 겪고 있었다. 실제로 데이터 중심 조직 5곳 중 2곳은 여전히 내부 데이터 사일로가 50개 이상 존재하기 때문에 비즈니스 성장 궤도에 대해 일관된 시각을 갖지 못하고 어려움을 겪고 있었다.
데이터 사일로 문제에는 직원의 PC, 스마트폰, 온프레미스와 데이터센터 및 아마존웹서비스(AWS), 마이크로소프트 애저 혹은 구글 클라우드와 같은 퍼블릭 클라우드에 있는 서버와 올플래시 어레이(All-Flash Arrays)에 고정된 비정형 파일과 데이터셋이 포함된다. 이 모든 것을 통합하기 위한 기본적인 프로세스에는 조직적인 구매와, 데이터 저장 위치 파악, 분산된 데이터 ‘스토리지 유닛’ 연결 및 단일 시스템으로 작동, 데이터 사용 방법 통제, 사이버 보안 프로토콜 준수 등이 보장돼야 한다.
이 단계는 복잡해 보이지만 결과는 충분한 가치가 있다. 데이터 관리 조직의 리더들에 의하면 데이터 중심의 통합을 통해 문제를 해결한 조직은 평균적으로 69%의 매출, 57%의 수익, 72%의 고객 만족도를 높였다고 밝힌 바 있다.
아스트라제네카(AstraZeneca)와 같은 기업들은 제한된 시간과 기술을 극복하기 위해 자동화된 소프트웨어 기능으로 전환하여 데이터 저장소를 상호 연결해 가치를 제공한다. 코로나19 백신 생산을 위한 노력은 전 세계에 동시에 배포되는 약 20억명 분량의 백신 데이터를 통합해 가속화됐다. 따라서 데이터센터와 클라우드 전반에 걸쳐 소프트웨어 기반 데이터 패브릭을 구축하는 것이 중요해졌다.
계층화 통해 데이터 관리 효율 높여야
기업이 서로 다른 정보의 출처를 연결하는 태피스트리를 만들기 시작했다면 데이터를 지폐와 같이 취급해야 한다. 5만원권 지폐와 1만원권 지폐의 가치를 다르게 취급하고 사용하는 것과 같은 맥락이다. 만약 가격이 상당한 상품을 구매하고자 할 때 지갑에 그만큼의 금액이 있는지 먼저 확인할 것이다. 당장 사용할 계획이 없는 현찰은 안전을 위해 다른 곳에 보관할 것이다.
마찬가지로 데이터라고 해서 모두 같은 가치를 지니고 있는 것은 아니다. 기업은 즉시 액세스해야 하는 데이터를 ‘핫 데이터’라고 하며, ‘가까운 곳’에 보관해야 하는 특성을 가지고 있다. 반대로 사용하지 않는 ‘콜드 데이터’는 다시 필요할 때까지 보관해야 하는 데이터를 가리킨다.
이런 방법을 사용하는 데는 두 가지 이유가 있다. 첫째, 기업은 불가피하게 점점 더 많은 데이터를 생성할 수밖에 없다. 예를 들어, 의료 서비스 제공업체의 데이터양은 하루에도 1TB씩 증가하고 있다.
둘째, 평생 저축한 돈을 지갑에 넣을 수 없는 것처럼 온프레미스의 올플래시 어레이도 사용자가 데이터에 더 빨리 액세스할 수는 있지만 용량이 제한되어 있다. 저축 계좌와 마찬가지로 클라우드는 대부분의 데이터를 보다 쉽게 저장할 수 있는 공간으로, 소프트웨어는 데이터를 언제 어디서나 정보를 분산시키는 ‘ATM’과 같은 기능을 제공한다.
이 기능은 계층화 기술이라고도 불리며, 커피 한 잔의 가격으로 비활성 데이터를 자동으로 식별하여 클라우드 스토리지 유닛으로 이동시킨다.
위 내용을 두 가지 실례로 더 쉽게 풀어볼 수 있다. 의료 분야에서 환자의 기록은 퇴원 후 자주 사용되지 않지만 향후 방문 및 규정 준수를 위해 저장되어 있어야 한다. 계층화 기술은 데이터를 다시 포팅해야 할 때까지 해당 데이터 오프사이트를 클라우드로 이동시킨다.
한편, 미디어 회사에서 제작팀은 매일 뉴스를 송출하기 위해 비디오, 텍스트, 오디오 및 그래픽 파일에 바로 액세스할 수 있어야 한다. 온사이트에서 핫 데이터를 보관할 경우 얻을 수 있는 이점은 분명하다. 클라우드에서 인터넷을 통해 다운로드 해야 하는 시간 낭비를 막을 수 있다.
뉴스 방영의 일정 주기가 끝나 콜드 데이터를 올플래시 어레이에 계속 저장하는 것은 애스턴 마틴(Aston Martin)을 스쿨버스로 이용하는 것과 마찬가지다. 모든 사람을 수용할 수 있을 정도로 크지 않고, 특정 작업에 필요한 것보다 훨씬 많은 성능과 비용이 든다. 따라서 이러한 뉴스 아이템과 관련된 데이터는 다시 한 번 클라우드로 이동된다.
데이터가 새로운 경제의 통화로서 역할을 하려면, 궁극적으로는 데이터를 비용 효율적으로 저장하고 패브릭과 같은 아키텍처를 통해 원활하게 흐르도록 해야 한다. 이러한 자산 관리는 결코 쉬운 일이 아니지만, 한 가지 희소식은 복잡성과 프로세스를 단순화할 수 있는 첨단 기술이 존재한다는 점이다.
이 기술을 통해 조직은 새로운 비즈니스 기회 발굴과 혁신 가속화, 운영 최적화에 필요한 비트(bit) 및 바이트(byte)를 어느 때보다 효과적으로 활용할 수 있다.
