원본데이터보다 몇 배 이상 빠른 속도로 늘어나는 백업 데이터를 모두 저장하기 위해서는 백업 스토리지 비용이 엄청나게 높아진다. 디스크 가격이 하락하고, 테이프 미디어에 저장되는 데이터 양이 늘어난다 해도 빅데이터 백업을 위해 요구되는 디스크의 규모를 감당하기 매우 어려워 질 것이다.
백업·아카이빙 전문기업 퀀텀은 이러한 문제를 해결하기 위한 방법으로 ‘순방향 오류 정정 기술(Foward Error Correction)’ 기술을 소개한다. 이 기술은 데이터를 저장하는 것이 아니라, 해당 데이터를 도출할 수 있는 수식을 저장해 스토리지 사용량을 절반 이하로 줄일 수 있다.
데이터 중복제거 기술을 예로 들어 설명하면 이해하기 쉽다. 데이터 중복제거는, 스토리지에 중복된 데이터가 있을 때, 중복된 부분에 중복됐다는 표식을 한 후 해당 데이터를 지운다. 백업 데이터를 불러들일 때, 표식이 된 부분에서 중복된 데이터를 찾아 붙여 원래 데이터를 복원시킨다.
순방향 오류정정 기술은 데이터를 도출할 수 있는 수식을 저장한 후, 데이터를 복원해야 하는 시점에서 수식을 풀어나가면 데이터가 복구될 수 있도록 한다. 대용량 멀티미디어나 유전자 염기서열 등의 대용량 데이터를 저장할 때 유용하게 사용될 수 있다.
이 기술은 통신이나 우주탐사 등의 분야에서 데이터를 전송·관리하는데 사용한 기술이다. 휴대전화 사이의 데이터 전송, 우주선-우주캡슐 사이의 데이터 송수신할 때 이용됐다.
자네 스토우 리(Janae Stow Lee) 퀀텀 파일시스템 및 아카이브 부문 수석 부사장은 “모든 데이터를 저장하는 전통적인 백업 시스템은 빅데이터 환경에서 버티기 힘들다. 완전히 새로운 백업 기술이 필요하다. 퀀텀은 빅데이터 환경에서 데이터를 안전하게 보호하면서 저렴한 방법으로 백업 시스템을 운영할 수 있는 방법이 순방향 오류정정 기술이라고 판단하고 있다”고 말했다.
‘분석·공유’ 빅데이터 특성 맞는 백업 기술 요구
리 부사장은 빅데이터 백업을 위해 다양한 많은 기술을 검토해봤다고 설명했다. 일반적으로 대용량 데이터를 장기간 보관하기 위해 미러링과 다중복제 기술을 사용한다. 그러나 미러링은 데이터가 많아질수록 처리성능이 급격히 저하되며, 데이터 유실 가능성이 높아진다. 다중 복제는 구글, 아마존, 야후 등 빅데이터 문제 해결에 앞장서 온 기업들이 많이 활용하는 방법이지만, 비용이 많이 들고, 분산된 지역에 복제된 데이터를 관리하기 어렵다.
퀀텀은 RAID 스토리지를 대용량화 하는 방법으로 빅데이터 문제를 해결하고자 했다. 어플라이언스에서 디스크를 추가하면서 확장성을 높인다는 생각이었다. 그러나 이 방법은 데이터 유손실과 디스크 장애, 속도저하 등의 문제를 해결하기에 부족한 부분이 많았다.
빅데이터를 사용하는 환경의 특성에 따른 문제도 해결하는데 난제가 있었다. 빅데이터는 분석하고 공유하는 것이 핵심인데, 이를 지원하는 백업 환경을 조성하는 것이 매우 까다롭다.
리 부사장은 공공안전을 담당하는 한 기업의 예를 들어 설명했다. 이 회사는 전 세계에 무인정찰기를 띄워 수집하는 데이터를 분석해 동향을 파악하고, 위기상황이 상황이 발생했을 때 즉시 대응할 수 있도록 하는 것이 주 업무였다.
정찰기를 통해 수집된 정보를 하둡 분산파일 시스템을 통해 분석해 여러 조직에서 공유해야 하며, 분석된 결과값을 다시 모아 분석하는 일이 반복되는 경우도 많았다.
퀀텀의 아카이빙 솔루션인 스토어넥스트는 파일 시스템 처리에 탁월하지만, 하둡과 같은 분산된 환경의 데이터 분석에는 한계가 있었다. 퀀텀은 오브젝트 스토리지 기술을 이용해 이 기업이 가진 빅데이터 처리 문제를 해결했다. 여기에 순방향 오류정정 기술이 활용됐다고 리 부사장은 설명했다.
리 부사장은 “새로운 스토리지 제품은 500TB 이상 데이터부터 무제한 확장이 가능하며, 기존의 백업 시스템보다 50~60% 용량을 줄일 수 있도록 한다. 저전력 인텔 아톰 프로세서를 이용해 전력요금을 절감하고, TCO를 낮출 것이다. 클라우드 지원이 가능하도록 지리적으로 분산된 환경에서 운영될 수 있도록 하며, 멀티 테넌시가 가능하도록 파티셔닝 기능을 지원한다”고 설명했다.
“방송·생명공학 분야 리더십 이어갈 것”
퀀텀은 방송·미디어 생명공학·우주과학 등의 분야에서 높은 점유율을 기록하고 있다. 이 분야는 특히 빅데이터 문제에 심각한 어려움을 겪고 있어 퀀텀은 내년에 발표할 신제품을 통해 이 시장에서의 리더십을 이어가겠다는 계획을 밝힌다.
리 부사장은 “방송·미디어는 다양한 디바이스 지원을 위한 다양한 형식의 콘텐츠 관리 문제가 가장 큰 이슈이다. 생명공학 분야는 인류의 건강 뿐 아니라 농업, 법의학, 재료공학 분야로 확대되면서 더 많은 데이터를 더 빠르게, 더 저렴한 비용으로 데이터를 분석해야 한다는 시급한 요구에 직면해 있다”며 “앞으로 아카이빙 수요는 더욱 폭등할 것이며, 퀀텀의 스토어넥스트와 순방향 오류 정정 기술을 응용한 새로운 기술을 통해 시장을 빠르게 확대해 나갈 것”이라고 강조했다.
