[데이터넷] AI·빅데이터, 유전체 분석, 온라인 교육 등 고성능 스케일아웃 스토리지에 대한 수요가 커지면서 파일·오브젝트 스토리지 시장이 빠르게 성장하고 있다. 이에 오는 2024년에는 전체 스토리지 시장의 40%를 점유할 것이라는 관측도 나오고 있다. 점차 커지는 시장을 확보하기 위한 관련 업계의 시장 전략과 주요 제품에 대해 알아본다. <편집자>

일반적으로 데이터는 데이터베이스(DB)와 같은 기업의 전통적인 워크로드에서 발생했으며, 대부분 정형 데이터에 해당했다. 그러나 이제는 인공지능(AI), 빅데이터 분석, 사물인터넷(IoT) 등 새로운 워크로드가 등장했고, 이들을 통해 발생하는 비정형 데이터들이 급격하게 증가하고 있다.

비정형 데이터는 명확하게 정의되거나 정형화된 데이터 모델에 해당되지 않는 모든 종류의 데이터를 말한다. 이런 특징 때문에 비정형 데이터는 검색과 분석이 쉽지 않다. 이메일, 텍스트, 사진, 비디오, 오디오, 웹페이지, 프레젠테이션, 멀티미디어, 콜센터 기록·녹음 등이 비정형 데이터에 해당한다.

시장조사기관 IDC에 의하면 연간 생성되는 데이터양이 2018년에 16제타바이트(ZB)에서 2025년에 163ZB로 폭증할 것으로 전망된다. 기업 데이터의 80%는 비정형 데이터이며, 이 수치는 매년 50% 이상 증가하고 있다.

비정형 데이터는 수많은 직원의 시간과 노력이 축적된 소중한 결과물로 기업의 최고 자산으로 탈바꿈할 수 있는 준비된 보물창고이기도 하다. 따라서 이러한 비정형 데이터를 어떻게 관리할 것인가가 기업의 최대 관심으로 떠오르고 있다.

효율적인 데이터 관리 방안 제공
폭증하는 데이터로 인한 데이터 사일로 문제 및 기존 SAN 스토리지의 한계에 대한 대안으로 파일·오브젝트 스토리지가 비정형 데이터 저장 스토리지로서 각광받고 있다. SAN 스토리지는 DB 같은 정형 데이터 저장에 최적화돼 있어 AI나 미디어, IoT 같은 빅데이터 분석에 필요한 원천 데이터 저장에 적합하지 않다.

예를 들어 자동차 업체에서 레벨 2 자율주행 기술인 첨단 운전자 보조 시스템(ADAS) 모델 구축을 위한 테스트 차량의 센서 데이터를 저장하고 이를 분석하고자 할 때 페타바이트(PB)급의 스토리지가 필요한데, SAN 스토리지는 이러한 용도에 적합하지 않으며 파일·오브젝트 스토리지가 그 대안이 될 수 있다.

파일 스토리지는 전통적인 NAS에서 한층 더 발전해 대용량 고성능의 데이터 처리를 위한 스케일아웃 파일(시스템) 스토리지를 의미한다. 클라우드 통합 및 컨테이너 플랫폼과 연동을 통한 신속한 애플리케이션 개발을 지원해 분산 워크로드 환경을 위한 차세대 인프라로 여겨지고 있다.

특히 AI, 빅데이터 분석 등 고성능 스케일아웃 파일 스토리지에 대한 수요 증가와 가상 데스크톱 인프라(VDI), 비대면 서비스 확산에 따라 데이터 보호와 가상화를 위한 최적의 환경을 제공하기에 지속적인 성장세를 이어갈 것으로 보인다.

파일 스토리지는 파일을 PC에서 사용할 때와 같이 계층형 디렉토리로 구분해 관리한다. 트리 구조로 사용자가 목적에 맞게끔 디렉토리를 만들고 필요한 데이터들을 저장한 뒤 공유할 수 있다. 그러나 관리해야 할 데이터가 많아질수록 효율적으로 관리하기에는 한계가 있다.

이와 달리 오브젝트 스토리지는 문서, 영상, 이미지 파일 각각에 대한 속성 태그를 별도로 관리하고 파일 저장 시 스토리지에서 자동으로 속성 값을 만들어 파일과 메타데이터를 생성해 함께 관리한다. 비정형 데이터라 하더라도 메타데이터를 이용해 신속한 파일 검색·분석이 가능해져 새로운 인사이트를 얻거나 링크 주소를 통한 파일 공유 등 새로운 서비스를 제공할 수 있다.

저장장치에서 오브젝트는 ‘파일’과 ‘시스템 메타데이터’, ‘사용자 메타데이터’로 구성되며, 비정형 데이터에 DB와 같은 정형성을 부여함으로써, 훨씬 많은 양의 콘텐츠를 보다 효율적이고 지능적인 방식으로 저장 및 관리할 수 있다.

오브젝트 스토리지의 가장 큰 강점은 파일 관리에 있다. 파일 태그를 객체화시켜 DB 없이도 동영상이나 사진 등의 파일을 보관하고 불러올 수 있기 때문이다. 특히 파일명이 아닌 메타데이터만으로도 DB처럼 검색이 가능하다. 또한 메타데이터가 자동으로 생성돼 데이터 관리 효율성을 높일 수 있고, 별도로 사용자 부가정보를 저장하면 업무 특성에 맞게 파일 관리를 최적화할 수 있다.

주차장에 차량을 주차하는 것을 생각해보면 파일 스토리지와 오브젝트 스토리지의 차이점을 좀 더 쉽게 이해할 수 있다. 주차장에는 정해진 주차 구역이 있으며, 차량은 그에 맞춰 주차를 하게 된다. 이때 운전자가 직접 빈 자리를 찾아 주차하고, 또 차량을 찾을 때도 주차해둔 곳을 기억해뒀다가 직접 찾는 것은 저장된 위치를 기억해야 하는 파일 스토리지와 유사하다.

반면에 발렛파킹 서비스를 이용하면 어디에 차량이 주차장 어느 위치에 주차되는지는 알 수 없지만 주차 위치를 기억할 필요 없이 언제든 다시 차량을 찾을 수 있어 오브젝트 스토리지와 비슷하다고 볼 수 있다.

비정형 데이터 분석 환경 구현
그동안 기업들은 데이터센터에 저장하는 데이터의 아키텍처에 맞춰 데이터센터를 설계해 왔으며, 대부분 정형 시스템 환경에서 데이터를 관리했다. 이러한 정형 데이터 운영을 위한 기반 인프라로 고성능·복원성에 대한 요구사항을 충족시키기 위해 SAN과 같은 블록 스토리지를 사용했다.

그러나 비정형 데이터의 양이 급격하게 늘어나고 있는 지금, 기업들은 기존의 블록 스토리지 기반의 정형 시스템에서 DB의 잦은 교체 및 성능 저하 문제를 해결해야하는 문제에 처했다. 예를 들어 웹 기반 협업 플랫폼에서는 점점 더 많은 수의 사용자들이 비정형 데이터 파일을 업로드하기에 DB의 용량이 매우 빠른 속도로 포화됐으며, 이는 파일 부하로 인한 시스템 성능 저하를 비롯해 더 많은 DB 라이선스를 취득해야 하는 결과를 낳고 있다.

파일 계층 또는 블록을 규정하는 다른 스토리지 시스템과 비교해 오브젝트 스토리지 플랫폼은 파일을 플랫(Flat) 구조로 동등하게 배치해 저장하므로 효율적인 고성능을 제공한다. 아울러 파일 단위의 정책 기반 관리를 통해 불필요한 데이터의 복제 또는 보존 기간이 만료돼 필요 없게 된 파일을 자동으로 정리해 줌으로써 스토리지 관리를 위한 인원과 절차를 간소화할 수 있다.

이러한 오브젝트들은 인터넷 기반의 HTTP 프로토콜을 포함한 산업 표준 프로토콜을 활용해 접근 가능하며, 인터넷 프로토콜로 언제 어디서든 간단한 설정만으로 데이터를 이동시키고 저장할 수 있다. 결과적으로 오브젝트 스토리지는 비정형, 반정형, 정형 데이터를 포함한 모든 형태의 데이터를 통합한 데이터 레이크(Data Lake) 구현이 가능해 기업이 빅데이터 분석을 할 수 있는 환경을 구축하도록 돕는다.

비록 데이터 저장과 검색에는 오브젝트 스토리지가 유리한 면이 있지만, 꼭 알아야 할 두 가지 특징이 있다.

먼저 오브젝트 스토리지에 데이터가 한 번 저장된 이후 수정했을 경우 또 다른 데이터가 생성된다. 즉 수정이 용이하지 않다. 다른 하나는 S3 혹은 레스트(REST) API를 통해서 클라이언트와 연결될 때 SAN이나 파일 스토리지만큼 빠른 성능을 제공하지 못한다는 것이다.

이러한 문제를 보완하고자 데이터 분석 환경에서는 오브젝트 스토리지가 단독으로 쓰이는 것보다 성능적인 면을 충족시켜줄 수 있는 파일 스토리지와 함께 사용되는 경우가 많다.

한편, 시장조사기관 IDC는 국내 전체 스토리지 시장이 2018년부터 2024년까지 연평균 1.5%씩 소폭 성장할 것으로 내다봤지만, AI·빅데이터, 유전체 분석, 온라인 교육 등 고성능 스케일아웃 파일 스토리지에 대한 수요가 커지면서 파일·오브젝트 스토리지 시장은 연평균 9%씩 성장해 2024년에는 전체 스토리지 시장의 40%를 점유할 것으로 예상했다.