오브젝트 스토리지, 데이터 기반 비즈니스 현대화로 혁신 지원 (1)
상태바
오브젝트 스토리지, 데이터 기반 비즈니스 현대화로 혁신 지원 (1)
  • 윤현기 기자
  • 승인 2020.02.22 09:00
  • 댓글 0
이 기사를 공유합니다

효율적인 데이터 관리·뛰어난 확장성 통해 신규 워크로드 지원도 거뜬

[데이터넷] ‘오브젝트 스토리지’는 수억 또는 수십억 개 파일을 객체(Object)화 시켜서 고유의 ID만 가지고 데이터를 관리하는 스토리지로 가장 큰 장점은 경제성이다. 기존 NAS 및 SAN 스토리지에서는 스토리지 관리의 복잡성, 인위적 용량 한도로 인한 확장성의 제약 등이 발생하고, 값비싼 전용 하드웨어로 특정 공급업체에 종속되지만, 오브젝트 스토리지는 이 같은 제약에서 탈피할 수 있으며 무한한 확장성을 통해 클라우드 스토리지의 용량을 필요에 따라 확장할 수 있어 그 쓰임새가 확대되고 있다.


최근 생성되는 데이터는 이미지, 영상, SNS 메시지처럼 복잡하고 용량도 클 뿐만 아니라 구조화돼 있지 않아 빠른 검색이나 분석이 쉽지 않은 비정형 데이터들이 다수를 차지하고 있다. 오브젝트 스토리지는 해마다 급격하게 늘어나는 비정형 데이터를 안전하게 저장하고 관리하기 위해 등장한 방식으로, 스토리지 운영에 있어서 근본적으로 다른 접근 방식을 제공한다.

파일 스토리지가 데이터를 파일 규칙에 따라 관리하고, 블록 스토리지가 특정 영역과 구간을 나눠 데이터를 블록 단위로 관리하는 것과 달리, 오브젝트 스토리지는 파일에 대한 구체적인 정보를 포함한 메타데이터를 자동으로 생성·보관·관리하는 것이 특징이다.

기업들이 데이터베이스(DB)를 사용한다는 것은 필요한 정보를 추출해서 활용하기 위해서다. 그러나 비정형 데이터는 전통적인 레거시 스토리지로 관리하기가 어렵다.

영화 파일을 예로 들어보면, 이용자들마다 해당 파일을 저장하는 방식이 다양한 것을 확인할 수 있다. 누군가는 영화 이름을 기준으로 저장할 수 있지만, 다른 사람은 출시연도를 기준으로 저장할 수 있다. 또 다른 사람은 장르, 주연배우 등 자신만의 방법으로 파일을 저장하고 관리하게 된다. 기업에서도 마찬가지다. 제품 중심으로 가든지 날짜를 중심으로 가든지 각각 방법이 다르다.

이렇게 저장된 파일을 찾는 것 또한 일이다. 평소 자주 사용하던 파일이라면 그 위치를 기억해서 쉽게 찾아내겠지만, 그렇지 않은 파일이라면 저장된 위치를 일일이 찾아보거나 검색을 해야 한다. 만약 저장된 파일이 많지 않고 저장소 자체도 크지 않다면 금방 찾게 되겠지만, 개체 수가 많아지고 사이즈 역시 커진다면 이 또한 오랜 시간이 걸릴 수밖에 없다. 결국 어디에 저장하고 어떻게 꺼내야 하는지가 중요한데, 이를 쉽게 하고자 등장한 것이 오브젝트 스토리지다.

메타데이터로 데이터 저장·관리 ‘효율화’

오브젝트 스토리지는 문서, 영상, 이미지 파일 각각에 대한 속성 태그를 별도로 관리할 수 있다. 파일 저장 시 스토리지에서 자동으로 속성 값을 만들어 파일과 메타데이터를 생성해 함께 관리하는 형태로 동작한다. 그러면 비정형 데이터라도 메타데이터를 이용해 신속한 파일 검색·분석이 가능해져 새로운 인사이트를 얻거나 링크 주소를 통한 파일 공유 등 새로운 서비스를 제공할 수 있다.

저장장치에서 오브젝트는 ‘파일’과 ‘시스템 메타데이터’, ‘사용자 메타데이터’로 구성되며, 비정형 데이터에 DB와 같은 정형성을 부여함으로써, 훨씬 많은 양의 콘텐츠를 보다 효율적이고 지능적인 방식으로 저장 및 관리할 수 있다.

이처럼 오브젝트 스토리지의 가장 큰 강점은 파일 관리에 있다. 파일 태그를 객체화시켜 DB 없이도 동영상이나 사진 등의 파일을 보관하고 불러올 수 있다. 특히 파일명이 아닌 메타데이터만으로도 DB처럼 검색이 가능하다.

NAS는 파일을 계층형 디렉토리로 구분해 관리했는데, 이 경우 많은 대용량 비정형 데이터를 효율적으로 관리하는데 한계가 있다. 오브젝트 스토리지는 이러한 문제들을 해결할 수 있으며, 개별 파일에 대한 메타데이터를 자동으로 생성하고 사용자 부가정보를 별도로 추가할 수 있다. 또한 메타데이터가 자동으로 생성돼 데이터 관리 효율성을 높일 수 있고, 별도로 사용자 부가정보를 저장하면 업무 특성에 맞게 파일 관리를 최적화할 수 있다.

비정형 데이터 분석 환경 구현

오브젝트 스토리지는 확장성이 뛰어나면서도 고성능, 고효율 및 고가용성이 요구되는 기업 환경에서 주로 활용된다. 따라서 클라우드 인프라 워크로드, 리치 미디어 및 아카이브 스토리지 분야에 매우 적합하다. 또한, 대규모 데이터 세트 및 아카이브 데이터의 효율적인 관리, 비디오 콘텐츠 배포, 빅데이터 워크로드를 위한 로그 아카이브 및 IoT 워크로드 분야에서도 많이 도입되고 있다.

오브젝트 스토리지 기술이 출시된 것은 이미 10여년도 더 됐지만, 최근 들어 비정형 데이터 분석을 위한 솔루션으로 부상하고 있다.

기업들은 데이터센터에 저장하는 데이터의 아키텍처에 맞춰 데이터센터를 설계해 왔으며, 대부분 정형 시스템 환경에서 데이터를 관리했다. 이러한 정형 데이터 운영을 위한 기반 인프라로 고성능·복원성에 대한 요구사항을 충족시키기 위해 블록 스토리지를 사용했다.

그러나 비정형 데이터의 양이 급격하게 늘어나고 있는 지금, 기업들은 기존의 블록 스토리지 기반의 정형 시스템에서 DB의 잦은 교체 및 성능 저하 문제를 해결해야하는 문제에 처했다. 예를 들어 웹 기반 협업 플랫폼에서는 점점 더 많은 수의 사용자들이 비정형 데이터 파일을 업로드하기에 DB의 용량이 매우 빠른 속도로 포화됐으며, 이는 파일 부하로 인한 시스템 성능 저하를 비롯해 더 많은 DB 라이선스를 취득해야 하는 결과를 낳고 있다.

파일 계층 또는 블록을 규정하는 다른 스토리지 시스템과 비교해 오브젝트 스토리지 플랫폼은 파일을 플랫(Flat) 구조로 동등하게 배치해 저장하므로 효율적인 고성능을 제공한다. 아울러 파일 단위의 정책 기반 관리를 통해 불필요한 데이터의 복제 또는 보존 기간이 만료돼 필요 없게 된 파일을 자동으로 정리해 줌으로써 스토리지 관리를 위한 인원과 절차를 간소화할 수 있다.

이러한 오브젝트들은 인터넷 기반의 HTTP 프로토콜을 포함한 산업 표준 프로토콜을 활용해 접근 가능하며, 인터넷 프로토콜로 언제 어디서든 간단한 설정만으로 데이터를 이동시키고 저장할 수 있다. 결과적으로 오브젝트 스토리지는 비정형, 반정형, 정형 데이터를 포함한 모든 형태의 데이터를 통합한 데이터 레이크(Data Lake) 구현이 가능해 기업이 빅데이터 분석을 할 수 있는 환경을 구축하도록 돕는다.

클라우드 등 신규 워크로드 지원 역량 강화

그동안 오브젝트 스토리지는 보조 스토리지 혹은 콜드 데이터를 위한 스토리지로 사용돼 왔지만, 최근 몇 년 동안 비정형 데이터 분석, 인공지능(AI)·머신러닝(ML)·딥러닝(DL) 및 사물인터넷(IoT) 등과 같은 새로운 워크로드를 지원하기 위한 방안으로 고려되고 있다.

특히 데이터 세트의 증가와 플래시의 가격 하락이 맞물리면서 더 이상 데이터 분석을 위해 오브젝트 스토리지에 있는 데이터를 고성능 스토리지로 이동시키지 않아도 되는 수준에 이르렀으며, 스토리지 벤더들도 올플래시 어레이에 기반한 오브젝트 스토리지를 시장에 출시하고 있다. 실제로 올플래시 오브젝트 스토리지는 온프레미스 데이터센터나 프라이빗, 또는 퍼블릭 클라우드에 걸쳐 데이터 가시성 및 관리 기능을 제공하고 있기도 하다.

뿐만 아니라 메타데이터 기능을 통해 애플리케이션 리소스 소비에 따른 용량 증설을 예상할 수 있도록 하며, 적절한 계층에서 정책 기반 데이터 보존을 구현할 수 있도록 돕는다. 이에 따라 오브젝트 스토리지에 대한 시장 수요가 늘면서 벤더들도 다양한 사안들을 고려해 제품을 선보이고 있는 추세다.

첫 번째는 하이브리드 클라우드 전략이다. 고객이 하이브리드·멀티 클라우드 스토리지 서비스를 구현할 수 있도록 전략적인 서비스를 제공하고자 한다. 성공적인 하이브리드 클라우드 전략을 위해서는 퍼블릭 클라우드와 온프레미스 또는 프라이빗 클라우드의 정책 기반 데이터 계층화가 필수적이다.

두 번째는 데이터 관리 역량이다. 이제 데이터의 가시성을 높이고 효과적으로 데이터를 제어하는 것은 페타바이트(PB) 규모의 데이터 세트를 보유한 모든 조직의 관심사다. 이러한 문제는 스토리지 사일로에 저장돼 있지만 확인되지 않은 데이터로 인해 더욱 악화될 수밖에 없다. 대부분의 오브젝트 스토리지 벤더들은 사용자가 단일 창에서 데이터 세트에 액세스 할 수 있는 통합 또는 추가 솔루션을 통해 이러한 문제를 해결하도록 돕는다.

세 번째는 최신 워크로드 지원이다. 오브젝트 스토리지는 예전과 같이 단순 데이터 보관용으로만 사용되지 않는다. 고객은 오브젝트 스토리지가 비정형 데이터 분석, IoT, AI 등과 같은 새로운 워크로드를 위한 비용 효율적인 대안이 될 수 있다고 여기고 있다.

기업 디지털 혁신에 기여

지난해 히타치 밴타라(Hitachi Vantara)가 시장조사기관 IDC와 공동으로 아태지역 IT 전문가와 임원 4000여명을 대상으로 진행한 설문조사에 따르면 아태지역 기업들은 평균적으로 5~7년 동안 데이터를 저장하며, 그중 20%의 기업들은 15년 이상 데이터를 저장하는 것으로 나타났다. 한 예로 25%의 홍콩 기업들은 데이터를 영구 보관할 계획이라고 밝혔으며, 이는 시간의 흐름에 따라 증가하는 많은 양의 데이터를 관리해야 할 부담이 증가함을 시사한다.

이처럼 아태지역 기업들은 스토리지 비용 및 기능과 관련된 거대한 이슈들에 직면해 있다. 이러한 문제 해결을 위해 오브젝트 스토리지와 같은 데이터 스토리지 솔루션이 보다 오랜 기간에 걸쳐 데이터를 저장·관리할 수 있을 것으로 예상된다. 또한 기업들은 이러한 솔루션이 통합 인텔리전스 및 분석 기능들을 제공해 데이터 처리, 통합 및 시각화를 통한 잠재적인 데이터 가치 실현을 도울 것으로 기대하고 있다.

현재와 미래 스토리지 활용률 변화(자료: IDC, 2018)
현재와 미래 스토리지 활용률 변화(자료: IDC, 2018)

아울러 기업들은 오브젝트 스토리지와 관련된 최우선 과제로 정보보안(25%), 비정형 데이터 분석(11%), 멀티 클라우드 플랫폼 도입(9%)을 꼽았다. 그뿐만 아니라 60%의 기업들은 2년 이내에 유용한 비즈니스 인사이트를 확보할 목적으로 데이터를 저장하고 있는 것으로 나타났다.

오브젝트 기반 스토리지 아키텍처는 기업들이 폭증하는 데이터를 더욱 효율적으로 관리하도록 지원하는 동시에 사용 편의성을 향상시킨다. 용량과 성능을 독립적으로 확장시키는 유연성을 제공해 프로비저닝 관리 이슈를 해결하고, 다양한 워크로드의 요구사항을 충족한다.

기업들은 오브젝트 스토리지의 유연한 확장성 및 강력한 컴플라이언스 기능들을 통해 데이터 아카이브 티어(Tier)로 활용해 왔다. 해당 설문조사에서 67% 및 64%의 기업들은 오브젝트 스토리지를 각각 다양한 빅데이터 저장소의 통합 및 보관, 그리고 백업 및 복구 기능 최적화에 활용하고 있다고 답했다.

그러나 오브젝트 스토리지가 제공하는 광범위한 혜택들에도 불구하고, 41%의 기업들은 오브젝트 스토리지 기술에 대한 인식을 못하고 있었다. 또한 오브젝트 스토리지 도입 과정에서 애플리케이션 호환성(52%), 무한한 확장성을 필수적으로 요구하지 않는 온프레미스 환경의 비즈니스 애플리케이션(44%), 엄격한 데이터 보호 및 복구(43%) 등이 주로 겪는 장애인 것으로 집계됐다.



댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.