데이터 관리 핵심 인프라로 오브젝트 스토리지 ‘주목’ (1)
상태바
데이터 관리 핵심 인프라로 오브젝트 스토리지 ‘주목’ (1)
  • 윤현기 기자
  • 승인 2023.03.16 09:00
  • 댓글 0
이 기사를 공유합니다

파일 단위 관리·서비스 정책 적용 등 데이터 공유·활용성 뛰어나

[데이터넷] 데이터 양이 폭발적으로 증가함에 따라 기존 파일 저장 공간에 비해 확장성이 뛰어나고, 규범적 메타데이터 및 계층적 구조가 없는 데이터 등의 저장에 이점을 제공하는 오브젝트 스토리지가 대용량 스토리지의 표준이 되고 있다. 특히 블록 스토리지와 결합해 규모와 성능을 제공하는 새로운 애플리케이션 발전을 추구한다는 점에서 레거시 파일 애플리케이션들 역시 이 같은 이점을 활용하기 위해 오브젝트 스토리지 인프라로 이동하고 있다. <편집자>

오브젝트 스토리지는 오브젝트(Object, 객체)라 불리는 독립된 유닛에 데이터를 저장하고 관리하는 데이터 스토리지 아키텍처다. 각각의 오브젝트에는 고유의 식별자 혹은 키가 있어서 분산된 시스템 내 어디에 저장돼 있든지 상관없이 데이터를 찾을 수 있다.

각각의 오브젝트에는 키 외에도 데이터 및 옵션 메타데이터가 포함돼 있다. 평면적(Flat) 구조로 API 친화적이며, 확장성이 높은 오브젝트 스토리지는 ‘아마존 S3’와 같은 퍼블릭 클라우드 스토리지 서비스를 비롯해 여러 온프레미스 솔루션을 위해 선택되는 포맷이다.

그간 기업 IT 시스템에 주로 활용되던 SAN은 여러 사용자가 동시에 액세스할 수 있는 스토리지이자 블록 스토리지로 분류된다. 블록 스토리지는 데이터를 블록이라는 고정된 크기의 단위로 나눠 스토리지에 저장하는 반면, 오브젝트는 모듈형 유닛처럼 작동하며 허가, 프라이버시, 보안, 긴급 대책 및 여타 정보를 담고 있는 메타데이터를 포함해 각각 독립적인 저장소의 역할을 하는 것에서 차이가 있다. 예를 들어 오브젝트의 경우 사진 촬영 시에 지정된 카메라 설정 및 촬영 시간과 장소 등의 정보를 나타내는 사진의 메타데이터와 유사하다.

데이터 검색에 용이
오브젝트 스토리지의 데이터 저장 방식은 클라우드에서 사용되는 계층 없는 데이터 저장 방법과 동일하며, 여타 데이터 스토리지와 달리 디렉토리 트리를 사용하지 않는다. 또한 파일 스토리지의 제한적인 메타데이터와 달리 사용자가 원하는 상세한 정보를 추가할 수 있으므로, 데이터 검색이 용이하다. 즉, 대량의 데이터를 저장하고 관리하기 좋은 스토리지 방식이다.

오브젝트 스토리지는 고유 주소를 갖고 있기 때문에 파일 스토리지와 달리 계층 구조가 필요 없고 경로도 다양해 그만큼 데이터를 신속하게 검색할 수 있다.

오브젝트 스토리지에서는 데이터를 사용하기 위해 기존 스토리지와 같이 블록이나 파일시스템 단위가 아니라 애플리케이션에서 데이터를 교환하는 프로토콜을 사용한다. 대부분의 벤더들은 데이터 교환 프로토콜로 REST API를 사용하고 있으며, 동시에 오브젝트 스토리지로 널리 알려진 아마존 S3와 호환이 가능하도록 S3 REST API를 같이 지원한다. 사용자의 편의를 위해 가상 파일시스템 형태의 서비스 공간을 제공하며, 브라우저 등을 이용해 파일을 관리하고 사용할 수 있다.

오브젝트 스토리지는 사용한 만큼만 비용을 지불하면 되므로 비용 측면에서 효율적이며, 확장의 용이함으로 인해 퍼블릭 클라우드 스토리지에 적합하다. 기존 NAS 및 SAN 접근 방식과 달리 클러스터 수가 증가하더라도 예측 가능성을 제공해 하이브리드 클라우드, 엣지 컴퓨팅 워크로드와 리눅스 컨테이너를 실행하는 기업에서 유용하게 활용할 수 있다.

▲ 오브젝트 스토리지 활용 방안(자료: 효성인포메이션시스템)
▲ 오브젝트 스토리지 활용 방안(자료: 효성인포메이션시스템)

비정형 데이터 관리에 적합
오브젝트 스토리지는 비정형 데이터, 즉 파일 데이터를 원활하게 관리하고 서비스하기 위한 목적으로 설계됐다.

먼저 관리적인 관점에서 살펴보면 가장 중요한 요소는 비용(Cost)이다. 스토리지 비용은 크게 데이터를 저장하기 위한 구매 비용과 데이터를 안정적으로 관리하기 위한 비용으로 구성되는데, 전체 비용은 데이터의 증가뿐 아니라 데이터의 중복 발생으로 인해 몇 배로 증가하게 된다.

비정형 데이터는 주로 개별 시스템이나 사용자들 그리고 데이터 수집 장치 영역에서 생성되며 대부분 데이터 사일로 형태로 존재한다. 일부 시스템들은 NAS를 통해 파일시스템을 공유하지만 지역이나 보안상의 이유로 제한적일 수밖에 없다. 때문에 파일 공유를 위해 파일을 전달하는 시스템을 별도로 구축하고 운영하게 되며, 여러 공간에 중복 파일들이 생성된다.

스토리지 구매 비용을 줄이기 위해 티어링이나 아카이빙을 구축하는 경우 스토리지 구매 비용은 약간 감소하지만 운영 복잡도의 증가와 또 다른 시스템의 구축으로 이어져 실질적인 IT 부서의 업무 부담과 운영 비용은 더욱 증가하게 된다.

백업과 이중화 등에 관련된 비용도 데이터의 증가와 비례해 발생하게 되는데, 백업의 경우 비용 문제가 아니라 백업이 불가능한 경우도 발생한다. 데이터가 증가하면서 기존 백업 방식으로 복구 복표 시간(RTO)과 복구 목표 시점(RPO)을 충족시키기 어려우며, 백업 소요 시간이 늘어나 정해진 시간 내 백업을 받는 것이 불가능해지는 경우도 있다. 이는 모두 백업 비용 증가로 연결된다.

두 번째는 파일 서비스 관점이다. 더 많은 업무 시스템들에서 파일 데이터를 공유해 사용하고자 하는 요구가 늘어나고 있다. 국내 지사뿐만 아니라 해외에서도 데이터를 공유하고자 하고, 소수의 업무시스템 대신 수십~수백 명의 사용자가 PC 외에도 스마트폰, 태블릿을 포함한 다양한 디바이스를 통해 언제 어디서나 파일 데이터를 사용하고자 하는 요구가 증가하고 있다.

기존 SAN이나 NAS에서 이러한 요구를 만족시킬 수는 없다. 오브젝트 스토리지는 이러한 비정형 데이터의 관리와 서비스에 대한 요구사항을 동시에 충족시킬 수 있으며, 대량의 비정형 데이터(파일)를 안전하게 비용 효율적으로 보관하기 위한 아키텍처를 채택해 클라우드 환경에서 다양한 장치들의 접속과 데이터 사용을 보장한다.

이처럼 오브젝트 스토리지는 파일 단위로 관리와 서비스에 대한 정책을 적용할 수 있다. 이는 스토리지 레벨에서 비정형 데이터를 안전하고 편리하게 공유해 사용할 수 있는 환경을 구축할 수 있음을 의미한다. 이러한 특징 때문에 비정형 데이터를 모으는 데이터 레이크로 활용되는 추세이며, 각종 빅데이터 플랫폼의 아카이빙 스토리지 혹은 백업 스토리지로도 활용되고 있다.

다양한 용도로 활용 가능
국내 오브젝트 스토리지 시장은 크게 장기보관용(아카이빙) 스토리지와 데이터 레이크 구축 영역 그리고 최근에는 백업 저장소 등 다양하게 검토되고 있다.

아카이빙 스토리지 시장은 기업의 중요 데이터 장기 보관을 위한 스토리지 시스템 영역으로 데이터 보호에 초점이 맞춰져 있다. 기존 단일 시스템에서의 비정형 데이터 저장장치에서 기업 내 여러 업무 시스템들의 장기 보관 데이터를 하나로 통합하는 형태의 클라우드 아카이빙 스토리지 시스템으로 진화하고 있다.

두 번째로 데이터 레이크로써의 클라우드 오브젝트 스토리지 시장이다. 이 시장은 기업 내 비정형 데이터의 급격한 증가로 인해 크게 성장하고 있다. 퍼블릭/프라이빗 클라우드 스토리지 사용 모두 증가하는 경향이 보이며, 퍼블릭 클라우드 스토리지를 사용하던 고객들이 데이터 소유권과 활용 및 분석을 목적으로 일부 프라이빗 전환을 검토하고 있기도 하다. 업계에 따르면 병렬 분산파일시스템 또는 대용량 NAS를 운영하던 고객들도 일부를 오브젝트 스토리지로 전환하는 추세가 나타나고 있다.

세 번째로 오브젝트 스토리지는 백업 저장소로 활용되고 있다. 기존 PTL에서 테이프의 로딩 속도와 관리의 불편함을 해소할 수 있기 때문이다. 네트워크만 연결하면 되는 구성의 편리함으로 인해 VTL 영역도 일부 대체 가능하다. 이미 상당수의 백업 솔루션들은 오브젝트 스토리지를 백업 저장장치로 활용할 수 있도록 지원하고 있다.

성공적인 구축 경험·다양한 노하우 보유
오브젝트 스토리지는 파일 단위의 서비스를 제공한다. 이는 기존 파일시스템 체계에 익숙한 사용자들에게 불편함을 줄 수 있다. 때문에 효성인포메이션시스템은 NAS와 같은 형태로 파일시스템으로 사용할 수 있도록 게이트웨이 솔루션을 함께 제공하거나, 히타치 NAS와 같이 운영할 경우 DM2C(Data Migrator to Cloud)라는 기능을 이용해 NAS 환경에서 클라우드/오브젝트 스토리지를 사용할 수 있도록 돕고 있다.

오브젝트 스토리지는 관리와 서비스 기능 측면에서 많은 장점을 가지고 있으나 기존 스토리지(SAN 또는 NAS) 시스템 대비 성능이 빠르지는 않다. 고성능을 요하는 업무라면 다른 대안을 검토해야 한다. 효성인포메이션시스템에서는 HCSF(Hitachi Content Software for File) 솔루션을 제공해 고성능 데이터 분석용 데이터 레이크 구축도 지원한다.

클라우드/오브젝트 스토리지를 오픈소스 기반으로 자체 구축하는 기조에서 벤더에서 제공하는 클라우드/오브젝트 스토리지 시스템을 구매해 사용하는 방향으로 전환 검토하는 기업들이 늘어남에 따라 서비스 측면에서는 충분히 목적을 달성할 수 있으나 관리와 운영 측면에서는 기존 스토리지 서비스에서 제공하는 기준에 다소 미흡해 고객이 직접 많은 부분을 커버해야 한다. 효성인포메이션시스템은 이런 업체들에게 오브젝트 스토리지 구축 경험과 노하우를 공유해 성공적으로 전환할 수 있도록 돕고 있다.

효성인포메이션시스템은 2000년대 중반부터 오브젝트 스토리지 중 안정적이고 검증된 HCP(Hitachi Content Platform) 제품을 국내에 제공하고 있다. 2006년 이후부터 수백 개 이상의 고객사가 HCP 제품을 사용 중이다.

HCP는 대량의 비정형 데이터(파일)를 안전하게 비용 효율적으로 보관하기 위한 아키텍처를 채택하고 있으며, 클라우드 환경에서 다양한 장치들의 접속과 데이터 사용을 보장한다. 또한 메타데이터를 통해 빅데이터 운용에 적합한 검색 및 분석을 지원한다.

▲ 초고성능 병렬파일 스토리지 HCSF 도입 효과
▲ 초고성능 병렬파일 스토리지 HCSF 도입 효과

한편 효성인포메이션시스템은 기업의 비정형 데이터 관리와 용도에 따라 강력한 데이터 보호 아키텍처를 채택하고 있는 오브젝트 스토리지 제품(HCP)과, 기업 내 프라이빗 클라우드 스토리지 서비스를 위한 클라우드 오브젝트 스토리지(HCP 클라우드 스케일) 그리고 고성능 데이터 분석과 데이터 레이크를 동시에 구성할 수 있는 HCSF, 오브젝트 스토리지를 좀 쉽고 다양하게 활용 가능하도록 해주는 연계 솔루션(HCP 게이트웨이, HCI(Hitachi Content Intelligence) 등)들을 같이 제공하고 있다. 이를 통해 고객은 비정형 데이터를 보다 효과적으로 관리하고 활용할 수 있다.

효성인포메이션시스템은 다양한 포트폴리오를 통해 기업의 데이터 관리와 용도, 목적에 맞게 고객이 비정형 데이터를 보다 효과적으로 관리하고 활용할 수 있도록 도울 예정이다.



댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.