[ICT 분야별 평가와 전망] 데이터 분석 환경 충족 위해 진화하는 스토리지
상태바
[ICT 분야별 평가와 전망] 데이터 분석 환경 충족 위해 진화하는 스토리지
  • 윤현기 기자
  • 승인 2023.01.08 09:28
  • 댓글 0
이 기사를 공유합니다

파일·오브젝트 스토리지 중요성 커지며 시장 확대…유연한 데이터 관리 방안 증대

[데이터넷] 데이터 분석과 인공지능 활용 등을 위한 핵심 자원으로 비정형 데이터의 중요성이 커지면서 비정형 데이터를 효과적으로 저장하고 관리하는 방안에 대한 관심도 함께 높아지고 있다. 특히 온프레미스 데이터센터에 국한되지 않고 클라우드와 엣지 환경으로 확산되면서 좀 더 유연하게 데이터를 저장하고 관리할 수 있는 방안을 마련하려는 수요가 늘면서 스토리지도 그에 맞춰 진화하고 있다. <편집자>

사회 영역 전반에서 디지털화가 가속화되면서 B2C뿐만 아니라 B2B, B2G에 이르기까지 데이터의 양이 기하급수적으로 증가하고 있다. 시장조사기관 IDC의 보고서에 따르면 조직의 방대한 데이터를 효율적이고 지능적으로 관리하기 위한 시도가 급증하면서 국내 외장형 엔터프라이즈 스토리지 시스템 시장이 향후 5년간 연평균 성장률(CAGR) 5.2%를 기록하며 2026년에는 8402억원의 규모에 이를 전망이다.

국내 외장형 엔터프라이즈 스토리지 시스템 시장의 성장 못지않게 외장형 스토리지 시스템의 데이터 용량 역시 빠르게 증가하고 있다. 2022년 외장형 엔터프라이즈 스토리지 시스템의 데이터 용량은 전년 대비 8.8% 증가한 866페타바이트(PB)로 예상되며, 2026년에는 2022년 데이터 용량의 두 배를 넘어서는 1830PB에 이를 전망이다. 성숙해진 인공지능(AI)·머신러닝(ML) 기술 역량으로 데이터의 활용 및 분석이 활발해짐으로써 기하급수적으로 증가하는 데이터의 저장 및 관리 역량은 더욱 중요해지고 있다.

이처럼 폭증하는 데이터로 인한 데이터 사일로(Silo) 문제 및 기존 SAN 스토리지의 한계에 대한 대안으로 파일·오브젝트 스토리지가 비정형 데이터 저장 스토리지로써 각광받고 있다. SAN 스토리지는 데이터베이스(DB)와 같은 정형 데이터 저장에 최적화돼 있어 AI나 미디어, 사물인터넷(IoT) 등의 빅데이터 분석에 필요한 원천 데이터 저장에 적합하지 않다.

파일 스토리지는 전통적인 NAS에서 한층 더 발전해 대용량 고성능의 데이터 처리를 위한 스케일아웃 파일(시스템) 스토리지를 의미한다. 클라우드 통합 및 컨테이너 플랫폼과 연동을 통한 신속한 애플리케이션 개발을 지원해 분산 워크로드 환경을 위한 차세대 인프라로 여겨지고 있다.

특히 AI, 빅데이터 분석 등 고성능 스케일아웃 파일 스토리지에 대한 수요 증가와 가상 데스크톱 인프라(VDI), 비대면 서비스 확산에 따라 데이터 보호와 가상화를 위한 최적의 환경을 제공하기에 지속적인 성장세를 이어갈 것으로 보인다.

비정형 데이터 분석 환경 구현
그동안 기업들은 데이터센터에 저장하는 데이터의 아키텍처에 맞춰 데이터센터를 설계해 왔으며, 대부분 정형 시스템 환경에서 데이터를 관리했다. 이러한 정형 데이터 운영을 위한 기반 인프라로 고성능·복원성에 대한 요구사항을 충족시키기 위해 SAN과 같은 블록 스토리지를 사용했다.

그러나 비정형 데이터의 양이 급격하게 늘어나고 있는 지금, 기업들은 기존의 블록 스토리지 기반의 정형 시스템에서 DB의 잦은 교체 및 성능 저하 문제를 해결해야하는 문제에 처했다. 예를 들어 웹 기반 협업 플랫폼에서는 점점 더 많은 수의 사용자들이 비정형 데이터 파일을 업로드하기에 DB의 용량이 매우 빠른 속도로 포화됐으며, 이는 파일 부하로 인한 시스템 성능 저하를 비롯해 더 많은 DB 라이선스를 취득하도록 만들었다.

파일 계층 또는 블록을 규정하는 다른 스토리지 시스템과 비교해 오브젝트 스토리지 플랫폼은 파일을 플랫(Flat) 구조로 동등하게 배치해 저장하므로 효율적인 고성능을 제공한다. 아울러 파일 단위의 정책 기반 관리를 통해 불필요한 데이터의 복제 또는 보존 기간이 만료돼 필요 없게 된 파일을 자동으로 정리해줌으로써 스토리지 관리를 위한 인원과 절차를 간소화할 수 있다.

이러한 오브젝트들은 인터넷 기반의 HTTP 프로토콜을 포함한 산업 표준 프로토콜을 활용해 접근 가능하며, 인터넷 프로토콜로 언제 어디서든 간단한 설정만으로 데이터를 이동시키고 저장할 수 있다. 결과적으로 오브젝트 스토리지는 비정형, 반정형, 정형 데이터를 포함한 모든 형태의 데이터를 통합한 데이터 레이크(Data Lake) 구현이 가능해 기업이 빅데이터 분석을 할 수 있는 환경을 구축하도록 돕는다.

비록 데이터 저장과 검색에는 오브젝트 스토리지가 유리한 면이 있지만, 꼭 알아야 할 특징이 있다. 먼저 오브젝트 스토리지에 데이터가 한 번 저장된 이후 수정했을 경우 또 다른 데이터가 생성된다. 즉 수정이 용이하지 않다. 다른 하나는 S3 혹은 Rest API를 통해 클라이언트와 연결될 때 SAN이나 파일 스토리지만큼 빠른 성능을 제공하지 못한다는 것이다. 이러한 문제를 보완하고자 데이터 분석 환경에서는 오브젝트 스토리지가 단독으로 쓰이는 것보다 성능적인 면을 충족시켜줄 수 있는 파일 스토리지와 함께 사용되는 경우가 많다.

메타데이터로 효율적인 데이터 관리
오브젝트 스토리지는 문서, 영상, 이미지 파일 각각에 대한 속성 태그를 별도로 관리할 수 있다. 파일 저장 시 스토리지에서 자동으로 속성 값을 만들어 파일과 메타데이터를 생성해 함께 관리하는 형태로 동작한다. 그러면 비정형 데이터라도 메타데이터를 이용해 신속한 파일 검색·분석이 가능해져 새로운 인사이트를 얻거나 링크 주소를 통한 파일 공유 등 새로운 서비스를 제공할 수 있다.

저장장치에서 오브젝트는 ‘파일’과 ‘시스템 메타데이터’, ‘사용자 메타데이터’로 구성되며, 비정형 데이터에 DB와 같은 정형성을 부여함으로써 훨씬 많은 양의 콘텐츠를 보다 효율적이고 지능적인 방식으로 저장 및 관리할 수 있다.

오브젝트 스토리지의 가장 큰 강점은 이러한 파일 관리에 있다. 파일 태그를 객체화시켜 DB 없이도 동영상이나 사진 등의 파일을 보관하고 불러올 수 있다. 특히 파일명이 아닌 메타데이터만으로도 DB처럼 검색이 가능하다.

NAS는 파일을 계층형 디렉토리로 구분해 관리했는데, 이 경우 많은 대용량 비정형 데이터를 효율적으로 관리하는데 한계가 있다. 오브젝트 스토리지는 이러한 문제들을 해결할 수 있으며, 개별 파일에 대한 메타데이터를 자동으로 생성하고 사용자 부가정보를 별도로 추가할 수 있다. 또 메타데이터가 자동으로 생성돼 데이터 관리 효율성을 높일 수 있고, 별도로 사용자 부가정보를 저장하면 업무 특성에 맞게 파일 관리를 최적화할 수 있다.

신규 워크로드 지원 기능 강화
그동안 오브젝트 스토리지는 보조 스토리지 혹은 콜드 데이터를 위한 스토리지로 사용돼 왔지만 데이터 세트의 증가와 플래시의 가격 하락이 맞물리면서 더 이상 데이터 분석을 위해 오브젝트 스토리지에 있는 데이터를 고성능 스토리지로 이동시키지 않아도 되는 수준에 이르렀으며, 스토리지 벤더들도 올플래시 어레이에 기반한 오브젝트 스토리지를 시장에 출시하고 있다. 실제로 올플래시 오브젝트 스토리지는 온프레미스 데이터센터나 프라이빗 또는 퍼블릭 클라우드에 걸쳐 데이터 가시성 및 관리 기능을 제공하고 있기도 하다.

뿐만 아니라 메타데이터 기능을 통해 애플리케이션 리소스 소비에 따른 용량 증설을 예상할 수 있도록 하며, 적절한 계층에서 정책 기반 데이터 보존을 구현할 수 있도록 돕는다. 이에 따라 오브젝트 스토리지에 대한 시장 수요가 늘면서 벤더들도 다양한 사안들을 고려해 제품을 선보이고 있는 추세다.

첫 번째는 하이브리드 클라우드 전략이다. 고객이 하이브리드·멀티 클라우드 스토리지 서비스를 구현할 수 있도록 전략적인 서비스를 제공하고자 한다. 성공적인 하이브리드 클라우드 전략을 위해서는 퍼블릭 클라우드와 온프레미스 또는 프라이빗 클라우드의 정책 기반 데이터 계층화가 필수적이다.

두 번째는 데이터 관리 역량이다. 이제 데이터의 가시성을 높이고 효과적으로 데이터를 제어하는 것은 PB 규모의 데이터 세트를 보유한 모든 조직의 관심사다. 이러한 문제는 스토리지 사일로에 저장돼 있지만 확인되지 않은 데이터로 인해 더욱 악화될 수밖에 없다. 대부분의 오브젝트 스토리지 벤더들은 사용자가 단일 창에서 데이터 세트에 액세스 할 수 있는 통합 또는 추가 솔루션을 통해 이러한 문제를 해결하도록 돕는다.

세 번째는 최신 워크로드 지원이다. 오브젝트 스토리지는 예전과 같이 단순 데이터 보관용으로만 사용되지 않는다. 고객은 오브젝트 스토리지가 비정형 데이터 분석, IoT, AI 등과 같은 새로운 워크로드를 위한 비용 효율적인 대안이 될 수 있다고 여기고 있다.

엔터프라이즈 시장 확대
기업 비즈니스 환경 변화에 따라 점점 오브젝트 스토리지를 필요로 하는 워크로드 요구도 늘어나고 있다. 현재 오브젝트 워크로드는 주로 클라우드, 백업·아카이빙, 미디어 라이브러리 등 매우 많은 데이터를 보관하는 경우에 주로 사용된다.

수요처 역시 이와 유사한 모습이다. 웹서비스나 클라우드 서비스 공급업체들이 주로 찾고 있으며, 그 외에도 미디어 산업과 같이 대용량 아카이빙이 필요한 업종, 여러 대륙이나 지역에 분산된 스토리지를 보유하고 있어 스토리지 간 복제가 쉽고 어디서든 액세스가 가능해야 하는 업종 등에서도 오브젝트 스토리지를 필요로 하고 있다.

이에 더해 오브젝트 스토리지는 생체인식, IoT와 같은 신기술이 엔터프라이즈 시스템 및 클라우드 인프라 환경에 미칠 영향을 고려해야 하는 클라우드 아키텍트에게도 많은 관심을 얻고 있다.

현재 클라우드 운영자들은 개별 서버의 구성 및 처리량보다는 데이터센터라는 큰 그림에 초점을 맞추고 있다. 이에 기업들은 데이터센터와 클라우드 운영에 앞서 기업 시스템에 대한 로드맵을 수립하면서 차세대 애플리케이션 서비스와 IT 인프라를 위해 가용성과 효율이 높은 오브젝트 스토리지를 고려하고 있다.

이 밖에도 엑스레이(X-ray) 등 이미지들을 다수 보유한 병·의원, 각종 계약 기록 원본 등을 스캔해서 전자문서화한 공공·금융 등 다양한 산업군에서도 오브젝트 스토리지에 대한 검토가 진행되고 있다.

애플리케이션 사일로 문제 해소
오브젝트 스토리지는 메타데이터를 기반으로 데이터 관리가 가능한 아카이빙, 컴플라이언스, 관리 활용 사례를 차곡차곡 축적하며 기반을 다져온 솔루션이다. 오브젝트 스토리지는 지금까지 대부분의 아카이빙 활용 사례에서 고성능이 요구되지 않는 티어2 역할을 담당했다.

오브젝트 스토리지의 데이터 관리 및 메타데이터 기능은 너무나 강력해 시대를 앞서 나갔다는 평가를 받아왔다. 간단한 메타데이터는 복수의 주석이나 메타데이터 조각들을 하나의 파일로 연계하는 기능을 통해 강력한 메타데이터로 전환된다.

데이터 주도적인 환경을 추구하는 기업이 늘면서 중앙집중식 데이터 관리의 필요성도 증가했다. 핵심 데이터센터 또는 복수의 센터, 엣지 지점, 고객, 퍼블릭 클라우드, 멀티 퍼블릭 클라우드 내 저장된 데이터가 모두 그 대상이다.

지능형 데이터 운영과 분석 가속화의 성패는 지능형 데이터의 확보에 달려 있다. 검색과 분석은 물론 끊임없이 변화하는 규제 준수 사항에도 원활하게 대응하기 위해 데이터 준비, 클렌징, 조작, 변환 등의 작업을 데이터 운영과 통합된 워크플로우에서 처리할 수 있어야 한다. 이는 강력한 메타데이터를 기반으로 이뤄지며 엄청난 규모의 확장성과 고성능이 필요하다.

오브젝트 스토리지는 원하는 정보를 추적하는 데도 탁월하다. 사용자 지정 메타데이터를 이용하고, 프로그래밍을 통해 중요 정보를 파일에 추가할 수도 있다. 데이터베이스의 데이터를 검색하는 것처럼 작성자, 날짜, 기간 등 원하는 조건에 맞춰 검색이 가능하다.

애플리케이션 버전, 고객, 송장, 문서 ID, 생성 국가, 원래 표준 시간대, 거버넌스 정책, 적용 날짜, 원본 애플리케이션 같은 구체적 정보도 검색할 수 있다. 이런 모든 정보가 사용자 지정 메타데이터 필드가 될 수 있고, 그 이상도 포함될 수 있다.

더 이상 사용되지 않고, 데이터 액세스도 거의 발생되지 않는 원본 애플리케이션에 연계된 데이터 관리에도 오브젝트 스토리지는 유용하다. 예를 들어 애플리케이션 데이터를 읽을 수 있도록 스크립트를 작성한 후 이를 오브젝트 버킷에 작성한다고 가정해보자. 이때 해당 애플리케이션에서 사용하던 기존 컨텍스트(context)를 추가한 사용자 지정 메타데이터를 포함할 것을 제안한다. 이렇게 해 두면 기존 애플리케이션 데이터에서도 전체 쿼리 기능을 이용하고, 프로그래밍을 통한 액세스도 가능하다. 이처럼 데이터를 찾기 쉽게 만들면 차세대 데이터 애플리케이션과도 훨씬 수월하게 통합할 수 있다.


관련기사

댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.