[데이터넷] 기업들은 이제까지 데이터센터에 저장하는 데이터의 아키텍처에 맞춰 데이터센터를 설계해 왔으며, 대부분 정형 시스템 환경에서 데이터를 관리했다. 이러한 정형 데이터 운영을 위한 기반 인프라로서 기업들은 고성능 및 복원성에 대한 증가하는 요구사항을 충족시키기 위해 블록 스토리지를 사용했다.

그러나 비정형 데이터의 양이 급격하게 늘어나고 있는 지금, 기업들은 기존의 블록 스토리지 기반의 정형 시스템에서 데이터베이스의 잦은 교체 및 성능 저하 문제를 해결해야 한다. 예를 들어 웹 기반 협업 플랫폼에서는 점점 더 많은 수의 사용자들이 비정형 데이터 파일을 업로드 함에 따라 데이터베이스의 용량이 매우 빠른 속도로 포화하며, 이는 파일 부하로 인한 시스템 성능 저하와 보다 많은 DB 라이선스를 필요로 하게 됐다.

파일 계층 또는 블록을 규정하는 다른 스토리지 시스템과 비교해 오브젝트 스토리지 플랫폼은 파일을 플랫(Flat) 구조로 동등하게 배치해 저장하므로 효율적인 고성능을 제공한다. 아울러 파일 단위의 정책 기반 관리를 통해 불필요한 데이터의 복제 또는 보존 기간이 만료돼 필요 없게 된 파일을 자동으로 정리해 줌으로써 스토리지 관리를 위한 인원과 절차를 간소화할 수 있다.

이러한 오브젝트들은 인터넷 기반의 http 프로토콜을 포함한 산업 표준 프로토콜을 활용해 접근 가능하며, 인터넷 프로토콜로 언제 어디서든 간단한 설정만으로 데이터를 이동시키고 저장할 수 있다. 또한 데이터 저장 시 메타 데이터를 함께 저장함으로써 비정형 데이터의 검색과 분석을 가능케 함으로써 비용 효율적으로 관리를 할 수 있도록 돕는다.

이로 인해 오브젝트 스토리지는 기업들이 자사의 데이터센터에서 중요하게 관리해 온 정형 데이터뿐만 아니라 앞으로 그 양이 점차 더 많아질 비정형 데이터를 효과적으로 활용하게 하는 대안이자 데이터 레이크를 구성하기 위한 요건으로 부상하고 있다.

오브젝트 스토리지는 확장성이 뛰어나면서도 고성능, 고효율 및 고가용성이 요구되는 기업 환경에서 주로 활용된다. 따라서 클라우드 인프라 워크로드, 리치 미디어 및 아카이브 스토리지 분야에 매우 적합하다. 또한, 대규모 데이터 세트 및 아카이브 데이터의 효율적인 관리, 비디오 콘텐츠 배포, 빅데이터 워크로드를 위한 로그 아카이브 및 IoT 워크로드 분야에서도 많이 도입되고 있다.

고성능 워크로드에 최적

최근 비디오나 이미지, 소셜 미디어 콘텐츠의 확산으로 비정형 데이터가 더욱 빠르게 증가해 2024년에는 파일 및 오브젝트 스토리지 형태의 데이터가 현재의 3배 규모가 될 것으로 전망된다.

이에 델 테크놀로지스는 비정형 데이터 분석과 AI, 사물인터넷(IoT), 디지털 미디어, 의료서비스, 생명과학 등 고성능을 요구하는 워크로드에 최적화된 솔루션으로 델EMC 스토리지 소프트웨어와 ‘델EMC 파워엣지(PowerEdge) 서버’를 결합한 ‘델EMC 파워스케일’을 선보인다.

‘델EMC 파워스케일’ 제품군에는 올플래시 모델인 F200 노드와 NVMe를 지원하는 F600 노드가 포함되며, ‘파워엣지(PowerEdge)’ 서버 기반의 1U 사이즈로 최소한의 상면만 차지하기 때문에 엣지 환경에 이상적인 규격을 갖추고 있다. 또한 차세대 OS인 ‘델EMC 원FS’ 9.0을 기반으로 파워스케일 신제품과 기존의 ‘델EMC 아이실론’ 올플래시, 하이브리드, 아카이브 노드를 통합해 클러스터를 구성할 수 있다.

델EMC 파워스케일은 페타바이트(PB) 수준까지 용량을 쉽게 확장할 수 있으며, 용량 확장 후에도 사용이 간편하고 강력한 성능 또한 안정적으로 유지된다. 클러스터 용량은 최소 11TB에서 최대 60PB까지 확장이 가능하며, 수백만 개의 파일 작업을 수행해도 갑작스러운 시스템 중단이나 비용 소모적인 다운타임이 발생하지 않는다. 단 60초 만에 델EMC 파워스케일 혹은 기존 아이실론 클러스터에 노드를 추가할 수 있다.

‘오토밸런스’ 기능으로 자원들을 보다 효과적으로 분배할 수 있으며, 스마트한 스케일 아웃이 가능하다. 이를 통해 클러스터 성능 또한 최고 수준까지 끌어올릴 수 있다. 유연한 페일오버 정책으로 클러스터 전체에 80%에 달하는 스토리지 활용률을 구현하며, 다중 노드 장애도 쉽게 극복할 수 있다.

쿠버네티스(Kubernetes)와 앤서블(Ansible) 등 업계를 대표하는 다양한 관리 및 컨테이너 오케스트레이션 프레임워크도 지원해해 고객들은 애플리케이션 개발을 간소화하고 배포시간을 단축할 수 있다.

한편 델 테크놀로지스의 스토리지 제품군 ‘델EMC 파워스케일과 아이실론 8.2.2(Dell EMC PowerScale & Isilon 8.2.2)’는 클라우데라의 품질관리 시험인 QATS(Quality Assurance Test Suite) 인증을 성공적으로 완료, 클라우데라 고객들의 지원을 한층 더 강화할 수 있게 됐다.

데이터 레이크 구축 시 고려해야 할 스토리지 기술 사항 기업들이 데이터 레이크를 구축하기 위해서는 인프라 측면의 고민을 해야 한다. 가령 보유한 데이터가 TB에서 PB로 커짐에 따라 성능이나 제약 없이 확장이 가능하고 안전한 플랫폼인지를 살펴야 하며, 용량이 커진 만큼 관리의 어려움은 없는지도 고려해야 한다. 또 다양한 에코시스템과의 호환성 문제는 없는지, 총소유비용(TCO) 관점에서 경제성은 확보 가능한지 등도 살펴볼 필요가 있다. 델 테크놀로지스의 데이터 레이크 솔루션들은 스케일 아웃 아키텍처를 채택해 용량 증가에 따른 선형적인 성능 체감을 달성할 수 있으며, 1PB급의 대용량 스토리지를 관리할 때도 단일 볼륨으로 활용 가능할 경우 데이터 분산 등의 관리 요소가 크게 줄어들 수 있다. 아울러 하둡, 오브젝트 인터페이스 등 다양한 데이터 소스 플랫폼과 연계 가능한 멀티 프로토콜이 필수이며, 정책 기반으로 데이터 종류별 자동 계층화를 통해 스토리지 비용도 줄일 수 있어야 한다. 이를 통해 스토리지 관리자의 업무 부담을 낮추고 성능과 TCO 최적화도 동시에 충족시킬 수 있다. 델 테크놀로지스는 국내 데이터 레이크 시장에 있어 최고 선두 주자라고 할 만큼 많은 레퍼런스를 보유하고 있으며, 그에 걸맞은 플랫폼도 보유하고 있다. 특히 하드웨어 플랫폼뿐만 아니라 컨설팅 역량도 갖추고 있으며, 핵심인 스토리지 플랫폼으로만 한정해 보더라도 가장 광범위하고 폭넓은 서비스를 할 수 있는 막강한 포트폴리오를 갖추고 있어 하이브리드 클라우드 시대에 가장 적합한 솔루션을 제공한다.

산업별 다양한 구축사례 보유

데이터 레이크의 콘셉트는 한 곳에 모든 데이터를 저장하고 전처리 과정을 거쳐 DW나 DM으로 데이터를 전달하는 방식이다. 여기에 소셜 데이터나 반정형 데이터, 네트워크 데이터 등을 저장하고자 하둡과 NoSQL 방식으로 저장하는 방안도 제안되곤 한다. 그러나 데이터는 어떤 데이터는 담을 수 있는 공간이어야 하는데, 정형/반정형/비정형을 나눠서 맞게끔 끼워 넣는 이러한 방식은 진정한 데이터 레이크가 될 수 없다는 평가를 받기도 한다.

이에 효성인포메이션시스템은 아마존웹서비스(AWS)의 아마존 S3 스토리지에서 콘셉트를 차용해 오브젝트 스토리지를 활용한 방안을 구현해냈다. 본래 오브젝트 스토리지는 아카이빙 용도로 사용되던 장비였지만 S3 API를 비롯해 하둡을 비롯한 여러 시스템과 연계되면서 진정한 데이터 레이크로 거듭나게 됐다.

효성인포메이션시스템이 제공하는 루마다 데이터 레이크 시스템은 데이터 레이크에 필요한 인프라와 솔루션이 모두 포함돼 있다. 해당 오퍼링은 효성인포메이션시스템이 보유하고 있는 뛰어난 오브젝트 스토리지 및 클라우드 기술에 데이터 파이프라인 및 AI 기반 자동화, 특정 기술/플랫폼에 종속되지 않는 개방형 솔루션이 특징으로 인프라에는 오브젝트 스토리지 ‘HCP’와 고속 스토리지 ‘HCSF’, 하이퍼컨버지드 인프라(HCI) 솔루션 ‘UCP’가 있으며, 빅데이터 환경에 필요한 데이터 분류, 데이터 흐름, 전처리, 분석 플랫폼으로는 ‘루마다 데이터 카탈로그’와 ‘펜타호’가 준비돼 있다.

최근 진행되는 데이터 레이크 관련 사업들은 오브젝트 스토리지를 활용한 경우들이 대다수다. 그러나 기존 시스템을 모두 걷어내고 오브젝트 스토리지로 대체하는 것은 결코 쉬운 일이 아니다. 이에 효성인포메이션시스템은 기존 시스템이 오브젝트 스토리지를 활용하게끔 연계하고, 새로운 데이터들은 오브젝트 스토리지에 저장되도록 구현하는 방식으로 구현한 통신사 사례를 보유하고 있다.

해당 사례에서 효성인포메이션시스템은 WORM 데이터의 오브젝트 스토리지 전환으로 DW 운영 리소스를 확보하고, 오브젝트 스토리지에서 데이터 서비스를 제공해 DW의 DM 운영 부담도 낮췄으며, 백업 시스템도 오브젝트 스토리지로 전환함으로써 기존 백업 정책과 성능은 유지하되 비용은 절감시켰다.

그 외에도 HCP 오브젝트를 활용해 제조사 연구소에 대량 비정형 데이터 운영을 위한 시스템을 구축한 사례뿐만 아니라 하둡과 NAS를 활용하며 늘어나던 비정형 데이터로 인해 골머리를 앓고 있던 해외 정부의 시스템을 오브젝트 스토리지를 활용해 비용도 절감하고 데이터를 확장시킨 사례도 보유하고 있다.

최근에는 고속 스토리지인 ‘HCSF’를 선보이며 오브젝트 스토리지의 가장 큰 단점이었던 속도(성능) 문제도 크게 보완해 도입이 한층 확산될 것으로 기대하고 있다.

권동수 효성인포메이션시스템 데이터사업팀 전문위원은 “효성인포메이션시스템은 인프라뿐만 아니라 데이터 흐름을 처리하는 솔루션인 펜타호와 관련 에코시스템도 보유하고 있기 때문에 데이터 레이크 환경 구축에 최적화된 오퍼링을 제공한다”며 “데이터 레이크는 인프라와 솔루션도 중요하지만 얼마나 좋은 사례를 보유하고 있느냐가 관건인데, 효성인포메이션시스템은 통신, 제조, 정부 등 주요 산업 분야별로 굵직한 사례를 보유하고 있어 관련 사업에서 한층 유리한 고지를 선점할 수 있을 것”이라고 전망했다.