지능형 데이터 기반 비즈니스 성과 뒷받침
[데이터넷] 데이터가 현대 경제를 움직이는 동력이 되면서 ‘데이터 중심’ 세상이 도래했다. 특히 기하급수적으로 증가하는 데이터의 대부분은 ‘비정형’으로, 이러한 데이터 저장과 관리를 위해 스토리지 인프라 혁신은 필수가 됐다. 이에 ‘오브젝트 스토리지’는 비용 효율적으로 데이터를 관리할 수 있는 해법으로 자리매김했다. 빅데이터 시대 IT 이니셔티브 이끄는 오브젝트 스토리지를 살핀다. <편집자>
데이터는 현대 경제를 움직이는 동력이다. 제조, 금융, 에너지, 운송부터 헬스케어, 미디어, 엔터테인먼트에 이르기까지 거의 모든 산업의 중심에 데이터가 존재한다. ‘데이터 중심’ 세상이 도래하며 IT에 대한 기업의 기대치도 한층 높아졌다. 기업은 IT 인프라의 효율성 제고, 비용 절감, 성능 향상 등 기술 중심의 성과에 만족하지 않는다. 보다 신속한 비즈니스 운영, 영업과 생산성 향상 등 지능형 데이터에 기반한 비즈니스 성과를 절실히 원하고 있다.
지금 이 순간에도 데이터는 끊임없이 생성된다. 특히 기하급수적으로 증가하는 데이터의 80~90%가 ‘비정형’이라는 점을 주목해야 한다. 기업들은 빅데이터와 지능형 비즈니스에 비정형 데이터가 포함돼야 한다는 사실을 잘 알고 있다.
이에 ‘오브젝트 스토리지’는 최근 몇 년간 스토리지 트렌드를 이끄는 핵심으로 자리를 잡았다. 스토리지는 단순 인프라가 아닌 기업의 전략을 지원하는 기반이 되고 있으며, 이 중에서도 오브젝트 스토리지는 혁신의 지렛대이자 IT 관리자의 고민을 해결해 주는 중요한 열쇠다.
‘오브젝트 스토리지’ 대세
많은 기업들이 분석, 데이터 레이크, AI/ML 등과 관련된 애플리케이션을 위해 오브젝트 스토리지를 주로 활용하고 있다. 또한 NVMe, SSD의 성능 개선과 단가 하락으로 플래시 디스크를 포함한 다양한 미디어를 채택한 오브젝트 스토리지 도입도 늘고 있다.
오늘날 IT 관리자가 직면한 상황을 보면 오브젝트 스토리지가 왜 유용한지 알 수 있다. 기업은 끊임없이 늘어나는 데이터 처리를 위해 다양한 대책을 필요로 한다. 자주 사용하지 않는 데이터도 즉시 사용 가능하도록 관리해야 하며, 어떤 경우에는 저렴한 디스크로 옮겨 놓기도 한다. 컴플라이언스나 기업 정책에 따라 원본 데이터를 장기 보관해야 할 때도 많고, 중요 데이터는 백업과 재해복구 방안을 반드시 마련해야 한다.
업무 지원 환경 역시 변화하며 인프라 담당자는 데이터 접근성을 높여 달라는 요청을 빈번하게 받고 있다. 이를 위해 내부는 물론 원격으로도 빠른 데이터 접근이 가능하고 파일 원본이 그대로 유지되는 환경을 구현해야 한다. 시스템 운영 기술 부담과 관리 비용도 증가함에 따라 분산된 스토리지 통합 관리 방안과 중복 저장된 데이터 처리 대책도 마련해야 한다.
컴플라이언스·콘텐츠 데이터 저장 최적
오브젝트 스토리지는 블록이나 파일 단위가 아닌 ‘오브젝트’라는 단위로 데이터를 저장하고 관리한다. 오브젝트는 텍스트, 음성, 영상과 같은 다양한 파일 데이터가 포함되며, 파일에 대한 부가정보를 담은 메타데이터가 추가된다. 또한 일반적인 파일 탐색기에서 볼 수 있는 중첩되는 계층 구조가 아닌 평면 구조로 데이터가 저장된다.
이 같은 특성으로 인해 오브젝트 스토리지는 대량의 파일 데이터를 안전하게 보관하면서도 데이터에 빠르게 접근할 수 있다. NAS(Network Attached Storage)로 통칭되는 파일 스토리지는 파일 수가 많아지거나 디렉토리 수가 많아질수록 급격한 성능 저하가 발생한다.
이는 파일 시스템에서 메타정보(아이노드)를 관리하는 방식의 제약으로 발생하는 것으로, 고사양의 장비를 사용하더라도 파일 수가 현저히 많아질 경우 성능 저하를 방지할 수 없다. 반면 분산 DB 기술을 채택하고 파일에 직접 접근하는 방식을 취하고 있는 오브젝트 스토리지는 파일 수가 증가하더라도 데이터 접근과 검색 속도를 일정하게 유지할 수 있다.
오브젝트 스토리지는 콘텐츠를 통합해 보관하고 관리해야 하는 모든 분야에 적용할 수 있고, 내부 규범이나 법적 규제로 인해 장기간 데이터를 보전할 때도 유용하다. 이런 유형의 데이터는 시간이 지나거나 사업이 확장될수록 지속적으로 늘어날 수밖에 오브젝트 스토리지는 메타데이터를 활용해 대량의 파일을 체계적으로 관리하고 운영 효율을 높일 수 있다.
다양한 콘텐츠를 수집해 보관할 때도 오브젝트 스토리지는 효율적이다. 페이스북, 트위터, 카카오 등의 서비스는 시스템이 아닌 개인 사용자 단에서 데이터를 실시간으로 생성하고 복제하고, 사물인터넷(IoT)이 일반화되면서 기업 내의 다양한 기기나 장치들로부터 파일 데이터가 생성되고 있다.
이렇게 만들어진 데이터는 내부 인프라 어딘가에 저장해야 하며 매우 큰 용량의 스토리지를 필요로 한다. 모든 데이터를 처음 상태로 온전히 보전하면 최선이겠지만 스토리지의 무한정 구매는 현실적으로 불가하다. 결국 비용 대비 효과를 높이는 것이 관건으로 이를 가능하게 하는 솔루션으로 오브젝트 스토리지가 각광받고 있다.
빅데이터 시대 IT 이니셔티브 이끄는 주춧돌
무제한급 프라이빗 오브젝트 스토리지 솔루션은 어디서 빛을 발할까? 수없이 많은 데이터를 보유하고 있지만 데이터 보호 정책을 확립하기 어려운 제조 업계에서 특히 관심을 보이고 있다.
국내 한 제조사는 운영 중인 제조 라인의 공정 데이터 수집 인프라의 1차 저장소로 오브젝트 스토리지를 선택했다. 기존 스토리지 인프라 운영 비용을 절감하고 대용량 데이터 운영 효율을 개선하기 위해 페타바이트 규모의 대형 오브젝트 스토리지 도입을 통해 궁극적으로 딥러닝, 빅데이터 분석에 필요한 장기간 아카이빙 인프라를 확보했다.
대용량 하둡 파일 시스템이나 병렬 파일 시스템, 또는 다양한 빅데이터 처리 솔루션에서 데이터 오프로드 구성을 위해 오브젝트 스토리지를 도입하는 사례도 늘고 있다. 하둡은 3개의 사본을 두는 것이 기본 정책으로 하나의 데이터를 저장할 때 3배의 데이터 용량을 차지하기 때문이다.
병렬 파일 시스템들도 빅데이터 분석에 사용되는 고성능 디스크를 사용하는 경우가 많아 고가의 제품들로 구성된다. 이런 환경에서 티어링 또는 아카이빙 용도로 오브젝트 스토리지를 활용하면 용량 대비 비용 효율적으로 데이터 분석 인프라를 구성할 수 있다.
한편 효성인포메이션시스템의 대표적인 오브젝트 스토리지인 ‘HCP(Hitachi Content Platform)’는 비정형 데이터의 효율적인 저장, 비용 절감, 규제 준수, 보안에 탁월한 효과를 발휘한다. 고급 분석, 태깅, 메타데이터, 사용자 정의 쿼리 등과 같은 고성능의 강력한 데이터 인텔리전스 기능까지 제공한다.
효성인포메이션시스템은 HCP 제품의 신뢰성, 가용성, 안정성, 확장성을 바탕으로 국내 시장에 적합한 다양한 오브젝트 스토리지 기반 애플리케이션을 통합하며 오브젝트 스토리지 시장을 이끌고 있다.
