비정형 데이터에서 통찰력 확보하는 ‘오브젝트 스토리지’
상태바
비정형 데이터에서 통찰력 확보하는 ‘오브젝트 스토리지’
  • 데이터넷
  • 승인 2020.12.08 08:30
  • 댓글 0
이 기사를 공유합니다

강력한 메타데이터로 데이터에 인텔리전스 부여…차세대 데이터 앱과 통합해 사일로 해소

[데이터넷] 데이터의 폭발적인 증가 속에서 비정형 데이터의 활용과 스마트한 데이터 관리를 위해 ‘오브젝트 스토리지’가 주목 받고 있다. 확장성과 개방성, 높은 데이터 보호 기능을 바탕으로 대용량 데이터의 저장·아카이빙·백업 등 보조 스토리지 영역에서 주로 활용되던 오브젝트 스토리지는 이제 운영 스토리지 영역으로 부상하고 있다. 오브젝트 스토리지는 데이터 사일로 간 장벽을 없애 비정형 데이터를 더 스마트하게 만들고, 데이터 가치와 접근성을 한층 높여준다. <편집자>

김도진 효성인포메이션시스템 데이터사업팀 차장(his-djkim@hyosung.com)
김도진 효성인포메이션시스템 데이터사업팀 차장
(his-djkim@hyosung.com)

기업 데이터의 80%는 비정형 데이터이며 이 수치는 매년 50% 이상 증가하고 있다. 또한 비정형 데이터는 수많은 직원의 시간과 노력이 축적된 소중한 결과물로, 기업의 최고 자산으로 탈바꿈될 수 있는 준비된 보물창고이기도 하다. 따라서 비정형 데이터를 어떻게 관리할 것인가는 최고정보책임자(CIO)의 최대 고민거리 가운데 하나다.

검색·분석 어려운 비정형 데이터
비정형 데이터는 명확하게 정의되거나 정형화된 데이터 모델에 해당되지 않는 모든 종류의 데이터를 말한다. 이런 특징 때문에 비정형 데이터는 검색과 분석이 쉽지 않다. 데이터베이스(DB)가 정형 데이터의 대표적인 사례라면 이메일, 텍스트, 사진, 비디오, 오디오, 웹페이지, 프레젠테이션, 멀티미디어, 콜센터 기록·녹음 등이 비정형 데이터라 할 수 있다.

오브젝트 스토리지는 기존 스토리지와 근본적으로 다른 접근 방식을 취한다. 파일 스토리지가 데이터를 파일 규칙에 따라 관리하고, 블록 스토리지가 특정 영역과 구간을 나눠 데이터를 블록 단위로 관리하는 것과 달리, 오브젝트 스토리지는 파일에 대한 상세 정보를 포함한 메타데이터를 자동으로 생성·보관·관리한다.

수억 또는 수십억 개 파일을 객체(object)화해 고유 ID만 가지고 데이터를 관리함으로써 경제성과 효율성을 높여준다. 데이터 관리, 보호 자동화, 검색을 통한 거버넌스 대응 등 차별화된 확장성도 제공한다.

이 같은 방법으로 데이터는 충분히 정형화될 수 있고, 프로그래밍을 거치면 검색과 쿼리가 간편해진다. 오브젝트 스토리지는 메타데이터를 이용해 비정형 데이터를 프로그래밍 가능한 데이터로 전환한다. 이때 메타데이터는 하나의 오브젝트로 기능하도록 원본 파일에 추가돼 함께 저장된다. 메타데이터가 추가되면 데이터 검색·분류·관리가 가능해지고, 프로그래밍을 통해 데이터 처리도 할 수 있다.

비정형 데이터도 자체 식별이 가능하도록 전체 텍스트 색인을 부여해 더 풍부하게 만들 수 있다. 자체 식별 데이터는 데이터가 생성된 애플리케이션 외부에서도 해당 데이터의 가치를 계속 유지하는 데이터를 의미한다.

스토리지 종류별 데이터 접근 방식
스토리지 종류별 데이터 접근 방식

더 이상 애플리케이션 사일로는 없다
오브젝트 스토리지는 메타데이터를 기반으로 데이터 관리가 가능한 아카이빙, 컴플라이언스, 관리 활용 사례를 차곡차곡 축적하며 기반을 다져온 솔루션이다. 오브젝트 스토리지는 지금까지 대부분의 아카이빙 활용 사례에서 고성능이 요구되지 않는 티어2 역할을 담당했다.

오브젝트 스토리지의 데이터 관리 및 메타데이터 기능은 너무나 강력해 시대를 앞서 나갔다. 간단한 메타데이터는 복수의 주석이나 메타데이터 조각들을 하나의 파일로 연계하는 기능을 통해 강력한 메타데이터로 전환된다.

데이터 주도적인 환경을 추구하는 기업이 늘면서 중앙집중식 데이터 관리의 필요성도 증가했다. 핵심 데이터센터 또는 복수의 센터, 엣지 지점, 고객, 퍼블릭 클라우드, 멀티 퍼블릭 클라우드 내 저장된 데이터가 모두 그 대상이다.

지능형 데이터 운영과 분석 가속화의 성패는 지능형 데이터의 확보에 달려 있다. 검색과 분석은 물론 끊임없이 변화하는 규제 준수 사항에도 원활하게 대응하기 위해 데이터 준비, 클렌징, 조작, 변환 등의 작업을 데이터 운영과 통합된 워크플로우에서 처리할 수 있어야 한다. 이는 강력한 메타데이터를 기반으로 이뤄지며 엄청난 규모의 확장성과 고성능이 필요하다.

오브젝트 스토리지는 원하는 정보를 추적하는 데도 탁월하다. 사용자 지정 메타데이터를 이용하고, 프로그래밍을 통해 중요 정보를 파일에 추가할 수도 있다. 데이터베이스의 데이터를 검색하는 것처럼 작성자, 날짜, 기간 등 원하는 조건에 맞춰 검색이 가능하다. 애플리케이션 버전, 고객, 송장, 문서 ID, 생성 국가, 원래 표준 시간대, 거버넌스 정책, 적용 날짜, 원본 애플리케이션 같은 구체적 정보도 검색할 수 있다. 이런 모든 정보가 사용자 지정 메타데이터 필드가 될 수 있고, 그 이상도 포함될 수 있다.

더 이상 사용되지 않고, 데이터 액세스도 거의 발생되지 않는 원본 애플리케이션에 연계된 데이터 관리에도 오브젝트 스토리지는 유용하다. 예를 들어 애플리케이션 데이터를 읽을 수 있도록 스크립트를 작성한 후 이를 오브젝트 버킷에 작성한다고 가정해보자. 이때 해당 애플리케이션에서 사용하던 기존 콘텍스트(context)를 추가한 사용자 지정 메타데이터를 포함할 것을 제안한다. 이렇게 해 두면 기존 애플리케이션 데이터에서도 전체 쿼리 기능을 이용하고, 프로그래밍을 통한 액세스도 가능하다.

이처럼 데이터를 찾기 쉽게 만들면 차세대 데이터 애플리케이션과도 훨씬 수월하게 통합할 수 있다. 단순한 데이터 저장만을 위한 애플리케이션 사일로는 더 이상 존재하지 않게 된다.

엔터프라이즈에서 빛을 발하는 오브젝트 스토리지
엔터프라이즈에서 빛을 발하는 오브젝트 스토리지

잠재적인 데이터 통찰력 확보
이제 데이터 생성을 위해 사용한 애플리케이션과는 독립적으로 존재하는 데이터 저장 공간이 생겼다. 이 데이터가 가치를 충분히 발휘할 수 있도록, 필요한 사용자 지정 데이터를 추가해 데이터를 더욱 풍부하게 만드는 것도 가능하다. 사용자의 데이터 수요와 이용 트렌드 변화에 따라 언제든 더 많은 메타데이터를 추가할 수 있다.

오브젝트 스토리지는 스플렁크(Splunk) 같은 최신 애플리케이션과의 통합도 원활하다. 스플렁크는 로그 데이터 통합, 대시보드 생성, 추천 등을 제공하는 탁월한 툴로, 데이터 주도적인 조직으로의 전환을 돕는다. 그러나 스플렁크에 데이터가 축적될수록 시스템은 복잡해지고 비용도 상승한다.

오브젝트 스토리지는 이 문제도 해결할 수 있다. 스플렁크 데이터가 최고의 가치를 제공하는 기간은 첫 7일간이다. 이후 30일 동안 사용 빈도는 점차 줄어든다. 그리고 약 3년이 지나면 데이터를 거의 사용하지 않게 된다. 그럼에도 불구하고 스플렁크 데이터는 트렌드와 기록 분석을 위해 여전히 중요한 데이터로 남는다.

예를 들어 분기마다 발생하는 문제를 하나 발견했다고 생각해보자. 이 문제를 해결하려면 과거 데이터를 찾아 관련 데이터를 반복적으로 검토해야 한다. 하지만 오브젝트 스토리지를 활용하면 현재 사용하지 않는 스플렁크 데이터도 검색할 수 있다. 즉 언제라도 데이터에서 잠재적인 통찰력을 확보할 수 있게 된다.

테이프 백업을 오브젝트 스토리지 백업으로 옮겨오는 것도 가능하며, 백업 애플리케이션에서 ‘원본 파일 포맷’으로 백업하는 것도 가능하다. 한발 더 나아가 프로그래밍을 거쳐 오브젝트 스토리지 데이터를 데이터 레이크 또는 분석 애플리케이션에서 불러오는 것도 가능하다.

이 경우 업무용 애플리케이션에서 데이터를 불러올 때 발생하는 부하 문제를 피할 수 있다. 원하는 데이터에서 충분한 가치를 확보하기 위해 애플리케이션 현대화를 굳이 할 필요가 없다는 의미다.

오브젝트 스토리지, 티어1 워크로드 고속으로 지원
오브젝트 스토리지의 고성능이 보장되면 미래의 워크로드를 엄청나게 빠른 속도로, 향후 필요한 확장성까지 고려해 즉각적으로 활용할 수 있다. 미래 워크로드에는 실시간 로그 집계부터 IoT 워크로드, 고성능 데이터베이스의 트랜잭션 로그 등 거의 모든 데이터 작업이 포함된다. 이들 각각의 데이터에 사용자 지정 메타데이터를 적용해 조직 내 활용 가치를 더욱 높일 수 있다.

예전 같으면 수년 동안 모니터링 환경에 원본 포맷으로 저장됐을 로그 데이터를 오브젝트 스토리지에 모두 취합해 애플리케이션 부하와 라이선싱 비용을 대폭 줄여준다. 트랜잭션 기록이 한층 풍부해지고 데이터도 정상화돼 온프레미스(on-premise)든 퍼블릭 클라우드든 위치에 상관없이 분석 수요가 생기면 언제라도 사용할 수 있다.

이처럼 오브젝트 스토리지는 데이터 스토리지의 미래를 보장하고 데이터 수익화를 지원하는 최고의 솔루션이다. 효성인포메이션시스템의 HCP는 대규모 비정형 데이터 환경의 안정적 운영과 공유 서비스를 단일 플랫폼에서 지원한다. 비정형 데이터의 탁월한 저장 관리 기술력을 기반으로 퍼블릭 클라우드 및 빅데이터 솔루션과 원활한 연계, 오브젝트 스토리지의 강점인 유연한 스토리지 용량 추가, 스토리지 관리 비용 절감, 비즈니스 민첩성 향상 등을 제공한다.

효성인포메이션시스템 오브젝트 스토리지 ‘HCP’ 아키텍처
효성인포메이션시스템 오브젝트 스토리지 ‘HCP’ 아키텍처

HCP는 IDC 마켓스케이프 ‘전 세계 오브젝트 기반 스토리지 벤더 평가’에서 4년 연속 리더 자리를 지키며 전 세계 오브젝트 스토리지 시장의 성장을 이끌고 있다. 지난 수십 년간 데이터 스토리지 시장에서 탄탄한 입지와 함께 업계 최고의 신뢰성을 자랑한다.

또한 경제성과 대규모 확장성을 기반으로 기존 애플리케이션을 지원한다. HCP는 이제 티어1 워크로드를 고속으로 지원하는 최적의 스토리지 솔루션으로 완벽하게 자리매김했다.

특히 HCP는 빅데이터 플랫폼 ‘펜타호’, 머신러닝 기반 데이터 카탈로그 솔루션 ‘루마다 데이터 카탈로그’, 루마다 데이터 옵티마이저 등 폭넓은 서비스를 포함한다. 민첩하고 가시적인 데이터 레이크 서비스를 제공하고, 머신러닝 분석을 통해 고객의 데이터 혁신을 지원한다.


댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.