스마트폰, 태블릿, 노트북 등 다양한 기기에서 놀라운 속도의 멀티미디어 콘텐츠들이 생성되고 또 소비되고 있다. 이미지, 영상, 음성 등의 비정형 데이터들은 용량도 클 뿐만 아니라 구조화돼 있지 않아 기업들이 전통적인 스토리지에 저장하고 활용하기 어렵다. 그 대안으로 오브젝트 스토리지(Object Storage)가 조명 받고 있다. 이미 클라우드 서비스 업체들은 일찌감치 오브젝트 스토리지로 고객들의 다양한 데이터를 수용해 왔으며, 기업들도 차츰 비정형 데이터 관리·분석을 위해 오브젝트 스토리지로 눈을 돌리고 있다.
최근의 데이터는 이미지, 영상, SNS에서 오가는 대화들처럼 복잡하고 용량도 클 뿐만 아니라 구조화돼 있지 않아 빠른 검색이나 분석이 쉽지 않은 비정형 데이터들이 다수를 차지하고 있다. 오브젝트 스토리지는 해마다 급격하게 늘어나는 비정형 데이터를 안전하게 저장하고 관리하기 위해 등장한 방식으로, 스토리지 운영에 있어서 근본적으로 다른 접근 방식을 제공한다.
파일 스토리지가 데이터를 파일 규칙에 따라 관리하고, 블록 스토리지가 특정 영역과 구간을 나눠 데이터를 블록 단위로 관리하는 것과 달리, 오브젝트 스토리지는 파일에 대한 구체적인 정보를 포함한 메타데이터를 자동으로 생성/보관/관리한다는 특징이 있다.
기업들이 데이터베이스(DB)를 사용한다는 것은 필요한 정보를 추출해서 활용하기 위해서다. 그러나 비정형 데이터는 전통적인 레거시 스토리지로 관리하기가 어렵다.
영화 파일을 예로 들어보면 이용자들마다 해당 파일을 저장하는 방식이 다양한 것을 확인할 수 있다. 누군가는 영화 이름을 기준으로 저장할 수 있지만 다른 사람은 출시연도를 기준으로 저장할 수 있다. 또 다른 사람은 장르, 주연배우 등 자신만의 방법으로 파일을 저장하고 관리하게 된다. 기업에서도 마찬가지다. 제품 중심으로 가든지 날짜를 중심으로 가든지 각각 방법이 다르다.
이렇게 저장된 파일을 찾는 것 또한 일이다. 평소 자주 사용하던 파일이라면 그 위치를 기억해서 쉽게 찾아내겠지만, 그렇지 않은 파일이라면 저장된 위치를 일일이 찾아보거나 검색을 해야 한다. 만약 저장된 파일이 많지 않고 저장소 자체도 크지 않다면 금방 찾게 되겠지만, 개체 수가 많아지고 사이즈 역시 커진다면 이 또한 오랜 시간이 걸릴 수밖에 없다. 결국 어디에 저장하고 어떻게 꺼내야 하는지가 중요한데, 이를 쉽게 하고자 등장한 것이 오브젝트 스토리지다.
손쉬운 비정형 데이터 저장·관리
오브젝트 스토리지를 이용하면 데이터를 어디에 어떻게 저장할지를 고민하지 않아도 된다. 데이터는 스토리지 내 어딘가에 위치하게 되고, 해당 데이터를 사용하는 애플리케이션이 바로 찾아서 보여주기 때문이다. 또한 각 데이터들의 메타데이터를 태그처럼 활용해 쉽게 검색이 가능하다.
오브젝트 스토리지의 개념을 설명하기 위해 자주 이용되는 비유가 발렛 파킹이다. 일반적인 주차라면 운전자가 직접 주차장에 차를 주차시키고 해당 주차장의 위치를 기억해뒀다가, 차량이 필요하면 주차된 위치에 가서 이용하는 방식이다.
그러나 발렛 파킹은 담당자에게 키를 넘겨주고 확인 종이만 받으면 끝이다. 차량은 발렛 파킹 담당자가 알아서 주차시킨다. 차를 회수할 때도 담당자에게 확인 종이만 전달하면 발렛 파킹 담당자가 운전자에게 차를 가져다준다.
또 다른 예로 스마트폰을 들 수 있다. 스마트폰으로 직접 사진을 찍기도 하지만 인터넷에서 사진을 다운받기도 하고, 친구가 메신저를 통해 보내준 사진을 받기도 한다. 이들 사진은 스마트폰 저장소 내 각각 다른 공간에 저장되지만, 사진 앱을 실행시키면 모든 사진들을 앱 내에서 한 눈에 확인이 가능하다.
이처럼 오브젝트 스토리지의 가장 큰 특징은 파일 관리에서의 강점이다. 파일 태그를 객체화시켜 DB없이도 동영상이나 사진 등의 파일을 보관하고 불러올 수 있다. 특히 파일명이 아닌 메타데이터만으로도 DB처럼 검색이 가능하다.
EC 기술로 용량 절감…클라우드 시스템 최적화
비록 오브젝트 스토리지가 비정형 데이터 저장·관리에 최적화돼있다 하더라도 기본적으로 증가하는 데이터를 수용하기 위해서는 그만큼의 저장 공간을 필요로 한다. 아무리 스토리지 비용이 저렴해졌다 하더라도 폭증 수준의 데이터를 수용하기에는 비용과 공간 문제가 발생하게 된다.
기본적으로 오브젝트 스토리지는 블록 단위로 저장하는 SAN이나 파일 단위로 저장하는 NAS와 달리 별도의 통신 방식 없이 HTTP 또는 레스트풀(Restful) API를 통해 데이터에 접근하며, 대용량 저장을 위한 스케일-아웃(Scale-Out) 구조로 손쉬운 확장이 가능하다. 이에 더해 이레이저 코드(Erasure Code, 이하 EC) 기술로 데이터 용량 절감을 구현, 적은 용량으로도 많은 데이터를 수용할 수 있도록 한다.
EC 코드는 정보분산알고리즘(Information Dispersal Algorithm)으로, 스토리지에 저장된 데이터를 쪼개 논리 디스크에 분산 저장시키는 기술이다. 이 때 쪼개진 데이터는 복제된 더미(Dummy)도 포함하고 있어 때문에 일부가 소실되더라도 원 데이터를 이용하는 것에는 문제가 없다. 또한 데이터 자체를 복제해서 보관하는 것이 아닌 분할 보관하기 때문에 실제적으로 소요되는 물리 디스크도 적게 든다는 장점이 있다. 이는 곧 비용 절감뿐만 아니라 데이터 가용성을 높이는 역할까지 수행한다.
뿐만 아니라 오브젝트 스토리지는 멀티-테넌시(Multi-Tenancy) 기능이 제공되기 때문에 여러 사용자 그룹의 데이터를 별도로 운영할 수 있다. 이 같은 특징들을 보면 오브젝트 스토리지는 클라우드 시스템에 최적화돼 있다는 것을 확인할 수 있다.
실제로 오브젝트 스토리지를 가장 잘 활용하고 있는 곳은 클라우드 서비스 업체들이다. 아마존웹서비스(AWS), 마이크로소프트 애저(MS Azure) 등은 이미 오브젝트 스토리지로 서비스를 제공하고 있으며, 페이스북, 카카오톡 등 콘텐츠 서비스 업체들도 고객들의 대용량 비정형 데이터를 수용하고자 오브젝트 스토리지를 구축해 서비스하고 있다.
엔터프라이즈로 점차 확대되는 시장
비록 오브젝트 스토리지가 클라우드 기업들에서 활용되기 때문에 최신 기술이라 여길 수 있지만 실제로 등장한 지는 이미 10여 년이 넘었다. 국내에서도 2000년대 중반부터 제품 판매가 이뤄졌지만, 당시에는 DB를 비롯한 정형 데이터를 저장·분석하기 위한 수요가 많았기에 상대적으로 주목받지 못했다. 이후 IT 기술의 발전과 더불어 빅데이터·클라우드 시대를 맞이하면서 점차 쓰임새가 많아지기 시작했다.
업계에 따르면 초기에는 클라우드 기업들이 주로 오브젝트 스토리지를 활용했지만, 이제는 일반 엔터프라이즈에서도 오브젝트 스토리지 도입을 시도하거나 검토하고 있는 추세다. 이 같은 조짐은 미디어 서비스를 하는 방송국 등에서 두드러진다.
SD, HD, FHD를 넘어 4K라 불리는 UHD 콘텐츠까지 등장하면서 데이터의 양은 수십 배가 증가했다. 한 번 쓰고 폐기하는 것이 아닌, 장기 보관도 필요하기 때문에 이들 데이터를 기존 디스크에 수용하려면 아무리 스케일-아웃 구조로 확장한다 해도 많은 비용이 드는 것이 분명하다. 이에 미디어 기업들이 늘어나는 비정형 데이터의 수용을 위해 오브젝트 스토리지를 도입하고 있다.
이와 더불어 오브젝트 스토리지는 생체인식 및 사물인터넷(IoT)과 같은 신기술이 엔터프라이즈 시스템 및 클라우드 인프라 환경에 미칠 영향을 고려해야 하는 클라우드 아키텍트들에게도 많은 관심을 얻고 있다. 현재 클라우드 운영자들은 개별 서버의 구성 및 처리량보다는 데이터센터의 큰 그림에 초점을 맞추고 있다. 이에 해당 기업들은 데이터센터 및 클라우드 운영에 앞서 기업 시스템에 대한 로드맵을 수립해야 하면서 차세대 애플리케이션 서비스와 IT 인프라를 위해 가용성과 효율이 높은 오브젝트 스토리지를 고려하고 있다.
이밖에도 엑스레이(X-ray) 등 이미지들을 다수 보유한 병·의원, 각종 계약 기록 원본 등을 스캔해서 전자문서화 한 공공·금융 등 다양한 산업군에서도 오브젝트 스토리지에 대한 검토가 진행되고 있다.
시장조사기관 IDC에 의하면 전 세계 스케일-아웃 기반 오브젝트 스토리지 시장은 연평균 8.7%의 성장이 예상되며, 2020년에 이르러 198억 달러(약 22조 원) 규모의 시장을 형성할 것으로 보인다. 이처럼 시장이 점차 확대되자 업계에서도 이에 대응하기 위해 새로운 제품과 서비스를 내놓는 등 분주한 모습을 보이고 있다.
