데이터베이스(DB)의 변화로 ERP 등 전통적인 기업 애플리케이션에서도 변화의 바람이 시작됐다. 급변하는 비즈니스 환경에 대응해 활용해야 하는 데이터가 증가하고, 신속성이 강조되면서 대두되는 클라우드와 빅데이터라는 IT의 새로운 물결에 대응하기 위해 기업용 애플리케이션 시장도 변화가 시작되고 있다.
이러한 변화의 중심에는 인메모리 기술이 위치한다. 헤드가 디스크 표면을 읽는 기계식 방식인 HDD에 데이터를 저장해 활용하는 것이 아니라 반도체 기기인 메모리에 저장된 데이터를 활용함으로써 더 높은 효율을 달성한다는 것이 인메모리 기술의 원리다. 디스크보다 더욱 빠른 속도를 낼 수 있는 메모리를 활용함으로써 더 신속한 대응이 가능한 이점을 얻을 수 있다.
인메모리DB 본격 대두
다양한 정보를 논리적으로 엮고, 고도로 구조함으로써 검색과 갱신의 효율화를 얻을 수 있는 DB는 기업 IT에서 빠질 수 없는 핵심요소다. 특히 관계 기준으로 정보를 정의, 데이터 독립성을 확보하면서 동시에 관계 조작에 의해 자유롭게 분할, 결합을 수행할 수 있어 다양하게 활용될 수 있는 관계형 데이터베이스(RDBMS)가 등장한 이후 다양한 기업의 코어 애플리케이션과 연계되면서 기업 IT의 핵심으로 자리하고 있다.
손쉬운 정보 추가와 변경, 그리고 사용목적에 맞춘 자유로운 활용을 특징으로 RDBMS는 오랫동안 기업 IT의 핵심 애플리케이션의 위치를 차지해 온 RDBMS는 최근 강력한 도전에 직면해 있다. 바로 인메모리DB가 그것이다.
인메모리DB는 말 그대로, 디스크가 아닌 주 메모리에 모든 데이터를 저장하는 DB를 의미한다. 메모리단의 정보저장은 디스크와 메모리의 속도 차이 뿐 아니라 디스크에서 데이터를 읽어오는 과정까지 제거할 수 있어 데이터 검색과 비교, 분석에서 디스크 기반의 RDBMS에 비해 압도적 성능을 발휘한다. 하지만 HDD에 비해 고가의 메모리를 활용해야 하는 비용부담으로 인해 금융거래 등특별히 빠른 성능이 요구되는 일정 분야에만 활용되는 특수 DB로 인식됐다.
그러나 메모리 가격의 하락세와 더불어 이마켓플레이스의 전자 카탈로그 검색, 인터넷 게시판의 인덱스 검색 등 빠른 성능에 대한 요구의 확대에 따라 활용 범위를 넓히고 있다.
인메모리DB는 특히 빅데이터 시대를 맞아 각광받고 있다. 빅데이터에서 요구되는 신속한 분석을 위한 DB 형태로 주목받고 있다. 빅데이터 시대를 맞아 DB와 분석 기능의 통합이 화두가 되면서 보다 빠른 성능을 위해 금융거래, 과금 등 특정산업군에 국한된 인메모리DB의 활용 범위가 점차 확대될 것으로 예상된다.
SAP가 선보인 HANA가 대표적인 사례다. 미래 IT 핵심 기술 중 하나로 인메모리를 설정한 SAP는 인메모리 플랫폼인 HANA를 중심에 두고 비즈니스를 전개하고 있다. SAP HANA는 인메모리DB를 기반으로 방대한 양의 데이터를 실시간으로 검색하고 분석할 수 있는 기능을 제공하면서 빅데이터 수집, 분석 플랫폼으로서 자리매김하고 있다.
국내에서도 삼성전자가 ERP 등 핵심 경영 시스템의 분석 DB를 인메모리 기반의 HANA로 교체하는 등의 성과를 거두고 있는 상황이다. 삼성그룹은 2014년까지 삼성 ERP 일류화 프로젝트의 일환으로 신규 ERP 도입과 함께 기존 분석시스템을 인메모리DB 기반의 HANA로 교체하고 있다.
SAP에 따르면, 현재 SAP 매출의 10%가 HANA와 관련해 발생할 정도로 높은 인기를 누리고 있다. 또한 ERP에서도 HANA 적용을 계획하고 있어 ERP, DB 등 기업용 애플리케이션 시장에서 인메모리 전환을 가속화할 방침이다.
인메모리DB에서는 국산 DB 전문기업의 움직임도 예의주시할 요소다. 알티베이스, 리얼타임테크 등의 국산 DB 기업은 인메모리DB 시장을 개척하면서 오라클 등 DB 시장을 지배하고 있는 글로벌 DB 기업에 대항해 왔다. 인메모리에 대한 축적된 기술력이 국산 DB 업체를 주목하게 하는 요소다.
알티베이스는 국내는 물론 해외시장에서도 좋은 성과를 거두면서 인메모리 시대에 주목받는 DB 기업으로 부상되고 있다. 2000년 인메모리 기반의 DBMS인 알티베이스 1.0을 개발한 이후 알티베이스는 현재까지 2500여개 이상의 고객사를 확보하면서 인메모리DB 시장 개척자의 역할을 수행하고 있다.
2500여개의 고객사 중에는 중국, 일본 등 해외 시장에서 500여개 고객사가 포함된 성과로 더욱 눈길을 끈다. 이에 힘입어 알티베이스는 가트너의 ‘인메모리 DBMS 기업리포트’에 국내는 물론 아시아 기업 최초로 등재돼 높아진 위상을 보여줬다.
리얼타임테크도 인메모리 부분에서 상당한 기술력을 축적한 기업으로 최근 현대기아자동차, KT 등 국내 대기업에 인메모리DB를 공급하면서 주목받았다. 이외에도 통계청, 국토해양부, 대전시청, 경찰청 등이 리얼타임테크의 고객이다. 리얼타임테크가 강점을 보이는 부분은 공간정보 처리다. 실제로 현대자동차, KT의 사례도 교통정보, 지도제작 시스템 등 공간정보에 대한 것으로, GIS, LBS 등과의 결합 서비스에 두각을 나타내고 있다.
인메모리 기술 ‘격돌’
RDBMS의 강자인 오라클도 인메모리 시장에 적극 대응하고 있다. 보다 빠른 속도에 대한 시장의 요구에 대응하기 위함이다. 인메모리DB ‘타임스텐’을 선보였던 오라클은 지난해 초 OLTP 처리 성능 향상, 실시간분석, 오라클DB 11g와의 데이터 동기화와 통합 등을 강화시켜 타임스텐 11g R2라는 업그레이드 버전을 선보였다. 이어 4분기에는 인메모리 머신인 엑사데이터의 3세대 제품으로 ‘엑사데이터 X3 데이터베이스 인메모리 머신’를 소개했다.
오라클이 인메모리에 적극적인 대응을 보이면서 진정한 인메모리 기술에 대한 논란도 2011년 제기됐다. 오라클이 ‘오라클 오픈월드 2012’에서 SAP 인메모리 DB가 0.5TB 메모리 밖에 지원하지 않는다면서 메인메모리 4TB, 22TB 플래시메모리까지 합해 총 26TB의 메모리를 활용하는 엑사데이터의 우위를 강조한 것이 시발점이다.
이에 대해 SAP는 “HANA는 대량병렬처리(MPP) 기술을 통해 노드당 0.5TB, 최대 100TB까지 구성이 가능하다”고 반박하면서 “메인메모리가 아닌 플래시를 활용하는 것은 진정한 인메모리가 아니다”고 반박했다.
메인메모리 공간을 DB로 활용하면 디스크로의 질의응답 과정이 생략될 수 있는 반면, 플래시메모리로 활용은 기존 디스크를 플래시메모리로 대체한 것이여서 저장된 정보에 대한 질의응답 IO가 존재할 수밖에 없다. 이에 진정한 인메모리 기술이 아니라는 것이다.
이 부분은 SAP가 초기부터 강조해온 HANA의 차별화 요소다. 서울대학교 차상균 교수 실험실의 벤처기업인 티아이엠시스템을 인수하면서 확보한 기술을 기반으로 개발, 국내에서 더욱 화제가 된 SAP HANA는 개발 당시부터 메모리단에서 대용량 데이터의 처리를 목표를 설계돼 기존 DB와는 다른 방식으로 구동됨을 강조해 왔다.
HANA 이전의 인메모리DB는 기존 DBMS를 메모리상으로 이전한 것에 불과해 한계가 존재한다는 것. 이러한 범주에서 볼 때 메인메모리가 아닌 플래시메모리를 활용하는 기술은 진정한 인메모리 기술이 아니라고 SAP는 주장했다.
인메모리DB 전문업체로 위상을 쌓아온 알티베이스는 오히려 디스크와 메모리를 조화시킨 하이브리드DB를 선보이면서 시장공략에 나섰다. 인메모리DB가 성능은 뛰어나지만, 디스크에 비해 고가인 메모리에 기반함으로써 발생하는 부담을 줄이고, 보다 비용효율적인 데이터 관리를 구현하도록 하는데 초점을 맞춘 것이다.
알티베이스가 선보인 ‘알티베이스 HDB(Hybrid DBMS)’는 적용 업무의 특성과 액세스 빈도에 따라 데이터를 디스크와 메모리로 분류, 저장함으로써 높은 비용효율을 구현할 수 있다. 쓰임에 따라 데이터를 차별화하지만, 데이터 관리를 통합해 비용절감과 편의성을 동시에 구현할 수 있는 통합된 데이터 관리로 DBMS 중복 구매의 요인을 제거함은 물론 성능 향상 효과와 개발의 용이성까지 확보할 수 있다.
비정형데이터 처리 기술 ‘관심집중’
빅데이터 시대의 변화점 중 하나는 비정형데이터 처리 기술이다. 기존 DBMS는 정형데이터에 국한돼 있다. 하지만 수많은 데이터로부터 보다 가치있는 정보를 뽑아내려는 빅데이터 시대에는 비정형데이터의 중요성이 높아진다. 이에 빅데이터 분석을 위해 비정형데이터를 처리할 수 있는 기술이 2012년 주목받았으며, 2013년 시장 적용이 본격화될 것으로 전망된다.
대표적인 것이 바로 하둡(Hadoop)이다. 분산된 파일을 처리하는데 최적화된 하둡은 저장장치를 병렬로 연결시켜 데이터를 처리하도록 한 기술로, 별도의 스토리지가 필요 없어 대규모 데이터를 빠르고, 비용효율적으로 처리할 수 있는 장점이 있다. 하둡 외에도 비구조화된 데이터를 구조화하는 맵리듀스와 SQL을 사용하지 않고 대량 데이터를 빠르게 처리하는 NoSQL도 비정형데이터를 위한 빅데이터 기술이다.
하둡, NoSQL 등이 활용되는 빅데이터 시장은 고성장이 예상되는 분야다. IDC의 예측에 따르면, 일본을 제외한 아태지역에서 빅데이터 기술 및 서비스 시장은 2016년 17억6000만달러 규모에 이를 것으로 예상되고 있다. 연평균 46.8%에 달하는 고성장이 기대되고 있는 것이다. 이 가운데 빅데이터 소프트웨어는 연평균 44.4%의 성장을 이룰 것으로 IDC는 예상했다.
빅데이터와 관련해서는 데이터웨어하우스(DW), 비즈니스 인텔리전스(BI) 분야에서 발빠른 움직임을 보이고 있다. 비정형데이터 분석 기술과 대용량 데이터 처리 기술을 접목하고, 이를 분석함으로써 빅데이터의 가치를 끌어낼 수 있음을 강조하고 있는 것이다.
앞서 언급한 SAP HANA, 오라클 엑사데이터 등도 단순히 데이터저장소에서 그치는 것이 아니라 분석 기능을 결합해 빅데이터 분석을 수행, DW 용도로 활용될 수 있다. EMC의 ‘그린플럼’, IBM의 ‘퓨어데이터’, 테라데이타 ‘애스터 빅데이터 애널리틱스 어플라이언스’, SAS ‘SAS HPA’ 등이 빅데이터 분석 시장 패권 경쟁에 나서고 있다.
SAS HPA는 특허 출원중인 인메모리 분석 기술과 DB 내부에서 직접 분석로직을 실행하는 인데이터베이스 기술을 핵심으로, 더 빠르고 정확한 예측 결과를 장점으로 내세우며, EMC 그린플럼은 정형데이터와 비정형데이터를 상호 연계 처리하면서 대규모 병렬처리(MPP) 기능을 활용해 신속한 빅데이터 처리를 강조한다.
테라데이타 애스터 빅데이터 애널리틱스 어플라이언스는 최적화된 통합 어플라이언스에 오픈소스 아파치 하둡과 테라데이타의 기존 빅데이터 솔루션인 애스터를 함께 활용하도록 해 처리 성능을 강화했다. IBM은 온라인 트랜잭션 처리, 데이터 분석, 운영 분석 등을 나눠 구성함으로써 더 향상된 성능을 발휘한다고 말한다.
주목할 부분은 최적화된 어플라이언스 공급이 이뤄진다는 점이다. 최적의 어플라이언스 형태로 공급, 더 빠른 성능을 제공할 수 있다는 점에서 어플라이언스 형태의 공급이 주류를 이루고 있다. 또 SAP HANA의 경우, HP, IBM, 후지쯔, 델, 레노보, 시스코, 히타치, EMC, 넷앱 등의 서버, 스토리지 벤더가 SAP가 검증한 하드웨어에 소프트웨어 컴포넌트를 최적화해 결합해 공급하는 움직임까지 나타나고 있다.
동일한 하드웨어를 소프트웨어에 따라 다양하게 활용함으로써 비용효율성과 편의성을 높이는 ‘소프트웨어 정의(Software Define)’가 IT의 한 흐름임을 고려할 때 이러한 전용 어플라이언스의 등장과 대두는 사뭇 흥미로운 일이다.
빅데이터 바람 타고 DW 관심증가
인메모리 기술에 기반한 어플라이언스 솔루션은 인메모리DB의 역할에 더해 데이터웨어하우스(DW)의 역할도 동시에 수행한다. 오라클 엑사데이터나 SAP HANA의 경우, 분석 기능을 탑재해 DW 어플라이언스의 역할을 수행한다.
막대한 데이터에서 필요한 정보를 빠르게 추출, 비즈니스에 유용한 정보로 재가공하는 빅데터 이슈에 대응하기 위해서는 정보 저장소인 DB 성능이 높아져야 함은 물론 신속한 분석이 반드시 뒤따라야 한다. 즉 신속한 분석을 위한 강력한 DW가 요구되며, DW는 빅데이터 이슈에 힘입어 주목받고 있다.
IDC는 최근 보고서에서 빅데이터에 대한 관심 고조로 향후 5년간 전세계 비즈니스 분석 시장이 연평균 9.8%의 높은 성장률을 달성할 것으로 내다봤다. 2016년에 전세계 비즈니스 분석 시장은 507억달러에 이른다는 것이 IDC의 전망이다. IDC가 말하는 비즈니스 분석 시장은 DW, 비즈니스 인텔리전스(BI), 비즈니스 분석 등으로, 이 가운데 DW 시장이 가장 빠르게 성장한다는 전망이다.
