마켓 트랜드 데이터 통합·품질 관리

기업 경쟁력 넘어 생존력 좌우

MDM· RTDW 화두로 … 기업인식 향상 중

기업 자산 중 가장 기본이 되는 요소는 매 시간 수시로 쏟아져 나오는 데이터라 할 수 있다. 비즈니스를 하는데 있어 오랜 기간 쌓인 데이터를 유용한 정보로 변환하는 행위는 이제 경쟁력을 넘어 생존 관건으로 떠오른 지 오래.
하지만 데이터를 모으고 올바른 정보를 뽑아내는 과정은 쉬운 일이 아니다. 특히 오랜 역사를 지닌 기업일수록 데이터의 복잡성은 커져 BI(비즈니스 인텔리전스)나 DW(데이터웨어하우스) 프로젝트에서 데이터 통합과 정제 등 과정에서 많은 예산과 체력이 소모되고 있다.
이 때문에 기업들은 데이터 통합과 이를 넘어 데이터 품질 관리에 대해 애써 외면하려 했지만 자사의 데이터 관리에 대해 직시하지 못해 때로는 막대한 손해를 입거나, 암암리에 손실 입는 경우가 심심치 않다는 인식이 상승하면서 데이터 관리에 대한 요구는 정점에 달해 있다. 데이터 통합· 품질관리 시장현황을 살펴본다. | 송지혜 기자·song@datanet.co.kr |

데이터 관리는 기업 운영에 있어 기본이다. 레거시, 메인프레임 시스템, 인하우스 애플리케이션, ERP 등 여러 시스템과 애플리케이션에서 수시로 생성되는 수많은 데이터들은 기업 경쟁력 성패를 가르는 요소 중 하나이기 때문이다.
그러나 이것들은 모이고 정제되지 않은 한 그저 의미 없는 기호에 불가하다. 게다가 여러 애플리케이션에 중복된 채 있는 데이터, 업데이트 되지 않은 부정확한 데이터, 곳곳에 산재된 데이터는 기업에 막대한 손실을 입히는 골칫거리가 되기 일쑤다. 여기에 기업 간 인수 합병이라도 일어나면, 주요 데이터에 대한 통합은 넘어야할 산으로 대두된다. 최근 한 조사에 의하면 데이터 통합과 품질관리 소홀로 인한 기업의 손실은 기업 예산이나 매출의 10~30%에 이른다고 나타났을 정도다.
과거 90년대 중반부터 기업들은 DW 구축을 시도하며 우선적으로 데이터 통합에 대한 열망을 표출했다. 하지만 기술적인 어려움과 알게 모르게 일어나는 기업 부서간 알력으로 기대한 만큼의 성과가 나오기 어려웠던 것.
이제 90년대부터 투자해온 ERP, CRM 등 여러 애플리케이션과 IT인프라를 제대로 활용하기 위해서 데이터 통합과 품질관리는 피할 수 없는 과제가 됐다.

컴플라이언스 위한 데이터 통합· 품질관리 대두
2000년대 들어 대규모 DW 리모델링과 재구축, CRM에 대한 새로운 시도들은 기업들이 현재 무엇을 원하는 지를 대변한다. 한 관계자는 “데이터는 이 기종의 다양한 환경에서 다른 형식으로 작성되고 요구 사항과 지리적 위치도 매우 다양하다”면서 “단일 뷰로 한 개 버전의 사실 데이터를 보는 게 기본이자 목표”라고 전제했다.
최근에는 DW 리모델링으로 인한 고도화 작업과 함께 데이터 품질 관리에 대한 관심이 증폭되고 있어, 업계는 데이터 통합과 더 나아가 데이터 품질 관리라는 화두에 맞게 발 빠르게 움직이고 있다.
표면적으로 보면, 데이터 통합은 단순한 절차를 거친다. 여러 시스템과 소스에서 데이터를 추출해 적절한 데이터 스토어로 로딩한 다음, 분석 및 보고용으로 사용하는 게 대부분 기업에서 활용하는 방식. 이 과정에서 ETL(데이터 추출, 변환, 로딩), DW, OLAP(온라인 분석 처리) 등의 기술이 사용된다.
간단해 보이지만 관계자들이 말하는, 가장 손품이 많이 들어가고 쉽지 않은 작업 또한 데이터 통합이다. 대표적으로 DW·BI 프로젝트에서 데이터 통합 단계에서 들이는 자원과 시간이 전체 프로젝트의 70% 이상을 소모하고 있는 게 현실이다.
이와 같은 문제가 생기는 기술적인 이유에 대해 전문가들은 데이터의 다양한 경로를 든다. 최근 OLTP(Online Transaction Processing) 데이터 수집뿐만 아니라, 그 이전 단계, 웹 클릭이나 RFID와 같은 데이터 수집 또한 확대돼 가고 있어 데이터 경로에 대한 고려 사항이 확대되고 있는 것. 또 데이터베이스 및 텍스트 파일 등 기존 소스와 형식뿐만 아니라 웹 서비스 같은 인터넷 기반 소스에서도 데이터가 제공되기 때문에 막상 들춰보면 복잡한 양상을 띠고 있다.
즉, ▲ 다양한 형식의 여러 가지 소스 ▲ 정형, 비정형, 반정형 데이터 ▲ 다른 시간에 도착하는 소스시스템의 데이터 공급 ▲ 대용량 데이터 처리 ▲ 적시성 등이 해결해야 할 문제인 것이다.
또 하나의 과제는 올바른 데이터 획득, 즉 데이터 품질관리 부문이다. 특히 최근 금융권을 비롯한 기업들이 여러 가지 컴플라이언스를 준수하기 위해 데이터 품질 관리가 필수로 대두되고 있어 이에 대한 관심이 증폭되고 있는 것도 주목할 만한 현상이다.

차세대 프로젝트 중심으로 논의 활발
고객관리, 컴플라이언스 준수 등을 위해 차세대 프로젝트가 연이어 발생하는 있는 시점에서 SI, 컨설팅, 벤더들은 다양한 방법론을 내세우며 시장 선점에 열을 올리고 있다. 대표적으로 기존 DW나 DM을 업그레이드하거나 새로 구축하는 EDW(전사적 데이터 웨어하우스) 프로젝트를 들 수 있다.
DW는 90년대 중반 데이터 통합과 의사결정을 위해 도입되기 시작했다, 목적과 기능 특성상 관건은 항상 대용량이었고 이에 따라 병렬처리와 인덱스 처리, 데이터 파티셔닝 등이 부각되며 국내 많은 금융권과 대기업에서 도입했다.
그러나 2000년대 이후에는 더 까다로운 시장 상황과 경쟁력 심화로 업그레이드된 EDW 구축이 생겨나기 시작해 포커스도 대용량뿐만 아니라 데이터의 적합성, 정확성, 적시성이 우선시 되고 있는 상황이다.
한 업계 관계자는 “90년대 구축된 DW 프로젝트는 시간이 지날수록 그 성능이나 활용면에 있어 문제가 되고 있다”면서 “특히 시스템 활용 초기 단계에서 제공되던 응답시간이 시간 경과에 따라 급격하게 지연되고 있어 시스템 담당자들은 추가적인 비용을 통한 하드웨어의 확장, 대상 업무 범위과 상세 데이터의 축소, 사용자의 접근 제한 등으로 성능상의 문제점을 해결하려고 시도해 DW의 활용이 급격히 떨어지는 경우가 많았다”고 언급했다.
이러한 문제점을 해결하고 기업 경쟁력을 높이기 위해, 최근에는 DW 프로젝트에 적시성을 가미한 실시간 데이터웨어하우스(RTDW) 구축에 대한 관심이 증가하고 있다. 지난 1990년대 중반부터 DW/DM(데이터마트) 구축과 함께 BI 솔루션을 구축했던 기업들이 기존 DM 중심으로는 데이터 관리에 어려움을 겪자, 전사적인 EDW와 함께, 적시성과 실시간 개념이 보강된 프로젝트 구축을 시도하고 있는 것.
금융권 등을 중심으로 실시간 개념이 도입된 DW 차세대 시스템 구축이 발생하면서 전문 벤더들의 채비도 바빠지고 있다. 대표적인 솔루션 벤더로는 DB, BI, DW 벤더로 이들은 주력 솔루션에서 점점 영역을 넓혀가며 경쟁이 심화되고 있는 상황이다.
SAS코리아, 비즈니스오브젝트코리아, 코그너스 등 BI 업체와 영역확장에 나서고 있는 SAP코리아, 한국오라클, 한국IBM, 한국NCR테라데이타, 인포매티카코리아 등 다양한 방면의 벤더들이 각자의 솔루션과 컨설팅 능력을 앞세우고 있어 시장은 복잡한 양상을 띠고 있다.

ETL 성능이 성패 좌우
최근 데이터 관리에 있어 가장 주목받고 있는 단어는 단연 ‘품질 향상’이다. 부정확한 데이터는 중요한 비즈니스 결정에 막대한 악영향을 끼친다는 인식이 향상됐기 때문이다. 게다가 요즘 요구되고 있는 여러 컴플라이언스 준수 등은 질 낮은 데이터를 바탕으로는 이룰 수 없는 과제. 이제 문제는 데이터 통합보다는 품질이라는 소리다.
그 동안 기업들은 시스템 위주로 막대한 IT 투자를 감행해 왔지만 데이터 자체에 대한 인식은 높지 않았다는 게 관련 업계의 목소리다. 현재는 금융과 대기업을 중심으로 관심이 일고 있지만 이외 분야에서는 전무하다는 우려의 목소리도 있다.
한 관계자는 “질 낮은 데이터로 인해 발생하는 고객 불만, 소송 등은 평균 매출의 25~30%에 이른다는 조사 결과가 있다”라며 “한번 고객을 잃으면 다시 찾기 어려운 만큼 부정확한 데이터로 인한 손실은 실로 막대한 것”이라고 주장했다.
일반적으로 데이터 배치, 정제 과정은 ETL 과정에서 일어난다. ETL은 단순히 데이터 배치 처리를 담당하는 툴이 될 수도 있지만 데이터 정제에서부터, 메타데이터 관리까지 포함한 지속적인 데이터 품질 관리를 일컫기도 한다.
최근 데이터 관리는 ETL 작업인 데이터 정제, 프로파일링을 통한 품질 관리에서 데이터 표준화, 메타데이터 관리 등으로 접근하고 있다. 특히 ETL 과정은 BI 프로젝트시 60~70%를 차지하는 작업임을 감안하면 솔루션 성능과 컨설팅 능력에 따라 기간과 결과가 좌우된다.
데이터 정제는 데이터 품질의 전초 단계로 중요한 역할을 수행하는데 최근에는 정형 데이터에서 비정형 데이터 정제도 지원한다. 데이터 프로파일링은 데이터값 누락, 관련 항목간의 상관성을 분석하고 분석결과를 다양한 뷰로 보여주는 과정으로 불완전한 데이터 정의와 관계없이 데이터 자체로부터 품질 평가를 하는 과정이다.
특히 데이터 품질 관리 활동인 DQM(Data Risk Hed ging)과 메타데이터 관리에 대한 관심도 높아지고 있는데, 이는 대규모 EDW에 앞서 선행되는 데이터 품질관리 일환이다. DQM은 기업의 전사적 데이터 흐름에 있어 발생할 수 있는 리스크를 줄이기 위한 전반적인 활동으로 데이터 품질관리의 과정을 일컫는다.
또한 메타데이터 관리란 각종 프로젝트와 애플리케이션을 통해 생성된 데이터에 통일성과 단일성을 부여하는 작업을 말한다. 한 관계자는 “통계적으로 기업의 데이터는 평균적으로 10.8배 중복돼 있다는 것으로 나타났다”며 “아무리 좋은 시스템을 보유하고 있어도 중복되고 잘못된 데이터를 모아 만든 리포트는 신뢰할 수 없으며, 비즈니스 실패를 초래하는 원인이 된다”라고 강조했다. 기업 데이터 대부분은 같은 내용을 담고 있는데도 불구하고 다양한 형태의 데이터 타입과 종류, 길이, 지시하는 명칭 등이 제각기 다른 형편이라는 것. 메타데이터 관리란 이렇게 데이터베이스 등에서 중복돼 관리돼 온 데이터를 하나의 뷰로 관리하는 기술을 말한다.
대체적으로 데이터 품질 관리는 이런 여러 과정을 거쳐 수행되고 다듬어진다. 관련 업계는 아직 국내 데이터 품질 관리 시장이 초기 수준을 벗어나지 못하고 있다고 판단하고 있다. 관계자들은 ERP, CRM 등 대규모 투자를 일궈낸 후 현재 시점에서 데이터 품질관리로 저급한 데이터로 인한 효용 저하와 손실을 막을 때라고 주장하고 있다.

MDM 시장 새롭게 ‘주목’
데이터 품질 관리의 일환으로 최근 주목받는 기술은 MDM(마스터 데이터 관리)다. 마스터 데이터란 상이한 시스템 간의 커뮤니케이션을 위한 데이터로, 여러 프로세스에서 사용되는 공통의 주요 정보를 일컫는다.
기업의 데이터는 크게 세 가지로 나눌 수 있다. 시스템 환경 설정에 해당하는 커스터마이징 데이터, 구매발주·수주· 대금 청구 등 트랜잭션 데이터, 마지막으로 고객·공급업체·직원·제품 등 고유한 코드체계로 오랜 기간 변하지 않는 데이터 등이다. 이중 마지막 데이터를 마스터 데이터라 한다.
즉, 기업 비즈니스의 핵심요소인 고객, 공급자, 제조 협력사, 제품, 지역 또는 사무서, 직원 등에 관한 데이터를 의미하는데 그동안 이러한 중요한 데이터가 기업내에서 상이한 형태로 산재돼 있다는 문제가 야기돼 왔다. 최근 들어 대기업을 중심으로 논의되고 있는 부문이 마스터 데이터를 관리하고 지원하는 MDM이다.
박범순 SAP코리아 마케팅 팀장은 “ERP는 마스터 데이터를 중심으로 업무 프로세스를 처리하지만 CRM, SCM, SRM 등 확장 ERP 애플리케이션이 확산되면서 모든 업무 거래의 기준이 되는 마스터 데이터가 각 애플리케이션 별로 차이가 생겼다”면서 “예를 들어 구매 본부에서 특정 공급업체와의 거래량을 종합하고 이를 토대로 자사의 구매력을 결정해야하는 경우, 제품 정보는 물론 구매 이력 정보 등이 여러 시스템에 분산돼 있고 서로 다른 코드 체계로 중복 관리되는 경우가 많아 현황파악이 어렵다”고 언급했다.
한편 장윤정 한국IBM 기술영업팀 차장은 “이미 각 응용 프로그램에 맞도록 사용되는 마스터 데이터들은 전사적으로 중복돼 있거나 단일 뷰를 통해 관리되지 못하는 문제점이 있어 마스터 데이터 통합 관리 필요성이 떠오른 것”이라고 밝혔다.
이에 따라 마스터 데이터를 한 곳에 모아 중앙 집중식 리포팅을 구현하고 상위 레벨 데이터를 공유, 조율하는 마스터 데이터 통합 관리가 대두되고 있다. 이는 SOA(서비스 지향 아키텍처)를 실현하는데도 필수적이라는 게 관계자들의 말이다.
이런 MDM 시장은 주목을 받기 시작한지 얼마 되지 않아, 데이터 통합에서 블루오션 시장으로 떠오르고 있다. 최근에는 한국오라클, 한국IBM, SAP코리아, 비즈니스오브젝트코리아 등이 시장 선점을 위해 뛰고 있다.
한국오라클은 ‘데이터 허브’ 전략을 펼치고, 한국IBM은 어센셜 ETL 제품과 IBM WPC 등으로 MDM 구현에 나선다. SAP코리아 역시 자사의 넷위버 통합 플랫폼을 제공하며 SAP MDM 솔루션을 지원한다. 비즈니스오브젝트코리아는 자사의 EIM(전사적 정보 관리)의 일환으로 MDM 솔루션을 제공하고 있다.
MDM 시장은 대기업을 중심으로 구현에 관심을 일고 있는 상황으로 향후 경쟁이 심화될 부문으로 지목되고 있다.

BI벤더, 통합전략으로 선공
데이터 통합과 품질관리에 있어 적극적인 공세를 보이는 곳은 BI 벤더들이다. 이들은 기존 ETL 영역에 있어서의 노하우로 데이터 통합과 품질 관리를 비롯해, 전체적인 BI 영역을 통합 플랫폼으로 제공하겠다는 전략을 펼치고 있다.
대표적으로 SAS코리아와 비즈니스오브젝트코리아, 코그너스 등을 들 수 있다. 이들은 통합 플랫폼 로드맵을 내세우며 이 가운데서 데이터 통합에서의 자신감을 보이며 신발끈을 조여매고 있는 중. 특히 최근에는 데이터 품질 관리에 대한 제품보강에 힘쓰고 있는 모습이다.
SAS코리아는 DI(데이터 인티그레이션) 서버로 엔트 투 엔드 지원을 강화하고 있다. 특히 SAS는 지난 2003년 인수한 데이터 품질관리 솔루션 데이터플럭스(Data Flux)로 품질관리를 지원한다. 이는 데이터 프로파일링, 분석, 표준화, 매칭 기능을 제공해 데이터에 대한 표준화와 테이블간 주요 키(Primery Key)에 대한 분석 등으로 표준화를 진행하며 지속적인 데이터 노하우를 축적해 나갈 수 있다.
또한 기존 EAI(기업 애플리케이션 통합)과의 강한 연동을 위한 MOM(메시지 오리엔티드 미들웨어) 기술로 RTDW를 지원한다는 방침이다.
이외에도 SAS코리아는 DI 통합솔루션으로 ETL, 데이터 품질관리, 메타데이터 통합기능과 권한관리, 소스타깃 영향도 분석 등을 모두 지원해 DI분야에서 두각을 나타낸다는 전략이다.
지난해 금융권 컴플라이언스 분야에서 레퍼런스를 쌓은 SAS코리아는 리스크관리 DW 프로젝트 등에서 성과를 거두기 위해 영업 중이다.
SAS코리아 관계자는 “SAS의 DI 솔루션은 BI 영역을 확보하는 탄탄한 기본 인프라스트럭처를 제공하고 특히, ETL 개발 공수를 줄일 수 있도록 도와준다”며 “데이터 품질관리 수행을 통해 데이터를 정보로 정보를 인텔리전스로 진화하는데 탄탄한 바탕을 제공하고 있다”라고 밝혔다.
비즈니스오브젝트코리아 역시 통합 플랫폼 정책을 쓰고 있는 가운데, EIM(전사 정보 관리)을 내세우며 데이터 통합과 품질관리에 나서고 있다.
특히 비즈니스오브젝트코리아는 ETL 프로젝트에 있어 컴포저(Compser) 제품을 선보이고 있다. 이는 DW 구축에 있어 60% 이상을 차지하고 있는 데이터통합을 용이하게 수행하기 위한 도구. DW 구축 프로젝트에서 데이터를 획득하고 관리 진척시키는 웹기반 툴로 ETL 개발 작업을 위한 디자인, 적용 및 스마트 다큐멘테이션 등을 제공해 개발자의 생산성을 높이고자 한다.
비즈니스오브젝트코리아 관계자는 “컴포저는 개발자 생산성과 시스템 확장성이 뛰어나 비즈니스오브젝트의 데이터 통합 플랫폼인 데이터 인티그레이터를 보완하는 제품으로 ETL 설계, 적용 및 유지보수와 관련된 프로세스를 효율적으로 관리할 수 있게 하는 유일한 솔루션”이라고 강조했다.
이외에도 비즈니스 오브젝트코리아는 빠르게 DW나 DM을 구축할 수 있도록 해주는 래피드마트(Rapid Mart)와 데이터 페더레이트(Data federate), 메타데이터 매니저 등으로 통합 솔루션을 보유, 시장에 어필한다는 방침이다.
SAP코리아는 기존 ERP 강자에서 BI 분야로도 영역을 확장하면서 자리매김을 하고 있다. SAP는 자체 통합 플랫폼인 넷위버를 바탕으로 SAP 데이터웨어하우스인 BW 등으로 시장에서 어필하고 있다.
SAP의 BW는 특히 자사의 ERP 시스템을 위한 데이터웨어하우스로 SAP는 이를 토대로 한 BI 솔루션을 제공하고 있다. 이를 통해 SAP코리아는 SEM(전략기업 경영)과 다양한 분야에 걸친 애널리스틱 제품과 비정형 데이터 통합을 위한 KM(지식관리)솔루션을 제공하고 있다.
특히 SAP코리아는 마스터 데이터 관리를 위한 SAP MDM 솔루션을 제공, 시장 선점에 나섰다. SAP코리아 박범순 부장은 “최근 구매 효율화와 전략적 공급자 관리를 목표로 하는 SRM 분야를 필두로 MDM이 확산되고 있다”면서 “이는 막연한 기술로써가 아니라 실제 업무 개선 효과를 제공하는 기술 적용이라 의의가 있다”라고 밝혔다. 그는 또한 “마스터 데이터를 중심으로 공급업체, 제품 등의 통합이 진행될 것”이라고 덧붙였다.
SAP코리아는 향후 MDM 시장이 제품 데이터와 공급업체 데이터, 고객 데이터 통합(CDI) 등을 주축으로 점차 확산될 것으로 보고, 시장 선점에 역량을 기울인다는 전략이다.

DB 벤더들 공세
한국IBM, 한국오라클 등 기존 DB 벤더들은 OLTP 영역뿐만 아니라 DW, BI 등을 포함한 영역 보강과 통합 전략으로 나가고 있다.
한국오라클은 지난해 ‘데이터 허브(Data Hub)’ 전략을 데이터 통합과 품질관리 시장에서 선보이고 있다. 오라클의 데이터 통합 솔루션인 데이터 허브는 데이터 품질 관리를 통해 정보를 표준화하고 최신 데이터 공유로 기업 경쟁력을 키운다는 전략 하에 만들어진 기술로 일종의 MDM 솔루션이다.
현재 한국오라클이 주력하고 있는 제품은 고객 데이터허브(Customer Data Hub)로 고객에 관련한 모든 정보를 모아놓고 공유하는 시스템이다. 이 제품이 내세우는 강점은 우선 정보의 적시성 제공이다. 이는 서로 다른 시스템들을 하나의 인터페이스를 통해 정보를 공유하게 하고 기업 정보의 전사적 단일 뷰를 확보하고 있다.
또한 ‘Hub&Spoke’ 전략을 내세우며 정보 흐름의 양방향성 제공을 지원한다는 전략으로 이를 위한 규칙 기반 데이터 정제, 관리 기능 솔루션을 지원한다. 한국오라클 관계자는 “데이터 허브가 제공하는 서비스 중 가장 강조하고 싶은 기능은 정보의 양방향성과 전사 정보공유 환경 구축”이라고 밝혔다. 오라클이 제시한 데이터 통합과 품질관리 단계를 살펴보면 데이터 중앙 통합, 데이터 품질향상, 데이터 동기화, 단일 뷰 제공으로, 이를 통해 전사적인 기업 데이터 통합과 관리에 있어 앞서나간다는 방침이다. 오라클은 향후 금융권을 중심으로 데이터 허브 솔루션을 어프로치 해 나갈 계획으로, 특히 CDH에 주력한다는 전략이다.
한국IBM은 인포메이션 인프라스트럭처(Information Infrastructure)로 전사적인 데이터 통합 뷰를 제시한다. 특히 IBM은 지난해 대표적인 데이터 통합 업체인 어센셜소프트웨어를 인수하며 데이터 통합 시장에서 두각을 나타내고 있다.
한국IBM은 기존 보유하고 있는 여러 솔루션으로 데이터 통합을 제시하고 있다. 데이터 복제는 웹스피어 인포메이션 인티그레이터, 데이터 품질관리, 정제, 표준화는 어센셜의 데이터스테이지 제품군을 지원한다. EDW·BI 프로젝트에는 웹스피어 데이터스테이지 등 웹스피어 제품군을 제공한다.
MDM 제품군은 웹스피어 커스터머 센터, 퀄러티스테이지 등을 사용, 기업 마스터 데이터에 대한 통합관리를 지원한다. 한국IBM 장윤정 차장은 “애플리케이션뿐만 아니라 데이터 관리에 있어서도 SOA를 바탕으로 한 IBM의 지원 정책에는 변함이 없다”면서 “SOA 기반하에 인포메이션 아키텍처를 구현하며 데이터 통합 시장에서 우위를 지켜나갈 것”이라고 강조했다. 특히 한국IBM은 웹스피어와 어센셜 제품군으로 MDM을 구현해 나간다는 방침이다.
한국마이크로소트는 포괄적인 ETL 제품인 SSIS(SQL 서버 인티그레이션 서비스)을 소개하고 있다. 이는 SQL 서버 BI 플랫폼의 일부로 DW 로딩을 위한 ETL 솔루션이다.
SSIS는 파이프라인 아키텍처를 내세운다. 이는 데이터가 메모리로 로딩 되면 해당데이터의 행 세트를 빠르게 처리하는 버퍼 중심의 아키텍처를 일컫는다.
한국마이크로소프트 측은 “이러한 접근 방법은 특정 변환이나 작업상의 요구 사항이나 하드웨어가 장애요인이 되는 경우에도 데이터 스테이징 없이 단일 작업으로 ETL 프로세스의 변환 단계를 수행한다”고 밝혔다.
한국마이크로소프트는 지난해 말 SQL 서버로 BI 시장 공략을 공연한 바 있으며, SSIS는 BI 전략의 일환인 기술이다. 데이터 통합을 실현하는데 있어 SSIS의 불필요한 스테이징 작업 배제, 단일 파이프라인 작업으로 그동안 실용적이지 못했던 기존 아키텍처와는 상반되는 아키텍처를 갖췄다는 전략을 내세우고 있다.

특화 솔루션으로 공략
DW용 DB 전문 벤더 한국NCR테라데이타는 RTE를 위한 (준)실시간 DW 구축으로 시장 확장에 나섰다. 한국NCR테라데이타는 하이엔드용 DW로 고성능을 요구하는 엔터프라이즈 시장을 대상으로 마케팅을 펼치고 있다.
특히 NCR테라데이타는 각 산업별 논리 데이터 모델(Logical Data Model)에 기반한 DW 구축방법론으로 데이터 통합을 수행하고 있다. 논리적 데이터 모델이란 비즈니스 규칙을 도식적으로 표현해, 기업에서 관리할 가치가 있는 실체와 사실, 관계를 파악하는 것을 말한다.
이로써 NCR테라데이타는 계정계 모델에 의존적이지 않은 독립적인 EDW 데이터 모델로 DW, DM, 정보계 업무의 모델 변경을 최소화한다는 방침으로 시장에 어필하고 있다.
김희배 한국NCR테라데이타 차장은 “각 부서별로 연관성 없는 DW/DM들은 데이터 중복뿐만 아니라 프로세스조차 중복시켜 비효율을 초래했다”며 “대부분 대기업이 가진 데이터 저장소가 10개에서 70여개에 이르고 하나당 자원비용이 10~30억원이라는 점을 감안하면 막대한 비용이 낭비되고 있는 것”이라고 말했다. 이어 그는 “이러한 중복 데이터 관리를 지양한다면 비효율성은 50% 이상 절감시킬 수 있을 것”이라고 덧붙였다.
이에 따라 한국NCR테라데이타는 초병렬처리 MPP 시스템을 갖춘 중앙집중형 테라데이터 웨어 하우징으로 금융권을 비롯한 대기업 시장을 대상으로 마케팅을 강화하고 있다.
ETL·데이터품질관리 솔루션업체 인포매티카코리아는 ICC(Integration Competency Center) 방법론으로 프로세스, 기술, 조직을 아우르는 방안을 제시한다. 또한 비정형 데이터를 비롯해 메인프레임, AS400과 같은 레거시 시스템, SAP/R3, BW, 피플소프트, 오라클 E-business 스위트와 같은 ERP시스템, EAI, RDBMS, 여러 가지 애플리케이션에 대한 커넥티비티(connectivity)를 지원한다.
인포매티카코리아 복미선 과장은 “비즈니스 요구 사항을 지원하기 위한 IT 인프라 구축시 각기 다른 추진 주체가 개별적인 방법론과 솔루션을 사용할 경우 향우 데이터 통합은 더욱 어려워지며 비용은 점점 커지게 된다”며 “이러한 상황을 극복하기 위해서는 일관된 방법론과 솔루션을 사용하고 다양한 형태로 존재하는 이기종 데이터에 대한 접근 기술, 플랫폼 중립적이며, 서비스 지향적 기술이 필요하다”라고 밝혔다.
인포매티카코리아는 인포매티카 파워센터(Informatica PowerCenter), 인포매티카 파워익스체인지(Informatica PowerExchange) 등을 통해 실시간 데이터 추출을 지원하며 ERP, 메인프레임 등에서 실시간으로 변경 데이터를 추출 제공하는데 가장 앞서나감을 강조한다.
인포매티카코리아는 삼성전자, ING생명, 스마트카드, 이마트, 한국전력공사, 삼성생명, 현대증권, 롯데카드, 삼성제일모직, 한국도로공사, 동부화재, 대웅제약, 서울아산병원, 근로복지공단, 감사원 등의 레퍼런스를 보유하고 있다.
한국CA는 메타데이터 관리 제품으로 주목을 받고 있다. CA의 올퓨전 리파지토리 제품군으로 메타데이터 관리 시장을 주도하고 있는 상황이다.
CA의 메타데이터 솔루션은 관계형 클라이언트 서버 데이터베이스에 저장된 개방형 비독점 아키텍처 및 메타데이터에 기초해 비즈니스 및 기술 메타데이터를 캡처, DW, 데이터 관리, 응용프로그램 개발 작업을 지원, 데이터 일관성을 높인다.
한국CA 관계자는 “DW 개발자는 애플리케이션이나 데이터 구조에 대한 변경 작업이 데이터 웨어하우스에 미치는 영향을 파악할 수 있을 뿐만 아니라 가용 소스 및 타깃 데이터에 대한 정의와 매핑 과정에서 재사용할 수 있는 변환 정보를 제공해 웨어하우스의 정확성을 보장한다”고 강조했다.
한국CA는 데이터 트랜잭션이 많은 금융권 등 데이터 중복성으로 인한 업무의 효율성 저하가 비즈니스에 중대한 영향을 미치는 산업을 중심으로 공략하고 있다. 특히 라이프사이클 관리를 위한 올퓨전 브랜드의 다른 솔루션, 즉 데이터 모델링 툴인 ‘올퓨전 이알원 데이터 모델러(AllFusion ERwin Data Modeler)’와 ETL툴인 ‘올퓨전 데이터 트랜스포머(AllFusion Data Transformer)’ 및 비즈니스 룰 엔진(BRE)인 ‘클레버패스 에이온(CleverPath Aion) BRE’까지 통합·연계가 가능하도록 했다.
토종 업체인 아이티플러스는 자체 개발한 데이터 품질관리 솔루션으로 좋은 반응을 얻고 있다. 아이티플러스 ‘DQ마이너’는 여러 시스템으로부터 나온 데이터의 상태와 품질지표를 이용한 품질 상태를 분석하는 데이터 품질 진단 관리 솔루션으로 지난 2004년 말 출시됐다.
DQ마이너는 이기종 시스템의 대용량의 데이터로부터 상태와 내용을 파악하는 데이터 프로파일링과 이를 통해 집적된 점검기준인 데이터 룰 및 품질지표를 이용해 기업 주요 데이터의 품질현황을 분석하는 데이터 감사 등으로 데이터 품질 관리를 수행한다.
아이티플러스는 포스코, 교육인적자원부 등에 DQ마이너를 공급했고, 향후 금융권을 중심으로 마케팅을 해나갈 방침이다.

데이터 통합· 품질관리의 난관들
데이터를 모으고 품질 개선을 해나가는 과정은 이제 기업들이 외면할 수 없는 필수 사항이 돼 가고 있다. 최근 이뤄지고 있는 금융권 차세대 시스템과 대규모 DW는 이러한 비즈니스적 요구를 반영하고 있는 흐름 중 하나다.
하지만 국내 데이터 통합과 품질 관리 수준은 초보적 단계를 벗어나지 못하고 있다는 게 업계의 지적이다. 이는 기술적 문제보다는 기업 문화와 정서가 더 큰 요인을 차지한다. 즉 정보 공유에 대한 거부감이 아직 사내 부서에 뿌리깊게 남아있으며, 이는 질 좋은 데이터를 얻어내는데 가장 큰 장벽이라는 것.
데이터는 파워이자 생명이고 이를 전사적을 공유한다는 것이 국내에서는 쉽게 받아들여지지는 않는다. 데이터 통합과 품질 관리는 한번 프로젝트로 끝나는 게 아니라 사용자의 끊임없는 업데이트와 손질이 필요한 분야이기 때문에, 부서와 직원들 간의 적극적인 동참 없이는 수준 높은 데이터 관리가 이뤄지기 어렵다는 게 관계자들의 목소리다.
프로젝트 설정에 있어서의 불분명함도 실패 요소 중 하나다. 특히 데이터품질관리는 목표 데이터에 대한 명확한 정의가 전제된 하에서 진행하지 않을 경우 상당한 어려움에 직면하게 된다는 것. 따라서 관계자들은 현업과 IT의 기대수준에 맞춘 명확한 목표 설정이 선행돼야 한다고 조언한다.
이외에도 데이터 관리는 조직과 룰의 분산 등의 관리 프로세스의 부재도 난관을 만들어 내고 있다는 지적이다. 기업내 체계적인 프로세스의 부재는 데이터 품질의 저하를 낳게 되고, 이를 바탕으로 분석을 시도, 잘못된 결과가 도출되는 악순환도 주의해야 할 요소인 것. 업계는 이를 해결하기 위해 데이터 표준화, 품질관리, 클렌징 등이 반드시 선행돼야 한다고 조언한다.
이로써 사내 전 직원이 동일하고 올바른 데이터로 커뮤니케이션을 하는 게 데이터 통합과 품질관리의 목적이라고 할 수 있다.
데이터 통합과 품질관리 시장은 시장 경쟁력 강화라는 기업이 당면한 과제로 인해 본격적으로 요구되고 구축될 것으로 보이고 있다. 부정확한 데이터가 불러오는 막대한 손실에 대한 인식이 높아질수록 그 흐름은 더욱 빨라질 것으로 업계는 전망하고 있다.