데이터 통합
상태바
데이터 통합
  • 데이터넷
  • 승인 2007.01.26 00:00
  • 댓글 0
이 기사를 공유합니다

단순한 DW 구축 벗어나 데이터 통합 ‘뜬다’
기존 시스템간 데이터 ‘통합’필수 … 고품질·실시간 데이터 처리가 관건

기업의 비즈니스 환경이 실시간 의사결정과 고객 중심의 비즈니스로 무게가 옮겨지면서 지난 1~2년 사이 데이터 통합에 대한 기업의 수요가 증가하고 있는 것으로 나타났다.
그동안 기업들은 CRM이나 DW 중심의 데이터 구축 등의 투자에 집중해왔으나 최근 들어 보유한 데이터를 최대한 활용하기 위해 데이터 통합 등을 통해 기존 DW 등을 고도화하는 데 관심을 보이고 있다.
기업들은 과거처럼 일일 단위의 데이터를 모으는 것이 아니라 실시간으로 기업의 의사결정 지원을 위한 통합을 중시 여기고 있다. 이로 인해 통신사와 금융권을 중심으로 데이터 통합 고민이 시작됐고 최근에는 제조업과 서비스 분야로 확산되고 있다.
|김나연 기자 ·grace@datanet.co.kr|

최근의 데이터 통합이 기업의 핵심 비즈니스 지원을 위한 필수 조건으로 자리 잡으면서 금융권을 중심으로 관련 시장의 확산이 예상되고 있다.
국내 시장의 경우 데이터 통합과 관련한 독립 프로젝트는 매우 드물어, 자체적인 시장 규모 예측은 쉽지 않지만, IDC에 따르면 전 세계 데이터 통합 시장은 지난 2004년 15억7천만달러에서 지난해 17억4천700만달러로 11.3% 성장했다.
업계 한 관계자는 “국내에서 데이터 통합 관련된 대부분의 프로젝트가 의사결정지원시스템이나 데이터웨어하우스(DW) 구축의 일부분으로 진행되고 있는 상황”이라고 설명했다. 또 “데이터 통합만을 하는 프로젝트는 없지만 모든 IT프로젝트 안에서 데이터 통합은 다 하고 있다”며 “예를 들어 ERP 프로젝트 시 마이그레이션을 할 때 데이터 통합에 대한 이슈가 있기 때문에 이를 구축하는 형태로 진행되고 있다”고 덧붙였다.
SAS코리아 정태호 이사 역시 “일반적으로 데이터 통합의 프로젝트는 아직 국내에서 요구가 나오지 않고 있다. 단지 DW라는 이름으로 DW 구축시스템 아래 데이터 통합이 포함돼 있다”며, “데이터 마이그레이션, 마스터 데이터 매니지먼트, 데이터 싱크로나이제이션 등의 기능들이 데이터 통합에 필요한 프로젝트라 할 수 있다”고 설명했다.
예를 들어 금융권에서는 2007년부터 오픈되는 바젤2 규제와 관련해, 이에 요구되는 위험관리 시스템을 만들기 위해 리스크에 관련된 데이터가 통합돼 있어야 한다. 따라서 금융권에서는 바젤2 관련 리스크와 차세대 시스템 도입 시 필요한 데이터 통합이 많이 들어가고 있다. 또한 제조, 유통 분야에서는 전사 DW 구축 시 데이터 통합이 함께 들어가고 있는 상황이다.
이에 업계에서는 지난 2004년에는 라이선스를 기준으로 약 130억원 규모를 형성한 것으로 평가하고 있으며 2005년에는 150억원 가량의 시장 규모를 형성한 것으로 분석하고 있다. 현재 국내 데이터 통합 프로젝트는 기업은행과 국민은행, 하나은행 등 제1금융권과 삼성증권과 현대해상화재보험, 신동아화재, ING 생명, 삼성카드 등에서 EDW 재정비 사업을 진행하면서 데이터 통합 프로젝트를 진행하고 있다.
삼성전자와 현대자동차 등의 대형 제조업체들은 물론 GS홈쇼핑, 하나로텔레콤 등도 데이터 통합에 대한 프로젝트가 전 산업으로 확산되고 있는 분위기다.
하나로텔레콤과 GS홈쇼핑은 데이터 품질을 위한 내용검증(POC)를 마쳤으며, 롯데닷컴과 현대홈쇼핑도 고객정보에 대한 데이터 품질 관리 프로젝트를 진행, 양질의 고객 데이터 보유가 생명인 업체를 중심으로 데이터 품질 관리의 중요성이 확산되고 있다.
금융권의 경우 올해부터 적용될 바젤2와 사베인즈-옥슬리법과 관련해 그 기반이 되는 데이터의 신용도 향상을 위해 프로젝트가 활발히 진행되고 있다. 컨설팅 업계 관계자는 “이러한 추세라면 올해부터는 독립적인 데이터 통합 관리 프로젝트도 등장할 것으로 보인다”라고 전망했다.

고품질의 데이터 확보 요구 증대
데이터 통합의 수요가 증가하는 이유는 시장의 경쟁이 치열해질수록 비즈니스의 핵심 주제는 바로 고객이 되고, 그 고객을 사로잡기 위해서는 바로 축적된 고품질의 고객 데이터가 필요하기 때문이다. 따라서 이런 기업 내부의 시스템에 존재하는 모든 데이터에 대한 체계적인 관리는 필수 사항으로 떠오르고 있으며, 바로 데이터 통합은 기업 전산 시스템에 존재하는 데이터를 전사적인 차원에서 효과적으로 관리하는 총체적인 활동이라고 할 수 있다.
데이터 통합은 데이터의 추출과 가공, 적재, 메타데이터 관리, 데이터 품질관리 등 데이터의 전 과정을 시스템적으로 관리하는 것이다. 물론 최근까지 구축된 DW, EDW의 경우도 현재 구성돼 있는 다양한 시스템에서 필요한 데이터를 받아서 사용자에게 필요한 정보로 가공하는 시스템이다.
하지만 한 업계 관계자는 “최근의 주요 프로젝트는 익일자 기준의 데이터 통합이 아니라, 실시간 비즈니스의 요구에 따라 정확한 데이터를 실시간으로 비즈니스에 활용할 수 있도록 하는 것”이라고 설명했다.
요즘 금융권에서는 리스크 관리 시스템에서도 서로 다른 분산된 데이터로부터 리포팅과 대쉬보드의 통합된 결과를 보여주는 필요성이 증가하고 있다. 또한 정부기관에서는 지방 자치단체와 중앙 정부와의 통합된 데이터 뷰를 통해서 정확한 통계치를 기반으로 정책을 세우고자 하는 등 각 인더스트리별로 데이터 통합의 필요성이 부각되는 추세다.

실시간 정보 요구로 진화
물론 기존에도 ETL을 이용해 DW를 구축함으로써 데이터를 통합할 수 있는 인프라를 갖추고 있었다. 하지만 이제는 DW가 갖는 배치 작업이 갖는 시간적 갭의 한계와 데이터 마트를 구성해야만 원하는 결과를 알 수 있는 것에서 벗어나 실시간의 전사적 데이터 통합 기술을 갖고 고객의 단일 뷰를 경영층에게 제공하기를 원하고 있다.
기술적으로 몇 해 전까지만 해도 ERP, SCM, CRM 등의 애플리케이션 솔루션이 IT트렌드를 이뤘다면, 최근에는 이러한 기존 시스템을 유지하면서 동시에 다양한 사용자의 요구를 만족할 수 있는 기술이 중요한 IT의 이슈로 자리 잡고 있다.
BPM(Business Process Management), BAM(Business Activity Monitoring), SOA(Service Oriented Architecture) 등의 기본 사상은 현재 사용 중인 시스템을 최대한 활용해 새로운 비즈니스의 변화에 적응하기 위한 솔루션이다.
BPM은 기존에 존재하고 있는 시스템을 기반으로 시스템 중심의 흐름에서 비즈니스 프로세스 중심의 흐름으로 재구성해 필요에 따라 각각의 시스템을 호출하게 된다. 사용자는 시스템의 구성에 관계없이 자신의 업무 흐름에 맞게 업무를 수행하고, BPM 프로세스가 정보를 각각의 시스템으로 전달하는 역할을 수행하게 된다.
그러나 위의 사례에서 보면 이미 모든 시스템에서 각각의 고객 정보를 관리하고 있는 상태에서 새로운 고객이 등록되는 경우 BPM 프로세스는 모든 시스템의 고객 정보를 등록하는 작업을 수행해야 한다. 다양한 시스템이 구성돼 있는 경우 이 프로세스는 하나의 고객을 등록하기 위해 수 십초의 시간이 걸릴 수도 있다. 또한 각각의 시스템간 연계 작업을 완료하기 위해 대부분의 프로세스는 하나 이상의 시스템에서 수행돼야 하며, 연계되는 시스템의 문제로 인해 기존의 작업까지 실패로 처리될 수도 있다.
또한 BAM의 환경에서도 데이터베이스 로그를 통한 실시간 데이터 통합은 아주 중요한 역할을 수행한다. 이미 과거에 많은 기업에서 대쉬보드나 상황판 형태로 현 시점의 매출 현황, 고객 클레임 현황, 생산 현황들을 표시하고 있다. 그러나 이 시스템은 운용계 시스템에 불필요하게 많은 부하를 주고 있다. 시간 단위마다 다양한 운용계 시스템의 데이터베이스를 검색해 필요한 정보를 BAM 시스템으로 제공하기 위해 다량의 검색 작업을 수행하기 때문이다. 경우에 따라서는 락(Lock)의 경합으로 인해 운용계 업무에 지장을 초래하는 경우도 발생한다.
BAM 시스템에 필요한 데이터 제공을 위해 필요할때마다 운용계 데이터베이스를 검색하는 것이 아니라 운용계 데이터베이스에서 BAM 시스템에서 필요한 정보가 변경(입력/수정/삭제)될 때 데이터베이스에 생성되는 로그 정보를 이용해 실시간으로 BAM 시스템에 정보가 제공되면 운용계 시스템이서는 BAM 시스템 데이터 제공을 위한 부하를 최소화할 수 있다.
이러한 솔루션들이 정확한 자기 역할을 수행하기 위해서 필요한 것이 데이터 통합이다. 기존 시스템간의 데이터 통합이 이뤄져야 모든 업무가 유기적으로 흐를 수 있기 때문이다.

정보계 이어 운영계 요구 출현
데이터 통합의 요구는 시스템이 복잡해지면서 더욱 증가하고 있다. 과거 메인프레임 시절에는 모든 업무는 하나의 시스템, 하나의 데이터베이스에 통합적으로 구성돼 이미 데이터 통합이 이뤄진 시스템 형태였다. 하지만 오픈 시스템이 도입되면서 하나의 시스템에서 하던 업무를 여러 개의 시스템으로 분산해 업무를 개발하고, 새로운 업무가 추가될 때마다 새로운 시스템을 도입해 설치하게 됐다.
더욱이 다운사이징(Down Sizing)에 힘입어 확산된 오픈시스템은 기업에게 새로운 업무가 발생할 때마다 새로운 트렌드에 따른 시스템 구축 붐이 일어 금융기관이나 대형 제조업체의 경우 100여개의 유닉스 서버가 도입돼 운영되고 있을 정도다.
인포매티카 기술본부 정인호 본부장은 “문제는 이 100여개의 시스템 중 어느 하나도 독자적으로 작업되는 시스템은 없다는 것이다. 이 명제는 모든 시스템간에 어떠한 형태로든 데이터의 통합이 있어야만 해당 시스템의 역할을 수행할 수 있다는 의미”라고 설명했다.
또 그는 “최근까지 가장 많이 구축된 DW나 BI의 경우, 자체에서 순수하게 생성하는 정보는 없이 현재 구성돼 있는 다양한 시스템에서 필요한 데이터를 받아서 사용자에게 필요한 정보로 가공하는 시스템이다. 이 때문에 데이터 통합은 필수적인 요소이며, 이러한 데이터 통합 없이는 아무것도 할 수 없는 시대가 됐다”고 강조했다.
특히 이러한 데이터 통합의 요구는 정보계 뿐 아니라 ERP 등의 운영계에서도 일어나고 있다. 국내의 경우 ERP 등을 도입했더라도 회계가 중심이기 때문에 인사와 급여, 고객관리, 영업 등의 데이터는 각각의 시스템에서 돌아가고 있다.
업계 관계자는 “국내의 IT비즈니스는 ERP 등을 도입해도 회계 중심의 구축이 70%를 차지하고 있어 나머지 인사나 영업 등은 여전히 개별 시스템에서 운영되고 있어 데이터의 정합성이 맞지 않다”고 설명했다.
때문에 최근에 이러한 운영계 시스템의 데이터 통합을 위해 나온 것이 마스터 데이터 관리(MDM)와 인포메이션 허브(Information Hub) 기술이다. 이러한 프로젝트는 통신사를 비롯한 금융과 유통업계에서 확장된 ERP 도입의 전 단계 작업으로 진행되고 있다.

표준화 전담 조직 등으로 진화 중
데이터 통합이나 품질 등과 관련해 최근 1~2년 사이 전문 솔루션 도입이 늘고 있으나, 여전히 대부분의 기업들은 자체 개발을 선호하고 있다. 초기 투자비용에 대한 부담감과 ROI가 명확하지 않기 때문이다. 때문에 현재 데이터 통합과 품질 관리를 하는 기업들도 독립적인 프로젝트 보다는 차세대 시스템 등의 대규모 프로젝트의 일환으로 진행하고 있다.
관련 전문가들은 자체 개발보다 전문 솔루션 툴을 사용할 때 10~20%의 인력으로 개발이 가능해 효율적인 개발인력 배치가 가능하다고 밝히고 있다.
그러나 기업들이 데이터 통합을 위해 표준화를 하고, 솔루션을 도입하더라도 지속적인 관리가 뒤따라야해 지속적인 관리 역시 매우 중요하다.
이를 해결하기 위해 데이터 표준화와 프로세스를 정립하기 위해 6시그마를 도입하거나 데이터 품질을 위한 조직을 만드는 기업들도 점차 나타나고 있다.
KT와 포스코 등은 전사적인 품질 전담 조직을 갖춰으며, 최근에는 신한은행과 국민은행도 데이터 표준화를 위한 팀을 구성한바 있다.

솔루션 시장 경쟁 돌입
데이터 통합이 화두가 되면서 관련 솔루션 시장도 부각되며 관련 제품을 공급하는 업체들의 움직임두 분주하다. IBM, 인포매티카, SAS는 물론 최근에는 사이베이스까지 이 시장에 가세해 시장선점 경쟁이 뜨겁다.
한국IBM의 경우 지난해 초부터 차세대 정보관리 청사진인 ‘인포메이션 온 디맨드(Information On Demand)’ 전략을 내세우며 고객이 효율적인 정보관리와 활용이 가능토록 하고 있다. 이를 위해 IBM은 ‘IBM 인포메이션 서버’를 통해 기업이 자사의 시스템에 분산돼 있는 복잡하고 이질적인 정보에서 보다 많은 가치를 창출할 수 있도록 정보를 통합, 풍부화하는 기능을 제공하고 있다. 특히 SOA를 활용해 일관성 있는 데이터 품질, 변환, 이동, 연합 및 메타 데이터 관리 프로세스를 보장해 신뢰할 수 있는 정보가 조직 전체에 활용될 수 있도록 하는 데 집중하고 있다.
한국IBM 인포메이션 인티그레이션 솔루션팀 김광식 본부장은 “오늘날 기업들은 단순히 CRM이나 DW 중심의 데이터 구축에서 벗어나 기존 DW 등을 고도화하는 데 관심을 보이고 있다”며 “시스템을 만드는 것만 고도화 하는것이 아니라, 데이터의 정확성(High Quality)에 근간하는 고도화가 이뤄지고 있다”고 설명했다.
이에 IBM은 지난 2005년 어센셜을 인수하고, 지난해 10월 ‘인포메이션 온 디맨드 컨퍼런스’를 개최하면서 이에 대한 새로운 개념과 플랫폼을 런칭한 바 있다.
무엇보다 IBM은 본사 R&D팀과 연계해 기술 이슈에 대한 즉각적인 대응 시스템을 구축해 운영하고 있다. 이외에도 대고객 서비스의 만족도를 높이기 위한 다양한 프로그램을 운영하고 있다.
SAS는 데이터플럭스 인수 후 자바 기반으로 전환해 C/S 기반 고객을 대상으로 엔터프라이즈 데이터 통합 서버를 공급할 계획이다. SAS의 SAS DI 솔루션은 엔터프라이즈 인텔리전스 플랫폼(EIP) 중의 하나로 데이터 품질, ETL, 메타데이타 관리는 물론 실시간 관리까지 지원한다.
SAS코리아 정태호 이사는 “데이터 통합 시장은 SAS코리아가 마케팅을 강화해 주력한 사업분야이기도 하다”며 “특히 SAS의 데이터 통합은 단일 데이터 통합서버 제품 판매뿐만 아니라 궁극적인 산업 솔루션을 위한 통합 플랫폼으로도 제공하고 있다”고 강조했다.
SAS는 그리드 컴퓨팅과 SOA 등의 통합기능을 강화시킨 DI 3.3을 조만간 출시할 예정이다. 특히 올해 안으로 데이터 품질과 관련한 데이터 플럭스 제품의 한글버전을 발표할 방침이다.
SAS는 이미 포스코, 현대자동차, 국민은행, 우리은행, 롯데닷컴 등의 다양한 산업별 레퍼런스를 기반으로 데이터 통합 벤더와 달리 BI 영역의 대부분 솔루션을 보유한 점을 부각시켜 접근한다는 전략이다. BI 플랫폼에 단일 통합 메타데이터 리포지토리를 채택한 SAS EIP 제품을 바탕으로, 새로운 IT 패러다임에 적극적인 CIO나 IT매니저를 중심으로 지금까지의 EDW 플랫폼에 대한 문제점을 부각시켜, 분석영역에서 독보적인 장점과, 타 데이터 통합 벤더와 달리 BI영역의 대부분 솔루션을 보유한 점을 부각시켜 접근한다는 방침이다.
사이베이스는 무선환경을 뜻하는 ‘언와이어드 엔터프라이즈(Unwired Enterprise)’라는 전략 하에 사무실 외에서도 모바일 등으로 데이터를 사용할 수 있도록 환경에 제한을 받지 않게 한다는 계획이다. 사이베이스는 이러한 비전을 완성하기 위한 솔루션 로드맵을 완성하기 위해 인수합병 등의 지속적인 투자를 강화하고 있다.
사이베이스는 2000년 초반에 EAI 솔루션으로 NEON(New Era of Networks)를 인수하고, EII(Enterprise Information Integration) 솔루션으로 2005년 하반기 아바키와 ETL 솔루션인 솔론데(Solonde)를 인수해 지난해 8월에 ‘데이터 인티그레이션 스위트(Data Integration Suite)’ 1.0을 발표했다.
“데이터통합은 애플리케이션 통합(EAI), 데이터 컨솔리데이션(ETL), 엔터프라이즈 인포매이션 인티그레이션(EII)이라 하여 크게 3가지 요소로 구분될 수 있다”는 한국사이베이스 이재훈 부장은 “실질적으로 데이터 통합을 위해서는 데이터 추출, 실시간 데이터 이동 및 분석, 리포팅 기능, 비정형 데이터의 데이터 뷰 제공 등과 같은 다양한 솔루션 확보를 필요로 하고 있고, 이 모든 솔루션을 제공하기란 그리 쉽지 않은 것이 현실이므로 OLAP업체들이나 ETL업체들 같은 경우 각 사가 부족한 솔루션에 대해 전략적 제휴 방법으로 부족한 솔루션을 보완해 가고 있다”며 최근 실정을 설명했다.
이처럼 사이베이스는 이러한 DI 솔루션 확보를 제휴나 파트너를 이용하기보다, 인수합병을 통해 자사의 솔루션으로 만드는데 더 많은 노력을 기울인 것.
사이베이스는 글로벌 차원의 레퍼런스를 기반으로 올해부터 국내 DW 업체들과 연계해 본격적인 영업을 전개한다는 방침이다. 이미 해외에서는 화이자제약, 태평양캐피탈은행 등의 레퍼런스를 바탕으로 국내 시장을 공략한다는 방침이다.
이 외에 인포매티카는 올 초 데이터 프로파일과 데이터 표준화를 위해 인수한 시뮬레러티시스템즈를 파워센터 데이터 통합 제품에 추가해 제품의 기능을 대폭 강화했다.
인포매티카의 파워센터 8은 전사적 데이터 통합의 새로운 표준을 제시하면서, 신규 및 레거시 IT시스템 관리의 복잡성 심화, 데이터 일관성 및 적시 액세스 결여, 높은 운영비용 등과 같은 실세계 기업의 문제를 해결할 수 있도록 개발됐다.
업계 관계자들은 데이터 통합 시장 전망에 대해 “아직까지는 국내의 데이터 품질 요구 수준은 데이터 클렌징(Data cleansing) 정도에 머물러 있으나 최근 많은 기업들로부터 진정한 데이터 퀄리티 니즈가 생기고 있다”며 “특히 오래 전에 DW를 구축한 업체들이 기존 DW를 보완해 새로운 DW를 구축 하려는 업체들과 제2금융권에서의 바젤 솔루션 및 제조업체의 CPM 솔루션 등 DW를 활용하는 BI 솔루션들의 수요가 많이 예상된다”고 내다봤다.
또한 공공부문 특성상 일반기업의 붐 업(Boom up) 이후 1~2년 뒤에 공공기관들의 수요가 뒤따른다는 점을 감안할 때, 데이터 통합시장은 앞으로도 꾸준히 200억~300억원 이상의 수요가 있을 것으로 전망된다.

메타데이터와 데이터 품질의 관계
메타데이터는 데이터에 대한 정보이고 데이터 품질은 실 데이터에 관련된 부분으로 생각하면 서로 관련이 없을 것으로 보일 수 있다. 실제로 메타데이터 관리만 진행하는 프로젝트가 있고 메타데이터는 설명하지 않으면서 데이터 품질관리를 하겠다는 프로젝트가 있다.
물론 기업에서 관리하는 모든 데이터에 대한 정보를 구축하기 위해 메타데이터 관리만 하는 프로젝트는 가능하지만 메타데이터 없이 데이터 품질 프로젝트는 존재할 수 없다. 데이터 품질 관리를 위한 분석 단계부터 메타데이터에 대한 정보를 수집하기 시작해 메타데이터를 중심으로 데이터 품질관리를 수행하게 된다.
데이터 품질을 관리하기 위한 기본적인 관리의 시작이 바로 메타데이터 관리인 것이다. 우선 기업 내에서 존재하는 모든 데이터에 대한 정보를 하나의 리포지토리에 등록해 관리하게 되고 각각의 테이블별, 컬럼별로 품질 관리에 필요한 정보를 툴을 통해 동일한 리포지토리에 저장하게 된다. 품질의 대상은 물론 데이터지만 품질관리와 데이터 간의 매개체 역할을 하는 것이 메타데이터인 것이다.


댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.