최근 데이터 관리에 있어 가장 주목받고 있는 단어는 단연 ‘품질 향상’입니다. 부정확한 데이터는 중요한 비즈니스 결정에 막대한 악영향을 끼친다는 인식이 향상됐기 때문인데요. 게다가 요즘 요구되고 있는 여러 컴플라이언스 준수 등은 질 낮은 데이터를 바탕으로는 이룰 수 없는 과제입니다.

그 동안 기업들은 시스템 위주로 막대한 IT 투자를 감행해 왔지만 데이터 자체에 대한 인식은 높지 않았다는 게 관련 업계의 목소리입니다. 현재는 금융과 대기업을 중심으로 관심이 일고 있지만 이외 분야에서는 전무하다는 우려의 목소리도 있습니다.

관련업계는 “질 낮은 데이터로 인해 발생하는 고객 불만, 소송 등은 평균 매출의 25~30%에 이른다는 조사 결과가 있다”라며 “한번 고객을 잃으면 다시 찾기 어려운 만큼 부정확한 데이터로 인한 손실은 실로 막대한 것”이라고 강조합니다.

일반적으로 데이터 배치, 정제 과정은 ETL 과정에서 일어납니다. ETL은 단순히 데이터 배치 처리를 담당하는 툴이 될 수도 있지만 데이터 정제에서부터, 메타데이터 관리까지 포함한 지속적인 데이터 품질 관리를 일컫기도 합니다.

최근 데이터 관리는 ETL 작업에서 데이터 정제, 프로파일링을 통한 품질 관리에서 데이터 표준화, 메타데이터 관리 등으로 접근하고 있는 상황으로, 특히 ETL 과정은 BI 프로젝트시 60~70%를 차지하는 작업임을 감안하면 솔루션 성능과 컨설팅 능력에 따라 기간과 결과가 좌우된다고 할 수 있습니다.

데이터 정제는 데이터 품질의 전초 단계로 중요한 역할을 수행하는데 이제는 정형데이터에서 비정형 데이터 정제도 지원합니다. 데이터 프로파일링은 데이터값 누락, 관련 항목간의 상관성을 분석하고 분석결과를 다양한 뷰로 보여주는 과정으로 불완전한 데이터 정의와 관계없이 데이터 자체로부터 품질 평가를 합니다.

특히 데이터 품질 관리 활동인 DQM(Data Risk Hedging)과 메타데이터 관리에 대한 관심도 높아지고 있는데, 이는 대규모 EDW에 앞서 선행되는 데이터 품질관리 일환이라고 할 수 있습니다. 이중 DQM은 기업의 전사적 데이터 흐름에 있어 발생할 수 있는 리스크를 줄이기 위한 전반적인 활동으로 데이터 품질관리의 과정입니다.

메타데이터 관리는 각종 프로젝트와 애플리케이션을 통해 생성된 데이터에 통일성과 단일성을 부여하는 작업을 말하는데요. 즉 데이터 대부분은 같은 내용을 담고 있는데도 불구하고 다양한 형태의 데이터 타입과 종류, 길이, 지시하는 명칭 등이 제각기 다르게 중복돼 관리돼 온 데이터를 하나의 뷰로 관리하는 기술을 말하는 것입니다.

대체적으로 데이터 품질 관리는 이런 과정을 거쳐 수행되고 다듬어지는 과정을 반복합니다. 관련 업계는 아직 국내 데이터 품질 관리 시장이 초기 수준을 벗어나지 못하고 있다고 판단하고 있는데요. 따라서 ERP, CRM 등 대규모 투자를 일궈낸 후 현재 시점에서 데이터 품질관리로 저급한 데이터로 인한 효용 저하와 손실을 막을 때라고 주장하고 있어 데이터 품질관리에 대한 시장의 주목이 향상될 것으로 보이고 있습니다. <송지혜 기자>