한국테라데이타(대표 최승철)는 빅데이터 컨설팅 및 최적화 분야에서 쌓아온 다년간의 경험을 바탕으로 ‘데이터 레이크(Data Lake)’ 구축을 위한 새로운 ‘설계 패턴(design pattern)’ 접근법을 발표했다. 테라데이타는 설계 패턴 접근법으로 데이터 레이크를 보다 용이하게 구축, 비즈니스 가치를 향상시킬 수 있을 것으로 기대했다.
테라데이타에 따르면, 오늘날 기업은 증가하는 데이터에서 통찰력을 얻고, 새로운 비즈니스 기회를 만들어내기 위해 데이터 레이크를 활용하고 싶어하지만, 모범 사례 및 데이터 사이언티스트의 부족, 데이터 레이크 정의에 대한 혼동 등 여러 문제들로 인해 많은 어려움을 겪고 있다. 또 기술 선택의 문제도 어려움을 배가시키고 있다.
예를 들어, 데이터 레이크는 전통적으로 하둡과 밀접한 것으로 인식되고 있다. 하둡이 여러 데이터 레이크 워크로드를 위한 적합한 기술인 것은 사실이나, 데이터 레이크는 하둡 외에 NoSQL, 아마존 심플 스토리지 서비스(Amazon Simple Storage Service: Amazon S3), RDBMS(relational database), 또는 이들의 조합 등 다양한 기술을 기반으로 구축할 수 있다.
이처럼 적합한 기술의 선택이 결과에 매우 중요한 영향을 미치는 만큼, 데이터 레이크가 성공하려면 확실한 계획이 필요한데, 데이터 레이크 설계 패턴이야말로 바로 그 계획의 역할을 담당할 수 있다는 것이 테라데이타의 설명이다. 테라데이타의 설계 패턴은 지속적인 고객 참여를 통해 개발된 제품들과 결합된 엔터프라이즈급 베스트 프랙티스 기반의 지적 재산(intellectual property)으로 구성돼 있다.
테라데이타의 자회사인 씽크빅(Think Big) 론 보드킨(Ron Bodkin) 대표는 “데이터 레이크 실행이 어렵다는 인식이 지배적이다. 그러나 우리가 성장하는 이유가 이 때문이다. 우리는 데이터 레이크의 성공적인 실행을 위해 기업들을 지원하고 있다”라며 “우리는 고객의 상황에 맞게 데이터 레이크 설계 패턴 접근방식을 조정하고 있으며, 이러한 패턴 및 지원 소프트웨어 프레임워크는 강력한 가치 가속기(value accelerators)로서의 역할을 하고 있다. 우리는 고객들이 위기 모드에서 벗어나도록 돕고, 비즈니스, IT 및 데이터 사이언티스트들이 데이터 레이크를 계획, 실행하여 실제적인 비즈니스 가치를 창출하고 다양한 이점을 얻을 수 있도록 지원한다”라고 말했다.
씽크빅(Think Big)이 제공하는 데이터 레이크 설계 패턴 서비스는 다음과 같다: 데이터 레이크를 막 시작했거나 베스트 프랙티스 컨설팅을 원하는 조직을 위한 ‘데이터 레이크 파운데이션(Data Lake Foundation)’, 데이터 레이크 베스트 프랙티스 및 기술 선택에 대한 조언을 구하는 조직들을 위한 ‘데이터 레이크 아키텍처(Data Lake Architecture)’, 분석 사이클 실행을 위해 데이터 준비(data preparation)를 지원하는 ‘데이터 레이크 분석(Data Lake Analytics)’이 있다.
테라데이타는 데이터 레이크 환경에서 함께 사용할 수 있는 여러 제품 및 기술들을 제공하고 있다. 인텔리전트한 셀프서비스 소프트웨어 솔루션을 통해 빅데이터 스트리밍을 데이터 레이크로 단순화시켜주는 ‘테라데이타 리스너(Teradata Listener)’, 낮은 비용으로 데이터를 저장할 수 있는 ‘하둡을 위한 테라데이타 어플라이언스(Teradata Appliance for Hadoop)’, 최신 SQL-온-하둡(SQL-on-Hadoop) 아키텍처를 제공하는 프레스토(Presto), 로컬 서버에서 하둡으로 데이터 이동을 효율적으로 조율하며, 파이프라인 컨트롤러(Pipeline Controller) 및 버퍼 서버(Buffer Server)로 불리는 데이터 데이터 레이크 액셀러레이터(data lake accelerators) 등이다.
