아리시스템블루 ‘DSM v3.0’, AI·빅데이터 환경 최적화 ETL 솔루션
상태바
아리시스템블루 ‘DSM v3.0’, AI·빅데이터 환경 최적화 ETL 솔루션
  • 데이터넷
  • 승인 2021.07.17 09:00
  • 댓글 0
이 기사를 공유합니다

ETL 과정서 발생하는 개발 요소들 제공…효율적·생산적인 업무 환경 제공

[데이터넷] 4차 산업혁명 시대의 도래로 공공기관을 포함해 광범위한 사회 분야에서 데이터 기반의 다양한 시스템을 구축해 활용하고 있다. 아리시스템블루(대표 이길식)가 자바(JAVA) 기반의 순수 국내 기술로 개발한 ‘데이터 싱크 매니저(Data Sync Manager, DSM) v3.0’은 오픈소스 기반의 솔루션과 달리 일련의 ETL 과정에서 발생하는 개발 요소들(환경, 로직 등)을 제공해 보다 효율적이고 생산적인 업무 환경을 제공한다. <편집자>

DSM은 다양한 소스로부터 필요한 데이터를 추출해 변환 작업을 거쳐서 타깃 시스템으로 전송 및 로딩(Loading)하는 일련의 모든 과정을 제공하는 순수한 ETL 기능과 이기종 DBMS 간에도 자동으로 마이그레이션해 주는 기능, 지정된 시간에 데이터를 일괄 처리해주는 배치 프로세싱 기능을 제공한다.

특히 오픈소스 기반 솔루션이 처리 속도 지연, 시스템 성능 저하 등의 태생적 한계를 갖고 있는 반면 ‘DSM v3.0’은 다양한 데이터 시스템들의 데이터를 로컬에 저장하지 않고 데이터 스트림(Data Stream)을 읽으면서 직접 조인(JOIN) 및 애그리게이션(Aggregation)을 수행해 처리 속도를 개선시켜 시스템 성능을 보장한다.

[그림 1] ‘DSM v3.0’ 주요 특징
[그림 1] ‘DSM v3.0’ 주요 특징

처리 속도 개선·시스템 성능 보장
대다수의 ETL 1세대 제품은 ETL 서버에 로컬 파일로 1차 변환 후 2차 가공 등의 중간 단계를 거치면서 처리 속도 지연, 시스템 성능 저하 등을 야기하는데, 이러한 여러 것들이 현재 4차 산업혁명의 급격한 전개로 다양한 유형으로 현업에서 문제를 발생시키고 있다.

DSM v3.0은 복잡한 다단계 변환 절차를 생략한 간결한 로직 구현으로 처리 속도를 개선해 운영시스템의 성능을 보장하도록 설계됐다. 기술적 포인트에서 보면 사용자가 설정한 배치 사이즈(Row/Record 500개 단위)에 따라 소스 데이터 시스템을 타깃 데이터 시스템에 스트림 한 번의 단계로 데이터를 수집/변환/적재하게 되며, 소스/타깃/ETL 서버의 메모리 사용률을 최소화시켜 자원 운영 및 관리를 효율적으로 할 수 있도록 제공해 준다.

특히 1:1, 1:N, N:N 등을 지원해 최소의 비용으로 최대의 효과를 도출할 수 있다.

[그림 2] 데이터 마이그레이션 위자드(왼쪽)와 테이블 마이그레이션 위자드
[그림 2] 데이터 마이그레이션 위자드(왼쪽)와 테이블 마이그레이션 위자드

이기종 DBMS 자동 마이그레이션
다양하고 방대한 데이터(Any Data)를 어떠한 제약 없이 손쉽게 이관하고 관리하는 업무는 빅데이터 및 인공지능(AI) 구현에 있어서 간과할 수 없는 매우 중요한 절차이자 업무이다. 현업 관리자들(PM/PL/DBA 등)도 데이터(DB, 파일 등) 이관에 있어서만큼은 매우 신중해진다.

DSM v3.0의 자동 마이그레이션 기능을 활용하면 신속하게 데이터 이관을 수행할 수 있고, 이관 후에는 정량적으로 데이터 정합성을 검증할 수 있도록 돕는다. 특히 이기종 DBMS 간 데이터 이관 시 테이블/데이터 마이그레이션 위자드를 사용하면 난이도가 높은 데이터 이관 작업을 손쉽게 진행할 수 있다.

[그림 3] ‘DSM v3.0’은 초단위 스케줄링 설정이 가능하다.
[그림 3] ‘DSM v3.0’은 초단위 스케줄링 설정이 가능하다.

지정된 시간에 데이터 일괄 처리
DSM v3.0은 다양한 방식으로 사용자가 지정한 시간에 데이터를 일괄 처리할 수 있도록 해 준다. 업무 단위별 세부 트랜잭션 제어 및 2단계 커밋(Two Phase Commit) 지원, 초 단위까지의 스케줄링 설정 지원, DBMS의 축적 절차(Stored Procedure) 호출 및 기존 배치 프로그램 호출(Java, C/C++, Python 등), DSM v3.0 내에서 자바 및 그루비(Groovy) 스크립트 직접 구현 등의 방식을 통해 처리할 수 있는데 이는 자바 기반 솔루션의 최대 장점으로 꼽힌다.

[그림 4] ‘DSM v3.0’은 어떠한 환경에서도 데이터 동기화를 보장한다.
[그림 4] ‘DSM v3.0’은 어떠한 환경에서도 데이터 동기화를 보장한다.

데이터 양방향 동기화
DSM v3.0은 DB와 직접 연동이 불가능한 환경에서도 데이터 압축 기능을 바탕으로 상호 데이터 송수신이 가능하도록 DSM 리모트 에이전트(SSL 보안 통신 지원)를 제공한다. 또 인터페이스 연동 서버 혹은 네트워크 상태가 불안정한 상황에서도 데이터 송수신에 대한 무결성을 보장하고, 송수신 이력 및 실행 결과에 대해서는 실행 로그 조회를 통해 확인이 가능하다.

오류 데이터에 대해서는 데이터 적재 시 분류 후 별도 저장해 JOB 종료 후 오류 데이터만을 재처리하도록 하는 기능 구현이 마련되어 있다.

이처럼 완성도 높은 ‘DSM v3.0’의 출시는 아리시스템블루가 2009년부터 오늘날까지 ETL에 대한 식지 않은 열정으로 끊임없이 연구개발에 몰두해 온 결과물이라고 할 수 있다.

특히 외산 ETL 솔루션의 유통이나 오픈소스를 수정해서 자사 제품으로 둔갑시키는 손쉬운 길을 거부하고 혹독한 정도(正道)의 길을 선택한 이유는 이미 10년 전부터 ‘데이터가 경쟁력’이라는 미래 지향적 마인드를 갖고 함께 노력한 연구원들이 있었기에 가능했다는 평가다.

아리시스템블루는 향후 10년을 위해 4차 산업혁명 시대에 어울리는 DSM 개발을 위해 지속 노력하고 있다.


댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.