지난 3월 아파치재단의 인큐베이팅 프로젝트로채택된 ‘타조(tajo.incubator.apache.org)’의 0.2 버전이 공개됐다. 이번 버전은 타조의 첫 번째 공식 릴리즈라 는점에서 주목된다.
타조는 하둡에 저장된 대량의 데이터를 SQL 질의를 이용해 분석하는 SQL 온 하둡(SQL-on-Hadoop) 기술로, 대규모 배치작업과 실시간 인터랙티브 분석에 모두 사용할 수 있는 장점이 있다. 실제로 타조를 적용한 SK텔레콤은 타조를 도입 후 하이브를 사용했을 때보다 평균 3.7배의 성능 향상과 함께 데이터 처리에 투입됐던 작업량의 70%를 줄일 수 있었다고 알려진다.
타조 프로젝트 리더인 그루터 최현식 박사는 “다양한 유형의 데이터와 질의에서 테스트한 결과, 타조가 하이브보다 평균 3배 이상 빠르며 일부 질의에 대해서는 수십배 이상 빠른 성능을 낸다”고 전했다.
타조는 내고장성, 확장성을 지원하는 아키텍처로 설계됨에도 불구하고 유연한 자체분산 처리 엔진과 진보된 데이터베이스 기술을 적용해 트레이드 오프 관계를 극복하고 성능을 향상시켰다. 하이브가 사용하는 느린 속도의 맵리듀스(MapReduce) 대신 자체 분산처리 엔진을 사용하고, 각 노드와 디스크의 부하와 성능 차이를 고려한 동적 작업 할당 기능으로 성능 개선을 이끌어냈다.
권영길 그루터 사장은 “엔터프라이즈 환경에서 요구되는 대규모 데이터 처리와 실시간 인터랙티브 분석을 하나의 솔루션으로 해결할 수 있다는 점이 타조의 큰 매력”이라며 “타조는 표준 SQL을 지원할 뿐만 아니라 대부분의 하이브 질의도 그대로 사용할 수 있어 하이브를 대체하는 빅데이터 DW 솔루션이 될 것으로 기대하고 있다”고 밝혔다.
한편, 타조 개발팀은 더욱 다양한 SQL을 지원하고 테이블 파티셔닝, JDBC, 하이브 메타스토어 호환 등을 추가한 새버전을 12월 중 선보일 예정이다.
