구글 클라우드, AWS 서울 리전에 ‘빅쿼리 옴니’ 지원
상태바
구글 클라우드, AWS 서울 리전에 ‘빅쿼리 옴니’ 지원
  • 박광하 기자
  • 승인 2023.05.19 09:09
  • 댓글 0
이 기사를 공유합니다

클라우드 간 데이터 연결, 원활한 액세스 구현
(자료:구글 클라우드)
(자료:구글 클라우드)

[데이터넷] 구글 클라우드(Google Cloud)는 AWS 서울 리전에 빅쿼리 옴니(BigQuery Omni)를 지원한다고 최근 밝혔다. 한국은 미국을 제외한 전 세계 지역 중 빅쿼리 옴니가 가장 먼저 지원되는 첫 번째 국가라고 덧붙였다.

많은 엔터프라이즈급 기업들이 멀티 클라우드 아키텍처를 배포하면서, 기업의 데이터는 여러 퍼블릭 클라우드 제공업체로 분산되고 있다. 나아가 기업은 비즈니스 인텔리전스, 분석, 스트리밍 등 여러 사용 사례에서 파생되는 데이터를 데이터 웨어하우스, 운영 및 관계형 데이터베이스, 객체 스토리지 등 다양한 스토리지 시스템으로 점점 더 분할 관리하는 추세다.

이러한 데이터 트렌드에 따라 고객들은 개방형 멀티 클라우드 데이터 레이크로 눈을 돌리고 있다. 그러나 멀티 클라우드 데이터 레이크는 데이터 사일로, 데이터 복제, 파편화된 거버넌스, 도구의 복잡성, 비용 증가와 같은 여러 문제를 안고 있다.

구글 클라우드는 이 같은 문제점을 해결할 수 있는 방안이 빅쿼리 옴니라고 설명한다.

빅쿼리 옴니는 데이터 사일로를 허물고 원활한 데이터 액세스를 지원해, 한국에 기반을 둔 멀티 클라우드 고객 또는 해당 지역에서 엔드 유저를 확보하려는 기업에 이상적인 서비스를 제공한다.

빅쿼리 옴니는 유연한 멀티 클라우드 분석 솔루션으로 익숙한 빅쿼리 사용자 인터페이스(UI)를 사용해 구글 클라우드, 아마존웹서비스(AWS) 및 애저(Azure) 환경에서 비용 효율적으로 데이터에 액세스하고 안전하게 데이터를 분석할 수 있도록 지원한다.

기업은 표준 SQL과 구글 클라우드 고객들이 선호하는 빅쿼리 API를 사용해 데이터 사일로를 해소하고 단일 창에서 중요한 비즈니스 인사이트를 확보할 수 있다. 또한 데이터 소스 전반에서 클라우드 간 분석을 수행하고 빅레이크(BigLake) 및 데이터플렉스(Dataplex)를 통해 통합된 멀티 클라우드 거버넌스를 확보할 수 있다.

■크로스 클라우드(Cross-cloud) 분석 가능

구글의 데이터 클라우드 기술을 통해 고객은 분산형 클라우드 서비스 간 고유한 조합을 활용할 수 있다. 루커(Looker)를 사용해 애자일한 크로스 클라우드(cross-cloud) 시맨틱 비즈니스 계층을 생성하고, 빅쿼리와 빅레이크, 빅쿼리 옴니와 같은 기능을 통해 클라우드 환경 전반에 걸쳐 데이터 레이크 및 데이터 웨어하우스를 대규모로 관리할 수 있다.

빅레이크는 데이터 웨어하우스와 레이크 하우스를 통합하는 스토리지 엔진으로, 빅쿼리 관리 테이블 및 파케이(Parquet), 아파치 아이스버그(Apache Iceberg)와 같은 오픈 파일 형식을 비롯한 다양한 스토리지 형식을 표준화한다. 빅쿼리 옴니는 AWS 또는 애저 스토리지에서 로컬로 실행할 수 있는 컴퓨팅 엔진을 제공하며, 고객은 이를 사용해 AWS 또는 애저의 데이터를 원활하게 쿼리할 수 있다.

이러한 서비스는 구글 클라우드 플랫폼, 아마존웹서비스, 마이크로소프트 애저 전반에서 멀티 클라우드 데이터 레이크를 쿼리할 수 있는 단일 창을 제공한다. 여러 플랫폼에서 이그레스(egress) 비용 발생 부담을 줄이며 데이터를 결합해 크로스 클라우드 분석을 수행할 수 있다. 데이터 위치와 관계없이 데이터에 대한 통합 거버넌스 및 보안 관리가 가능하다.

■다각적 인사이트를 위한 통합 마케팅 분석

기업은 광고 최적화, 재고 관리, 고객 이탈 예측, 구매자 성향 트렌드 등 다양한 마케팅 분석을 수행한다. 기존에 이러한 분석을 수행하려면 구글 애널리틱스(Google Analytics), 공공 데이터 세트, 클라우드 환경에 저장된 기타 독점 정보 등 여러 다른 소스의 데이터를 사용해야 했다. 클라우드 간 분석을 수행하고 실행 가능한 인사이트를 도출하기 위해서는 대량의 데이터를 이동하고 중복 복사본을 관리하며 비용 증가 또한 감수해야 한다.

빅쿼리 옴니를 사용하면 이러한 워크플로를 훨씬 간소화할 수 있다. 사용자는 익숙한 빅쿼리 인터페이스를 사용해 AWS나 애저에 있는 데이터에 액세스하고, 추가 분석을 위해 결합해야 하는 관련 데이터만 검색 및 선택할 수 있다. 이 데이터의 하위 집합은 빅쿼리 옴니의 새로운 클라우드 간 전송 기능(Cross-Cloud Transfer capabilities)을 사용해 구글 클라우드로 이전할 수 있다. 고객은 해당 데이터를 구글 클라우드의 다른 데이터 세트와 결합할 수 있으며, 이렇게 통합된 테이블은 루커 및 루커 스튜디오(Looker Studio)와 같은 고급 분석 도구를 통해 주요 비즈니스 이해관계자에게 제공될 수 있다. 이제 버텍스 AI(Vertex AI)를 통해 이 데이터를 최신 AI 모델과 연결할 수도 있다.

세일즈 및 재고, 사용자 및 검색 데이터가 여러 데이터 사일로에 분산돼 있는 리테일 업체를 예로 들어보겠다. 빅쿼리 옴니를 사용하면 이러한 데이터 세트를 원활하게 통합하고 고객 세분화, 캠페인 관리, 수요 예측 등과 같은 여러 마케팅 분석 시나리오를 강화할 수 있다.

■멀티 클라우드 거버넌스를 갖춘 데이터 플랫폼

고객들의 또 다른 니즈는 통합 데이터 플랫폼을 통해 서로 다른 클라우드의 데이터 사일로 환경에서도 운영, 트랜잭션 및 비즈니스 데이터를 분석하고자 하는 것이다. 데이터 사일로는 인수 합병, 분석 도구의 표준화, 여러 클라우드 환경에서 다양한 솔루션 활용, 클라우드 간 데이터 사용 공간 다각화 등 다양한 요인으로 인해 발생한다. 사일로 전반에서 데이터 액세스를 지원하는 단일 창 외에도, 고객은 모든 클라우드 환경에서 일관되고 균일한 데이터 거버넌스를 원한다.

스토리지와 컴퓨팅 계층을 각각 추상화하는 빅레이크와 빅쿼리 옴니를 활용해 기업은 데이터 위치에 관계없이 구글 클라우드에서 데이터에 액세스하고 쿼리를 수행할 수 있다. 또한 빅쿼리에서 세분화된 행 수준 및 열에 대한 액세스 정책을 설정하고, 모든 클라우드 환경에서 일관성 있게 데이터를 관리할 수 있다. 이러한 구성 요소를 통해 데이터 엔지니어링 팀은 복잡한 데이터 파이프라인을 구축하고 관리할 필요 없이, 데이터 사용자를 위해 통합 및 관리된 데이터 플랫폼을 구축할 수 있다. 또한 데이터플렉스 및 데이터 카탈로그(Data Catalog)와 빅쿼리 옴니를 통합해 모든 클라우드에서 데이터를 검색하고, 비즈니스 용어 및 도메인 관련 데이터를 통해 비즈니스 컨텍스트를 추가함으로써 데이터를 보강할 수 있다.

■데이터 공급자와 고객 간 데이터 공유 간소화

크로스 클라우드 분석에서 새롭게 떠오르는 세 번째 패턴은 데이터 공유이다. 여러 서비스에서 재고 데이터, 가입자 데이터와 같은 정보를 고객 또는 사용자와 공유해야 하는 비즈니스 요구가 있으며, 자체 데이터로 이를 분석하거나 집계한 후 그 결과를 서비스 제공업체와 다시 공유하는 경우가 종종 발생한다. 두 대상의 클라우드 환경이 서로 달라 데이터를 클라우드 간 이동 및 공유해야 하는 경우도 많다.

빅쿼리 옴니로 고객은 ▲단일 사용자 인터페이스를 기반으로 여러 클라우드 간 데이터 액세스 및 쿼리 수행 ▲데이터 분석 전 데이터 엔지니어링의 필요성 감소 ▲동일하고 일관된 보안 제어를 활용하고 여러 클라우드 환경에서 실행되는 애플리케이션을 배포해 운영 오버헤드 및 위험 감소 ▲데이터 처리 및 분석에 소요되는 시간을 크게 단축해 인사이트 창출 가속화 ▲여러 클라우드의 사용 공간 및 범위에 대해 일관성 있고 예측 가능한 예산 수립 ▲기민한 분석 지원 및 모든 클라우드 투자에 대한 이점 극대화 등의 기능을 사용 가능하다.

LG CNS를 비롯한 고객들은 이미 빅쿼리 옴니를 사용해 데이터 사일로를 허물고 클라우드 제공업체 간 원활한 데이터 액세스를 확보하고 있다.

LG CNS에서 구글 클라우드 비즈니스를 담당하는 신익준 팀장은 “빅쿼리 옴니를 테스트해 본 결과, AWS 데이터를 빅쿼리로 바로 가져올 수 있는 기능이 정말 만족스러웠다. 새로운 클라우드에 온보딩하지 않고도 여러 조직과의 데이터 공유를 관리할 수 있는 빅쿼리 옴니의 잠재력에 기대가 크다”고 말했다.


관련기사

댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.