[데이터넷] 오늘날 기업은 하이브리드, 멀티 클라우드 컴퓨팅 환경을 넘나드는 데이터의 움직임을 어떻게 지켜보고 접근할 지에 대해 시원한 해답을 찾지 못하고 있다. 느리고 비싸며 불안정하기까지도 한 레거시 데이터 파이프라인이 클라우드 서비스와 만나면 상황은 더욱 나빠질 수 있다.

그에 대한 해답으로 컨플루언트(Confluent)는 26일 <데이터넷TV> 웨비나에서 실시간으로 움직이는 데이터를 위한 컨플루언트 플랫폼을 활용해 빠르고 비용 효과적이면서 안전한 데이터 아키텍처를 구현하는 방법을 소개했다. 

혁신, 속도, 확장성 및 민첩성에 대한 비즈니스 요구가 증가함에 따라 조직이 클라우드로 전환하는 것은 당연한 수순이 됐다. 전략적 계획, 다양한 팀에 의한 클라우드 서비스의 유기적 도입, 인수합병 또는 기타 비즈니스 동인의 결과로 이제 거의 모든 기업이 하이브리드 및 멀티 클라우드 환경으로 전환하는 추세다.

어떤 동기로 시작하게 됐든지 클라우드로의 전환은 시간을 두고 애플리케이션별 점진적으로 진행되는 다년간의 여정이다. 그 과정에서 대부분의 기업들은 자사의 애플리케이션이 레거시 시스템과 복잡하게 연결돼 있는 것을 발견하곤 한다. 일례로 여전히 사용되는 메인프레임은 주문 처리, 금융 거래, 생산 및 재고 관리, 급여 등과 관련된 수많은 미션 크리티컬 애플리케이션을 지원하고 있다.

이러한 시스템은 당장 클라우드로 이동할 수 없거나 이동이 전혀 불가능할 수도 있지만, 클라우드 서비스 및 애플리케이션이 해당 시스템에 있는 데이터를 사용해야 하는 경우도 있다. 즉 기업이 클라우드 퍼스트 개발을 최종 목표로 두고 있더라도 일부 애플리케이션은 온프레미스에서 실행되고 일부는 클라우드에서 실행되는, 일시적 또는 영구적인 하이브리드 클라우드 아키텍처가 되는 경우가 많다.

자유로운 데이터 이동 보장 필요
개발자들이 데이터가 어디에 있는지, 데이터에 어떻게 액세스해야 할지에 대해 걱정할 필요 없이 원하는 서비스를 사용해서 실시간 클라우드 네이티브 애플리케이션을 구축하는 것이 이상적이다. 그러나 현실은 레거시 시스템과 오래된 데이터 아키텍처로 인해 어려움을 겪는 경우가 많다.

김현수 컨플루언트 코리아 상무는 “기업에서는 데이터가 실행되는 환경이 클라우드인지 온프레미스인지 관계없이 모든 시스템과 애플리케이션 사이를 안전하게 실시간으로 이동할 수 있는 최신 데이터 아키텍처가 필요하다”고 지적했다.

많은 조직에서 기존 도구와 프로세스를 사용해 온프레미스와 클라우드 간 데이터를 이동시키고 있다. 배치 데이터 전송, ETL 도구, 기존 메시징 시스템, API 외에도 SI 파트너의 전문 서비스와 결합된 수많은 DIY 방식의 사용자 정의 엔지니어링 작업이 여기에 포함된다.

이때 시스템 환경 내부 또는 전반에 걸쳐 많은 시스템 간 연결이 발생한다. 그리고 여러 팀이 표준 프로세스나 도구 없이 각 프로젝트에 대한 데이터 파이프라인 설계 방법을 스스로 정하는 경우가 일반적이다.

이러한 접근 방식은 느리고, 비싸고, 불안정하고, 안전하지 않다는 문제가 있다. 주기적인 배치 처리 작업으로 인해 서로 다른 데이터 사본이 서로 다른 시간에 서로 다른 장소에 존재하고, 오래된 정보가 비즈니스 운영에 사용될 수 있다. 비용이 많이 들고 귀중한 엔지니어링 자원을 고객이나 내부 관계자를 위한 새로운 기능을 구축하는데 투입하지 못하고, 데이터 파이프라인 프로젝트에 낭비될 수 있다.

새로운 클라우드 서비스를 추가하면 새로운 네트워킹 및 보안 문제가 발생하며, 다양한 지역에서 여러 종류의 규정 준수 및 데이터 주권법 문제를 해결해야 하므로 이러한 아키텍처 문제가 걷잡을 수 없이 악화될 수 있다. 기업이 온프레미스에서 겪고 있는 아키텍처 문제가 클라우드 환경이 추가되면서 더욱 심화될 뿐만 아니라 새로운 문제가 발생하기도 한다.

아키텍처 단순화로 손쉬운 연결 지원
컨플루언트는 조직이 데이터 아키텍처를 현대화하고 글로벌 기업 전반에서 ‘데이터 인 모션(data in motion)’을 실현해 실시간으로 움직이는 데이터를 활용할 수 있도록 지원한다.

김현수 상무는 “이를 가능하게 하는 것은 데이터를 정지된 것으로 생각하는 대신 실시간으로 움직이는 것으로 생각하는 근본적인 사고의 변화에 있다”며 “데이터를 현실에서 일어나는 실제 상황을 나타내는 연속적인 이벤트 스트림으로 재구상함으로써 실시간으로 움직이는 데이터를 사용해 고객에게 만족을 선사하고, 백엔드 시스템에서 효율성을 창출하는 새로운 실시간 기능을 구현할 수 있다”고 소개했다.

컨플루언트는 단일 플랫폼을 통해 조직의 모든 시스템과 애플리케이션을 하나로 연결하고, 기업의 모든 부분에 걸쳐 데이터가 자유롭고 안전하게 흐르도록 함으로써 실시간 애플리케이션을 구동할 수 있게 한다.

실시간 데이터 이동을 실현하는 것 외에도 아키텍처를 단순화함으로써 기존 아키텍처를 ‘느리고 비용이 많이 들며 불안정하고 안전하지 않게 만드는’ 지점 간 연결의 거대한 복잡성을 제거한다. 이를 통해 단순하고 빠르며 탄력적이고 안전한 데이터 플레인을 얻을 수 있다.

특히 단순하면서도 동일한 아키텍처를 수많은 온프레미스 및 클라우드 환경으로 확장한다. 기업의 어느 한 부분에 변경사항이 생기면 모든 곳에서 업데이트된다. 하나의 플랫폼, 하나의 API 세트, 하나의 신뢰할 수 있는 파트너를 사용해 조직의 모든 부분을 실시간으로 쉽게 연결할 수 있다.

엔지니어링 시간 최소화해 TCO 절감
컨플루언트 플랫폼은 온프레미스, 하이브리드 클라우드, 단일/멀티 클라우드 또는 멀티 리전 아키텍처의 모든 조합을 지원해 배포 옵션 측면에서 완전한 유연성을 제공하다. 컨플루언트가 제공하는 120개 이상의 커넥터를 사용하면 기존 시스템을 컨플루언트에 쉽게 통합할 수 있으며, 기존 시스템 기반으로 시스템 데이터를 모바일화할 수 있다. 스트림 처리에 대한 컨플루언트의 SQL 기반 접근 방식인 ‘ksqlDB’를 사용하면 실시간으로 흐르는 데이터에 인텔리전스를 추가함으로써 실시간으로 움직이는 데이터를 보강하고 변환하는 것도 가능하다.

컨플루언트의 하이브리드·멀티 클라우드 아키텍처 솔루션은 조직이 개발 속도를 가속화하고 클라우드의 이점을 더 빠르게 실현하며 풍부한 프론트엔드 고객 경험과 효율적인 백엔드 운영을 지원하는 새로운 차원의 실시간 애플리케이션을 제공할 수 있도록 돕는다. 조직의 모든 데이터 저장소, 애플리케이션 및 시스템을 조직 데이터에 대해 일관된 실시간 보기에서 운용할 수 있으므로 서로 다른 장소 및 시간 일관성 없는 데이터 사본을 작성하는 주기적인 배치 처리 작업이 필요하지 않게 된다.

하이브리드·멀티 클라우드 아키텍처에 대한 컨플루언트의 단순한 접근 방식은 데이터 파이프라인의 복잡한 네트워크를 설계, 구축, 네트워킹, 보안 및 유지 관리하는데 소요되는 엔지니어링 시간을 줄여주고, 비즈니스의 핵심 기능을 구축하는데 집중할 수 있다.

지점 간 통합이 많은 레거시 아키텍처에서는 상호 연결이 설정될 때마다 네트워킹 및 보안 문제를 해결해야 하지만 컨플루언트에서는 한 번만 해결하면 된다. 이후에는 데이터가 조직의 모든 시스템, 애플리케이션 및 데이터 저장소로 자유롭게 이동할 수 있으며, 새로운 시스템과 애플리케이션은 보안이 설정되고 네트워크로 연결된 컨플루언트의 데이터 플레인에 쉽게 통합될 수 있다. 이러한 컨플루언트의 접근 방식은 엔지니어링 팀의 시간을 크게 절약하고 광범위한 데이터 아키텍처를 단순화하므로 운영 중단이 줄어들고, 인프라 문제를 해결하는데 투입되는 시간도 줄어든다.

보안성 향상시켜 안전하게 데이터 공유
컨플루언트는 복잡한 지점 간 상호 연결의 필요성을 없애는 대신 어디에서나 실행되는 분산형의 내결함성, 수평 확장성 및 고가용성을 갖춘 데이터 플랫폼으로 대체함으로써 데이터 아키텍처를 강화하고, 확장성과 탄력성을 크게 높인다. 기업은 헬스플러스(Health+)를 통해 문제를 쉽게 모니터링하고 컨플루언트의 재해 복구 기능을 통해 시스템을 쉽게 복구할 수 있다.

컨플루언트의 데이터는 지속적으로 디스크에 기록되고 노드 간 분산될 수 있으므로 한 노드가 중단되거나 연결이 끊기는 경우에 HA 및 재생 기능을 사용할 수 있어 데이터 손실 위험을 크게 낮춘다. 네트워크 중단이 발생한 경우 혹은 간헐적으로 연결되는 원격 사이트 등에서 연결이 다시 복구되면 중단된 부분부터 자동으로 다시 시작한다.

지점 간 상호 연결을 없애는 것만으로도 보안을 크게 향상시킬 수 있다. 수많은 개별 상호 연결에 보안 설정을 하는 것 대신 단일 데이터 플랫폼을 중앙에서 한 번만 보안 설정을 하면 되며, 이후에는 올바른 액세스 권한이 있는 모든 팀이 플랫폼을 사용해 기업의 모든 부분에서 데이터를 생성하고 이용할 수 있다. 새로운 시스템은 복잡한 네트워킹 및 보안 문제를 다시 살펴볼 필요 없이, 컨플루언트의 ‘데이터 인 모션’을 위한 플랫폼에 쉽게 통합된다.

김현수 상무는 “최근 실시간으로 움직이는 데이터를 기반으로 수집, 처리, 분석 및 조치를 취할 수 있는 지능형 소프트웨어 시스템에 따라 비즈니스 성과가 결정되는 경우가 점점 더 많아지고 있다”며 “기업의 요구사항이 무엇이든지 상관없이 컨플루언트는 모든 시스템을 연결하고, 조직에 실시간 데이터를 제공하는 데이터 플레인을 통해 개발 속도를 가속화시켜 더 나은 비즈니스 성과를 얻을 수 있도록 지원한다”고 강조했다.