[스트림 데이터 분석①] IoT 가치 획득, 스트리밍 데이터 분석 ‘필수’
상태바
[스트림 데이터 분석①] IoT 가치 획득, 스트리밍 데이터 분석 ‘필수’
  • 오현식 기자
  • 승인 2016.07.15 09:42
  • 댓글 0
이 기사를 공유합니다

연속적 데이터 흐름에서 가치 포착 … 통신·운송·에너지·의료·제조 등 활용분야 무궁무진

IoT는 스트림 데이터 분석이라는 영역을 부각시키고 있다. 스트림 데이터 분석은 데이터의 흐름 속에서 즉각적인 분석을 수행해 즉시성이 요구되는 부분을 포착하고, 해결함으로써 IoT의 가치를 더할 수 있게 한다. 수십, 수백억개에 달하는 센서와 기기가 시시각각 발생시키는 IoT 환경에서 데이터의 즉각적인 분석 역량은 매우 중요한 요소로 다수의 기업이 IoT 환경에서의 기회 확산을 위해 스트림 데이터 분석 시장의 패권을 노리고 있다. <편집자>

▲ 스트림 데이터 분석 활용 영역

사물인터넷(IoT)의 대두와 함께 스트림 데이터 분석(Stream Data Analytics)이 각광받고 있다. 스트림 데이터 분석, 혹은 스트리밍 분석(Streaming Analytics)라고 불리는 이 여역은 센서 데이터, 웹 트래픽, 보안장비의 로그 등 데이터값이 시간과 함께 연속성을 지니는 스트림 데이터를 분석해 빠르게 가치를 획득하려는 것을 말한다.

빠른 분석을 수행한다는 점에서 실시간 분석(Real-Time Analytics)이나 패스트 데이터 분석(Fast Data Analytics), 혹은 데이터가 발생 지점의 가장 가까운 곳에서 분석이 이뤄진다는 점에서 엣지 분석으로도 불리는 스트림 데이터 분석이 각광받는 배경은 바로 IoT가 자리한다. 다양한 사물을 인터넷에 연결해 새로운 가치를 생성하고, 포착하려는 IoT 환경의 가치를 더하는 것이 바로 실시간 스트리밍 분석으로 지목되는 것이다.

IoT의 경우, 빅데이터와 깊은 관련을 맺는다. 모든 사물이 네트워크에 연결되는 IoT 환경에서는 각종 기기와 센서가 뿜어내는 데이터를 통해 모든 현상과 행동에 대한 가시성을 확보할 수 있을 것으로 기대된다.

이를 위한 전제조건 중 하나는 기기와 센서가 발생시키는 데이터를 분석할 수 있는 역량이다. IoT 환경에서 수십, 수백억개의 기기가 시시각각 발생시키는 데이터량은 상상조차 버거운 막대한 양으로, 방대한 데이터 처리를 위한 빅데이터를 통해 인사이트를 확보할 수 있게 되는 것이다.

그런데 하둡 중심의 일반적 빅데이터는 데이터를 수집, 배치한 후 분석하게 된다. 따라서 수집된 데이터의 이동과 적재, 데이터 정제와 분석까지 적잖은 시간이 소요되게 된다. 바꿔 말해 즉시성이 중요한 요소가 되는 경우에는 뒤늦은 인사이트로 의미를 잃어버리는 경우가 발생할 수 있다.

예를 들어 제조산업에서는 스마트팩토리 환경에서 제조 과정의 불량을 빠르게 색출하거나 혹은 생산 설비의 장애를 예측하기 위해 IoT를 적극적으로 검토하고 있다. 이를 위해서는 제조 라인, 생산 설비에서 생성되는 데이터가 즉각적으로 분석돼야 한다. 설비 고장 이후 분석 결과가 도출되는 경우라면, 소잃고 외양간 고치는 것과 같은 무가치한 인사이트가 될 뿐이기 때문이다. 따라서 데이터의 흐름 속에서 즉각적으로 인사이트를 도출하는 것이 중요하며, 스트리밍 분석을 전면에 부각시키는 것이다.

자동 분석·즉각 대응, 데이터 가치 극적 향상
이정권 한국IBM 실장은 스트리밍 데이터 분석이 기존의 전통적인 데이터 분석과 차별화되는 지점으로 자동화를 꼽았다. 사람의 개입없이도 분석이 자동으로 수행될 뿐만 아니라 데이터 수집/저장과 분석, 나아가 대응 단계에서 발생할 수 있는 모든 지연요소(Data Latency, Analysis Latency, Action Latency 등)를 최소화 또는 제로화하기 위해 설계된 기술 영역이 바로 스트리밍 분석이라는 설명이다.

이정권 실장은 “센서 데이터와 같이 대량으로 발생하는 다양한 유형의 데이터의 대한 빠른 처리를 보장하면서 통계적인 분석과 같은 고급 분석을 수행할 수 있다는 점이 스트림 프로세싱의 차별화 지점”이라며 “이러한 특징은 분석의 적시성이 필요한 비즈니스 환경에서 현재 발생하고 있는 데이터에 대한 실시간 분석과 리포트 기능 등을 통해 비즈니스 이벤트에 기반한 인사이트를 제공, 실시간 의사 결정을 지원함으로써 통신, 운송, 에너지, 제조, 보안 등 다양한 산업군이 직면하고 있는 난제를 해결하고, 가치를 높일 수 있게 한다”고 말했다.

이러한 실시간 스트리밍 분석은 IoT의 대중화와 함께 더욱 가치가 높아지리라는 것이 업계의 공통적인 기대다. 센서 등을 통해 세상 모든 곳의 가시성을 제공하는 IoT 구현을 위해서는 수많은 센서와 기기와 생성시키는 데이터의 즉각적인 분석이 필수 요소가 될 것이기 때문이다.

이석진 팁코소프트웨어코리아 상무 또한 “다양한 데이터가 빠르게 생성되고 있는 오늘날의 환경은 데이터를 보유함으로써 갖는 경쟁우위 요소를 희석시키고 있다”면서 “이제 초점은 데이터를 누가 더 빠르게 획득하고, 신속하게 분석해 더 빠르게 대응하는 것이 더 중요한 요소로, 불과 몇 초의 분석 결과의 차이가 비즈니스 성패까지 가늠하는 시간 경쟁이 더 중요한 요소가 되고 있다”고 강조했다.

홍준혁 맵알코리아 기술이사는 “지금 현재 발생하는 데이터 뿐 아니라 과거 발생 데이터의 연속선에서 데이터 분석을 수행해 가치를 포착하는 것이 스트리밍 데이터 분석”이라며 “석유 시추와 같이 단 한 번의 판단, 혹은 몇 초의 행동 차이가 수십억 달러의 막대한 시추 비용 지불을 좌우하는 경우처럼 보다 빠른, 즉각적인 인사이트 도출을 수행해 비즈니스의 위험을 회피하고, 브랜드 가치와 매출을 높이는 핵심 기제가 될 것”이라고 밝혔다.

허민수 SAS 상무는 “기존 실시간 데이터 처리를 담당했던 CEP(Complex Event Processing) 기반 기술이 룰과 비즈니스 로직을 활용한 이벤트 패턴 파악을 수행하는 반면, 실시간 스트리밍 분석은 비정형 데이터를 포함하는 동시에 고급 분석을 결합한 즉시적인 대응을 지원함으로써 기업의 가치 창출에 빠르고 적극적으로 기여하게 된다”고 설명했다.

이어 허 상무는 “CEP가 스케일업 방식인 것과 달리 최근 얘기되는 스트리밍 분석은 스케일아웃 방식의 확장으로 IoT 환경의 산재된 기기 환경에 대응하고, 차세대 IT의 메인스트림인 클라우드와 더 잘 어울리는 기술이란 점도 더 큰 폭의 활용 확대를 기대하게 하는 부분”이라며 “빅데이터와 클라우드가 필수로 떠오른 것처럼, IoT에서 별다른 설명 없어도 실시간 스트리밍 데이터 분석이 당연히 따라오는 요소로 인식되는 시대가 도래할 것”이라고 기대했다.

활용 범위 무궁무진
실시간 스트림 데이터 분석이 각광받는 또다른 배경은 무궁무진한 활용 범위에 있다. IoT가 모든 산업 분야 곳곳에서 활용돼 혁신의 동력으로 작용한다는 기대와 마찬가지로, IoT 혁신의 현장에는 스트리밍 데이터 분석이 자리할 것으로 예상되는 것이다.

예를 들면 스트리밍 데이터는 블루투스 비콘 등을 활용한 위치기반 O2O에 더 높은 가치를 부여할 수 있다. 현재의 비콘 기반 O2O는 단순히 위치를 체크해 근처 매장에서 활용 가능한 쿠폰 등을 전송함으로써 고객유입을 기대하는 수준이지만, 실시간 스트리밍 데이터 분석을 접목하면, 고객 동선을 분석, 파악하고, 예측해 지나온 길에 위치한 매장의 (즉시성을 잃은) 쿠폰이 아닌 앞으로 고객이 지나갈 지점의 매장 쿠폰을 전송해 유입률과 메시지의 가치를 높일 수 있다.

나아가 백화점과 같은 대규모 상점에서는 고객 동선을 매장 위치와 매핑시킴으로써 현재 고객이 관심을 갖는 상품 종류를 파악하고, 이에 맞춰 유용한 정보를 전달함으로써 고객 경험을 극대화할 수 있게 된다. 이외에도 금융영역의 사기방지 고도화, 제조 영역에서 생산라인에 접목돼 생산성을 극대화시킬 수 있는 등의 사례는 수없이 지목된 스트리밍 데이터의 활용 지점으로 알려져 있다.

허민수 SAS코리아 상무는 “석유 시추를 진행하는 에너지 산업의 경우, 펌프나 송유관 장애 발생시 1일 손실이 200만달러 이상에 달하는데, 이러한 손실을 방지하기 위해 IoT 기술을 활용, 펌프, 송유관 등에 대한 가시성을 확보하려 하지만 수십만개의 센서가 발생하는 방대한 데이터가 관건이 되고 있다”고 전하면서 “한 에너지 기업의 경우, 총 210만개 센서에서 매분 3트릴리온의 데이터가 생성되는 환경을 갖고 있는데, SAS 솔루션을 도입해 스트리밍 데이터 분석을 수행함으로써 원유 전달 경로의 이상징후를 빠르게 감지, 월 300만달러의 비용을 세이브하고 있다”고 전했다.  



댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.