[스트림 데이터 분석②] 스트림 데이터 분석, 시장 선점 경쟁 ‘활발’
상태바
[스트림 데이터 분석②] 스트림 데이터 분석, 시장 선점 경쟁 ‘활발’
  • 오현식 기자
  • 승인 2016.07.18 08:44
  • 댓글 0
이 기사를 공유합니다

국내외 기업 관심 집중·시장 진출 ‘활발’ … 유용성 증명, 레퍼런스 확보 총력

IoT는 스트리밍 데이터 분석이라는 영역에 데이터 분석의 전면에 부각시키고 있다. 스트리밍 데이터 분석은 데이터의 흐름 속에서 즉각적인 분석을 수행해 즉시성이 요구되는 부분을 포착하고, 해결함으로써 IoT의 가치를 더할 수 있게 한다. 수십, 수백억개에 달하는 센서와 기기가 시시각각 발생시키는 IoT 환경에서 데이터의 즉각적인 분석 역량은 매우 중요한 요소로 다수의 기업이 IoT 환경에서의 기회 확산을 위해 스트리밍 데이터 분석 시장의 패권을 노리고 있다. <편집자>

스트림 데이터 분석이 지닌 가치로 인해 성장 잠재력이 매우 높지만, 아직 시장 형성은 미미한 상황이다. 스트리밍 데이터가 주로 IoT와 밀접한 연관을 맺고 있다는 것은 주지의 사실이지만, IoT조차도 아직은 시장 형성 초기에 머물러 있기에 스트림 데이터가 빅데이터, 혹은 데이터 분석 시장에서 갖는 비중도 매우 작은 수준에 머물러 있다. IoT를 제외하면 스트리밍 분석을 요구하는 경우는 제한적이기 때문이다.

나아가 스트리밍 데이터를 처리하는 작업이 말처럼 쉽지 않다는 점도 걸림돌이다. 수많은 센서가 발생시키는 데이터의 양은 표현하기 힘들 정도로 방대한 양일 뿐 아니라 데이터의 형식 역시 소스에 따라 제각각인 경우가 많기 때문이다. 이에 더해 쉼없는 데이터의 흐름을 방해하지 않으면서 데이터의 분석이 수행돼야 한다는 점도 까다로움을 더하는 요인이다.

그러나 IoT와 함께 방대한 스트리밍 데이터의 생성이 예상되는 만큼 다양한 기업이 스트리밍 분석 시장에 눈독을 들이고 있다. 빅데이터의 대표 기술인 하둡 진영에서도 ‘스톰(Storm)’, ‘카프카(Kafka)’ 등의 기술이 등장해 배치 기반 하둡의 약점인 실시간성을 보완하려 하고 있으며, 아마존웹서비스(AWS), 마이크로소프트 애저, 구글 클라우드 플랫폼 등 퍼블릭 클라우드 서비스에서도 스트리밍 데이터 처리를 지원하는 서비스가 추가되고 있다.

IoT 환경의 발생시키는 방대한 데이터는 클라우드로 모일 것이기에 스트리밍 데이터 처리를 지원, 성장 기회를 놓치지 않기 위함이다. 이외에도 SAS, IBM, 시스코, 맵알, 팁코 등 데이터 처리와 관련을 맺고 있는 기업들이 스트리밍 데이터 분석을 경쟁력을 높이고, 성장을 가속화하는 방안의 하나로 주목하고 있으며, 우리나라의 인피니플럭스처럼 성장이 예상되는 실시간 스트리밍 데이터 분석 시장을 겨냥해 창업한 스타트업도 등장하고 있는 추세다. 초기 시장이지만 경쟁의 열기는 여느 시장 못지 않은 뜨거움을 보이고 있는 것이다.

스트리밍 데이터 처리 기반, IoT 분석 시장 도전장
최근 ‘SAS IoT 분석 솔루션(SAS Analytics for IoT)’을 출시하면서 IoT 빅데이터 시장 진출을 선언한 SAS의 핵심은 스트리밍 데이터 처리에 대한 자신감에 근거한다. 2012년 선보인 ‘SAS 이벤트 스트림 프로세싱 엔진(SAS Event Stream Processing Engine)’을 통해 실시간 스트리밍 데이터 분석 처리와 관련한 핵심 기술을 확보하고, 검증받은 만큼 IoT 환경 실시간 빅데이터 분석 시장에 본격적으로 대응하겠다는 자신감이 SAS IoT 분석 솔루션 패키지의 공식 출시로 발현된 것이다.

SAS코리아는 스트리밍 데이터 분석에서 SAS의 특징을 ‘RAPID’라는 단어로 요약했다. RAPID는 SAS 이벤트 스트림 프로세싱 엔진이 지닌 다섯 가지 특징인 리액션(R), 알고리즘(A), 패턴(P), 인티그레이션(I), 디시전(D)의 앞 글자를 딴 것이다. SAS 이벤트 스트림 프로세싱 엔진은 스트리밍 데이터 분석을 통해 확보한 인사이트로 즉각적인 대응을 가능하게 할 뿐 아니라 정교한 알고리즘과 패턴 정의로 분석의 신뢰성을 높인다는 것이다. 특히 오픈 API를 활용해 다양한 앱, 솔루션과 통합할 수 있어 실시간 데이터 분석 인사이트의 가치를 더욱 높이며, 즉각적인 의사결정을 지원해 비즈니스 성장에 기여한다.

허민수 SAS코리아 상무는 “스트리밍 데이터 분석은 단순히 실시간적인 분석과 처리로 끝나는 것이 아니다. 이는 데이터 활용의 첫 번째 단계에 불과한 것으로 데이터가 지속적으로 핸들링돼 총체적인 데이터 매니지먼트를 구현해야 하며, 통계분석에 강점을 지닌 SAS는 전체 빅데이터 라이프사이클 관점에서 관리해 데이터 인사이트의 활용과 가치를 극대화시킨다”고 강조했다.

실시간 데이터 분석 원조 자신
통합적 관점의 스트리밍 데이터 활용은 IBM도 강조하는 부분 중 하나다. IT 시장의 오랜 강자로 수많은 솔루션과 다양한 파트너를 보유하고 있기 때문이다. 또 IBM은 최근 인지컴퓨팅으로 불리는 ‘IBM 왓슨(Watson)’을 기반으로 코그너티브 컴퓨팅 분야를 개척하고 있는데, IoT와 코그너티브 컴퓨팅의 결합도 IBM의 장기적인 로드맵 중 하나다. 이 때 IoT 센서 데이터를 실시간 분석하는 스트리밍 데이터가 요구됨은 물론이다.

이정권 한국IBM 실장은 “석유 시추의 경우, 시추공에서 수집되는 데이터를 통해 빠르게 판단해야 손실을 줄이고, 시추의 성공을 담보할 수 있다”며 “왓슨 결합을 통해 더 신속하게 시추의 계속 진행, 혹은 중단을 결정함으로써 이익을 극대화한 사례도 있다”고 전했다.

오랜 경험으로 노하우를 축적하고 있다는 점도 IBM의 장점이다. IBM이 선보이고 있는 ‘IBM 스트림즈(IBM Streams)’의 역사는 2003년까지 거슬러 올라간다. 2003년 IBM과 미국방성과의 협업 프로젝트를 통해 스트리밍 데이터의 기술 확보에 나선 것이다. 이를 기반으로 2007년 IBM 왓슨 연구소에서 상용화된 솔루션으로 ‘IBM 인포스피어 스트림즈’로 선보였으며, 이를 일신해 최근 IBM 스트림즈로 새롭게 선보인 것이다.

이 실장은 “스트리밍 데이터 분석에 있어서도 IBM이 원조로, 인포스피어 스트림즈 시절부터 다양한 산업군의 수많은 고객 사례를 통해 안정성과 성능을 검증받은 신뢰된 솔루션”이라고 강조하면서 “빅데이터의 요구사항인 V3(Volume, Velocity, Variety)를 만족할 뿐 아니라 다양한 성능 테스트에서도 경쟁 솔루션 대비 14배의 적은 하드웨어 자원을 사용하면서도 12배 이상의 더 많은 데이터 처리가 가능하며, 데이터와 워크로드의 증가에 따른 확장성 측면에서도 월등히 뛰어난 선형적인 확장성을 제공하는 우수성을 입증하고 있다”고 전했다.

2016년 1분기 포레스터리서치가 발표한 ‘포레스터 웨이브 : 빅데이터 스트리밍 애널리틱스(Forrester Wave : Big Data Streaming Analytics) 보고서에서 업계 리더로 평가받은 것은 IBM 스트림즈에 대한 공신력을 입증하는 사례다. 포레스터리서치는 보고서에서 ‘인지 솔루션을 기반으로 스트림 유입과 데이터를 이해해 결정에 활용한다’, ‘아키텍처, 운영관리, 스트리밍 오퍼레이터, 애플리케이션 개발과 비즈니스 애플리케이션, 로드맵, 수행능력, 구현 지원 및 파트너 부분에서 높은 점수를 받았다’ 등의 언급을 통해 IBM 스트림즈의 우수성을 인정했다.

이정권 실장은 “제조, 금융 등을 중심으로 IoT 적용이 확산되면서 스트리밍 데이터 분석이 활성화되고 있는 해외와 달리 국내는 규제, 제조 산업의 투자 여력 상실 등으로 IoT 도래가 늦춰지면서 스트리밍 데이터 확산도 지체되고 있다. IBM은 고객의 이슈를 총체적 관점에서 해결할 수 있는 만큼, 고객의 니즈를 발굴해 선제안함으로써 국내 스트리밍 데이터 분석 시장 형성을 이뤄낼 계획”이라고 전했다.



댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.