[스트림 데이터 분석③] 제조·유통 등 선진 적용 사례 발굴
상태바
[스트림 데이터 분석③] 제조·유통 등 선진 적용 사례 발굴
  • 오현식 기자
  • 승인 2016.07.19 10:09
  • 댓글 0
이 기사를 공유합니다

클라우드 서비스 관심 집중 … 국산 솔루션 기업도 ‘눈독’

IoT는 스트림 데이터 분석이라는 영역에 데이터 분석의 전면에 부각시키고 있다. 스트림 데이터 분석은 데이터의 흐름 속에서 즉각적인 분석을 수행해 즉시성이 요구되는 부분을 포착하고, 해결함으로써 IoT의 가치를 더할 수 있게 한다. 수십, 수백억개에 달하는 센서와 기기가 시시각각 발생시키는 IoT 환경에서 데이터의 즉각적인 분석 역량은 매우 중요한 요소로 다수의 기업이 IoT 환경에서의 기회 확산을 위해 스트리밍 분석 시장의 패권을 노리고 있다. <편집자>

팁코소프트웨어도 실시간 분석에서 빠지지 않는 강자다. 1985년 설립된 팁코는 실시산성이 중시되는 이벤트 프로세싱과 애널리틱스를 중심으로 비즈니스를 발전시켜 온 기업으로, 스트리밍 데이터 분석에 있어서도 앞선 경쟁력을 자랑한다.

포레스터리서치가 ‘포레스터 웨이브: 2016년 1분기 빅데이터 스트리밍 애널리틱스’ 보고서에서 팁코를 시장 리더로 선정한 것은 이를 보여주는 방증이다. 포레스터는 팁코의 코어 스트리밍 분석 기능, 범용적 목적의 활용, 사내 및 클라우드 환경을 위한 구축 옵션 등을 높이 평가했다.

이석진 팁코코리아 컨설팅 총괄 상무는 “패스트 데이터의 활용은 팁코가 설립초기부터 강조한 사항”이라며 “팁코는 저장소를 제외한 패스트 데이터 분석 전 영역에 걸친 기술과 솔루션을 보유하고 있고, 이를 기반으로 IoT 시대 최적의 파트너가 될 것”이라는 자신감을 표시했다.

이 상무는 특히 찰나의 빠른 분석으로도 비즈니스에서 큰 이점을 얻을 수 있음을 강조했다. 약 2초만 빠르게 데이터 분석을 이뤄낸다면 이는 수천억의 가치로 돌아온다는 설명으로, 이는 비즈니스의 변화 속도가 클 수록 더욱 큰 가치창출과 경쟁우위로 돌아올 것으로 예상했다.

팁코코리아에 따르면, 국민카드는 팁코의 실시간 스트리밍 분석 기술을 접목해 실시간 마케팅을 구현함으로써 고객 반응률이 12배 증대시키고, 7000억원의 매출 향상 효과를 거뒀다. 2초 빠른 패스트 데이터의 효과를 입증한 것이다.

이석진 상무는 팁코만의 차별화 요소로 ‘사람의 개입 인정’을 들었다. 자동화도 중요하지만, 사람이 개입해 데이터 인사이트를 확인하고, 비즈니스에 적용하는 과정이 실질적 비즈니스 향상에 더욱 중요한 역할을 수행한다는 것이다. 따라서 팁코는 ‘팁코 스폿파이어’ 등 사람에게 직관적으로 인사이트를 전달하는 시각화 기술에도 힘을 기울이고 있다.

이 상무는 “몇몇 업체들은 고객들에게 컴퓨터가 사람을 대체할 것이라는 생각을 하게 만들지만 팁코는 이것이 완전히 잘못됐다는 입장”이라며 “인간의 경험과 지성을 확장시키는 역할을 수행하는 것이 컴퓨터로, 팁코는 시각화되고 진보된 임베디드 및 스트리밍 분석 솔루션을 통해 인지 컴퓨팅을 실용적으로 적용하는 데에 초점을 두고 인간의 인사이트와 지능형 기술간에 적절한 균형을 맞추고 있다”고 전했다.

포레스터리서치 역시 팁코를 리더로 선정한 포레스터웨이브 보고서에서 “팁코소프트웨어는 모든 솔루션에 있어 패스트 데이터를 활용한다. 대부분의 스트리밍 솔루션은 뛰어난 스트리밍 애플리케이션들에 영감을 주는 인간의 인사이트들을 거의 배제하지만 팁코의 스트리밍 솔루션은 분석을 위한 아이디어들이 인간의 인사이트와 해당 분야의 지식에서 나온다는 점을 인정하고, 실시간 스트리밍 데이터 시각화를 지원해 인사이트의 활용성을 높인다”고 말했다.

총체적 빅데이터 처리 프로세스 구축
하둡 전문기업으로 알려졌던 맵알은 최근 패스트 데이터 영역에 집중하고 있다. 하둡 상용 배포판 기업이라는 세간의 인식을 탈피해 빅데이터는 물론 실시간 패스트 데이터까지 아우르는 데이터 분석 전문기업으로 자리매김하기 위함이다.

실제로 맵알은 지난 4월 ‘맵알 컨버지드 데이터 플랫폼(MapR Converged Data Platform)을 발표하면서 ‘하둡 전문’이라는 색깔빼기에 나섰다. 맵알 컨버지드 데이터 플랫폼은 스파크를 지원하는 하둡, 웹-스케일 스토리지, NoSQL과 스트리밍 기능을 하나의 통합된 클러스터에 결합한 단일 플랫폼으로 빅데이터 솔루션을 제공할 수 있는 맵알의 역량을 의미하며, 지난해 말 패스트 데이터 공략을 위해 발표한 ‘맵알 스트림(MapR Streams)’을 비롯해 맵알DB, 맵알FS를 포괄한다. 이를 통해 맵알은 기존 배치형 하둡 기반의 빅데이터 분석은 물론, 실시간 스트리밍 분석까지 포괄하는 통합 데이터 애널리틱스 환경 구현을 지원하게 됐다는 설명이다.

홍준혁 맵알코리아 기술이사는 “맵알은 하둡 외에도 스트리밍 데이터 분석으로 패스트 데이터 처리를 지원, 빅데이터 전 영역을 아우르는 벤더로 거듭났다”면서 “IoT와 관련해 관심이 높아지고 있는 스트리밍 데이터 분석에 있어서도 맵알은 단순히 실시간 분석 뿐 아니라 뒷단 하둡으로 장기 저장을 지원함으로써 연속성 확보까지 지원, 더 많은 이점을 준다”고 강조했다.

경쟁 솔루션에 비해 비교적 늦은 출발이라고 할 수 있지만, 제한적인 국내 스트리밍 분석 시장에서 성과를 올리고 있다는 점은 주목거리다. 맵알코리아에 따르면 제조기업 두 곳에서 맵알 스트림을 도입해 생산라인 무결성 유지, 불량 제품 검출 등에 활용하고 있다. 두 곳의 사례는 각기 센서 데이터, 이미지 데이터를 활용한 것으로 차이가 있어 맵알코리아는 향후 다양한 시장을 확대하는데 크게 기여할 것으로 기대했다.

홍준혁 이사는 맵알 스트림의 장점으로 데이터 큐를 직접적으로 들여다 볼 수 있는 역량을 꼽았다. 홍 이사는 “큐를 직접 보고, 분석하면 더 빠른 패스트 분석을 통해 비즈니스 가치 향상을 앞당길 수 있다”면서 “많은 솔루션이 있지만 큐의 직접 분석은 현재 맵알만이 가능한 것”이라고 강조했다. 이어 홍 이사는 “더 빠른 분석과 장기보관까지 대응하는 데이터 라이프사이클 전반을 아우르는 이점을 바탕으로 IoT 빅데이터 시장을 선도하겠다”고 자신감을 표명했다.

IoT 빅데이터 시대 기회 증진
클라우드 기업 중에서는 AWS가 국내 시장 공략에 가장 적극적이다. 마이크로소프트 애저, 구글 클라우드 플랫폼 등에서도 실시간 스트리밍 분석을 지원하는 서비스가 존재하지만, 시장 형성이 더딘 국내 상황을 반영하듯 서비스가 이뤄지지 않고 있다. 반면 AWS는 스트리밍 데이터 처리 서비스인 ‘아마존 키네시스(Amazon Kinesis)’로 고객 확보에 성공하면서 스트리밍 데이터 처리 시장을 개척하고 있다.

AWS 키네시스의 가장 큰 특징은 확장성이다. 시간 순서대로 연속적으로 들어오는 데이터를 실시간으로 수용하기 위해 무한한 확장성을 제공할 수 있는 구조로 설계돼 IoT 환경에서 발생할 대용량 데이터의 실시간 처리를 뒷받침하는 것으로, 수십만 곳의 데이터 소스에서 발생하는 데이터를 TB 수준까지 수용할 수 있다.

이는 클라우드 기반이라는 AWS의 장점을 극대화하는 것이다. SAS, IBM, 맵알 등 소프트웨어 기업의 솔루션이 발생지점과 가까운 위치에서의 엣지 분석을 수행할 수 있는 반면 클라우드 서비스라는 AWS의 특성상, 엣지 분석의 측면에서 볼 때에는 원격지의 클라우드센터로  데이터가 이동해야 해 맞지 않는다는 평가도 나온다.

이에 대해 AWS는 빠르게 사용자들의 액션들을 캡쳐해서 의미있는 데이터를 만들어야 하는 게임 산업에서도 활발히 사용되는 등 스트림 데이터 분석을 성공적으로 수행한 실제 사용사례를 통해 반론을 제기한다. 엣지 분석으로 칭할 수는 없지만, 실제 적용에서 무리가 없음을 증명할 뿐 아니라 키네시스 기반의 다양한 스트림 분석 서비스 사례를 통해 유용성을 충분히 검증받고 있다는 것이다. 나아가 클라우드의 유연성과 확장성으로 방대한 데이터 수용이 가능한 환경을 제공한다는 점도 차별적인 강점으로 꼽힌다.

양승도 AWS 솔루션즈 아키텍트는 “오늘날의 기술진화는 굳이 엣지 분석이 아니라도 실시간 분석이 무리없는 수준에 이르렀다”면서 “게임상의 클릭 스트림을 키네시스로 처리하는 사례도 있는데, 이는 트래픽 이동에 따른 레이턴시가 극히 미미한 수준에 불과하며, 키네시스가 실시간 스트리밍 데이터 처리에 활용 가능함을 보여준다”고 설명했다.

또 AWS는 지난해 기존 ‘키네시스 스트림(Kinesis Stream)’에 더해 ‘키네시스 파이어호스(Kinesis Firehose)’를 새롭게 발표하면서 서비스를 한층 고도화했다. 키네시스 파이어호스는 커스텀 작업이 필요했던 기존 키네시스 스트림과 달리 스토리지 서비스인 아마존 S3나 레드시프트로 쉽게 데이터를 로드할 수 있도록 함으로써 편의성을 강화시킨 것이다. 이에 더해 AWS는 SQL을 통한 분석까지 손쉽게 연결하는 ‘키네시스 애널리틱스’도 계획하고 있다.

양승도 아키텍트는 “고객이 필요한 사항을 지속적으로 수용해 빠르게 발전시킨다는 AWS의 기업 문화를 구성하는 핵심”이라면서 “2015년 700개가 넘는 기능 개선을 이뤄낸 점에서 볼 수 있듯 스트리밍 데이터와 관련해서도 고객의 요구에 부응해 빠르게 발전시킴으로써 IoT의 기회를 고객이 빠르게 포착할 수 있도록 지원할 것”이라고 말했다.

인피니플럭스, 스트림 분석으로 글로벌 시장 출사표
국내 기업 중에서는 인피니플럭스가 주목된다. 인피니플럭스는  빠른 속도로 입력되는 방대한 데이터를 신속하게 처리할 수 있는 시계열 DBMS인 ‘인피니플럭스(InfiniFlux)’의 개발해 공급하는 기업이다. 서버, 네트워크 등의 다양한 기기로부터 생성되는 데이터를 DBMS에서 실시간 처리할 수 있는 인피니플럭스 DBMS는 수많은 센서로부터 발생하는 방대한 데이터를 실시간 분석하는 스트리밍 데이터 분석에 최적화됐다고 평가된다.

김성진 인피니플럭스 사장은 “여타의 스트리밍 데이터 분석 솔루션과 달리 인피니플럭스는 DBMS 기반이라는 점에서 차별화된다”면서 “시계열 컬럼러 방식을 통해 SQL 활용, 통합적인 데이터 수집과 분석 등 DBMS가 지닌 고유의 이점을 유지하는 동시에 느린 입력, 성능 저하 문제를 해결함으로써 IoT 스트리밍 데이터 처리에 최적화시켰다”고 설명했다. 이어 김 사장은 “초당 수백만건의 처리가 가능한 DBMS는 인피니플럭스 외에는 전세계적으로도 유사 제품을 찾기 어려운 만큼 IoT 글로벌 시장에서 성장을 이뤄내겠다”고 포부를 밝혔다.

인피니플럭스 DBMS는 분석성능 최적화를 위한 컬럼러 DBMS 기술, 실시간 검색을 위한 검색엔진 기술 등 빅데이터 실시간 처리를 위해 인피니플럭스가 개발한 특허 기술을 기반으로 기존 전통적 DBMS로는 처리할 수 없었던 방대한 데이터를 처리하는 점이 가장 큰 특징이다. 특히 입력,삭제 등 데이터 변경 연산과 읽기 연산을 독립적으로 처리하는 MVCC(Multi Version Concurrency Control) 기술을 통해 초당 수십만건의 데이터 수집과 처리가 가능해 특정 테이블에 인덱스가 다수 존재하는 상황에서도 최소 초당 30만건에서 최고 200만건까지 데이터 저장과 처리을 지원한다.



댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.