[데이터넷] 구글 트렌드를 분석한 ‘모두 거짓말을 한다(Everybody Lies)’에서 저자 세스 스티븐스 다비도위츠( Seth Stephens-Davidowitz)는 “빅데이터가 가장 잘 작동하도록 돕기 위해 특별한 소스가 필요한 경우가 많다. 인간과 소규모 설문조사, 이른바 ‘스몰 데이터’가 필요하다”고 설명한다.
‘스몰 데이터’는 빅데이터를 형성하기 위해 수집하는 원천데이터를 말한다. 개인의 취향, 건강상태, 생활양식 등 사소한 행동에서 나오는 정보를 일컬으며, 프로파일러가 피의자와 범죄자의 무의식적인 행동을 분석해 범죄 특징을 알아내는 것을 대표적인 예로 들 수 있다.
스몰 데이터는 인간 행동이나 취향 등에만 국한된 개념은 아니다. 대규모 빅데이터는 스몰데이터의 집합으로 이뤄진다. 다양한 시스템의 로그기록, 센서가 측정한 다양한 상황 정보, 각종 IoT 기기들이 생성, 수집하고 전송하는 현장 정보 등 모든 데이터는 스몰 데이터가 될 수 있다.
스몰데이터 기술로 시스코·델과 IoT·OT 보안 시장 개척
스몰데이터 특화 기술로 시스코, 델 등 글로벌 기업과 함께 산업용 IoT와 OT 통합시장을 개척해가는 국내 스타트업이 있다. 에스디플렉스(SDPlex)는 설립 2년이 채 되지 않은 신생기업이지만, 국내 글로벌 기업을 비롯해 시스코, 델 등과 함께 스몰데이터 기술을 이용한 IoT·OT 융합 시장을 열어가고 있다.
노주환 에스디플렉스 대표는 “빅데이터 기술과 클라우드 솔루션 시장은 이미 성숙된 상태로, 글로벌 대기업이 장악해 소규모 벤처 기업이 틈새를 파고들기 어렵다. 에스디플렉스는 ‘역발상’을 통해 새로운 시장을 개척하기로 했다. 빅데이터를 위해서는 스몰데이터가 필요하며, 다종다양한 디바이스와 시스템에서 실시간으로 데이터를 수집하고 빅데이터 시스템이 분석할 수 있도록 제공하는 솔루션을 만들면 새로운 시장이 열릴 것이라고 판단했다”고 말했다.
노주환 대표의 이러한 판단은 시장의 요구에 정확하게 맞았다. ABC(AI, 빅데이터, 클라우드) 사업을 위해서는 이를 가능하게 하는 근간 기술인 ‘스몰데이터’가 필요하다. 글로벌 제조사들이 에스디플렉스의 기술에 높은 점수를 매겼으며, 시스코와 델은 자사의 IoT 제품에 에스디플렉스 기술을 적용했다. 특히 시스코 IoT 사업부와의 협업을 통해 글로벌 다양한 산업군에서 성공사례를 확보하고 있다.
AI 정확한 학습 위해 스몰데이터 정합성 유지해야
스몰데이터에 대한 연구는 글로벌 기술 시장에서 뜨겁게 달아오르고 있는 분야다. 특히 AI가 확산되면서 AI가 잘못된 학습으로 잘못된 판단을 할 수 있다고 우려하면서 이를 막을 수 있는 기술을 고민하고 있다.
MIT에서 10여년 전 부터 진행하고 있는 노먼(Norman) 프로젝트는 AI를 어떻게 학습시키느냐에 따라 싸이코패스와 같은 판단을 내릴 수 있는지 연구하고 있다. 보안 분야에서는 공격자가 머신러닝을 이용해 보안을 우회하는 ‘적대적 머신러닝’을 막아야 한다는 수요도 있다.
AI가 바른 판단을 내리기 위해서는 학습 데이터와 머신러닝 알고리즘 뿐 아니라 개별 상황에 따른 사람의 판단이 반드시 필요하다. 사람이 모든 이벤트에 개입할 수 없기 때문에 실시간, 바른 데이터를 학습하고 정확한 결과를 도출할 수 있는 방법이 마련돼야 하며, AI가 학습하게 되는 원천 데이터인 다양한 ‘스몰데이터’를 수집하고 정제하는 방법에 주목하고 있는 것이다.
노주환 대표는 “빅데이터 시장을 분석해보니, 마치 20층 건물을 지을 때 건물을 지탱해 줄 지하 구조물은 무시하고 20층에서부터 지어 내려오는 방식으로 접근하는 것과 같다고 판단하게 됐다. 빅데이터를 이루는 스몰데이터에 대한 연구는 초보적인 단계였으며, 이 분야의 전문성을 갖게 되면 글로벌 시장까지 장악할 수 있을 것이라고 판단했다”고 말했다.
높은 기술력으로 글로벌 시장 선점
노주환 대표는 미국 실리콘밸리의 인텔 연구소, 썬마이크로시스템즈 등에서 근무하면서 OS 관련 기술을 연구해 온 전문가이다. 자신의 전문성을 살려 리소스가 적은 소형 IoT 기기로부터 데이터를 수집해 이상행위 분석 및 1차 실시간 처리를 할 수 있는 스몰데이터 프레임워크 ‘온큐’를 개발했다.
온큐는 다양한 OT 시스템의 프로토콜을 이해하고 데이터를 실시간으로 수집해 필터링 해 제공한다. 온큐의 핵심 경쟁력은 OT 환경을 위한 맞춤형 실시간 데이터 처리 기술이다. 디바이스에서 생성된 데이터의 정합성과 무결성을 확인하고 데이터 플랫폼으로 전달하는 기술력이 탁월하다. 산업현장의 다양한 센서, 디바이스, 설비 및 장비로부터 데이터를 추출하며, 엣지와 포그 레이어에서 분석해 시스템 효율성을 향상시킬 수 있다.
현재 이 시장에서는 시벨(Siebel) 출신 인사들이 설립한 c3.ai , 지멘스 출신 인사들이 설립한 파우스트 등이 있으며, 델이 지원하고 있는 엣지엑스 파운드리(EdgeX Foundry), OT와 SD-WAN을 연결하고자 하는 인피오트(Infiot) 등이 스몰데이터와 관련된 기술을 제공하고 있다.
스몰데이터 기술은 이제 막 시장에 알려지기 시작한 시점이기 때문에 치열한 경쟁이 시작됐다고는 할 수 없다. 또한 스몰데이터는 기술적인 진입장벽이 높기 때문에 후발주자들이 쉽게 진입할 수도 없다. 더불이 이 기술은 국내 시장에서 수요를 창출하기보다 글로벌 사례를 다양하게 확보해나가야 한다.
노주환 대표는 “스몰데이터는 OT, IoT에 대한 깊이 있는 이해가 필요하다. 다양한 통신 프로토콜과 기계를 이해해야 하며, OS 레벨의 기술과 임베디드 소프트웨어 기술을 갖추고 있어야 한다”며 “누구나 쉽게 접근할 수 있는 시장이 아닌 만큼, 다양한 글로벌 성공사례를 보유한 에스디플렉스가 시장을 선점하고 있다고 자신한다”고 밝혔다.
역량 있는 인재 영입해 ‘날개 달 것’
에스디플렉스의 고객은 제조사와 서비스 기업 등이다. 시스코, 델 등 IT 시스템 제조사 뿐 아니라 설비 제조사, IoT 서비스 기업 등이 온큐 프레임워크를 통해 데이터 분석 효율성을 높일 수 있다고 설명한다. 시스코와의 지속적인 기술협업을 통해 국내 대규모 제조기업을 비롯해 미국 바닥재 제조 기업인 모학(Mohwak), 다우(Dow)의 대만 공장 등에서의 프로젝트를 통해 제품의 성능과 안정성을 검증하고 있다. 현재 급부상하고 있는 미국 스마트팜 시장을 공략하기 위해 미국 주요 지역의 농업협동조합 등과 MOU 체결을 추진하고 있으며, 조만간 실제 성과를 발표할 수 있을 것으로 기대한다.
스몰데이터가 높은 수준의 기술 성숙도를 요구하고 있으며, 글로벌 시장에서 비즈니스를 전개해야 하는 만큼, 인재영입에도 신중할 수 밖에 없다.
