[데이터넷] 인공지능(AI) 개발에 활용될 수 있는 사진, 동영상, 텍스트 등의 비정형 데이터가 범람하고 있다.
시장조사기관 가트너에 따르면, 기업이 보유한 데이터의 80%가 비정형 데이터다. 인공지능 개발에 활용될 수 있는 비정형 데이터의 양은 폭발하고 있지만, 이것을 인공지능 개발에 활용하려면 사람의 손길이 많이 필요한 것이다. 시장조사기관 커그니리티카에 따르면, 인공지능 개발 전 과정에서 데이터를 가공하고 관리하는 작업이 차지하는 비중은 80% 이상이다.
이렇듯 데이터 구축이 인공지능 개발의 진입 장벽으로 작용하기 때문에 정부는 포스트 코로나 시대의 일자리 창출과 인공지능 산업의 활성화라는 두 가지 목표를 달성하기 위해 ‘인공지능 학습용 데이터 구축’을 디지털 뉴딜의 중요한 축으로 선포했다. 2020년 한 해에만 3000억원 이상 규모의 데이터 구축 사업을 추진하고 있다. 인공지능 데이터 구축에 이렇게 많은 관심이 쏠린 적은 없었던 것 같다.
시계를 잠시 앞으로 돌려보자. 지난 20년은 소프트웨어의 시대였다. 이 기간 동안에 소프트웨어 산업은 폭발적으로 성장했고, 우리의 삶의 모든 곳에는 소프트웨어가 활용되고 있다. 하지만 20년 전을 돌이켜보면 처음부터 소프트웨어 개발이 효율적이었던 것은 아니었다.
대표적으로 소프트웨어 개발(Development)을 맡은 팀과 서비스 운영(Operation)을 하는 팀 간 정보가 유연하게 교류되지 못했고, 시장의 변화나 고객의 니즈를 빠르게 제품에 반영하지 못하는 비효율이 곳곳에 존재했다.
이러한 비효율을 해결하기 위해 개발과 서비스 운영을 통합하는 데브옵스(DevOps) 생태계가 발전했고, 코드를 관리하는 플랫폼인 깃허브(GitHub), 서비스 운영 인프라를 관리하는 데이터독(Datadog) 등 데브옵스 기업이 탄생했다. 이러한 기업들은 소프트웨어 산업의 성장에 발맞춰 10년 이내의 단기간에 수 조원의 시장 가치를 가진 기업들로 성장해왔다.
인공지능 시대는 어떨까? 2000년대가 소프트웨어 시장의 태동 단계라면 2010년대 이후는 머신러닝의 시대라 할 수 있다. 소프트웨어 개발의 원자재가 코드였다면, 머신러닝 개발의 원자재는 코드와 데이터다. 코드와 데이터 사이의 장벽을 없애고, 이 둘의 조합으로 탄생하는 서비스를 운영하는 조직도 유기적으로 작동할 수 있어야 한다.
데이터, 개발, 운영의 분리될 경우 데이터 사일로가 발생하면서 시장의 변화에 대응이 느려지고, 인공지능의 성능 저하 등의 문제가 발생하며, 서비스 운영에도 큰 비효율이 크게 발생한다. 소프트웨어 시대의 데브옵스에서 한 발 더 나아가 인공지능 시대의 ML옵스(MLOps: Machine Learning Operation)의 관점이 중요해졌다.
슈퍼브에이아이(Superb AI) 역시 인공지능 개발에 필수적인 데이터 구축 및 관리 전문 플랫폼을 중심으로 ML옵스 생태계를 발전시키며 인공지능 개발을 쉽게 만들어야 한다는 비전을 더욱 더 강하게 되새겨 보게 된다.
ML옵스 생태계의 발전 그래프를 보면, 데브옵스 생태계의 발전 그래프를 그대로 닮았다. 데브옵스 생태계가 코드 플랫폼을 중심으로 형성돼 있었다면, ML옵스 생태계는 데이터 플랫폼을 중심으로 모델 배포/관리, 분석, 학습, 라벨링, 데이터 분석 등의 영역에서 특화된 서비스들이 계속 생기며 각각 성장하고 서로 통합될 것으로 예상된다.
데이터 작업은 선형적이고 일회적이지 않다. 반복적이고 유기적이다. 다양한 분야에서 풍성한 학습용 데이터를 구축한 것은 한국 인공지능 산업에 매우 긍정적인 영향을 줄 것이다.
그러나 그 만큼 이제 데이터를 잘 관리하고 활용하는 것이 중요해졌다. 데이터 구축으로 끝이 아니다. ML옵스 관점에서 데이터를 바라봐야 할 때다.
