[데이터넷] 비즈니스가 IT보다 빠른 속도로 진화함에 따라 비즈니스의 혁신 속도를 따라잡기 위해 소프트웨어를 만들고, 출시하는 방법에 대한 새롭고 다양한 방법론 채택이 늘고 있다. 속도가 느리고, 오류 발생이 쉬운 전통적인 폭포수(Waterfall) 모델과 같은 프로세스 문제 해결을 위해 애자일(Agile) 방법론과 데브옵스(DevOps) 적용이 대표적이다.
최근에는 4차 산업혁명을 이끄는 핵심 기술 중 하나인 인공지능(AI)이 전 산업 영역에 폭넓게 활용되면서 ‘ML옵스(MLOps: Machine Learning Operations)’가 부각되고 있다. ML옵스는 데이터 관리 및 머신러닝 시스템 개발과 서비스 운영을 통합해 안정적으로 서비스를 제공하면서도 신속하고 유연한 개발을 추구하는 문화와 방식을 의미한다.
데이터 관리·활용 효율화 중요
가트너에 따르면 기업이 보유한 데이터의 80% 정도가 사진, 동영상, 텍스트 등의 비정형 데이터로, 비정형 데이터의 양이 폭증하고 있지만 이를 인공지능 개발에 활용하려면 사람의 손길이 많이 필요한 것이 사실이다. 이렇듯 데이터 구축은 AI 개발의 진입 장벽으로 작용하고 있다.
AI 시대가 전개되면서 머신러닝의 중요성이 한층 커지고 있다. 머신러닝 개발의 원자재는 코드와 데이터로, 코드와 데이터 사이의 장벽을 없애고, 이들의 조합으로 만들어지는 서비스를 운영하는 조직도 유기적으로 움직여야 한다.
데이터, 개발, 운영이 분리될 경우 데이터 사일로가 발생하면서 급변하는 시장 상황에 대응이 느려지고, AI의 성능 저하 문제가 발생하게 된다. 나아가 서비스 운영에도 비효율을 초래하게 된다. 데이터 구축이 끝이 아니라 데이터를 잘 관리하고 활용하는 것이 중요한 만큼 ML옵스 관점에서의 대응이 보다 중요해질 전망이다.
ML옵스 저변 확대 시동
AI가 혁신 견인차로 각광받고 있지만 개발에 필요한 데이터 구축, 모델 개발 및 훈련, 모델 배포 등의 과정에 워크플로우가 매끄럽지 못하거나 파이프라인이 제대로 구축되지 않으면 비용이 증가하고 프로젝트가 지연될 수밖에 없다. 때문에 AI 개발 효율성과 생산성을 개선시킬 수 있는 ML옵스에 대한 수요가 점점 커지고 있는 가운데 데이터 과학자, 머신러닝 엔지니어, 앱 개발자, IT 운영자 등이 편리하게 이용할 수 있는 플랫폼들도 선보이기 시작했다.
ML옵스 저변 확대를 위한 글로벌 AI 기업 연합인 ‘AI 인프라스트럭처 얼라이언스’가 출범했다. AI 기술력을 높게 평가받고 있는 미국, 유럽 등의 기업들이 뭉친 AI 인프라스트럭처 얼라이언스에는 알레그로AI, 디터민드AI, 파키덤 등이 대표적으로 국내 기업으로는 슈퍼브에이아이가 합류했다.
ML옵스 생태계 발전 거듭
마이크로소프트는 클라우드 기반의 애저 머신러닝을 통해 ML옵스 서비스를 지원하고, 아마존웹서비스(AWS)는 관리형 서비스 세이지메이커(SageMaker)를 통해 생산성 향상을 지원하고 있다. 구글 역시 클라우드 AI 플랫폼에서 머신러닝 라이프사이클 관리를 지원하는 다양한 기능을 제공한다.
국내 AI 데이터 플랫폼 기업인 슈퍼브에이아이는 머신러닝 개발에 필요한 데이터 처리 과정을 한 번에 관리할 수 있는 올인원 플랫폼을 운영하고 있다. 티맥스 A&C는 쿠버네티스 기반 오픈 클라우드 플랫폼 하이퍼클라우드 4.1에 AI와 머신러닝 모델 설계 및 훈련을 원활하게 실행할 수 있도록 관련 오픈소스가 탑재됐다.
ML옵스 생태계는 데이터 플랫폼을 중심으로 모델 배포/관리, 분석, 학습, 라벨링, 분석 등의 영역에서 특화된 서비스들이 생겨나며 성장하고 서로 통합되며 발전을 거듭하며 AI의 진화를 이끌 것으로 기대된다.
