[데이터넷] 전 세계 날씨 예측 등 대규모 연구과제 수행을 위해 고성능 컴퓨팅(HPC) 관련 기술이 주목받고 있다. 인공지능(AI) 학습과 빅데이터 분석에 필요한 데이터양이 급증하면서 일반적인 컴퓨팅 자원으로는 방대한 데이터를 더욱 빠르게 처리하기를 요구하는 현재의 추세를 맞춰나가기 어려워졌기 때문이다. 이제 HPC 기술은 더 많은 기업에서 도입을 검토하고 있으며, 온프레미스부터 클라우드에 이르기까지 다양한 방식으로 도입이 이뤄지고 있다. <편집자>
4차 산업혁명 시대로 접어들면서 데이터가 기업 비즈니스의 중요한 자산으로 떠올랐다. 축적한 데이터를 얼마나 잘 분석하고 활용할 수 있는지가 기업 경쟁력을 결정짓는 요소가 됐으며, 이미 데이터에 기반해 비즈니스 성과를 올리고 있는 기업들도 다수 등장하고 있다.
문제는 갈수록 저장하고 분석해야 할 데이터의 양이 급증한다는 데 있다. 시장조사기관 IDC에 따르면 2018년 33제타바이트(ZB)였던 전 세계 데이터양이 2025년에 이르러 175ZB까지 폭증할 것으로 전망된다. 이를 64GB의 저장용량을 가진 스마트폰에 나눠담으려면 2조6000억대가 필요하며, 이 스마트폰들을 나열하면 지구를 500바퀴나 돌 수 있을 정도다.
이처럼 빠르게 늘어나는 데이터를 효율적으로 저장하기 위한 방안이 고민될 수도 있지만, 한편으로는 백사장의 모래알만큼이나 많은 데이터를 활용하면 이전에는 알기 어려웠던 유의미한 비즈니스 인사이트도 충분히 추출할 수 있을 것으로 전망되며, 점차 그 쓰임새가 커지고 있는 인공지능(AI)·머신러닝(ML) 활용도도 한층 대중화될 수 있을 것이라는 관측도 나오고 있다.
무르익는 AI·빅데이터 환경
데이터의 증가는 자연스럽게 데이터 산업의 성장으로 이어지고 있다. 특히 많은 데이터를 필요로 하는 AI와 빅데이터 분야의 성장이 급격하게 이어지고 있다.
AI와 빅데이터가 4차 산업혁명 시대의 핵심 기술로 여겨지고 있지만, 이들이 최근에 등장한 새로운 개념은 아니다. 이미 오래 전부터 시장에 존재해왔었지만, 그동안 주변 환경이 뒤따라주지 못했기에 빛을 발하기가 어려웠던 것이 사실이다.
관련 업계에서는 AI와 빅데이터가 성장하기 위한 조건으로 다량의 데이터와 이를 수용할 수 있는 인프라, 대용량 연산도 무리 없이 소화할 수 있는 컴퓨팅 성능, 그리고 효율적인 연산 처리 알고리즘 등이 필요하다고 입을 모은다. 공교롭게도 현재는 이러한 조건이 모두 맞아떨어지고 있다.
데이터베이스(DB)에 저장되는 정형 데이터뿐만 아니라 이미지, 텍스트, 로그 등 비정형 데이터들의 중요성이 부각되면서 점차 저장되는 데이터가 늘어나고 있고, 용량 대비 한층 저렴해진 스토리지의 개발과 더불어 연산 능력이 향상된 칩들이 개발되고 있으며, 딥러닝을 비롯해 다양한 AI 학습 모델의 등장으로 보다 효율적인 모델링 개발이 가능해졌다.
그 결과 세계 각국에서는 AI와 빅데이터를 활용해 국가경쟁력을 강화하고자 많은 노력을 기울이고 있는 추세다. 신산업뿐만 아니라 전통적인 산업군에도 AI, 빅데이터 등 IT를 융합시켜 ‘스마트 X’로의 변화를 가속화시킴으로써 사회 전반을 혁신하는데 주력하고 있다.
우리나라 역시 코로나 팬데믹으로 침체된 경기를 부양하는 한편, 미래 국가경쟁력 강화를 위해 ‘한국판 뉴딜’의 일환으로 데이터와 AI에 기반한 ‘디지털 뉴딜’ 경제 활성화 정책을 추진 중이다. 핵심은 향후 디지털 경제의 기반이 되는 데이터의 활용을 최대한 활성화하기 위한 ‘데이터 댐’을 만드는 것으로, 이를 통해 다량의 AI 학습용 데이터 구축과 일자리 창출 효과를 기대하고 있다.
고성능 컴퓨팅 수요 증가
새로운 제품과 서비스를 개발해 출시하는 과정은 기업 비즈니스의 핵심이다. 이전보다 또는 경쟁사보다 더 뛰어난 제품과 서비스를 출시하기 위해 많은 노력을 기울인다. 그러나 생각만큼 제품 사양을 높이거나 기능을 추가하는 것이 쉬운 일은 아니다. 초기 설계가 실제로 구현 가능한지의 여부도 불투명하거니와 가능하더라도 다양한 조건들로 인해 구현할 수 없게 되는 경우도 다반사이기 때문이다.
스마트 제품은 계속해서 진화하고 있다. 스마트 제품에는 판매 후 제품 성능을 최적화하고, 각 제품과 환경 간 통신이 이뤄지며, 향후 개선을 위해 설계팀에 사용 정보를 공급하는 많은 센서가 부착돼 있다. 이러한 시나리오에서는 디지털 솔루션 내에 전체 제품 라이프 사이클을 진화시키는 강력한 데이터 관리와 분석 기능을 필요로 한다.
오늘날 대부분의 제품들은 기계적인 기능, 전자, 소프트웨어, 제어장치 등이 결합된 복잡한 제품 개발 환경을 필요로 한다. 이에 따라 엔지니어링 부서들은 이러한 다양한 측면을 통합적으로 적용한 스마트 제품을 개발하고, 새로운 원자재와 제조 방법을 모색해야 하며, 동시에 더 짧은 설계주기 동안에 설계 작업을 완료해야 하는 과제를 안게 됐다.
이에 실제 환경과 동일한 가상 환경을 구축해 쉽고 간편하게 테스트 할 수 있는 시뮬레이션이 적극 활용되고 있다. 최근 전 세계적으로 연구가 활발히 진행되고 있는 자율주행차나 항공우주, 건설·건축 분야에서도 다양한 시뮬레이션이 진행된다.
시뮬레이션을 통한 예측 정확성을 높이려면 많은 변수를 고려해야 하며, 변수가 늘어나면 늘어날수록 시뮬레이션 연산에 걸리는 시간이 늘어날 수밖에 없다. 또, 이를 3D로 화면에 표시하거나 증강현실(AR) 및 가상현실(VR)을 통해 구현할 경우 연산 컴퓨터에 가해지는 부하는 더욱 높을 수밖에 없다.
그로 인해 PC보다는 서버에서, 서버도 좀 더 빠른 연산이 가능한 고성능 서버의 수요가 커지고 있으며, AI와 빅데이터처럼 테라바이트(TB)나 ZB 이상의 데이터를 다뤄야 하는 환경에서는 슈퍼컴퓨터급의 시스템이나 고성능 클라우드 서비스를 활용하는 모습도 나타나고 있다.
사용처 늘어나는 HPC
슈퍼컴퓨터를 비롯한 고성능 컴퓨팅(HPC)은 기후나 환경 등 사회·경제적 문제 해결 또는 새로운 기술개발 등에 활용되는 경우가 대부분이었다. 국내에서도 기상청과 KISTI 등에서 슈퍼컴퓨터를 활용해 날씨 예측, 다양한 과학기술 연구 등을 수행하고 있지만, 다뤄야 할 데이터가 점차 늘어남에 따라 민간 기업에서도 HPC를 도입하려는 수요가 늘어나고 있다.
네이버는 AI 기술 경쟁력을 한 단계 끌어올리기 위해 국내 기업 최초로 슈퍼컴퓨터를 구축하겠다는 입장을 밝혔다. 네이버는 독자적인 AI 플랫폼 ‘클로바’를 구축하고, 음성 인식 및 합성, 이미지/영상 분석, 자연어 처리 등 다양한 분야에서의 AI 연구개발을 진행하고 있으며, 한국어와 일본어에 대한 초거대 언어모델을 구축할 목적으로 방대한 데이터뿐만 아니라 이를 빠르게 처리할 수 있는 슈퍼컴퓨터를 도입한다는 계획이다.
네이버 측은 검색, 메신저 등으로 확보한 방대한 데이터를 신속하고 안전하게 처리할 수 있도록 700페타플롭스 이상의 성능을 갖춘 국내 최고 수준이자 글로벌에서도 손꼽힐 수 있는 슈퍼컴퓨터를 구축하고, ‘GPT-3’를 능가할 한국어, 일본어의 초거대 언어 모델을 만들어가겠다는 방침이다.
한편, 현대의 데이터센터는 소프트웨어 정의 기반으로 뛰어난 유연성과 적응성을 구현하고 있지만, 이는 엄청난 부하를 발생시킨다. 데이터센터 인프라 구동은 CPU 코어의 20~30%를 소비할 수 있으며, 동서(East-West) 트래픽 혹은 데이터센터 내 트래픽과 마이크로서비스가 늘어나면서 이 같은 부하는 급격히 증가하고 있다.
이에 엔비디아는 데이터센터 인프라 온 칩 아키텍처(DOCA)를 탑재한 새로운 데이터 처리장치(DPU: Data Processing Unit) 제품군을 발표했다. 새로운 엔비디아 블루필드2(BlueField 2) DPU는 강력한 Arm 코어와 가속 엔진을 탑재해 네트워킹, 스토리지 및 보안 기능을 고속 처리할 수 있는 프로그래밍 가능한 프로세서다.
블루필드-2 DPU는 중요한 네트워킹, 스토리지 및 보안 작업을 CPU에서 오프로딩하기에 최적화됐으며, 이를 사용하면 조직 내 IT 인프라를 제로 트러스트(Zero Trust) 보안 기능으로 가속화하고, 완벽한 프로그래밍하는 무장된 최첨단 데이터센터로 전환해 데이터 침해 및 사이버 공격을 방지할 수 있다.
단일 블루필드-2 DPU는 최대 125개의 CPU 코어가 필요한 데이터센터와 동일한 수준의 서비스를 제공하며, 이는 CPU 코어를 다른 다양한 엔터프라이즈 애플리케이션 실행에 사용할 수 있도록 해준다.
HPC 성능 경쟁 본격화
대학을 비롯해 각종 연구기관뿐만 아니라 민간에서의 HPC 수요가 점차 늘어나면서 2020년 6월 기준 전 세계 슈퍼컴퓨터 1위 ‘후가쿠(Fugaku)’를 만든 후지쯔를 비롯해 IBM, HPE, 레노버, 델 테크놀로지스 등 주요 벤더들의 관련 시장을 선점하기 위한 경쟁도 치열해지고 있다.
이 중 HPE의 행보가 가장 눈에 띈다. 지난 2016년 HPC 솔루션 전문 기업 SGI를 인수한 데 이어 2019년에는 슈퍼컴퓨터 전문 기업 크레이(Cray)마저 인수하면서 관련 분야 경쟁력을 크게 강화했다.
HPE 크레이 인수로 작은 규모에서부터 엑사스케일까지 다양한 고객의 수요에 부합할 수 있는 더욱 포괄적인 슈퍼컴퓨팅 기술, 서비스 및 소프트웨어의 포트폴리오를 갖추게 됐으며, 이를 기반으로 폭발적으로 증가하는 데이터 및 HPC, AI, 데이터 분석 등 새로운 통합 워크로드로 상징되는 ‘엑사스케일’ 시대에 대응한다는 입장이다.
HPE 측은 크레이 슈퍼컴퓨팅 포트폴리오가 단일의 거대한 슈퍼컴퓨터나 특정 기술을 일컫는 것이 아닌, 엑사스케일 시대에 우리가 직면한 문제들에 대한 해답을 제시할 수 있는 기존과는 전혀 다른 새로운 시대의 컴퓨팅임을 강조한다.
또한 모든 기업 내 디지털 트랜스포메이션의 기반이 되는 데이터의 거대한 증가, 그리고 AI와 데이터 분석 기반 애플리케이션 및 워크로드 모델링과 시뮬레이션에 대한 수요가 새로운 시대의 컴퓨팅을 탄생시켰으며, 이렇게 도래한 새로운 시대의 컴퓨팅은 연구기관 및 기업의 수요를 모두 아우르며 전례 없는 규모의 혁신과 인사이트를 제공할 수 있을 것이라는 기대감을 나타냈다.
레노버는 고효율 데이터센터를 위한 HPC 솔루션으로 수냉식 서버 ‘씽크시스템 SD650’을 공급하고 있다. 2세대 인텔 제온 프로세서 스케일러블 제품군 CPU를 탑재하는 SD650은 복잡하고 까다로운 HPC 워크로드를 처리하며, 수냉은 지속적으로 더 많은 열을 제거하므로 CPU는 중단 없이 가속모드로 실행돼 CPU의 성능을 최대 10%까지 향상할 수 있다.
SD650은 직관적인 GUI를 갖춘 강력한 관리 도구 모음인 ‘레노버 인텔리전트 컴퓨팅 오케스트레이터(LiCO)’에 의해 지원된다. LiCO는 AI 워크로드를 위한 클러스터형 컴퓨팅 인프라를 쉽게 활용할 수 있도록 지원함으로써 AI를 위한 클러스터 사용의 복잡성을 없앨 수 있는 환경을 제공하고, 모델을 쉽게 개발할 수 있게 해주는 중요한 도구들을 제공한다.
성장 중인 소규모 AI 환경부터 대규모 슈퍼컴퓨터 구성에 이르기까지 다양한 범위의 연구자, 엔지니어, 데이터 과학자들의 가치 창출 시간을 더욱 단축시켜주며, 클러스터 관리자 및 운용 지원에 요구되는 작업량을 줄여준다. 구성 변경 없이도 하나의 클러스터에서 다른 워크로드와 함께 AI 워크로드에 단일 클러스터를 사용할 수 있도록 지원하며, 여러 사용자가 동시에 액세스해 사용할 수 있다.
