[데이터넷] 세계 각국에서 생성형 인공지능(AI) 열풍이 거세다. 수많은 기업이 AI 기반 데이터 분석, 가공, 제공과 이를 기반으로 하는 업무 혁신에 나서고 있다. 이를 위해 GPU를 기반으로 하는 고성능 컴퓨팅(HPC) 수요가 지속적으로 증가하는 상황이다. 아울러 AI 컴퓨팅 확산에 따라 데이터 양이 폭증하고 있다. 이에 AI 분석의 정확성을 높이고 빠른 인사이트 확보를 위해 데이터 수집과 관리가 더욱 중요해지면서 고성능 데이터 저장소의 도입도 활발해지고 있다. <편집자>

세계적으로 생성형 AI를 도입하고 활용하려는 움직임에는 기업·기관에서 자체 구축이 가능한 생성형 AI 솔루션들도 한 몫을 했다.

메타는 연구와 상업적 용도 목적으로 활용 가능한 차세대 대규모 언어모델 ‘라마2(Llama2)’를 오픈소스로 공개했으며, 알리바바 또한 70억 매개변수 LLM인 ‘쿠안-7B(Qwen-7B)’, 쿠안-7B를 대화형으로 특화시킨 챗봇 ‘쿠안-7B-챗(Qwen-7B-Chat)’을 오픈소스로 공개했다.

오픈소스는 아니지만 기업·기관 내부 IT 인프라에서 활용할 수 있는 AI 솔루션도 있다.

LG AI연구원이 공개한 초거대 AI ‘엑사원 2.0’은 원하는 용도나 예산에 맞게 모델의 크기부터 종류, 사용 언어까지 맞춤형으로 설계할 수 있다. 데이터 보안을 위해 AI 인프라를 고객이 보유한 서버에 직접 설치하는 온프레미스나 프라이빗 클라우드 방식 등을 지원한다.

네이버클라우드의 ‘뉴로클라우드 포 하이퍼클로바X’는 완전 관리형 하이브리드 클라우드 서비스로 각 기업의 데이터센터 내 폐쇄된 사내망으로 네트워크 환경을 구성한다.

이 같은 움직임에는 기업·기관이 보유한 고객정보 등 민감 데이터를 외부의 생성형 AI로 전송하지 않고, 내부에 생성형 AI 시스템·인프라를 구축해 활용하겠다는 전략이 바탕이 되고 있다.

기업·기관의 생성형 AI 인프라 자체 구축은 필연적으로 AI 컴퓨팅의 확산으로 이어진다.

델, 생성형 AI 솔루션 출시로 시장 공략

델 테크놀로지스도 온프레미스 환경에 빠르고 안전하게 생성형 AI를 구축할 수 있도록 지원하는 신규 오퍼링을 공개하는 등 생성형 AI 산업 발전에서의 역할 확대에 나서고 있다.

델은 지난 5월 엔비디아와 함께 발표한 ‘프로젝트 헬릭스(Project Helix)’의 일환으로 ‘델 생성형 AI 솔루션’을 출시한 바 있다. 이 솔루션은 IT 인프라, PC, 전문 서비스를 망라해 LLM을 갖춘 풀 스택 생성형 AI 채택 간소화는 물론 고객이 생성형 AI 여정의 어느 단계에 있든 이를 활용할 수 있도록 설계돼 모든 규모와 산업 전반의 조직들이 안전하게 혁신을 추진하고 더 나은 결과를 확보할 수 있도록 돕는다.

델의 광범위한 포트폴리오로 구성된 델 생성형 AI 솔루션에는 델 프리시전 워크스테이션, 델 파워엣지 서버, 델 파워스케일 비정형 데이터 스토리지, 델 ECS 엔터프라이즈 오브젝트 스토리지와 서비스 등이 포함되며 클라이언트 사용자 환경부터 데이터센터, 엣지, 퍼블릭 클라우드에 이르기까지 다양한 생성형 AI 솔루션에 적용 가능한 툴을 제공한다.

델과 엔비디아의 공동 엔지니어링으로 탄생한 ‘생성형 AI를 위한 델과 엔비디아의 검증 설계’ 오퍼링은 AI 추론을 위한 블루프린트로, 모듈러 방식을 통해 빠른 구축이 가능하고, 엔터프라이즈 환경에 맞춰 안전하고 확장이 용이한 플랫폼을 제공한다. 이에 기업의 자체 데이터를 이용해 가치 달성 시간은 줄이고, 더 높은 품질의 예측 분석과 의사 결정 체계 확보가 가능하다.

검증이 완료된 포괄적인 추론 접근 방식을 통해 조직은 생성형 AI 프로젝트를 신속하게 진행하고 애플리케이션을 확장해 고객 관리, 콘텐츠 생성 및 관리, 세일즈, 소프트웨어 개발 등의 중요 프로세스를 혁신할 수 있다.

델 검증 설계는 엔비디아 텐서 코어 GPU, 엔비디아 AI 엔터프라이즈 소프트웨어, 엔비디아 네모(NeMo) 엔드투엔드 프레임워크 및 델 소프트웨어가 탑재된 델 파워엣지 XE9680 또는 R760xa 등의 델 인프라를 기반으로 생성형 AI 추론을 지원하기 위해 테스트와 검증을 마친 오퍼링이다.

고객은 이를 델 파워스케일 및 델 ECS 스토리지를 포함해 탄력적이고 확장 가능한 비정형 데이터 스토리지와 결합할 수 있다. 이 인프라는 서비스형 오퍼링인 ‘델 에이펙스(APEX)’를 통해서도 제공돼 온프레미스에 인프라를 구축하되 클라우드 과금 및 관리 방식으로 이용할 수 있다.

델 프로페셔널 서비스는 생성형 AI 채택을 가속화할 수 있는 광범위한 기능 제공을 통해 운영 효율을 개선하고 혁신 촉진을 뒷받침한다.

이 서비스는 생성형 AI를 통해 큰 비즈니스 가치를 생성할 수 있는 여러 활용 사례를 선정하고, 이를 달성할 수 있는 로드맵 구축을 위한 신규 전략 수립부터 시작된다.

델은 생성형 AI를 위한 델과 엔비디아의 검증 설계를 기반으로 풀 스택 구축 서비스 제공을 비롯해 고객 관리, 콘텐츠 생성 등 특정 사례에 플랫폼을 적용할 수 있도록 지원한다. 비즈니스와 통합 완료 이후에는 스케일링 서비스로 관리형 서비스, 교육 및 상주 전문가를 통해 운영을 개선할 수 있다.

‘델 프리시전’은 모델을 배포하기 전에 AI 개발자나 데이터 사이언티스트가 로컬 디바이스에서 생성형 AI 모델을 개발하고 튜닝할 수 있도록 지원한다. 성능과 안정성을 자랑하는 프리시전 워크스테이션은 단일 워크스테이션에서 최대 4개의 엔비디아 RTX 6000 Ada 제너레이션 GPU를 통해 이전 세대보다 AI 소프트웨어 프레임워크를 80% 더 빠르게 실행할 수 있다.

내장된 AI 소프트웨어인 델 옵티마이저는 일하는 방식을 학습하고 자동 조정해 애플리케이션, 네트워크 연결 및 오디오 전반의 성능을 향상시킨다. 또한 생성형 AI 모델을 활용하는 모바일 워크스테이션 사용자가 배터리 사용 시간에 미치는 영향을 최소화하면서 사용 중인 애플리케이션의 성능을 향상시킬 수 있도록 최신 기능이 추가됐다.

생성형 AI 컴퓨팅 걸맞은 스토리지 주목

생성형 AI 활용에 따라 수집, 분석해야 할 데이터 역시 기하급수적으로 늘고 있다. AI/ML, 고성능 데이터 분석 등 최신 엔터프라이즈 워크로드를 위해서는 이에 적합한 스토리지가 필요하다.

또한 AI 기술 개발을 위해서는 정의된 구조가 없고 수집, 저장, 분석이 까다로운 비정형 데이터 관리에 최적화된 스토리지가 필요하다.

데이터 인프라, 솔루션 전문기업 효성인포메이션시스템은 초고성능 병렬 파일 스토리지 ‘HCSF(Hitachi Content Software for File)’를 통해 고성능 데이터 분석과 저장을 고객 맞춤형으로 제공한다.

NVMe 기반의 병렬처리 시스템은 PB급 이상의 데이터 저장에 있어 데이터를 찾기 위한 메타데이터 서버의 역할이 성능에 가장 중요한 역할을 한다. 또한, 대부분의 데이터가 초기에는 많은 IO를 요구하지만, 시간이 지날수록 액세스 빈도가 급격히 낮아진다.

따라서 병렬처리 시스템의 확장에 따른 메타데이터 서버도 함께 확장될 수 있는 아키텍처와, 액세스 빈도가 낮아지는 데이터를 병렬처리시스템 스토리지 레이어에서 자동으로 티어링을 통해 더 저렴한 스토리지로 이동시킨다면 비용을 꽤 절감할 수 있다.

HCSF는 초고성능 병렬 파일 시스템과 오브젝트 스토리지가 결합된 파일 스토리지다. 스케일 아웃 방식의 선형적 성능 향상과 무제한 확장성을 갖춰 AI/ML, 고성능 데이터 분석 등 최신 엔터프라이즈 워크로드에 적합하다.

최첨단 클라우드, 컴퓨팅, 스토리지, 고속 네트워킹 기술의 적용으로 최대 엑사바이트(EB) 규모의 데이터도 필요할 때마다 신속하게 액세스가 가능해 데이터 가치를 충분히 실현할 수 있다. 이를 통해 기업은 데이터 활용으로 혁신을 추진하고, 새로운 시장 기회를 모색하며, 신제품 출시 주기를 단축할 수 있다.

HCSF는 대용량 데이터 분석을 위한 고속 네트워킹 기술과 함께 다양한 프로토콜 호환성을 제공해 유연한 애플리케이션 연동을 지원한다. GPU 서버 성능 극대화를 위해 GPU와 스토리지 간 직접 연결을 위한 GPU 다이렉트 기술(GDS)로 응답 성능을 최적화한다.

또한 컨테이너 스토리지 인터페이스 플러그인(CSI)을 통한 컨테이너 스토리지 볼륨 운영을 최적화하고 효율성을 높여준다. 정책 기반 티어링 파일 시스템 운영으로 비용 효율적인 데이터 관리도 가능하다.

HCSF를 도입해 성공적으로 비즈니스 환경을 업그레이드한 사례는 많다. 한 글로벌 카드사는 실시간 부정거래 방지 시스템, 고성능 데이터 보호 등 새로운 분석 워크로드를 위한 고성능 스토리지로 HCSF를 활용하고 있다. 신약 개발, 자율주행 자동차, 방송·엔터테인먼트, 반도체 분야에서도 HCSF를 도입해 데이터 분석 성과를 높이고 있다.

퓨어스토리지는 통합 파일, 오브젝트(UFFO) 스토리지 플래시블레이드(FlashBlade)를 제안하고 있다.

플래시블레이드는 데이터의 크기나 액세스 패턴과 상관없이 뛰어난 성능을 제공한다. 스케일아웃 확장이 가능한 메타데이터 아키텍처를 기반으로 하고 있어 수백억개의 파일, 오브젝트를 처리할 수 있다. 또한 블레이드를 추가하는 것으로 필요한 성능과 용량을 간편하게 증설할 수 있어 7개의 블레이드에서 최대 150개의 블레이드까지 인프라를 확대하며 다양한 스케일의 AI 수요를 충족할 수 있다.

플래시블레이드는 버츄얼 컨트롤러 아키텍처로 워크로드를 분산 병렬처리하며 최대 64K개의 병렬 큐를 지원하는 NVMe의 성능을 갖추고 있다. 이를 통해 대용량의 데이터를 빠르고 안정적으로 애플리케이션들에 전달해 GPU의 성능을 확보하고 활용도를 높인다. 다양한 앱의 데이터를 한 곳으로 통합해 데이터 사일로를 없애고 각 단계별로 데이터를 복사, 로딩하는 과정을 줄여 워크로드를 가속화한다.

이와 함께 플래시블레이드는 적은 상면으로도 다차원적인 성능을 제공하도록 설계돼 상면, 전력, 냉각 비용을 절감시키며 인프라의 지속가능성을 향상시킨다. 그리고 자동 API로 구축, 업데이트와 관리가 간편하며 메타데이터 가속화 툴인 ‘래피드 파일(Rapid File)’로 쉽고 빠른 대용량 데이터 관리를 지원한다. NFS, SMB 프로토콜 지원뿐만 아니라 고성능 S3와 AWS 아웃포스트 레디 자격으로 인증된 클라우드 연동성을 갖추고 있다.