[데이터넷] 데이터 인프라, 솔루션 전문기업 효성인포메이션시스템(대표 양정규)은 국내 인공지능(AI) 서비스 기업 업스테이지(대표 김성훈)가 초고성능 병렬 파일 스토리지 ‘HCSF’를 도입했다고 8일 밝혔다.
업스테이지의 이번 HCSF 도입은 AI 교육 및 AI 학습 모델 테스트 환경을 위한 고성능 컴퓨팅(HPC) 인프라 구축이 목적이다.
업스테이지는 전 산업에 ‘쉬운 AI 적용(Easy to apply AI)’ 구현을 목표로 AI 솔루션 개발과 교육을 주요 사업으로 하는 AI 기업이다. 업스테이지는 카카오톡에서 130만명이 활용하는 국민 챗AI ‘에스크업(AskUp)’을 비롯, 광학문자인식(OCR) 기반 문서 AI 솔루션 ‘다큐먼트 AI팩’, 챗봇과 검색-추천 기술로 초개인화된 솔루션을 제공하는 ‘애스크업 서제스트(AskUP Seargest)’ 등을 서비스하고 있다. 최근에는 자체 구축한 대규모 언어 모델(LLM)이 메타, MS 등 빅테크 기업들의 모델을 제치고 ‘허깅페이스 오픈LLM 리더보드’에서 세계 1위의 성능을 보여 화제가 됐다.
업스테이지는 주요 사업 중 하나인 AI 전문 교육 프로그램 운영을 위해 효성인포메이션시스템으로부터 HCSF(Hitachi Content Software for File)를 도입했다. 업스테이지는 HCSF를 활용해 HPC 환경을 구현하고 안정적으로 서비스를 운영 중이다. 업스테이지는 수십대 GPU 환경 구현을 위한 스토리지로 HCSF를 채택하고 인피니밴드(InfiniBand)로 네트워크 환경을 구성하며 AI 교육 서비스 효과를 극대화하기 위한 최상의 인프라를 구축했다.
업스테이지는 GPU 서버 활용한 성능 극대화를 위해 HCSF를 SSD NVMe 환경으로 구성해 입출력(I/O) 병목현상을 없애고, GPU 서버와 스토리지 간 직접 연결을 위한 GPU 다이렉트 기술(GDS)로 응답 성능을 최적화했다. 또한 CSI(Container Storage Interface Plug-in)를 통한 컨테이너 기반 관리로 스토리지 볼륨 운영을 최적화하고 효율성을 높였다.
업스테이지는 HCSF를 활용해 최상의 성능으로 GPU 기반 AI 교육을 제공하고, 개발자와 분석가들은 AI 솔루션 개발 및 AI 모델 테스트를 위한 다양한 활용이 가능하다. 향후 갑작스러운 데이터 및 사용자 증가에도 유연한 대응이 가능하고, GPU 서버 인프라를 고려한 스토리지 최적화 등을 통해 AI 서비스에 최적화된 HPC 환경을 제공 및 운영할 수 있다.
HCSF는 초고성능 병렬 파일 시스템과 오브젝트 스토리지가 통합된 파일 스토리지로 초고성능과 대용량 확장성을 모두 제공한다. 오브젝트 스토리지의 가용성과 클라우드 기능을 갖추면서도 분산 파일 시스템 속도를 제공하고 파일과 오브젝트 프로토콜을 지원해 데이터 수집이 용이하다. 고성능, 스케일아웃 단일 파일 시스템, 오브젝트 스토리지와 통합 구성해 오토티어링(Auto Tiering)까지 지원하는 차별성을 바탕으로 AI 시대 고성능 데이터 분석을 위한 최고의 환경을 구현한다.
박재권 업스테이지 인프라 팀장은 “HCSF를 통해 AI 환경에 최적화된 HPC 인프라를 성공적으로 구현하고, 운영과 관리가 쉬워 최소 운영 인력으로 편리하게 사용하고 있다”며 “업스테이지는 AI 대전환 시대 세계 최고의 AI 관련 기술력을 구현할 수 있도록 인프라 혁신에도 최선을 다할 것”이라고 밝혔다.
양정규 효성인포메이션시스템 대표이사는 “국내 대표 AI 서비스 기업 업스테이지와의 성공적인 구축 사례를 기반으로 AI 시대 최적화된 HPC 인프라 환경 구축을 희망하는 고객들에게 솔루션을 적극 제시하고 영업 활동을 펼칠 것”이라고 밝혔다.
