씨게이트, 로스 알라모스 국립연구소와 스토리지 근접 컴퓨팅 개발 협력
상태바
씨게이트, 로스 알라모스 국립연구소와 스토리지 근접 컴퓨팅 개발 협력
  • 윤현기 기자
  • 승인 2023.03.15 18:18
  • 댓글 0
이 기사를 공유합니다

낮은 TCO 갖춘 삭제 방지 데이터 위한 디바이스별 컴퓨팅 개발

[데이터넷] 씨게이트는 로스 알라모스 국립연구소(Los Alamos National Laboratory)와 효율적인 스토리지 근접 컴퓨팅(Computing near storage)을 공동 개발하기 위한 협력 연구 및 개발 협약을 체결했다고 15일 밝혔다.

이 공동 연구 개발은 특히 데이터 보호를 위한 삭제 인코딩(erasure encoding)이 필요한 환경을 위한 것으로, 컴퓨팅 및 스토리지 아키텍처의 지속가능성을 개선하는 것을 목표로 한다. 미국 에너지부 산하에 있는 로스 알라모스 국립연구소는 국가안보, 우주탐사, 재생에너지, 의약, 나노기술, 슈퍼컴퓨터 등 세계 최대 규모 연구소 중 하나다.

씨게이트와 로스 알라모스는 스토리지 장치 내부 혹은 전반에서 최적화된 컴퓨팅 기능을 제공하는 개념증명(PoC) 단계의 고성능 컴퓨팅 아키텍처를 공동 개발한다. 이 아키텍처를 통해 컴퓨팅 기능을 삭제 인코딩된 하드 드라이브 단계로 내려 실행할 수 있다. 이를 통해 더 빠르고, 효율적이며 에너지 집약적인 동시에 열에 덜 민감한 데이터 검색이 가능하게 된다.

에드 게이지(Ed Gage) 씨게이트 리서치 그룹 부사장은 “데이터 근접 컴퓨팅은 항상 데이터에 대해 충분히 알고 있어야 그에 따라 행동할 수 있었지만, 이 새로운 아키텍처는 컴퓨팅 기능을 실행하기 전에 데이터 세트를 인스턴스 단위로 재구성할 필요가 없는 디바이스별 컴퓨팅의 첫 사례”라며 “이 개발을 통해 하드디스크 드라이브 스토리지 아키텍처에 자주 존재하는 삭제 인코딩 데이터에서도 컴퓨팅을 수행할 수 있다”고 말했다.

마이크 모리츠캣(Mike Moritzkat) 씨게이트 정부 솔루션 CEO 겸 총괄은 “이번 공동 연구의 목표는 하드 드라이브에서도 지원 스토리지 시스템의 컴퓨팅 및 메모리 리소스를 활용함으로써 고성능 컴퓨팅 아키텍처의 효율성을 최적화하는 것”이라며 “이로써 리소스를 최적화하고 전체 총소유비용(TCO)을 낮출 수 있다”고 전했다.

하드 드라이브는 복원력을 갖춘 스토리지 아키텍처에 도입되기 전, 논리 데이터 파일이나 오브젝트를 데이터 ‘덩어리’로 분할하는 삭제 코딩 기술이 적용돼 도입되는 경우가 대부분이다. 이 데이터 덩어리는 여러 드라이브에 걸쳐 분산돼 있고 상호 연관성은 없다. 따라서 맥락에 따른 컴퓨팅 작업을 하는 것이 매우 어려운 경우가 많아 씨게이트와 로스 알라모스가 문제를 해결하기 위해 협력하게 됐다.

로스 알라모스의 과학 연구는 대규모 시뮬레이션 수행을 위해 수백 페타바이트(PB) 크기의 적당한 빈도로 사용될 스토리지(웜 스토리지)를 제공할 수 있는 고도의 병렬 디스크 드라이브 기술이 필요하다. 또 드라이브는 2단계의 삭제 코딩으로 보호돼야 하며, 무작위 및 상관관계가 있는 장애로부터 중요한 데이터를 보호할 수 있어야 한다.

이번 협력을 통해 디스크 장치에 매우 근접한 컴퓨팅 능력을 활용하면 과학적 분석을 위해 검색해야 하는 데이터의 양을 크게 줄일 수 있을지를 확인할 수 있게 될 전망이다. 예를 들어 연구자들은 물질을 통과하는 충격파의 가장 앞부분만 추적하거나 긴 시뮬레이션에서 고에너지 입자 몇 개의 상태만 추적해도 충분한 과학적 분석이 가능해질 수 있다.

개리 그라이더(Gary Grider) 로스 알라모스 HPC 부문 리더는 “이 협업은 더 적은 에너지를 사용하고 더 적은 열을 발생시키면서도 이전보다 더 유의미하게 빠른 데이터 쿼리 및 검색 기능을 입증하기 위한 것”이라며 “또 다른 분명한 목표는 더 빠르고 전력을 적게 소모하는 솔루션을 매우 경제적인 방식으로 제공해 온프레미스나 클라우드에 있는 모든 대규모 삭제 방지 데이터에 대해 웜/쿨 디스크 기반 데이터 분석을 더욱 매력적인 솔루션으로 만드는 것”이라고 설명했다.



댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.