스노우플레이크, 파이썬 기반 앱 개발 최적화 지원
상태바
스노우플레이크, 파이썬 기반 앱 개발 최적화 지원
  • 윤현기 기자
  • 승인 2023.01.18 16:33
  • 댓글 0
이 기사를 공유합니다

‘파이썬용 스노우파크’ 출시·스트림릿 인수로 파이썬 앱 개발 단계 최적화
단일 데이터 플랫폼서 애플리케이션·파이프라인·ML 모델 등 구축 지원
조성현 스노우플레이크 코리아 상무가 스노우플레이크의 개발 프레임워크 ‘스노우파크’에 대해 설명하고 있다.
조성현 스노우플레이크 코리아 상무가 스노우플레이크의 개발 프레임워크 ‘스노우파크’에 대해 설명하고 있다.

[데이터넷] 스노우플레이크(Snowflake)가 18일 개최한 ‘스노우데이’에서 개발자, 데이터 엔지니어, 데이터 사이언티스트가 데이터 클라우드에서 직접 애플리케이션을 구축할 수 있도록 지원하는 기술을 발표했다.

이번 발표는 더 많은 사용자가 데이터를 활용할 수 있도록 하며, 스노우플레이크의 단일 플랫폼에서 생산성을 높이고 애플리케이션, 파이프라인, 머신러닝(ML) 모델을 개발할 수 있도록 한다.

데이터 클라우드서 파이썬 기반 앱 개발 지원
지난해 3월 스노우플레이크는 데이터 앱 개발 플랫폼 스트림릿(Streamlit)을 인수하면서 수많은 데이터 사이언티스트와 개발자가 오픈소스 프레임워크로 파이썬 앱을 쉽게 구축할 수 있게 했다. 이로써 스노우플레이크는 개발자가 스노우플레이크 데이터 클라우드에서 데이터 및 ML 모델을 안전한 대화형 애플리케이션으로 구축할 수 있도록 스트림릿을 결합할 계획이다.

이를 통해 스트림릿의 편의성, 유연성과 스노우플레이크의 통제 데이터 접근, 확장성, 보안성을 모두 제공해 개발자들은 간편하게 웹앱을 구축 및 배포할 수 있게 됐다. 개발자는 안전한 스노우플레이크 플랫폼에서 자사 데이터를 사용해 파이썬 앱을 구축하고, 배포, 운영할 수 있게 된다. 이를 바탕으로 현업팀과 데이터를 원활하게 공유하며 ML 활용도를 높이게 된다.

파이썬 생태계 확장
프로그래밍 언어 3위로 평가되고 있는 파이썬은 데이터 사이언티스트들에게는 가장 인기 있는 언어로, 스노우플레이크는 확장된 비즈니스 생태계를 통해 파이썬의 지원 범위를 모든 사용자로 확대하고 있다.

스노우플레이크는 ‘파이썬용 스노우파크’를 공개해 파이썬 및 풍부한 오픈소스 라이브러리 생태계를 제공하고 있다. 현재 차터 커뮤니케이션(Charter Communications), 프랑스전력공사(EDF), 너드월릿(NerdWallet), 노던 트러스트(Northern Trust), 소포스(Sophos) 등 수백 여 개의 고객사가 적용했으며 ‘파이썬용 스노우파크’ 도입률은 6배가량 증가했다.

새로운 개발자 프레임워크인 스노우파크를 통해 개발자는 자바, 스칼라, SQL, 파이썬 중 선호하는 프로그래밍 언어를 기본으로 지원하는 유연한 아키텍처를 제공받게 됐다. ‘파이썬용 스노우파크’는 광범위한 스노우파크 생태계에 포함되며, 여러 팀이 단일 플랫폼 상에서 뛰어난 보안성의 파이썬 샌드박스로 협업 및 앱 구축을 할 수 있도록 하고, 앱 구축 시 높은 확장성, 유연성, 보안 및 일관된 거버넌스를 제공한다. 이를 통해 개발자는 과거 프로젝트의 제품화의 걸림돌이던 데이터 보안 및 컴플라이언스 이슈를 해결한다.

뿐만 아니라 스노우플레이크는 아마존웹서비스(AWS)를 통해 퍼블릭 프리뷰로 제공할 ‘스노우파크 전용 웨어하우스’를 통해 파이썬 개발자가 스노우플레이크 플랫폼에서 대규모 ML 트레이닝 및 메모리 집약적 운영을 직접 구동하도록 할 계획이다. ‘파이썬 워크시트’를 통해 애플리케이션, 데이터 파이프라인, ML 모델을 스노우플레이크 내에서 개발할 수 있도록 비공개 프리뷰도 출시할 계획이다.

아나콘다(Anaconda), dbt랩스 등 몇몇 파트너들은 ‘파이썬용 스노우파크’ 도입을 가속화하고 개발자가 앱을 쉽게 구축할 수 있도록 하는 데 결정적인 역할을 해왔다. 아나콘다의 ‘파이썬용 스노우파크’는 수작업 처리 및 패키지 의존성 관리의 필요성을 없애 스노우플레이크 사용자가 아나콘다의 오픈소스 파이썬 라이브러리를 원활하게 접근할 수 있도록 한다. 또 dbt 랩스의 ‘파이썬용 스노우파크’는 현대적인 분석을 위한 SQL과 파이썬의 기능을 결합해 고객이 데이터 분석가와 데이터 사이언티스트 간의 간극을 좁힐 수 있도록 지원한다.

개발자 자동화·가시성 강화
스노우플레이크는 데이터 파이프라인을 구축하는 방식을 새롭게 해 단일 플랫폼에서 스트리밍 데이터를 기반으로 하는 작업을 수월하게 하고 사일로를 제거한다. 이를 위해 스노우플레이크는 핵심 소프트웨어 개발 원리를 활용하면서 복잡성을 제거하는데 필수 역량을 갖추고 있다.

사용자들은 비공개 프리뷰를 통해 제공되는 스키마 추론을 통해 데이터를 더 빠르게 작동시켜 생산성을 높이고, 모든 사용자에게 제공되는 서버리스 작업을 통해 파이프라인을 수월하게 실행할 수 있게 됐다. 이와 함께 개발자의 데이터 클라우드 상 앱 구축 역량을 강화하기 위해 개선된 툴을 공개한다.

과거 머티리얼라이즈드 테이블(Materialized Table)로 소개된 스노우플레이크는 코딩 효율 및 편의성을 위한 선언적 데이터 파이프라인 구축을 통해 점진적 프로세싱을 자동화함으로써 스트리밍 및 배치(batch)를 원활하게 한다. 이는 데이터 캡처 및 스냅샷 격리 등의 사용 사례를 간소화하며, 스노우플레이크에 기본 탑재되어 있어 모든 스노우플레이크 계정에 완벽한 보안과 통제 아래 공유될 수 있다.

또 개발자 요구에 대한 충족 수준을 높이기 위해 스노우플레이크는 가시성 및 개발자 경험 요소에 투자해 개발자는 알림(비공개 프리뷰), 로깅(비공개 프리뷰), 이벤트 추적(비공개 프리뷰), 작업 그래프 및 이력(퍼블릭 프리뷰) 등을 통해 향상된 생산성으로 데이터 파이프라인을 구축하고 테스트, 디버깅, 배포 및 모니터링할 수 있게 됐다.

조성현 스노우플레이크 코리아 상무는 “스노우플레이크는 계속 앱을 개발하면서 개발자가 혁신을 가속화하는데 필요한 데이터 접근 및 툴을 안전한 단일 플랫폼에서 제공하고 있다”며 “스노우플레이크의 개선된 서비스는 개발자들이 확신을 가지고 강력한 애플리케이션과 파이프라인, 모델을 구축할 수 있는 역량을 지원하고, 복잡성을 없앤 만큼 데이터 클라우드를 기업 전반에 활용, 비즈니스 가치를 높이도록 한다”고 말했다.



댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.