설명가능성·프라이버시 보호·AI 애플리케이션 보안 요건 갖춰야
[데이터넷] 챗GPT(ChatGPT)를 이용한 사이버 공격도구가 발견되고 있다. 챗GPT는 뛰어난 AI 기술을 이용해 단시간에 논문을 쓰고 개발 지식 전혀 없이 코딩을 할 수 있으며, 웹사이트 콘텐츠를 만들 수 있다. 다크웹에서 이를 악용하지 않을리 없다. 거래처 담당자, 업무 관계자, 신뢰할 수 있는 기업이나 기관을 사칭하는 각종 공격메일을 자동으로 생성해 접근할 수 있다. 체크포인트는 이미 다크웹에서 개발 경험 없는 사이버 범죄자들이 공격도구를 개발하기 위해 챗GPT를 악용하고 있다고 밝혔다.
AI 기술이 빠르게 발전하면서 부작용도 만만치 않게 발생한다. 챗GPT를 이용해 저작권에 걸리지 않게 표절할 수 있으며, 수십만장의 자료에서 필요한 정보를 순식간에 찾아내 보고서를 만들 수 있다. AI로 이미지, 동영상을 학습해 정교한 딥페이크 영상으로 각종 사기를 칠 수 있으며, AI가 오염된 데이터를 학습하게 해 잘못된 결정을 내리게 할 수 있다.
가트너는 AI를 악용하는 문제를 해결하기 위한 ‘AI 신뢰, 리스크 및 보안 관리(AI TRiSM)’가 필요하다고 강조하면서 필수 기술 요소를 설명한 가이드를 공개했다. AI TRiSM을 위한 시장 가이드에서는 2026년까지 AI를 비즈니스에 사용하는 조직이 TRiSM을 도입하면 50%의 비즈니스 향상 효과를 거둘 수 있을 것이라고 내다봤다.
가트너는 AI TRiSM에 ▲설명 가능한 AI ▲프라이버시 보호 ▲AI 모델 운영(ModelOps) ▲AI 애플리케이션 보안이 필요하다고 설명했다.
AI, 신뢰·리스크·보안 관리해야
AI는 결과를 도출하게 된 과정을 보여주지 않아 신뢰를 잃고 있다. 그래서 AI의 설명가능성이 필수며, AI가 생산하는 데이터가 편향되었는지, AI 분석 시스템이 공격 당했는지, 입력하는 데이터와 프로세스 상에서 실수가 발생했는지 모니터링 하는 것이 포함된다. AI 설명가능성을 위한 표준도구와 방법은 아직 없지만, 오픈소스 설명가능성 프레임워크가 등장하고 있으며, 몇 몇 상용 솔루션도 등장하고 있다.
AI는 식별할 수 없는 정보 속에서도 개인정보를 찾아낼 수 있기 때문에 프라이버시 보호는 매우 민감한 문제가 되고 있다. 가트너의 2021년 조사에서 5개 조직 중 2개에서 AI로 인한 개인정보 침해 사고 발생했다.
AI로 인한 개인정보 침해를 막기 위해 식별 가능한 데이터를 비식별화 하는 것이 아니라 처음부터 합성데이터 혹은 실제 데이터와 같은 값을 갖는 허위 데이터를 사용하는 방법이 제안된다. 그런데 이 데이터를 만들 때 개인정보를 완전히 배제할 수 없으며, 생성된 데이터의 편향성 여부를 확인하기가 어렵다는 한계가 있다.
ModelOps는 분석, AI, 의사결정 모델에 거버넌스와 라이프사이클 관리를 적용한다. AI 모델과 함께 구축되는 ModelOps는 기업 전체 대규모 환경에서 단일 소스를 제공하며, 기술과 플랫폼에 구애받지 않고 전반적인 가시성과 협업을 지원한다.
AI 자체를 보호하는 기술도 필요하다. 이 기술은 AI 워크플로우 견고성을 테스트, 검증, 개선할 수 있어야 하며, AI의 탐지·분류를 우회하는 능동적인 공격자도 찾아야한다. 적대적 AI에 대응하기 위해 모델을 강화하고, 일정 수준의 노이즈와 적대적 데이터가 입력된다 해도 정상 분석 결과를 도출할 수 있어야 한다.
보고서에서는 “AI 모델이 비즈니스 요구를 충조하고 의도하고 예상한 대로 수행하도록 하려면 AI 신뢰와 위험, 보안을 관리해야 한다. AI TRiSM 프로그램이 없으면 기업 AI 모델은 예상치 못한 위험을 초래하는 비즈니스에 불리하게 작용할 수 있으며, 이로 인해 모델 결과, 개인 정보 보호 위반, 상당한 평판 손상 및 기타 부정적 결과가 발생하지만 담당 팀은 이를 알지 못할 것”이라고 설명했다.
