[데이터넷] AI 중심 시대가 도래했다. 그러면서 AI 부작용도 심화됐다. AI의 편향성과 불투명성 문제를 근본적으로 해결할 수 있는 뚜렷한 방법이 없으며, 범죄자가 AI를 사용해 더 지능적으로 공격을 진행하고 있다. 이에 윤리적이고 신뢰할 수 있는 AI에 대한 요구가 높아지고 있으며, AI 이용 공격을 막는 AI 기술에 대한 수요도 크게 늘고 있다. AI 보안 문제와 대응 방법을 알아본다.<편집자>

선진국, 윤리적 AI 위한 규제 마련 나서

AI로 인한 문제를 기술만으로 막지 못한다. 새로운 기술이 가진 위험성을 파악하기 전에 진화하고 있으며, 기존의 문제와 새로운 기술의 문제가 얽히고 설키면서 심각한 피해를 입히게 된다. 그래서 AI 설계 단계부터 윤리와 보안을 해결해야 한다는 목소리가 높다. 이에 세계 주요국 정부는 AI 윤리를 준수할 수 있는 규제 마련에 나서고 있다.

지난해 11월 미국이 주도한 ‘안전한 AI 개발을 위한 가이드라인(Guidelines for secure AI system development)’이 공개됐다. 우리나라를 포함한 세계 16개국이 참여했으며, AI의 안전한 디자인과 개발, 배포, 운영·유지관리를 위한 지침이 포함돼 있다. 가이드는 의도한대로 작동하고, 필요할 때 사용할 수 있으며, 승인되지 않은 당사자에게 중요한 데이터를 공개하지 않고 작동하는 AI 시스템 구축에 도움이 된다고 소개한다.

가이드의 주요 내용을 간략하게 요약하면 다음과 같다.

안전한 디자인: 보안과 성능을 고려한 시스템 설계가 필요하다. 내부 개발과 외부 구성요소 사용 시 공급망 보안을 고려하고, 실사 평가로 위협 여부를 검사한다. 사용중인 모델의 복잡성과 안전성, 사용 사례에 대한 적합성을 검증한다. 시스템에 대한 위협 모델링과 위험에 대한 직원 인식 교육을 실시한다.

안전한 개발: 시스템 수명주기 전반에서 AI 공급망 보안 평가를 실시하고, 외부에서 공급받은 리소스에 대한 SBOM·HBOM을 획득, 유지, 관리한다. AI 자산을 식별, 추적, 보호하고, 데이터와 모델, 프롬프트를 문서화해 투명성과 책임성을 강화한다.

안전한 배포: 시스템 수명주기 전 과정에 보안 원칙을 적용하며, 민감한 코드와 데이터는 격리 보관해 AI 모델 타깃 공격으로부터 보호한다. 지속적인 모델 보호 체계를 갖춰 데이터·프롬프트 변조 공격을 차단한다. 사고 시 대응책을 마련하고, 벤치마킹, 레드팀을 활용해 보안과 공정성 평가를 실시한다.

안전한 운영 및 유지관리: 시스템 동작과 입력 모니터링과 자동화된 업데이트로 안전성 수준이 유지될 수 있게 한다. 정부 및 산업계 생태계와 협력해 모범사례를 공유하고, 문제를 함께 해결할 수 있게 한다.

한편 미국 NIST는 지난해 ‘AI 위험관리체계(AI RMF) v1.0’ 지침을 발표하고 AI 제공 사업자가 AI 위험을 관리하고 신뢰할 수 있으며 책임 있는 AI 시스템을 개발하도록 안내하고 있다. 이 지침은 거버넌스, 측정, 매핑, 관리 등 4가지 핵심 기능을 AI 라이프사이클 전반에서 수행하며, 위험관리 능력을 개선했는지 정기적으로 평가한다.

EU, ‘AI법’ 통해 서비스·보안 요구사항 명시

AI 규제에 가장 적극적으로 나서고 있는 EU는 지난해 6월 ‘AI법(AI ACT)’를 제정하고 고위험 AI 서비스와 보안 요구사항, 필요 요건과 기능을 명시했다. 이 법에서는 사람의 안전, 생명, 권리에 위협이 되는 시스템은 AI를 사용하지 못하게 했으며, 높은 위험을 초래할 수 있는 고위험 시스템은 CE 인증, 보안성 평가 등 높은 수준의 요구를 지켜야 한다고 밝히고 있다. 챗봇, 딥페이크 등 인간과 상호작용하거나 생체 데이터 기반 감정인식 콘텐츠는 반드시 투명성을 확보해야 한다고 조언한다.

AI로 인한 부작용 우려가 높아지면서 우리나라도 AI의 안전한 활용 활성화를 위한 정책기반 마련에 나서고 있다. 정부가 추진하는 AI 관련 규제의 기본원칙은 AI 개발과 활용에서 인간의 생명, 신체, 정신적 건강에 해가 되지 않도록 안전성과 신뢰성을 확보한다는 것이다. 생명·안전과 직결되는 AI는 이용자에게 사전 고지하고 신뢰성·안전성 확보를 위한 조치를 취해야 한다는 점을 명시하고 있다. 더불어 금융분야의 AI보안 가이드라인과 국가정보원의 공공기관 챗GPT 활용 가이드라인을 배포하고 안전한 AI 활용을 지원하고 있다.

아마추어 해커, AI로 공격 전문성 높여

AI 부작용을 막는데 규제는 최소한의 장치일 뿐이다. 기술 발전은 규제로 막을 수 없다. 특히 사이버 범죄조직이 AI를 이용해 공격을 혁신적으로 진화시키고 있는 것이 심각한 문제다. 노드VPN은 지하시장에서 AI를 사용해 어떻게 더 효과적으로 공격할 수 있는지 안내하는 튜토리얼이 해커들에게 큰 인기를 끌고 있다고 설명했으며, 이로 인해 아마추어 해커들이 더 적극적으로 공격에 가담하고 있다고 설명했다. 다크웹에서는 프러드GPT 등 공격자용 생성형 AI 서비스도 활성화되고 있는 상황이다.

공격자가 AI를 이용하는 가장 대표적인 방법이 피싱이다. 공격자는 AI를 이용해 SNS, 인터넷 등에서 공격 목표가 되는 사람을 찾아 그 사람에 맞춘 피싱 메시지를 보낸다. 처음에는 일상적인 업무 메일 혹은 메시지를 전송하며, 상대편에서 긍정적인 응답이 오면 본격적인 공격을 시작한다.

생성형 AI로 언어의 장벽이 낮아지면서 피싱이 더 증가할 것으로 보인다. 로그프레소는 그간 우리나라를 타깃으로 한 타깃 피싱 조직은 한국어 사용자가 많은 중국 기반 조직이 많았으나, 생성형AI를 이용해 여러 국가 언어를 이용할 수 있게 되자 아프리카, 유럽, 남미 등의 조직이 피싱 공격을 시도하고 있다고 설명했다.

클라우드보안연합(CSA)의 ‘챗GPT 보안 영향’ 보고서에서는 공격자들이 챗GPT와 일종의 역할극을 하면서 잘못된 응답이나 금지된 행위를 하도록 유도하는 정황이 발견됐다고 설명했다. 가상인물을 설정한 후 챗GPT와 대화하면서 필터링과 보안 정책을 우회하는 답변을 이끌어내도록 질문을 계속 바꿔보는 방식이다. 이러한 경험을 다크웹 포럼에서 공유하면서 새로운 전술을 논의하며 발전시킨다.

딥페이크로 생체인증 신뢰성 저하 우려

딥페이크, 딥보이스를 이용하면 더 쉽게 사용자를 속일 수 있다. 비즈니스 이메일 침해(BEC)를 막기 위해 송금을 요청하는 상대방과 직접 통화를 해서 확인하도록 교육하고 있는데, 피해자의 전화를 미리 해킹해 피해자가 거래 담당자가 아니라 공격자에게 전화하도록 하고, 딥페이크·딥보이스로 담당자로 위장해 송금 요청을 확인하도록 한다.

생체인식 기술을 다양한 인증 방법으로 사용하는데, 딥페이크로 인해 생체인증도 신뢰를 잃을 것으로 보인다. 가트너는 2026년 기업의 30%가 생체인식을 통한 신원확인 및 인증 솔루션을 단독으로 신뢰할 수 없다고 생각할 것이라고 설명했다. 가트너는 그 근거로 사기성 신원 인증의 15%가 딥페이크와 관련돼 있다는 조사결과를 언급했으며, 탐지되지 않은 공격은 더 많을 것이라고 덧붙였다.

취약점 탐색·침투에 AI 사용

AI를 이용해 특정 기술이나 플랫폼에서 사용되는 애플리케이션과 그 애플리케이션의 취약점을 찾고, 이 취약점을 이용해 침투할 수 있는 방법을 모색할 수 있으며, 수백줄의 코드에서 취약점와 구성오류를 찾아 익스플로잇을 만들거나, 다형성 멀웨어를 제작해 악성코드 탐지 기술을 지속적으로 우회할 수 있다.

애플리케이션 개발 단계에서 보안 취약점을 제거하기 위해 애플리케이션 보안 테스트(AST) 도구가 AI 기반 탐지 기술을 제공하고 있다. 그런데 이를 역으로 악용하는 공격도 등장할 수 있다. 깃랩은 모든 코드 테스트의 50%에 AI가 적용되며, 2024년 80%까지 올라갈 것이고, 그 후 100% 자동화에 이를 것이라고 전망했다. 이를 공격자가 악용하면 개발된 코드의 종속성 등을 분석해 파악되지 않은 취약점을 찾아낼 수 있으며, 혹은 데브옵스 과정에 교묘히 잠입해 취약한 코드를 삽입할 수 있다.

데브옵스 환경에서 빠르게 애플리케이션을 개발하다보면 비즈니스 로직이 잘못 설계됐거나 권한이 오남용된 설정이 있을 수 있다. AI가 이를 찾아 악성 프롬프트를 주입하거나 무단으로 침투할 수 있다.