조작된 콘텐츠로 가짜 여론전·금전 사기 벌여
[데이터넷] 지하시장에서 공격용 AI 챗봇이 판매되는 등 공격자들이 생성형 AI를 이용한 범죄 활동을 적극 펼치고 있다. 맨디언트는 이와 관련한 블로그 포스팅을 배포하고 “위협 행위자의 생성형 AI 사용이 아직은 제한적이지만 주의를 기울여야 한다”고 경고했다.
맨디언트는 메타스플로잇, 코발트스트라이크 등 정상적인 취약점 진단도구, 레드팀 도구를 공격에 이용하고 있는 것과 마찬가지로 정상적으로 사용되고 있는 생성형 AI를 정보조작과 침투 활동에 사용할 것으로 예상했다. 실제로 공격자들은 AI 활용을 실험하고 있으며, 일부 공격에서는 실제로 활용하고 있는 것으로 분석된다.
AI로 가짜 프로필 사진 만들어 스캠 펼쳐
맨디언트는 생성형 AI가 정보작전을 수행하는데 도움을 주고 있으며, 특히 효율적으로 작전 범위를 넓히는 것과 교묘하게 왜곡된 거짓 컨텐츠를 생성하는데 탁월하다고 설명한다. 특정 사안에 맞게 기사나 정치만화 등을 생성해내고, 가짜 영상, 이미지, 텍스트를 제작할 수 있다. LLM을 이용한 AI 챗봇은 언어장벽을 제거할 수 있기 때문에 외국어를 사용하는 피해자도 쉽게 속일 수 있다.
실제로 러시아 핵티비스트 사이버버쿠트(CyberBerkut)는 여러 조직의 비리를 폭로할 수 있는 내용을 담은 통화 녹음을 유출했다고 주장했다. 실제 개인 목소리로 학습한 AI 모델은 대중을 선동하는 컨텐츠나 가짜 공익 광고 등 오디오 조작을 가능하게 할 수 있다.
맨디언트는 가까운 시일 내에 생성형 AI로 제작된 이미지, 비디오 사용이 늘어날 것이라고 경고했다. 이미 국가기반 공격자들은 현재 적대적 생성 신경망(GAN)을 사용해 가짜 프로필 사진을 만들어 정보작전에 활용하고 있으며, 필터를 추가하거나 얼굴 특징을 수정해 AI 이미지 탐지 기술을 우회하고 있다.
프롬프트에 텍스트를 입력하면 맞춤형 이미지를 생성하는 텍스트-이미지 변환 모델은 아직 늘리 사용되지 않지만, 빠르게 기술이 발전하고 있어 곧 많은 공격 사례에서 찾아볼 수 있을 것으로 보인다. 그려면 공격자가 타깃을 속이기 위해 작성한 시나리오대로 공격을 진행할 수 있으며, 광범위한 피해자를 만들 수 있을 것으로 보인다.
AI로 정치 지도자 부정적 묘사
2023년 3월 맨디언트는 ‘드래곤브릿지’ 인플루언서 캠페인을 분석해 공개했는데, AI를 이용해 미국 정치 지도자들을 부정적으로 묘사하는데 집중했다. 저널리스트인 엘링거 히긴스(Eliot Higgins)가 드래곤브릿지 공격 사례를 보여주기 위해 미드저니를 이용해 트럼프 전 대통령이 죄수복을 입은 이미지를 생성해냈는데, 드래곤브릿지가 실제로 공격 캠페인에 사용한 것과 구분할 수 없을 정도로 유사하게 이미지를 만들었다.
5월에는 러시아 국영매체 RT와 블룸버그 미디어 계정으로 추정되는 @BloombergFeed 트위터계정으로 펜타곤 근처에서 폭발사고가 일어났다며 AI로 만든가짜 이미지를 올렸다. SNS를 통해 이미지를 공유한 후 미국 증시가 하락하는 등 대혼란을 겪었는데, @BloombergFeed는트위터가 인증한 계정이기 때문에 사고 여파가 훨씬 컸다.
공격자는 또한 소셜 엔지니어링 기법공격을 개선하는데 생성형 AI를 사용하고 있다. 조작된 동영상과 음성 콘텐츠를 사용한 비즈니스 이메일 침해(BEC), 고객확인제도(KYC) 무력화 등에 사용되고 있으며, 딥페이크를 이용한 AI 기능을 언더그라운드 포럼에서 광고하고 있다.
맨디언트는 이러한 사례를 열거하면서 ”일반 대중이 진짜와 가짜를 구별하지 못하도록 하는 악의적인 공격은 계속될 것이다. 아직 공격자의 생성형 AI 사용이 초기 단계에 있으므로, 보안 커뮤니티는 방어 전략을개선해 공격자보다 앞서나가야 한다”고 설명했다.
