[데이터넷] 오픈AI 창업자이자 CEO인 샘 알트만이 이사회에 의해 해고당했다가 복귀하는 일이 일어났다. 단순한 해프닝으로 여기기에는 석연찮은 부분이 있다. 샘 알트만이 “AI에 의식이 생긴 것 같다”고 발언한 후 해고된 것으로 알려지고 있기 때문이다. 모든 영역에서 인간을 뛰어넘는 ‘인공일반지능(AGI)’의 탄생을 예고한 것일 수 있기 때문이다.

‘매트릭스’와 같은 미래사회를 그린 영화를 보면 기술이 발달하면서 인간을 지배하는 존재가 등장한다. 그 존재를 개발하고 발전시킨 인간은 어느 순간 그들을 통제하지 못하다가, 결국은 복종하게 된다. AGI가 바로 그 존재가 될 것이라는 우려가 나오고 있다.

지난 봄 미 공군이 AI를 탑재한 드론을 이용한 모의군사훈련 중 드론이 통신 시설을 파괴하는 사건이 있었다. 이 훈련은 적군의 지대공 미사일(SAM)을 식별해 파괴하는 방공망 제압 작전(SEAD)이었으며, 작전 수행에 방해되는 것을 공격하도록 했다. 작전 중 민간인을 대상으로 공격하려는 드론에게 공격 중지 명령을 내리자 드론이 조종사를 공격했으며, 작전중지를 명령하자 통신탑을 파괴했다. 작전의 최종 명령을 달성하는데 작전중지 명령이 방해된다며 통신탑을 파괴한 것이다.

드론에게 민간인과 아군, 아군 시설을 공격하지 말라는 명령을 추가하면 이 사고는 막을 수 있다. 그런데 전쟁 중 발생할 수 있는 수많은 변수를 미리 예측하고 훈련시키는 것은 불가능하며, 훈련되지 않은 상황에 처했을 때, AI가 어떤 행동을 취할지 아무도 예상하지 못한다.

자율주행차가 하늘과 파란색 버스를 구분하지 못하고 차선을 바꿔 앞으로 끼어드는 버스를 들이받고, 무단횡단하는 행인을 발견했는데 운전자를 보호하면서 앞으로 주행한다는 명령을 수행하기 위해 행인을 치고 지나가는 사고가 일어난다.

일상에서 발생할 수 있는 모든 상황을 예측하고 훈련시키는 것이 불가능하다. 사건이 발생하면 그 때 마다 일일이 교정하는 현재 방식은 모든 것에 AI가 적용되는 현재와 미래에 맞지 않는 방법이다.

각국 정부, 윤리적 AI 위한 규제 제정 나서

인간이 통제할 수 없는 AGI가 현실화될 것이라는 우려가 높아지면서 세계 각국이 AI 규제 제정에 나서고 있다. EU는 세계 최초로 AI법을 만들고 사람의 안전과 생명, 권리에 위협이 되는 시스템은 AI를 사용하지 못하게 했으며, 높은 위험을 초래할 수 있는 고위험 시스템은 출시 전 강도높은 테스트를 하도록 했다.

영국에서는 ‘AI 안전성 정상회의’를 통해 ‘브레츨리 선언’을 채택, 동참한 28개국과 함께 안전하고 책임 있는AI 개발과 활용을 위해 AI 안전위험을 식별하고, 국가간 위험기반 정책을 추진하는데 협력한다는 내용을 담았다.

미국 정부는 행정명령을 통해 AI가 생성하는 모든 콘텐츠에 ‘AI가 작성한 것’이라는 문구를 넣도록 했으며, AI 모델을 만들 때 국방물자 생산법에 따라 연방정부에 통보하도록 했다. NIST는 ‘AI 위험관리체계(AI RMF) v1.0’ 지침을 발표하고 AI 제공 사업자가 AI 위험을 관리하고 신뢰할 수 있으며 책임 있는 AI 시스템을 개발하도록 안내하고 있다.

미국이 주도한 ‘안전한 AI 개발을 위한 가이드라인’도 공개됐다. 우리나라를 포함한 세계 16개국이 참여했으며, AI의 안전한 디자인과 개발, 배포, 운영·유지관리를 위한 지침이 포함돼 있다. 가이드는 의도한대로 작동하고, 필요할 때 사용할 수 있으며, 승인되지 않은 당사자에게 중요한 데이터를 공개하지 않고 작동하는 AI 시스템 구축을 위한 것이다.

2025년 서울에서 열리는 ‘제 47차 글로벌 프라이버시 총회’는 ‘일상화된 인공지능(AI)으로 일어날 개인정보 이슈’라는 주제를 채택했으며, 세계 각국의 정책당국, 학계, 법조계, 산업계 등 각 분야 전문가들이 AI 관련 프라이버시 현안을 정리하고 대응방향을 마련할 계획이다.

법은 기술 발전을 막지 못한다

윤리적인 AI를 위한 규제 제정이 이뤄지고 있지만, 기술발전 속도를 따라가지 못한다. 알파고를 이긴 알파제로는 단 사흘동안 490만번 셀프대국으로 바둑을 익힌 후 알파고와의 경기에서 완승을 거뒀다. 챗GPT는 인류가 축적한 방대한 지식을 몇 달만에 학습했다. 칩의 연산능력이 발전하면서 수천년 동안 발전시켜 온 인류의 지식을 AI가 단기간에 학습하고 강화하면서 인간의 지능을 훌쩍 뛰어넘었다. 

엄청난 속도로 진화하는 AI를 규제로 막을 수 없다. 규제를 제정하기 위해서는 이해관계자의 의견을 수렴하고 입법화하는 지난한 과정을 거쳐야 한다. 논의가 시작된 시점과 법이 시행되는 시점사이에 AI는 완전히 다른 차원의 기술로 발전한다.

챗GPT 개발과 서비스에 수조원이 투입된 것으로 알려진다. 대규모 자본이 투입되는 AI 서비스를 규제하기 위한 입법 과정에서 자본의 입김이 작용하지 않을 수 없다. AI 서비스 기업들은 AI의 부작용보다 AI로 인해 개선되는 것을 집중 홍보하면서 AI에 대한 긍정적인 인식을 심어준다. AI 기업은 일제히 윤리적인 AI를 만들겠다고 선언하지만, AI로 인해 발생하는 모든 경우의 수를 다 계산해서 대응하지는 못한다.

AI 악용 막기 위한 전 인류의 노력 필요

AI로 인한 사이버 공격도 심각한 문제다. 딥페이크를 이용한 사기와 여론조작 시도가 우려되는데, 최근 딥페이크 기술은 이를 감지하는 AI 기술까지 우회하기 때문에 조작된 영상 여부를 알아내는 것이 매우 어려워졌다. 공격자는 이외에도 AI를 이용해 맞춤형 피싱 공격을 대규모로 벌이고, 악성코드 탐지 기술을 무력화하며, 각종 취약점을 탐색해 자동으로 침투하면서 대응을 어렵게 한다.

AI 모델을 공격해 잘못된 판단을 유도할 수 있다. ‘OWASP LLM 애플리케이션 취약점 톱 10’에서는 교묘한 입력으로 LLM을 조작해 LLM에서 의도하지 않은 동작을 유발하고, 학습 데이터를 변조시켜 취약성·편향성을 유발하며, 취약한 컴포넌트와 서비스를 이용한 공급망 공격, 민감 정보 공개, 의도하지 않은 결과 초래 등의 문제가 발생할 수 있다고 경고했다. 또한 LLM에 지나치게 의존하는 관행으로 인해 잘못된 의사결정, 법적 문제, 보안 취약성 등의 문제에 직면할 수 있다는 점도 지적했다. 

AI를 이용한 공격은 AI로 막을 수 있다고 하지만, 방어용 AI를 뛰어넘는 공격용 AI가 빠르게 다시 등장한다. 공격자들은 기술뿐만 아니라 심리를 교묘히 이용하는데, 때로 심리 전문가를 동원해 AI와 함께 대화하면서 사람들을 효과적으로 속일 수 있는 방법을 찾아낸다.

카스퍼스키는 ‘AI를 통한 고통의 거리두기’에 대해 경고한다. 범죄자는 가해자가 고통을 당하는 것을 보면서 죄책감을 느끼는데, 사이버 범죄자는 피해자를 직접 보지 않기 때문에 죄책감을 덜 느낀다. AI를 범죄에 이용하면 그 비난이 AI를 향하기 때문에 범죄자는 아무 죄책감 없이 범죄를 저지를 수 있다. 보안조직도 방어에 실패했을 때, ‘AI 보안 시스템이 막지 못했기 때문에 어쩔 수 없다’면서 책임을 회피한다.

‘윤리적 AI’는 어쩌면 현실 불가능한 목표일지도 모른다. 모든 기술은 처음에 선한 목적으로 시작되지만 악용되었을 때 중단시킬 수 있는 장치가 없다. 방사선과 핵 분열 연구는 인류를 위해 시작됐지만, 지금은 전 지구를 위협하는 ‘무기’가 되었다.

일론 머스크는 “AI가 핵보다 위험하다”고 경고하면서 오픈AI 이사회에서 사퇴했다. AI가 인류 문명을 파괴할 것이라는 무서운 예측도 남겼다.

AI에 너무 많은 권한을 부여하고, 지나치게 의존하면서 AI의 영향력은 점점 더 막강해지고 있다. 신뢰할 수 있고, 윤리적이며, 인류와 지구를 안전하게 보호할 수 있도록 돕는 AI 진화를 위한 대책 마련이 시급하다.