[데이터넷] AI는 핵보다 위험할까? AI는 진실을 왜곡하고 편향된 가치관을 고착화시킬 수 있으며, 지능적이고 교묘한 사기범죄를 자동화할 수 있다. AI로 인한 부작용이 많다고 해서 AI 사용을 중단시킬 수 없다. AI로 인해 인류의 삶을 개선시키고, 더 안전한 사회를 만들 수도 있다. AI로 보안을 강화하는 방법을 살펴본다.<편집자>

챗GPT 이후 AI는 이전과 완전히 달라졌다. AI는 단순·반복되는 업무를 자동화 해 사람의 업무를 도와주는 역할에서 벗어나 사람과 같이 대화하고 추론할 수 있게 됐으며, 텍스트, 이미지, 영상, 음악 등 원본 콘텐츠를 직접 생산하는 창작가가 됐다.

AI에 대한 관점은 극과 극이다. AI가 세상의 모든 지식을 학습해 인간 삶을 개선시킬 것이라고 기대하는 사람들은 AI를 이용해 기후위기를 해결하고, 전 세계 불평등 문제를 완화하며, 더 빠른 기술 개발로 첨단 사회를 만들 수 있을 것이라고 주장한다.

반면 AI가 편향된 데이터를 학습해 차별을 고착화하고, 교묘하게 왜곡된 결과를 내놓으면서 진실을 감출 수 있다는 지적도 있다. 챗GPT는 그럴듯하게 거짓말을 지어낼 수 있기 때문에 거짓이 진실로 둔갑할 수 있으며, 인간이 잘못된 판단을 내리도록 유도할 수 있다.

예를 들어 원자력발전소 내부에서 일어나는 일을 사람의 개입 없이 AI만으로 이상징후를 탐지하고 대응한다고 했을 때, AI의 잘못된 판단으로 원자력발전소의 이상징후를 탐지하지 못하고 방치해 대형 사고가 일어날 가능성이 있다. 설명가능한 AI(XAI)가 도입돼 판단에 이르기까지 과정을 설명한다 해도, 챗GPT처럼 교묘하게 거짓말을 해 결론을 왜곡할 경우, 사람이 이를 알아내고 대응하는 것은 매우 어려운 일이다.

“AI 환각에서 벗어나야”

가디언은 ‘생성형 AI가 인류에게 이익이 될 것이라는 주장은 ‘환각(hallucination)’’이라는 내용을 담은 기사에서 “AI가 빈곤문제를 끝내고, 모든 질병을 치료하며, 기후변화를 해결하고, 여가를 즐길 수 있게 해 잃어버린 인간성을 찾을 수 있도록 도와줄 것이라는 믿음은 잘못된 것”이라고 지적했다.

예를 들어 AI가 기후위기를 해결할 것이라는 주장에 대해, 기후위기 해결책은 모든 전문가들이 알고 있는 것이며, 오히려 대규모 AI 분석을 위해 더 많은 에너지를 사용해 기후 문제를 악화시킬 수 있다고 반박한다.

AI가 단순 반복적인 업무를 대신하기 때문에 사람의 업무가 줄어들 수 있다는 기대도 잘못된 것일 수 있다. 인간은 AI가 학습할 데이터를 수집·정제하고, AI가 분석한 결과를 검증해야 하며, 알고리즘을 지속적으로 개선해야 하는데, 이 작업은 지루하고 반복적인 업무이며, AI가 많이 사용될수록 이 업무의 양은 기하급수적으로 늘어날 것이다.

생성형 AI로 인한 부작용이 심각해지면서 가트너는 ‘AI에 대한 맹목적인 믿음은 위험하다’고 경고했다. 가트너는 생성형 AI의 핵심인 대규모 언어 모델(LLM)은 그 자체로 위험성이 내포돼 있으며, 사용이 늘어날수록 더 심각한 보안·윤리 문제가 대두될 것이라고 내다봤다.

그러면서 가트너는 LLM을 장기간 베타 상태로 유지해 사람들이 완벽한 기대를 갖지 않도록 하고 AI가 내놓는 결과가 정확하지 않다는 것을 인식하도록 당부했다. LLM 사용 시 편향되거나 신뢰성에 영향을 미치는 문제를 추적하고, 모델을 검증하고 테스트하며, 중요한 데이터가 LLM에 입력되거나 공급업체로부터 유출되지 않도록 해야 한다고 강조했다. 공급업체는 입력되는 데이터가 해당 서비스 외의 기계학습에 사용되지 못하게 해 한다고 설명했다.

가트너는 “새로운 기술은 다양한 사용사례를 만들면서 많은 문제를 일으키기도 한다. 이를 해결할 수 있는 기술은 시간이 지나면서 개선되어 나타날 것이며, 관련 규제도 만들어질 것”이라며 “그 때까지 LLM에 인간간 대화 옵션을 마련하고, 불법적인 언어 통제와 보고서 남용 옵션을 추가해야 한다. ‘책임있는 AI’를 위해 LLM에 입력되고 학습되는 데이터를 통제해야 한다”고 주장했다.

“챗GPT에 가스라이팅 당할 수 있다”

AI의 악영향은 사이버 보안 문제로도 이어진다. 챗GPT 공개 즉시 지하시장에서는 이를 이용해 공격을 자동화하고 효율화하는 방법이 공유되고 있다. 챗GPT에 목표 기관과 사용자의 취약점을 물어보거나 침투할 수 있는 방법을 질의하고, 코드의 취약점을 분석해달라고 하거나 작성된 코드를 다른 언어로 바꿀 것을 명령하기도 한다.

손동식 시큐어시스템즈 대표는 “챗GPT로 인해 이전에 경험하지 못했던 위협에 직면하게 될 것”이라며 “챗GPT를 보안 비서로 사용할 수 있다는 기대가 있지만, 오히려 챗GPT에 ‘가스라이팅’ 되어 잘못된 보안 대응을 할 수 있다. 이는 비즈니스에 심각한 피해를 줄 뿐만 아니라 사회 전체를 위험하게 만들 수 있다”고 경고했다.

AI로 인한 문제를 해결하기 위해 AI 사용을 중단해야 한다는 주장도 있지만, 이는 현실적이지 안다. 기술의 발전을 막을 방법은 없다. 특히 공격자는 더욱 적극적으로 AI를 이용해 공격하고 있는데, AI를 이용하지 않고는 지능적인 위협에 대응할 수 없다.

세계 각국은 AI로 인한 문제를 해결할 수 있는 법 제정에 나서고 있다. 미국 행정부는 ‘미국인의 권리와 안전을 보호하는 책임 있는 AI 혁신을 촉진하기 위한 새로운 조치’라는 성명을 발표한데 이어 ‘알고리즘 책임법안’ 입법을 추진하고 있다. 유럽연합(EU)은 AI 위험 수준을 4단계로 분류하고 그에 따른 의무를 부과하는 법을 만들고 있다.

우리나라에서도 관련 법 제정에 속도를 내고 있으며 관계부처들이 전문가의 의견을 수렴하면서 AI 윤리와 신뢰성 확보 방안 마련에 나서고 있다. 또 챗GPT 사용 시 민감정보를 입력하지 말 것 등의 권고를 공개하면서 AI 정보유출 방지를 강화하고 있다.

AI 문제, AI로 해결해야

AI로 인한 문제를 해결하기 위해서는 반드시 AI를 사용해야 한다. AI 없이 AI를 이용하는 공격이나 조작을 막을 수 없다. 콘텐츠 분석, URL 분석, 발신자 분석, 악성코드 분석, 행위분석 등에 AI를 사용해 정교한 타깃 맞춤형 스피어피싱이나 BEC, 각종 스캠에서 공격자의 의도를 파악해야 한다. 소프트웨어 취약점 탐지와 우선순위 지정, 피싱 방어 교육 등에도 사용되며, 보안 전문가의 역량을 표준화 해 보안전문인력 부족 문제를 해결할 수 있다.

계정을 탈취해 정상 사용자로 위장해 침입하는 공격, 임계치 이하의 행동을 이어가면서 이상징후 탐지 시스템을 우회하는 공격, 시스템의 정상도구를 악용하는 공격, 제로데이 공격도 AI를 통해 찾아낼 수 있다. AI는 대규모 데이터를 빠르게 분석할 수 있으며, 사람이 보지 못하는 이상행위를 식별할 수 있고, 반복되는 패턴의 보안 대응을 자동화 해 보안 분석가의 업무를 줄여 효율적으로 위협에 대응할 수 있게 한다.

카스퍼스키는 사이버 보안에 사용하는 AI와 머신러닝(ML)을 구분해야 한다고 강조한다. AI는 적은 리소스로 정확하게 판단하는 기술을 제공한다. 데이터 패턴을 파악하고 어떤 사건이 일어나거나 일어나지 않을 가능성을 판단하는데 AI가 사용된다. ML은 데이터 패턴을 식별하고 분류하는 단순한 업무를 진행하는데 탁월해 보안 분석가의 피로를 줄이고 업무를 효율화 할 수 있게 한다. 이를 통해 자동화 기술로 대규모 생산한 악성코드를 분류하고 분석할 수 있다고 설명한다.

카스퍼스키는 AI 기술을 기존 레거시 보안 시스템과 연동해 패턴·시그니처 기반 솔루션을 보완해 외부 위협을 차단하며, 내부자의 부정행위를 감지하고 대응할 수 있다고 덧붙인다. 카스퍼스키는 엔드포인트와 네트워크 보안 제품군과 위협 인텔리전스(TI) 서비스에 AI/ML을 접목해 위협 탐지와 대응 효과를 높이고 있다.