김현수 // 한국맥아피 이사
hyunsoo_kim@mcafee.com
최근 들어서 신용 카드업계를 중심으로 보안 컴플라이언스 준수가 비즈니스의 핵심 요구사항으로 등장하고 있다. 지난 2005년 미국 카드시스템솔루션(CardSystems Solutions)에서의 해킹 사고로 약 4천만명의 신용카드 정보가 유출된 사건은 비자(Visa), 마스터(Master) 등 카드 기업들에게 보안 관리 준수 요구를 강제화하도록 만든 구체적인 사건이다.
보안위험관리 이슈
카드시스템 침해 사례에서 드러난 부분은 이와 같은 해킹이 의도된 취약성을 통한 공격뿐만 아니라 백업 테이프 관리 소홀과 같은 관리 문제로도 심각한 정보유출이 발생할 수 있다는 점이다. 따라서 신용카드 기업들은 이러한 침해사례들이 사전에 충분히 방지할 수 있었음에도 불구하고 일어난 사안임을 인식, 거래하고 있는 관계사로 하여금 보안 요구사항에 대해 책임을 부과한 PCI(Payment Card Industry) 보안 표준을 발표했다.
PCI는 네트워크 보안, 패스워드 관리, 저장 데이터 암호화, 접근제어, 감시, 시험, 정책 등 12개 항목의 구체화된 보안 수준을 제시하고 있으며, 이와 같은 보안 표준을 준수하지 않을 경우 벌금은 물론 각종 불이익을 받을 수 있도록 하고 있다. 물론 이러한 준수 의무는 정부에 의한 법적인 효력을 지닌 것이 아니지만, 업체의 핵심 비즈니스를 유지해나가기 위해, 또 브랜드를 지키기 위해서라도 반드시 필요한 부분으로 인식되고 있다.
이와 같은 보안 컴플라이언스 이슈가 반영돼 최근 보안 업계에서의 화두로 떠오르고 있는 것이 바로 ‘보안 위험 관리’이다. 보안 정책 관리의 감시 및 시행을 목적으로 하는 NAC(Network Access Control) 솔루션을 필두로, 최근에는 정보 유출 방지와 정보 유출 및 도난에 대비한 암호화 솔루션 도입의 필요성이 높아져 가고 있다는 점은 이를 반증하는 사실이다.
이제 보안 담당자들의 책임은 네트워크 경계에서 유해 트래픽을 감시하고 차단하는 일뿐만 아니라 보안 정책 준수 여부 관리, 취약성 점검 및 위협 분석, 더 나아가서 관련 업계에서 요구되고 있는 각종 보안 관리 준수의 표준에 따라서 관리되고 있다는 ‘감사’를 받아야 되는 요구에 직면하고 있다.
IPS, 보안위험관리 ‘핵심툴’
조직 내 보안 위험 관리의 대상은 네트워크에 연결된 디지털 자산들이다. 네트워크 장비에서부터 서버와 PC까지, 관리하고자 하는 자산이 100여대가 넘게 되면 수작업에 의한 관리는 사실 힘들어진다. 각 운영체제별로 취약성 정보 발표에 지속적으로 관심을 기울여야 할뿐만 아니라, 지능적이고도 악의적인 위협에 노출되지 않도록 끊임없이 내부 머신들에 대해 점검을 수행해야만 하기 때문이다.
따라서 이러한 일련의 과정들을 손쉽게 지원하기 위한 솔루션들이 등장하고 있으며, 이 가운데 하나가 바로 보안위험관리시스템(SRMS)이다. SRMS는 최근 많은 기업과 기관에서 도입되면서 필요성을 증명하고 있다.
<그림 1>은 보안위험관리 프로세스를 10단계로 구분한 것으로 현재의 IPS는 보안위험관리 프로세스 중 다섯 번째인 ‘위협 대응(Threats)’과 일곱 번째 ‘보호(Protection)’ 단계에서 역할을 수행하고 있다. 하지만, 앞으로의 IPS는 네트워크 경계에서의 ‘침입 방지’기능 외에도 타 보안 시스템들과의 연동이 이뤄지면서 유기적인 보안 위험 관리 프로세스의 흐름 속에서 네트워크에 연결된 모든 디지털 자산의 위험을 최소화시키기 위한 네트워크 보안 플랫폼으로 자리잡게 될 것으로 전망된다.
이러한 방향은 지금까지 IPS를 도입했던 고객들의 설문조사에서도 나타난다. IPS를 사용하고 있는 고객들에게 IPS의 요구사항과 진화 방향에 대한 의견을 물은 결과, 첫 번째로는 IPS가 네트워크 경계에서 내외부에 유입되는 악의적인 네트워크 트래픽의 방지뿐만 아니라 내부 시스템들의 취약성과 연동돼 위험을 인지하고 사전에 조치할 수 있도록 하는 ‘통합성’이 꼽혔다.
두 번째로는 IPS는 이제 네트워크 경계뿐만 아니라 내부 시스템의 핵심 영역에 설치돼 부서간 혹은 본사와 지사간의 내부 네트워크 트래픽을 감시, 보안 정책을 지키고 있지 않는 호스트들에 대해서 사전 자동적이고 능동적인 조치를 기대했다. 여기에서 필요한 것은 ‘높은 성능’이다.
IPS의 네트워크 처리 기술은 10기가 트래픽을 처리할 수 있을 만큼 발전돼 이제는 보안을 위해 도입된 IPS가 네트워크 성능을 희생하지 않아도 될 수 있게 됐다. IPS에서 10 기가급 성능 처리가 필요한 이유는, IPS의 위치가 네트워크 경계뿐 아니라, 네트워크 핵심 영역에서 보안을 담당해야 되기 때문이다. IPS를 이미 사용하고 있는 많은 고객들은 안전한 네트워크 구현을 위해 회사 내 부서와 부서 사이는 물론, 빌딩의 층과 층 사이에도 IPS 구성을 검토하고 있다. 이런 측면에서 IPS 장비 한 대로 여러 개의 구간을 커버하기 위해서는 포트의 확장성도 중요한 이슈로 떠오르고 있다.
세 번째로 꼽힌 것은 IPS 초창기부터 계속 요구되고 있는 ‘낮은 TCO’다. 오늘날 보안 위협 기술은 날로 전문화되고 복잡해지고 있다. 따라서 전문적인 보안 교육을 받지 않고서도 손쉽게 관리하고 보호할 수 있도록 해줄 수 있는 IPS만이 관리 비용을 절감할 수 있을 것이다.
IPS에 대한 오해와 진실
국내 IPS 초창기 시절인 2003년 초부터 지금까지 IPS 기술지원 업무를 수행하면서 다양한 고객들을 만났다. 고객들과의 미팅에서는 그동안 수많은 세미나에서 IPS가 알려졌음에도 불구하고 IPS에 대한 오해는 여전히 존재하고 있음을 알 수 있었다. 고객들과의 미팅에서 지속적으로 이슈로 제기돼 왔던 오해를 소개하고, 이들 이슈의 진실에 대해 살펴보자.
● 오해 #1. 64/128 바이트 패킷 처리율 테스트 결과가 실제 네트워크에서의 성능을 보장한다.
IPS는 공격 탐지의 정확성을 높이기 위해 ISO의 7계층 중에서 ARP/IP/ICMP/TCP/UDP와 같은 L2~L7 트래픽의 상태를 유지시켜야 하며, 현재 나와 있는 네트워크 프로토콜을 포트 번호가 아닌 패킷의 ‘패이로드’를 가지고 디코드할 수 있어야 한다.
공격이 현실화될 때는 기존 보안 장비들을 우회시킬 수 있는 기법들인 회피(evasion) 기술들이 사용되는데, 여기에는 프로토콜별 프레그멘테이션 오버랩 공격을 비롯, 알려져 있는 기법만 하더라도 수십 개에 달하는 회피기술이 사용된다. 이러한 회피기술을 탐지해내기 위해서는 ‘스테이트풀 딥 인스펙션’이라고 불리우는 기술이 사용된다. 이 외에 오탐을 극소화하기 위해 ‘다중 패턴 매칭’과 ‘다중 트리거’ 등이 적용돼 있을 경우에는 방화벽에 비해 3~4배 가량 더 높은 성능이 요구된다고 할 수 있다.
IPS 센서 내부로 유입된 패킷들은 <그림 3>의 다이어그램에서 보듯이 오탐을 줄이고 정확도를 높이기 위해서 패킷 재조립, 세션 상태 체크, 공격 상관 분석 등의 과정을 거치게 된다. IPS 성능 테스트에서의 오해는 바로 이러한 내부 구조를 외면한 채 L2 스위치, 라우터와 같은 네트워크 장비들을 테스트하듯이 양방향 2Gbps의 UDP 패킷을 생성해 패킷의 손실과 지연을 보고자 하는 것이다.
IPS의 성능에서의 핵심부분은 패킷의 ‘패이로드’ 분석인데, 위와 같이 테스트하는 방법은 IPS의 본연의 기능이 아닌 ‘패킷 포워딩’ 성능만을 측정하는 것이다. 단순하게 패킷 포워딩 성능이 높은 장비가 실제 환경에서 IPS의 주된 역할인 공격 탐지를 잘 해내고, 성능이 제대로 나올 수 있겠는가? 패이로드와 패킷 포워딩은 별개의 문제다.
이러한 테스트의 문제점을 해결하기 위해서는, L7 계층의 HTTP/SMTP 등의 실제 환경과 유사한 세션 기반의 트래픽을 발생시켜 처리율, 세션 손실 등을 측정할 수 있는 계측기가 사용돼야 한다. 이러한 계측기들은 실제 환경에서의 다중 사용자를 시뮬레이션하기 때문에 IPS의 성능 측정시 세션 손실이 있는지? 혹은 응답속도의 지연이 있는지 등을 테스트할 수 있다. 계측기별 권고사항은 각 벤더의 공식적인 문서에서도 쉽게 찾아볼 수 있다.
● 오해 #2. IPS 는 시그너쳐 기반의 패턴 비교 방식으로 작동한다.
IPS가 많이 보급됐다고 하더라도 아직도 많은 사람들은 IPS는 시그너처 기반의 패턴 매칭이라고만 알고 있다. 국내에서 2003년에 발생한 ‘1·25 대란’의 여파로 IPS가 붐을 이뤘고, 이로 인해 많은 사람들에게 IPS는 시그너처 패턴 매칭으로 인식돼 있다.
하지만, IPS는 아래 차트에서도 볼 수 있듯 알려진 공격들은 물론 알려지지 않은 공격과 봇에 이르는 다양한 공격을 탐지/차단한다. 이는 시그너처 패턴 기반의 탐지 알고리즘 외에도 알려지지 않은 공격 탐지를 위한 알고리즘이 IPS에 내장돼 있기 때문이다.
IDS와 IPS 간의 차이점은IDS 가 시그너처에 의존해 알려진 공격들만을 탐지해낼 수 있는 반면, IPS는 새로운 취약성을 통한 웜이 발생하더라도 패킷 내 악의적인 코드를 탐지해 낼 수 있다는 점으로 이를 통해 IPS는 제로데이 공격과 같은 알려지지 않은 공격들에 대해서도 대응이 가능하게 된다. 실제로 ‘코드레드(CodeRed)’, ‘님다(Nimda)’ 웜이 출현할 2001년도에 많은 사람들이 IDS를 사용하고 있었음에도 불구하고 이와 같은 알려지지 않은 공격들에 대해서는 속수무책으로 당할 수밖에 없었다. 이에 알려지지 않은 공격을 탐지할 수 있는 방법이 요구됐으며, 이러한 요구에 부응해 등장한 IPS는 곧 ‘제로데이’ 공격 방지의 대명사로 불리워지게 된 것이다.
● 오해 #3. 어노멀리는 네트워크 트래픽 통계 현상과 관련된 용어다.
많은 사용자들은 어노멀리 탐지를 이야기하면 ‘통계적 어노멀리’로 받아들인다. 즉, 네트워크의 트래픽이 비정상적으로 폭주하는 현상이 발생될 때 정상적인 상태와 구별할 수 있게 함으로써 DoS/DDoS 공격 등을 탐지하기 위한 기술로 이해하고 있는 것이다.
그렇지만, IPS에서의 어노멀리는 보다 포괄적인 의미를 내포하고 있다. ‘통계적 어노멀리’는 물론 ‘프로토콜 어노멀리’, ‘애플리케이션 어노멀리’ 등도 포함하고 있는 것이 바로 IPS에서의 어노멀리 개념이다.
이 때 프로토콜과 애플리케이션 어노멀리는 IPS 에서 패킷의 패이로드를 정확하게 디코드 해낼 수 있어야 가능하다. 즉, 포트 번호로 프로토콜을 추정해 시그너처를 비교하는 것이 아니라 현존하는 약 100여개 이상의 프로토콜을 디코드할 수 있어야만 진정한 IPS라고 할 수 있는 것이다.
예를 들어, 80번 포트를 통해 메신저 애플리케이션이 터널링돼 통신이 이뤄질 때 포트번호만 비교하게 되면 HTTP라고 나오겠지만 패이로드의 분석기능이 있는 IPS에서는 메신저의 통신을 인지해낼 수 있다. 이와 같은 어노멀리의 예로써 2003년 1·25 대란의 주범인 ‘SQL 슬래머’ 웜의 경우를 살펴보자.
IDS의 시그너처 패턴 매치방식은, 버퍼 오버플로우 취약성을 통한 웜의 경우에 있어서 버퍼 오버플로우를 발생시키는 임의의 문자열들이 일치하거나 그 뒤에 따라 나오는 악의적인 쉘코드의 패이로드가 갖고 있는 공격 패턴과 동일해야 탐지가 이뤄지게 된다.
그에 비해 어노멀리 탐지 방식은 버퍼 오버플로우를 발생시키는 문자열이 다른 문자열을 이용해도 탐지해 낼 수 있을 뿐만 아니라 악의적인 쉘코드 자체를 분석할 수 있는 기능을 갖추고 있기 때문에 마치 바이러스 백신 소프트웨어가 바이러스를 탐지해낼 수 있는 것처럼 패킷의 페이로드에 있는 쉘코드의 공격 가능성을 탐지해 낼 수 있다.
● 오해 #4. IPS 는 DoS/DDoS 공격에 대해서 제대로 방어해내지 못한다.
최근 들어서 DoS/DDoS 공격이 심각한 위협으로 떠오르게 되면서 DoS/DDoS 공격 전용장비들이 출시되고 있다. 이 같은 저변에는 “IPS 는 DoS/DDoS 공격을 잘 막아내지 못한다”는 오해가 존재한다.
IPS에서 DoS/DDoS 차단기능을 제공함에도 불구하고, 실제로 차단모드로 사용하는 고객은 그리 많지 않은 까닭은 차단 모드로 운영시 ‘오탐으로 인해 정상적인 트래픽들이 차단되지 않을까’란 우려 때문이다. DoS/DDoS 탐지와 차단을 위해 2002년 맥아피가 인트루쉴드IPS에 ‘셀프 러닝’ 기술을 탑재시켰을 때만 하더라도 다른 업체들은 이러한 기술에 대해 냉소적인 반응을 나타낸 것이 사실이지만, 최근 들어서 이러한 기술의 필요성을 인식해 많은 IPS 벤더들이 자사의 IPS 솔루션에 이러한 기술을 탑재하고 있다.
DoS/DDoS 공격는 크게 세가지 유형으로 구분할 수 있다. 첫 번째가 ‘UDP/ICMP 를 이용한 대역폭 소모를 야기시킬 수 있는 DoS’이며, 두 번째가 ‘시스템 서비스 불능사태를 야기시킬 수 있는 SYN 플루딩’이다. 그리고, 세 번째로는 ‘웹서비스 불능화를 결과를 가져올 수 있는 HTTP 플루딩’이라 불리우는 정상적인 GET 리퀘스트를 이용한 공격 형태이다.
IPS의 셀프러닝 기술은 DoS/DDoS 한계 임계치를 관리자가 수작업으로 부여하는 것이 아니라 IPS 스스로가 VLAN 혹은 CIDR를 이용한 IP 주소별 네트워크 학습을 통해 임계치를 자동 조정하는 기능이다. 셀프러닝기반의 DoS/DDoS 공격 탐지 기능은 네트워크의 정상상태와 비정상상태를 구분할 수 있는 통계적 어노멀리 알고리즘에 기초하여 최악의 경우에 특정 구간에 DoS/DDoS 공격이 탐지될 경우에는 해당 구간을 제외한 다른 구간에 대해서는 정상적인 트래픽 소통을 보장받을 수 있도록 구성이 가능하다. 
이와 같이 셀프러닝 기반의 DoS/DDoS 탐지 알고리즘은 UDP/ICMP 를 이용한 대역폭 소모를 야기시킬 수 있는 볼륨 DoS 공격에 효과적으로 적용될 수 있다.
두 번째 DoS/DDoS 공격 유형인 ‘SYN 플루딩’을 차단하기 위해 ‘SYN 쿠키’ 기술이 해결책으로 적용될 수 있다. SYN 쿠키는 아래 그림과 같이 IPS가 클라이언트와 서버 사이에서 TCP 3웨이 핸드쉐이킹(handshaking)을 중계하는 프록시의 기능을 수행하게 된다. 따라서 소스 IP 주소를 스푸핑하거나 비 유효한 IP 주소일 경우에 원천적으로 서버 접속을 차단할 수 있는 TCP 3웨이 핸드쉐이킹은 공격방어에 유용하게 사용될 수 있다.
세 번째 공격 형태에 해당하는 ‘HTTP 플루딩’은 GET 리퀘스트가 악의적인 코드를 담고 있는 공격 패이로드가 아닌 정상적인 형태를 이용하고 있다는 점에서 IPS가 탐지해내기가 곤란한 요소를 갖고 있다. HTTP 플루딩을 탐지해낼 수 있기 위해서는 각 소스 IP 주소별 초당 GET 리퀘스트를 누적 관리할 수 있는 기능이 제공돼야 한다. 하지만, 인라인 모드에서 각 소스 IP 주소별로 임계치를 관리한다는 것은 성능상의 이슈와 관련된 부분이기에 구현이 쉽지 않다. 요즘에 출시되는 DoS/DDoS 전용 장비는 주로 이 부분에 초점을 맞춘 것들로 HTTP 플루딩 차단에 있어 IPS와 차별화하는 방향으로 나아가고 있는 것이다.
앞에서 언급했듯 앞으로 IPS의 진화 방향은 네트워크 경계에서 내외부 침입 방지를 위한 포인트 솔루션이 아니라, 내부 디지털 자산의 보안 위험을 인지하여 보다 능동적으로 대처할 수 있도록 기능이 강화될 것이다. 다음호에서는 진화된 형태의 네트워크 보안 플랫폼으로써의 IPS 의 역할과, 협업 보안 인프라스트럭쳐의 장점에 대해 구체적으로 살펴보겠다.
