지난해 경기침체의 여파는 급성장이 기대되던 국내 네트워크 기반 침입탐지시스템(NIDS) 시장에도 먹구름을 드리웠다. K4인증과 기가비트 제품의 등장으로 가파른 수요 증가가 기대됐지만, 막상 뚜껑을 열고 보니 기대만큼 수요가 움직이지 않았던 것. 이에 대해 주요 네트워크 기반 침입탐지시스템 제조 업체들은 경기 불황으로 투자심리가 위축된 데 따른 것으로 분석하고 있다.
하지만 일부에서는 네트워크 기반 침입탐지시스템 시장의 위축은 이미 예견돼 있는 것이었다고 주장한다. 방화벽/VPN과 서버 보안 솔루션은 경기 불황에도 불구하고 높은 성장률을 기록했는데, 만약 반드시 도입되어야 하는 제품이라면 왜 유독 네트워크 기반 침입탐지시스템 도입만 연기됐겠느냐는 것이다. 이들은 계속 제기됐던 네트워크 기반 침입탐지시스템의 문제점들이야말로 수요 감소의 직접적인 원인이라고 지적한다.
NIDS 문제점 너무 많다
그렇다면 고객사는 물론 동종 업계로부터 끊임없이 제기되고 있는 네트워크 기반 침입탐지시스템의 문제점은 과연 무엇일까? 이는 크게 3가지로 요약될 수 있다.
우선 양치기 소년의 거짓말(crying wolf syndrome)이라고도 불리는 오탐지(false positive) 문제는 가장 많이 지적 받는 부분이다. 서비스 거부 공격(DoS)과 같이 패킷 기반에서 탐지해야 하는 경우 현재 시중에 나와 있는 네트워크 기반 침입탐지시스템 제품들이 대부분 탐지를 해내지만, 세션(session) 기반 탐지가 요구되는 정교한 해킹의 경우 오탐지율이 상당히 높은 편이다.
즉 일반적으로 네트워크 기반 침입탐지시스템 제품들은 응답하는 패킷을 제외하고, 들어오는 패킷만을 탐지하기 때문에 정상적인 패킷과 비정상적인 패킷을 구분하기 어렵다. 최근 제품들이 이와 같은 오탐지율을 낮추기 위해 세션 기반 탐지 기능을 강화하기는 했지만, 이 역시 오탐지율을 획기적으로 줄이기에는 부족한 형편이다.
오탐지율의 증가는 상당 수준의 보안이벤트를 발생시키고 기록된다. 이는 다시 디스크 용량 점유, 디스크 과다 사용에 따른 성능 저하, 관리적 부담 증대 등의 과부하를 일으키기 때문에 네트워크 기반 침입탐지시스템 제품이 반드시 해결해야할 사항이다.
두 번째 맹점은 바로 미탐지(miss detection)다. 네트워크 기반 침입탐지시스템 역시 안티 바이러스 솔루션과 마찬가지로 알려지지 않은 공격에 대해서는 패턴(혹은 시그니처)이 없으면 분석 및 복구가 사실상 어렵다. 이 문제를 해결하기 위해 네트워크 기반 침입탐지시스템 제조 업체들은 비정상 탐지(anomaly detection) 기법을 제품에 적용시켰다. 통계적인 방법, 특징 추출, 예측 가능한 패턴 생성, 신경망 등의 방법을 이용해 정상 상태에서 벗어나는 비정상적인 행위나 사용을 탐지하는 비정상 탐지 기법을 통해 미탐지율이 줄어든 것은 사실이다. 하지만 이 방식은 오히려 오탐지율을 높인다는 점에서 완벽한 대응책은 아니라고 할 수 있다. 결국 미탐지 문제가 해결되지 않는다면 네트워크 기반 침입탐지시스템 도입의 장점은 퇴색될 수밖에 없는 셈이다.
마지막으로 자동화(automatic) 부분은 가장 많이 지적되는 점이다. 네트워크 기반 침입탐지시스템은 말 그대로 탐지만 할 뿐 대응은 하지 않기 때문에 관리자가 수동으로 보안 이벤트를 분석하고, 대응해야만 한다. 하지만 ‘시끄럽고, 값비싼 도둑 경보(The Noisy, Expensive Burglar Alarm)’라고까지 불리는 네트워크 기반 침입탐지시스템의 경보를 듣고, 일일이 수동 대응을 하는 작업은 결코 쉽지 않다. 게다가 네트워크 기반 침입탐지시스템 보안 이벤트에 대한 수동적인 선택 및 분석은 관리자의 경험에 지극히 의존적이어서, 무수히 많은 보안 이벤트 가운데 실제 공격을 찾아내지 못하는 경우도 발생하기 마련이다.
물론 이에 대비해 현재 시중에 나와있는 네트워크 기반 침입탐지시스템들은 전사적보안관리(ESM) 솔루션을 활용한다거나, 방화벽/라우터 등과 네트워크 기반 침입탐지시스템을 연동시킴으로써 능동적 대응 방법을 모색하고 있다. 하지만 앞서 지적한 바와 같이 현재의 네트워크 기반 침입탐지시스템은 오탐지라는 문제점을 안고 있는 만큼 정상적인 트래픽 차단에 따른 네트워크 장애 발생의 우려가 있기 때문에 보다 발전된 해결 방안이 모색되어야 한다.
NIPS로 NIDS 문제 해결 ‘실마리’
최근 보안 시장의 ‘뜨거운 감자’로 떠오른 네트워크 기반 침입방지시스템(NIPS)은 이와 같은 네트워크 기반 침입탐지시스템의 맹점을 극복하자는 취지에서 출발했다. 이는 곧 네트워크 기반 침입방지시스템은 네트워크 기반 침입탐지시스템의 기술력에 일정 부분 빚을 지고 있다는 것을 의미한다. 하지만 두 솔루션은 그 목적에 있어 명확한 차이가 있다.
스니퍼(Sniffer)를 기반으로 개발된 네트워크 기반 침입탐지시스템은 보다 많은 공격을 보다 정확하게 탐지해내는 것이 목적이라면, 네트워크 기반 침입방지시스템은 공격의 탐지뿐만 아니라 공격의 수행을 근본적으로 방어하자는 데 그 목적이 있다. 이 차이점은 도입하는 고객에 따라 근소할 수도 있고, 커다란 차이로 발전할 수도 있다.
시장조사 전문업체인 가트너에서 밝힌 네트워크 기반 침입방지시스템의 정의를 보면 보다 이해가 쉽다. 가트너에 따르면 네트워크 기반 침입방지시스템은 방지 능력과 빠른 반응 속도(high-speed)를 위해 네트워크 라인상(inline)에 위치한 제품이어야 하며, 세션 기반 탐지(session aware inspection)를 지원해야 한다. 다양한 종류의 방지 방법 및 방식(시그니처, 프로토콜 어노멀리, 행동)을 통해 악의적인 세션(malicious sessions)을 차단(drop)하는 것도 필수 항목이다. 이 가운데 한 가지 항목이라도 부족하다면 네트워크 기반 침입방지시스템에 포함될 수 없다.
이에 따라 진정한 네트워크 기반 침입방지시스템이라면 네트워크 기반 침입탐지시스템이 처리하지 못하는 부분을 일정 부분 해결할 수 있다. 자동적으로 한계 영역을 조절하는 실시간 적응형 알고리즘으로 오탐지와 미탐지 패킷을 최소화할 수 있으며, 수상한 활동이 이뤄지는 순간 자동으로 모종의 조치를 취해 공격을 중단시킬 수도 있다. 결국 네트워크 기반 침입방지시스템이 네트워크 기반 침입탐지시스템을 기반으로 출발했지만, 핵심 기술인 실시간 패킷 처리 속도, 오탐지를 최소화하는 기술 및 변형 공격과 오용공격의 탐지 기술, 그리고 각 상황에 맞는 실시간 반응 기술을 기반으로 한다는 점에서 많은 차이가 있는 셈이다.
