김형욱
ISS코리아 기술지원부 과장
hykim@iss.net

오늘날, 점점 지능화되고 복합화 돼가는 공격에 대해 기존의 방화벽이나 안티바이러스 제품만으로는 대응하기가 어려워짐에 따라, 이를 해결하기 위한 솔루션으로 IPS 제품이 등장했다. 하지만, 대부분의 IPS 제품은 사전 탐지 능력 부재로 인한 사전(Proactive) 대응이 어려운 것이 또한 현실이다. 따라서 진정한 IPS는 어떤 기능들을 갖추어야 하는지 알아본다. <편집자>

연·재·순·서

1. 프로액티브 IPS의 3대 필수 구성요건(이번호)
2. 기존 IPS 솔루션의 한계와 향후 IPS 기술 전망

먼저, IPS가 네트워크 가용성을 유지하면서 알려진 혹은 알려지지 않은 위협에 적절하게 사전대응(Preemptive Protection)하기 위해서는 아래와 같은 중요한 3가지 필수 구성 요건을 갖추어야 한다.

퍼포먼스
네트워크에 인라인으로 설치돼 비지니스, 즉 기존 서비스에 지장없이 IPS로서의 공격트래픽 분석 및 방어를 수행할 수 있는 능력을 말한다.
퍼포먼스는 프로텍션 이전에 IPS가 갖춰야할 핵심적인 요소는 다음과 같다.

·인라인 오퍼레이션(In-line operation) : 기존 네트워크 변경 없이 설치 및 동작가능해야 한다.
·신뢰성(Reliability) : IPS 장비 자체의 장애 발생 빈도가 매우 작아야 한다(Long MTBF).
·유효성(Availability) : 부득이한 IPS 자체 장애시에도 트래픽을 바이패스해 네트워크에 영향을 최소화해야 한다(ex: 페일 오픈 지원).
·낮은 지연율(Low latency) : 성능의 핵심적인 요소로서 IPS는 낮은 지연율(Low Latency)을 지녀야 한다.
·높은 성능(High Performance) : 네트워크 장비(스위치, 라우터 장비 등)급 이상의 높은 성능을 지니면서 공격을 방어해야 한다(라인 스피드 지원).

방어(Protection)
다수의 프로토콜을 인식하고 정밀한 공격 트래픽 분석기법을 통한 고도의 공격 방어 능력을 말한다. 프로토콜 내에서 공격을 분석하기 전단계로서 프로토콜을 인식(Protocol Recognition & Identification Techniques)하는 단계와 프로토콜 인식후 공격트래픽인지 아닌지 판별하는데 사용되는 다중 분석(Multiple analysis) 기술인 트래픽 어낼리시스 테크니크(Traffic Analysis Techniques)가 사용된다. 효과적인 IPS는 아래와 같은 기법들을 조합해 주로 사용한다.
1) 프로토콜 인식(Protocol Recognition) & 동일 인식 기술(Identification Techniques)
프로토콜내에서 공격을 분석하기 전단계로써 프로토콜을 인식하는 단계. 정확하게 프로토콜을 인식하기 위해서는 아래의 다양한 기술들이 단독이 아닌 다중(Multiple) 분석이 필요하다.

- 포트 어싸인먼트(Port Assignment) : TCP/IP에서 가장 기본적인 응용 프로토콜 인식 방법으로써 포트를 기반으로 식별. 그러나 포트만으로 프로토콜을 식별하는 것은 폴스 포지티브(False Positive)/네거티브(Negative)의 잠재적인 요인이므로 홀로 사용되는 것이 아니라, 다른 프로토콜 인식 기법과 동시에 사용된다.
- 휴레스틱스(Heuristics) : 트래픽 상에서 특이한 식별자를 기준으로 프로토콜을 인식하는 방법으로서 포트에 기반하지 않고 프로토콜을 인식하는 데 효과적. 특히 RPC의 경우 고정 포트를 사용하지 않으므로 트래픽 내 RPC 고유의 식별자를 통해 프로토콜을 식별한다. (ex. RPC Protocol identification..)
- 포트 포워딩(Port Forwarding) : 항상 트래픽 내에 특이한 식별자가 있는 것은 아니므로 어떤 경우에는 이전의 활동했던 커뮤니케이션 세션(Communication Session)의 프로토콜을 인식한 후 이를 기반으로 다음의 트래픽을 인식한다. 예를 들면 FTP의 경우 이니펄라이즈(Initialize)/콘트롤(Control)을 위해서 초기에 21번 포트를 사용하지만 그 이후 데이터 전송 트래픽에서는 특이한 식별자 없이 바이너리(Binary) 데이터만을 전송하는 데 이 데이터 전송 트래픽을 이전 트래픽과 연관성을 가지고 검토하여 이를 FTP라 식별한다.
- 프토로콜 터널링 인식(Protocol Tunneling Recognition) : 터널링 기법을 사용해 공격트래픽을 정상적인 트래픽으로 위장시키는 기법을 탐지하기 위해 사용하는 기법. 예를 들면 방화벽에 80 포트만 오픈돼 있는 환경에서 80포트를 통해 다른 위해한 트래픽을 통과시키고자 할 때 터널링기법이 사용된다.

2) 트래픽 분석 기술(Traffic Analysis Techniques)
프로토콜 인식(Protocol identification) 후 공격트래픽인지 아닌지 판별하는데 사용되는 다중 분석 기술로써, 효과적인 IPS는 아래의 기법을 조합하여 주로 판별한다.

- 프로토콜 분석(Protocol Analysis) : 알려진/알려지지 않는 위협을 방어하기 위해 사용되는 핵심 기술.
- RFC 컴플라이언스 체킹(Compliance Checking) : 프로토콜 승인(Protocol validation) 혹은 프로토콜 어노말리 기술, 트래픽이 RFC 표준을 준수하지 않는 경우 보안 이벤트 생성, 애플리케이션 프로토콜의 RFC 표준을 준수하지 않는 응용프로토콜에 의해서 다수의 폴스 포지티브/네거티브 가능성 존재, 따라서 이 기술 단독으로는 거의 쓰이지 않고 다른 기술들과 결합해 사용.
- TCP 리셈블리(Reassembly) : IPS를 우회공격하기 위해 공격 패킷 프레그먼테이션(Fragmentation)하는 경우에 대응하기 위한 기술, 즉 쪼개진 공격패킷을 결합 후 트래픽 내 공격 트래픽 탐지시 사용.
- 플로우 어셈블리/시뮬레이션(Flow Assembly/Simulation) : TCP 리셈블리와 유사하나 커넥션 테이블을 유지하여 트래픽 플로우를 판별가능한 기술. 이 또한 폴스 알람을 제거하고 IPS 우회공격을 탐지하는 데 효과적인 기법.
- 통계 경계 분석(Statistical Threshold Analysis) : 네트워크 어노말리를 탐지/방어하기 위한 분석기법. 통계 어노말리(Statistical anomaly) 혹은 경계 분석(Threshold analysis)이라고 불리기도 함. 일반적으로 보호 대상 네트워크를 일정시간 동안 모니터링 후 정상 트래픽의 통계를 기본값으로 설정, 이 기본값을 초과하는, 즉 경계(Threshold) 값을 넘었을 경우 이를 비정상 트래픽이라 간주한다. 이는 정상적인 트래픽으로부터 상당한 차이를 보이는 트래픽의 경우 효과적이나 이 기법만으로 판단하기에는 무리가 있어 다른 분석기법과 함께 사용된다.
대부분의 벤더들이 이 기법만으로 알려지지 않은 공격을 식별할 수 있다 하나 현재의 다이내믹한 네트워크의 특성에 의해 공격트래픽 판단에 제한적인 성격을 지닌다. 또한 다이내믹한 네트워크에서 기본값을 설정하는 것도 거의 불가능하다.
- 패턴 매칭(Pattern Matching) : 공격탐지 시 가장 많이 사용되는 분석기법이나 가장 많은 문제점을 내포하는 기술, 레귤러 익스프레션 매칭(Regular expression matching), 패킷 그레핑(Packet-grepping), 블라인드 패턴 매칭(blind pattern matching)이라 불리기도 함. 네트워크 트래픽내에서 ‘grep’과 같은 명령어를 사용해 특정 유해 패턴을 검색하는 기법.

리서치(Research)
최고의 IPS는 시큐리티 인텔리전스(Security Intelligence)에 기반한다고 말할 정도로 세 가지 구성 요건 가운데 가장 중요한 요소다. 보안 위협과 취약성을 완벽하게 이해하고 비지니스에 영향을 미치기 전에 이를 방어가능하도록 IPS에 반영할 수 있는 보안연구조직 ‘인하우스 리서치 팀(in-house research team)’이 요구된다.
※ 보안 리서치 산출물 : 시큐리티 인텔리전스(보안제품 시그니처 업데이트, 보안 조기경보시스템 등)
일반적으로 보안 리서치에 사용되는 기법의 종류는 다음과 같다.
이상 소개된 어느 하나의 리서치 방법론만으로는 효과적인 보안 리서치는 불가능하다. 가장 효과적인 리서치를 위해서는 위에 소개된 프로액티브 리서치, 리액티브 리서치, 글로벌 이벤트 모니터링, 그리고 정보공유 제휴의 4가지 기법이 모두 사용돼야 할 것이다.