기업용 검색 툴은 매우 다른 비즈니스 필요조건들을 충족시키는 방향으로 진화하고 있다. IT와 법조계에서는 곧 있을 소송과 관련된 문서나 파일, 이메일을 조사하는 데 필요할 것이다. 보안과 규정 준수 관계자들은 랩톱을 검색해서 신용카드 번호가 유출되지 않았는지 확인하고 싶을 것이다. 한편 비즈니스 라인에서는 무수한 기업 데이터로부터 가치를 이끌어낼 수 있는 방법에 대해 말들이 많다. 서로 다른 리포지토리(repository)들을 열면 영업 사원이 고객에 대해 수집된 정보를 보다 잘 이용하게 될 수도 있을 것이다. <인포메이션위크>

기업용 검색 시장을 조사하는 회사들은 자신의 필요조건을 구글, 마이크로소프트, 그리고 성장 영역인 전문 업체들의 경쟁 검색 플랫폼 역량과 잘 대조해 봐야 한다. 하지만 CIO가 필요조건을 완벽하게 파악하고 있다 하더라도 다양한 필요를 해결하기 위해 서로 다른 사업 부문용으로 여러 개의 검색 제품을 사용하면서 서버와 스토리지 자원을 낭비하고 있을 수도 있다.

제조업체와 과학자용으로 컴퓨터 기반 계측 및 자동화 제품을 만들고 있는 NI(National Instruments)를 보자. 이 회사는 약 3년 동안 검색 인프라(방화벽 외부의 고객과 그 내부의 직원으로부터 오는 정보 커버)가 10개 서버에서 25개 서버로 늘어났다. 이들 중 8개는 생산 서버며 나머지는 테스트와 개발, 보안 및 프로세싱 전용이다. 특이할 만한 사실은 NI 직원들의 검색 사용이 폭발적으로 늘어났다는 것이다. 이 회사의 마케팅 및 고객 운용 부사장인 존 그래프는 데이터를 인덱싱하고 직원 질의에 응답하기 위한 CPU 필요조건이 매년 152%가 성장하고 있다고 말했다.

하지만 NI는 자원을 늘리는 데 인색하지 않다. 그래프는 “IT가 우리에게 와서 ‘더 필요하다’고 말하면 그 가치가 확실하기 때문에 쉽게 결제를 해준다”고 말했다.

이러한 회사의 문화에서 그렇다면 어떤 기술이 그 지원을 따낼 수 있을까? 물론 문제를 해결해 주는 기술이 될 것이다. 의사결정을 내리기란 쉬운 일이 아니다. 이 시장에는 확실한  선도업체가 없을 뿐만 아니라 시장 자체도 두 가지 길로 뚜렷이 양분돼 있기 때문이다.

양분된 시장
구글은 웹 검색과 같은 뜻으로 사용되고 있지만 이 시장에 있는 많은 사업자들 가운데 하나며 지배적이라는 말과는 거리가 멀다. 오토노미(Autonomy), 패스트서치앤트랜스퍼(Fast Search & Transfer) 인수를 통해 발을 들여 놓은 마이크로소프트, 레콤마인드(Recommind) 등의 업체들이 빅 G(구글)에 맞서 각자 자기의 몫 이상을 하고 있다. 엔데카(Endeca)와 IBM은 특정 비즈니스 문제에 초점을 맞춘 검색 제품을 제공하고 있으며, 가이던스소프트웨어(GuidanceSoftware, Kazeon), 카즈온(Kazeon) 및 스토어드아이큐 소프트웨어(StoredIQ Software) 등 회사들은 e-디스커버리(e-discovery)를 해야 하는 고객들에게 다가가고 있다.

우리는 기업용 검색 시장을 크게 규정준수용 검색과 비즈니스용 검색, 두 가지로 나눴다. 첫 번째 범주에 속하는 업체들은 법률 자문, 회사 자원관리 전문가, 혹은 규정준수 임원 등과 같은 회사 임원들과 IT를 타깃으로 하고 있다. 이런 사람들은 1000개의 결과들 가운데 하나를 찾으려 하는 게 아니라 100만 개 중 5000개의 관련 결과를 찾으려 하는 사람들이다.

이 범주는 e-디스커버리가 독접하고 있으며, 검색 제품들은 정보를 찾는 것뿐만 아니라 이것을 새로운 리포지토리로 옮기거나 파일이 변경 혹은 삭제되지 않도록 제어함으로써 관리의 역할까지 하고 있다. 두 번째 범주에 속하는 업체들은 다양한 리포지토리에 있는 정보로부터 더 많은 가치를 추출하고자 하는 비즈니스 부문이나, 혹은 잘못 저장된 문서를 찾는 데 도움을 필요로 하는 보다 폭넓은 고객들을 목표로 한다.

디스커버리 채널
오토노미, 가디언스, 카즈온 및 스토어드아이큐는 e-디스커버리와 정보 관리를 주 동력으로 삼고 규정준수 검색 기술을 제공하고 있다. 미 연방의 민사 소송 절차와 필요조건을 다루는 FRCP(Federal Rules of Civil Procedures)에서는 2006년 12월 전자적으로 저장된 정보에 관한 법률이 확정됐다. 이러한 규정들은 소송시 회사들이 찾고 또 제시하고 싶어하는 다양한 데이터에 큰 영향을 미치는 것들이다. 이렇듯 업데이트된 규정을 중심으로 하는 판례법은 진화하고 있지만 결과는 분명하다. 즉 법정에서는 소송과 관련된 정보를 만들어내지 못한 데 대한 이유로 ‘찾을 수 없다’란 말을 받아들여 주지는 않을 것이다.

2008년 1월 퀄컴은 e-디스커버리 절차를 잘못 처리하고 브로드컴(Broadcom)과의 소송에 관련된 이메일을 제시하지 못했다는 죄목으로 850만 달러의 벌금을 징수받았다. 그리고 제대로 된 검색 툴이 없으면 회사에서 소송 과정을 견디기 힘들 만큼 빠른 속도로 e-디스커버리 비용이 치솟을 수 있다. 덴버의 한 대학 조사 결과에 따르면, 정밀 키워드 검색 방식을 채택하고 있긴 하지만 버라이존은 1GB의 데이터를 프로세싱, 분석, 발췌 및 제시하는데 5000~7000달러를 받고 있다. 여기에 당신의 데이터 저장소 크기를 곱하고 몇 개의 새로운 서버 비용을 더하면 분명 그리 만만찮은 가격이 될 것이다.

연 30억달러 매출의 정유 회사인 CVR 에너지의 선임 부사장 겸 CIO인 마이크 브룩스는 자사의 e-디스커버리 프로그램의 일부로 오토노미의 아이돌(Idol)을 사용하고 있다. 아이돌은 오토노미의 모든 소프트웨어 제품의 근간을 이루는 검색 및 인덱싱 기술이다. 브룩스는 아이돌을 이용해 디스커버리 검색을 한 다음 내부에서 만든 소프트웨어 툴을 이용해 관련 정보를 보안 리포지토리로 옮긴다. “회사 안에 우리가 모르는 것은 아무 것도 없게 함으로써 불의의 사태를 방지하고 있다”고 브룩스는 말했다.

e-디스커버리 단계는 EDRM(Electric Discovery Refer ence Model)이라는, 공급업체와 법률 커뮤니티들이 사용하는 독립 프레임워크를 이용해 매핑이 될 수 있다. 여기서 설명하는 검색 제품들은 식별, 수집 및 보존이라는 디스커버리 프로세스의 첫 번째 단계에 초점을 두고 있다. 식별 단계에서 검색 제품은 소송과 관련된 콘텐츠를 가려내야 한다. 이들은 다양한 저장소에 접속을 하고 콘텐츠를 돌아다니며(crawling) 검색 가능한 인덱스를 만든다. 사용자들(이 경우 IT, HR  및 법률 자문)은 질의를 하고 맞는 결과를 돌려 받는다. 그리고 비즈니스 검색 툴과 마찬가지로 이들 제품은 간단한 키워드나 부울 검색(Boolean search) 이상의 능력을 제공하는데, 여기에는 인덱싱되는 정보로부터 추가 의미 계층을 추출해내는 패턴 인식, 다중 언어 지원 및 자연 언어 프로세싱 등이 포함된다.

디스커버리와 비즈니스 검색 제품으로 구분
수집 및 보존 단계에서 필요한 사양에 따라 디스커버리 중심의 검색 제품과 비즈니스 검색 제품이 구분이 된다. 예를 들어 이런 제품들이 수집을 효과적으로 할 수 있기 위해서는 디스커버리 기간 동안 변경되지 않았다는 것을 보여줄 수 있도록 타임 스탬프 같은 메타데이터를 보존하면서 콘텐츠를 하나의 저장소에서 다른 저장소로 옮길 수 있어야 한다. 스토어드아이큐는 원래의 메타데이터를 로깅한 다음 파일이 새로운 장소로 이동, 혹은 복사될 때 필요한 필드를 조정해서 이 문제를 해결하고 있다. 오토노미와 가이던스 소프트웨어, 그리고 케이즌은 자사 제품들이 메타데이터를 전혀 바꿀 필요없이 파일을 옮길 수 있다고 말했다.

보존 단계에서는 변경되지 않는 상태로 관련 데이터가 유지될 필요가 있다. 디스커버리 프로세스에서는 커스토디언(custodian)이라고 하는, 송사에 관련된 직원들에게 사건과 관련된 파일이나 이메일 같은 정보를 파기하거나 손대지 말라고 알리는 보존 통보가 법률 자문을 통해 나간다. 인간의 본성상 커스토디언들은 아마 정확히 반대로 하는 경향이 있을 것이기 때문에 이러한 검색 제품들은 리걸 홀드(legal hold)를 제공해야 하는데, 이를 통해 정보는 사건이 해결되는 동안 보존이 된다. 디스커버리 검색 제품은 관련 정보를 보안 서버나 아카이브로 옮기거나, 쓰고 열고 삭제하는 권한을 변경함으로써 이런 홀드를 시행한다.

랩톱과 데스크톱은 비즈니스 검색 제품에서는 존재하지 않는 수집 및 보존에 따르는 문제를 제시하며, 업체들은 각기 다른 방식으로 여기에 접근하고 있다. 오토노미의 잔타즈 인트로스펙(Zantaz Introspec), 케이즌(Kazoeon) 및 스토어드아이큐는 네트워크를 통해 PC에 액세스하고 검색할 수 있으며, 에이전트 없이도 정보를 수집하고 리걸 홀드를 시행할 수 있다.

가이던스의 경우는 서블릿(servlet)이라는 작은 소프트웨어가 검색될 시스템에 설치돼 있어야 한다. 회사 측에서는 서블릿이 DLL을 설치하거나 호스트 운영 시스템과 상호작동하는 일은 없을 것이라고 밝혔다. 오토노미 또한 온게이트 리걸 홀드(Aungate Legal Hold) 소프트웨어와 함께 에이전트를 포함시켜 랩톱과 PC, 서버에 있는 관련 데이터를 잠그고 있다. 스토어드아이큐는 조만간 랩톱과 데스크톱용 에이전트를 발표할 계획이라고 말했다.



디스커버리를 넘어
검색 제품 배치는 e-디스커버리의 등장에 대한 전술적인 대응인 경우가 많다. 하지만 회사 정보, 특히 비구조적 데이터를 이해하고 관리하는 기능이 포함된 제품들에게는 장기적인 전략적 이점이 있다. CVR의 브룩스는 디스커버리뿐만 아니라 공장 유지보수 운영의 일부로 만들어지는 작업 공정(work order)을 인덱싱하는 데도 아이돌을 사용하고 있다. 이러한 작업 공정에는 일상적인 운영을 식별해 주는 미리 지정된 코드도 포함돼 있지만 직원들은 또한 코드에서는 찾을 수 없는, 유지보수에 대한 컨텍스트를 제공하는 문제와 솔루션에 관한 상세한 코멘트도 포함시키고 있다.

브룩스는 “아이돌은 데이터를 통과해 가면서 주제 같은 것들로 그룹을 만들기 때문에 작업 공정을 실행할 때 어떤 문제가 있었는지를 조사할 수 있다”고 말했다. 특정 주제에 대해 큰 작업 공정 클러스터를 볼 경우 이로 인해 반복되는 문제를 가려낼 수 있다.

IT 검색은 또한 랩톱과 데스크톱처럼 조직 안에 있는 보기 힘든 구석구석까지 환히 비춰준다. IT는 거기에 저장된 종류의 정보를 거의 볼 수가 없다. IT가 입력하거나 심지어 알지 못하는 사이에 배치가 될 수 있는 쉐어포인트(SharePoint)처럼 인기 있는 리포지토리들도 또한 규정준수 검색이 사용되기 좋은 후보자들이다. 가디언스의 수석 전략 임원인 존 파차키스는 “회사에서는 일주일에 한번씩 감사(audit)용으로 개인 식별 정보, 소스 코드, 지적 자산 찾기 등과 같은 우리 기술을 가동시킨다”고 말했다. 케이즌의 CEO인 서다카 무두는 케이즌 비즈니스의 50%가 e-디스커버리며 나머지는 거버넌스, 보안 및 데이터 관리 지원이 차지하고 있다고 말했다.

e-디스커버리에 대한 필요를 지원하기 위해 이렇듯 검색 및 인덱싱을 조사하는 프로세스를 통해 회사에서는 또한 보유와 처분 전략을 관리하거나 세울 수 있다. 레콤마인드의 마케팅 부사장이자 총 자문인 크레이그 카펜터는 “선구안이 있는 회사들은 데이터 제어가 수석 위험관리 임원에 의해 주도되고 있다”며 “이들은 이것을 조직화하기를 원하며 원치 않는 데이터는 폐기한다”고 말했다. 데이터를 제거하는 일은 기술 전문가들의 본능에는 맞지 않을지 모르지만 조직들이 매년 인프라에 수 테라바이트의 정보를 추가하는 마당에 이러한 본능은 필요에 자리를 양보해야 할 것이다.

‘17 데이터베이스’ 문제
기업용 비즈니스 검색 부문은 “검색을 위한 검색”이라는 그 원래의 용도에서 진화된 것이다. 따라서 그 목표는 정보 리포지토리의 전체 인덱스를 만들고 직원들에게 이것을 브라우징할 수 있는 프론트 엔드를 제공하는 것이었다. 즉 이들이 웹에서 간단한 질의로 긴 결과를 얻어 내는 방식이다. 오늘날 회사들은 특정 도메인을 보다 잘 들여다보고 비즈니스 문제를 해결하기 위해 비즈니스 검색을 이용하고 있다. IBM의 엔터프라이즈 콘텐츠 관리 이사인 크레이드 레인하트는 “고객들은 검색 제품을 구입하려 하지 않는다”며 “이들이 원하는 것은 보다 나은 비즈니스 결과다. 우리는 검색을 다른 애플리케이션과 통합될 필요가 있는, 하나의 핵심 요소라고 생각한다”고 말했다.

레인하트는 IBM의 옴니파인드 엔터프라이즈(Omni Find Enterprise) 검색 엔진을 이용해 범죄 기록에서의 패턴을 찾는 고객들과, 블로그와 위키의 고객 답글을 분석하기 위해 검색 소프트웨어를 사용하는 제조업체들을 지적했다. 마이크로소프트는 이러한 비즈니스 지향적인 검색 기술에서 막대한 기회를 발견하고 있으며, 이것이 바로 지난 1월 패스트 서치 앤 트랜스퍼를 인수하게 만든 큰 동력이 됐다. NI의 사례를 보면 마이크로소프트의 이런 생각이 왜 일리가 있는지를 알 수 있을 것이다. 2005년 초 내셔널은 각기 다른 비즈니스 라인이 고객에 대해 회사에서 수집한 모든 콘텐츠로 보다 쉽게 액세스할 수 있는 방법을 모색하고 있었다.

이 회사 부사장인 그래프는 “우리는 고객 정보를 갖고 있는 곳에 있는 모든 데이터베이스와 리포지토리 목록을 만들었다”며 “특정 그룹들이 각기 다른 시스템에 접근하는 경우(예를 들어 영업 팀에서는 CRM 애플리케이션을 사용하고 엔지니어링 팀에서는 회사의 기술 지원 웹 페이지를 추적하는 등)는 많지만 모든 것에 액세스할 수 있는 그룹은 하나도 없었다”고 덧붙였다. 그의 말에 따르면 NI에서는 이것을 “17가지 데이터베이스” 문제라고 부른다고 한다.

이 회사는 고객 대면 웹 사이트의 검색 능력을 향상시키기 위해 패스트 엔터프라이즈 서치 플랫폼을 배치했으며, 그래프는 검색이 고객에 관한 정보를 포함하고 있는 사일로를 여는 좋은 방법이라고 생각했다. 이러한 사일로에는 CRM 시스템, 기업 파일 서버, 로터스 노츠, 오라클 데이터베이스 및 내부 위키 등이 있었다. 그래프는 “이것은 대단한 인기를 거두고 있다”며 “우리 영업 사원은 이것을 이용해 방문에 앞서 미리 고객 정보를 조사하고 있다. 마케팅 및 엔지니어링 관리 팀에서는 고객의 제품 경험에 대한 피드백을 얻는 데 이것을 사용하고 있으며 심지어 우리 CEO까지도 이것을 이용하고 있다”고 말했다.

이러한 성공의 열쇠는 검색 인터페이스로, 직원들은 인터넷을 통해 액세스하고 있다. NI는 사람들이 검색의 세부 사항을 선택할 수 있도록 사용자 인터페이스를 이용해서 맞춤화했는데, 한 가지 매우 인기 있는 선택으로 나이(age)가 있다. 그래프는 “주문이 처리된 생성 날짜나 기술 지원 질의가 발생한 날짜를 볼 수 있다”며 “사용자는 결과들 중에서 가장 신선한 정보를 가장 위에 올려놓을 수 있다”고 자랑했다.

인간 검색
회사들은 또한 검색 엔진이 검색을 주관하는 사람 등과 같은 다양한 항목을 기반으로 더 많은 컨텍스트를 제공하기를 원하고 있다. 예를 들어 구글의 서치 어플라이언스(Search Appliance) 최신 버전에서는 액티브 디렉토리와 LDAP 기반 디렉토리를 이용해 검색자의 직무를 기반으로 검색 결과를 개인화한다. 구글 엔터프라이즈 서치의 제품 매니저 수석인 니틴 망타니는 “영업부를 위해 가격에 대한 문서에 높은 우선순위를 주는 정책 그룹을 만들 수 있다”며, “엔지니어용으로는 엔지니어링 문서에 높은 우선순위를 줄 수 있다”고 덧붙였다.

또 다른 예로 레콤마인드의 마인드서버(MindServer) 검색 플랫폼을 들 수 있는데, 이것은 엑스퍼타이즈 로케이션(Expertise Location)과 같은 모듈을 이용해 늘릴 수 있다. 마인드서버는 인덱싱된 데이터나 HR 포털 같은 자원들에서 수집된 정보를 이용해 사용자가 쓰는 제품을 기반으로 서로 다른 콘텐츠 영역에 있는 전문 기술에 사용자를 연관시켜 준다. 이것은 직원들이 전문 지식을 갖춘 동료의 소재지를 파악할 수 있도록 확장된 회사 디렉토리로서 역할을 할 수 있다.

마이크로소프트의 기업용 검색 부문 이사인 제러드 스패타로는 “우리는 이것을 ‘인간 검색(people search)’이라 부른다”며 “이것은 조직에서 무언가에 대해 무언가를 알고 있을 사람과 개념을 연관시켜 준다. 우리 고객들은 여기에 대해 관심이 아주 많다”고 말했다. 그는 마이크로소프트가 이 부문을 선도해 나가기를 바란다고 말했지만 아직 이 회사는 세부사항들에 대해서는 아무런 발표도 하지 않은 상태다.

주요 문제들
당신이 어떤 유형의 검색에 관심이 있든 여기에는 인덱싱 속도나 인덱싱 크기, 그리고 보안 등과 같이 해결돼야 하는 기술적인 문제들이 있다. 디스커버리 영역에서는 시간이 가장 중요하다. 몇 주 내에 법률 자문이 첫 결과물들을 사용해야 할 수도 있다. 긴 시간처럼 들릴지 모르지만 다른 어떤 일이 발생하기 전에 인덱싱돼야 하는 정보가 몇 테라바이트씩 담긴 리포지토리를 마주 해보면 꼭 그렇지도 않다.

인덱싱 시간은 유동적이다. 엔진이 얼마나 빨리 인덱스를 만드느냐는 콘텐츠에 따라 달라진다. 페이지당 25 단어가 있는 파워포인트 슬라이드로 가득찬 파일 공유(file share)는 하나의 블링크(blink)로 인덱싱될 것이며, 반면 해독해서 열어야 하는 PST 파일이나 몇 개의 첨부 파일이 달린 파일 같이 텍스트가 무거운 문서는 그보다 더 길어질 것이다. 어떤 검색 제품은 도큐멘텀(Documentum) 리포지토리나 이메일 아카이브 같이 리포지토리에 원래 있는 검색 기능에 의해 만들어진 인덱스와 연합(federation)을 하기도 한다. 이것은 인덱싱 시간을 줄이고 스토리지 공간을 아껴 준다. 이러한 연합에서 써드파티 검색 엔진은 질의를 애플리케이션의 네이티브 검색 필드로 가져다주며, 그런 다음 그 결과를 자신의 사용자 인터페이스에 통합시킨다.

대부분의 e-디스커버리 검색 업체는 타깃 리포지토리에 네이티브 검색 기능이 있든 없든 관계없이 콘텐츠 자체를 인덱싱하는 것을 좋아한다는 점을 명심하라. 고객들은 또한 검색 인프라에 대해서도 생각을 해야 한다. 구글과 스토어드아이큐는 어플라이언스를 통해 전달하는 반면 다른 검색 제품들은 서버에 배치되는 순수 소프트웨어다. IT는 질의 분량을 처리하기에 충분한 프로세싱 용량을 제공해야 하는데, 이것은 규정준수 검색에서는 문제가 되지 않을 수도 있다. 이런 제품들은 많은 사용자로부터 오는 동시 검색 요청을 처리하는 게 목적이 아니기 때문이다.

비즈니스 문제 해결사로 검색 점근해야
회사에서는 또한 인덱스용으로 스토리지를 제공해야 한다(구글과 스토어드아이큐 제외). 업체들은 언제나 인덱스 크기를 카탈로깅되고 있는 콘텐츠에서 차지하는 비율로 추산한다. 예를 들어 인덱스가 콘텐츠의 10%라면 100TB 덩치의 데이터에서는 10TB 인덱스가 나온다. 여기서 중요한 요소는 얼마나 상세한 인덱스를 원하느냐 하는 것이다. 예를 들어 패스트(Fast) 검색 엔진은 콘텐츠 크기의 약 20%인 인덱스를 만들어낼 수 있지만 대부분의 조직에서는 보다 세부적인 검색 결과를 제공하는 고급 언어 방식을 통해 인덱스를 풍성하게 할 것이다. 마이크로소프트의 스패타로는 리치 인덱스를 선택하는 고객이라면 이것이 실제 콘텐츠 저장소 크기보다 2-3배는 더 나갈 것으로 예상해야 한다고 말했다.

또 한 가지 문제는 검색 엔진이 콘텐츠 리포지토리로 링크되는 방식이다. 대부분의 검색 제품에는 파일 및 웹 서버용의 범용 커넥터뿐만 아니라 익스체인지나 노츠, 셰어포인트 및 도큐멘텀 같은 유명 플랫폼 용의 아웃 오브 더 박스(out-of-the-box) 커넥터가 있다. 하지만 기간 애플리케이션이나 리포지토리가 지원되지 않을 경우에는 IT에서 커넥터를 개조하거나 일회성 통합을 만들어야 할 필요가 있을 것이다. CIO 또한 사용자가 회사의 액세스 규정을 위반하면서 검색 결과에 액세스하지 않도록 확인할 필요가 있다. 대부분의 검색 엔진들은 사용자의 신원정보를 회사 디렉토리 시스템에 있는 그룹과 관련된 허가에 맞춰 볼 수 있다.

결론적으로 말하자면 기업에서는 특정 비즈니스 문제의 해결을 도와줄 하나의 전략적 기술로 검색에 접근해야 한다. 그리고 이러한 목표를 위해 회사에서는 검색 플랫폼을 평가할 때 회사 고유의 필요조건들을 반드시 파악하고 있어야 한다. 즉 IT는 비즈니스 부문과 법률 및 HR 부문을 포함시켜야 하며, 검색이 어디서 가치를 제공할 것인지를 확인하기 위해 비즈니스 케이스부터 시작을 해야 한다. 제대로만 이뤄진다면 이 기술은 단지 금전적으로 뿐만 아니라 생산성과 마음의 평화면에서도 충분히 제값을 해줄 것이다.