[데이터넷] 빅데이터 분석 기반의 글로벌 인공지능(AI) 기업 프론테오(Fronteo)의 ‘키빗(KIBIT)’은 텍스트 기반의 비정형 데이터를 분석하는 AI 솔루션이다. 법률, 의료, 금융 관련 방대한 양의 데이터 분석에는 많은 시간과 인력이 필요하며, 담당자가 여럿일 경우 판단 기준이 다르기 때문에 분석 결과가 왜곡될 수도 있다. 그러나 키빗은 전문가의 판단 기준을 학습해 사람보다 4000배 이상 빠른 속도로 데이터를 신속하고 정확하게 찾아줘 다양한 비즈니스 영역에서 활용되며, 사람의 판단과 분석이 필요한 업무를 대체할 수 있다. <편집자> 

프론테오는 문서의 리뷰 품질은 유지하면서 전체적인 리뷰 속도를 높인 AI 기반의 리뷰 워크플로우(AI-Enhanced review workflow) ‘키빗 오토메이터(Kibit Automator)’를 개발했다. AI 키빗이 관련 있음/없음으로 분류된 트레이닝 데이터를 리뷰 대상 문서와 비교하고, 각 문서에 0점에서 1만점의 관련도 점수를 부여한 후 분류 및 재편한다.

프론테오는 키빗을 이용해 특정 점수 이하부터 ‘관련 없음’으로 추정할 수 있는 최저기준(임계값)을 설정해 실제 리뷰가 필요한 문서 수를 크게 줄인다. 또한 관련도 점수가 높은 중요한 문서부터 리뷰가 가능해 효율성을 높일 수 있다.

키빗은 AI 기반 관련도 분석 외에도 리뷰 검토 프로세스를 효과적으로 관리하기 위한 보고기능 및 분석 스위트를 제공한다. 이러한 워크플로우를 도입하면, 한 문서씩 수작업으로 작업하는 일반 선형 리뷰(linear review)에 비해 속도는 약 2배 빨라지고 실제 사람의 리뷰가 필요한 문서는 크게 줄어든다.

데이터 폭증시대 문서 리뷰 대응 방안

반독점 분야에서 영향력 있는 미국의 로펌 ‘베이커호스테틀러(BakerHostetler)’의 파트너 잭 포르나시아리(Jack Fornaciari)는 빠듯한 디스커버리(Discovery) 마감 시한 내 수천 시간 분량의 문서 리뷰를 해야 하는 경우가 많다. 그가 다루는 고객 데이터는 미묘한 뉘앙스가 담겨 있고 민감한 경우가 많아 리뷰 팀은 각 문서를 주의 깊게 살펴야 한다. 프론테오는 소송 자료 분석에 소요되는 비용과 시간을 AI 기반의 리뷰 워크플로우 솔루션이 효과적으로 줄일 수 있음을 증명하기 위해 포르나시아리와 함께 개념검증(PoC)을 진행했다.

변호사들은 AI 기반의 리뷰 효율화 솔루션을 통해 리뷰의 투명성, 분석 품질, 효율성을 개선할 수 있다. AI 기반의 리뷰는 이미 이디스커버리에서 폭넓게 보급된 TAR(Technology Assisted Review)이 발전된 형태다. 많은 리뷰 플랫폼들이 TAR 기반의 리뷰 서비스를 제공하고 있지만 프론테오는 리뷰뿐 아니라 분석 품질 체크, 관리까지 기능을 확장해 리뷰 전 과정에서의 효율성과 효과를 개선한다.

프론테오는 AI 리뷰의 효과를 입증하기 위해 포르나시아리가 과거 담당했던 소송 관련 문서로 시뮬레이션을 진행했다. 실제 사람이 기존 방식으로 업무를 진행했을 때와 <그림 1>과 같이 새로운 워크플로우가 적용됐을 때를 비교해 실제 문서 리뷰 과정에서 AI가 속도 및 품질 관리에 영향을 미치는 것을 증명했다.

프론테오의 AI 엔진 키빗은 소량의 문서 샘플로 트레이닝을 받고, 그 판단 기준을 바탕으로 연관성에 따라 각 문서에 점수를 부여한다. 관련도 점수에 따라 문서가 나열되는데, 점수가 높은 문서들에는 우선순위를 부여해 먼저 리뷰하고, 관련도가 현저히 떨어지는 문서는 제외해 리뷰 관리 프로세스를 개선할 수 있다.

이렇게 생성된 키빗의 예측 모델은 재검률, 정확도, 회피율 등과 같은 일반적인 통계 지표를 이용해 평가받으며, 고객 또는 로펌이 AI의 문서 분류를 신뢰한다면 전체 검토 대상 문서에 적용된다.

일반적인 AI 솔루션처럼 키빗 오토메이터도 사람이 반복적으로 수행해야 하는 업무의 공수를 줄이기 위해 설계됐다. 변호사 등 문서 리뷰 전문가들의 판단 기준을 학습하고, 그들을 대신해 전체 대상 문서를 정해진 기준에 따라 판별, 분류하는 과정을 거치며 리뷰 속도를 개선할 수 있다. 또한 잠재적으로 발생할 수 있는 오류를 점검할 수 있는 QC(Quality Check) 프로세스를 탑재해 최적화된 워크플로우를 구현한다.

프론테오는 AI 솔루션의 실제 활용 가능성을 증명하기 위해 포르나시아리와 PoC를 진행했고 다음과 같은 결과를 도출했다.

AI 기반 리뷰 워크플로우 장점

① 속도: 문서 리뷰 속도는 비슷한 문서를 함께 검토할 때 빨라지는 경향이 있다. 키빗은 관련도 점수를 바탕으로 높은 점수를 가진 배치(batch)와 낮은 점수의 배치를 생성한다. 변호사들은 유사한 문서들끼리 함께 리뷰해 수월하게 작업할 수 있다.

관련도 높은 문서들의 배치인 경우 평균적으로 시간당 약 60개의 문서를 검토할 수 있었으며, 반면 관련도가 낮은 점수의 배치의 경우 시간당 약 90개의 문서를 리뷰할 수 있었다. 관련이 없는 문서의 비중이 높아 리뷰 속도가 더 빠른 것이다. <그림 2>는 동일 문서에서 선형 리뷰와 AI가 관련도에 따라 배치를 분류해 리뷰한 작업의 속도 변화를 보여준다.

② 품질 관리 향상: AI의 관련도 분석은 1차 리뷰의 효율성 개선에 크게 기여했다. 이후 2차 리뷰에서도 키빗은 표적 품질 관리를 통해 리뷰의 정확도 및 효율성을 높였다. ‘QC 히트 맵’은 리뷰 관리자에게 리뷰어 코딩의 이상 징후를 시각적으로 보여주는데, AI가 예측한 관련도 점수와 리뷰어의 검토 결과를 비교해 결과를 도출한다.

QC 히트 맵의 결과는 리뷰어의 작업 능률과 품질 평가에 활용된다. QC 히트 맵과 그 피드백을 이용해 리뷰어를 트레이닝하고, 리뷰 관리 프로세스를 개선할 수 있다.

QC 히트 맵은 문서에 할당된 AI 모델링 예측과 리뷰어의 분석 결과를 비교해 컬러 코드로 나타낸다. QC 히트 맵의 컬러 다이어그램을 통해 리뷰 관리자는 AI와 리뷰어의 문서 분류 및 코딩 결과가 일치하지 않는 부분을 확인해 오류를 개선할 수 있다. 기술의 도움으로 품질 관리를 효율적이고 효과적으로 수행할 수 있다.

전략적인 AI 활용으로 빠르고 효율적인 리뷰

AI 리뷰 프로세스를 적용한 결과, 사람이 리뷰해야 하는 대상 문서의 수가 64% 가까이 줄어들었다. AI 리뷰는 시간 당 평균 91.6건의 문서를 처리할 수 있는데 이는 기존 선형 리뷰 대비 48%의 시간을 단축한 것이다. 이번 PoC를 통해 AI의 전략적 활용이 분석 품질을 해치지 않고 효율적인 리뷰가 가능하다는 점을 입증했다.

포르나시아리는 “프론테오의 키빗 오토메이터 솔루션을 활용해 품질 저하 없이 리뷰 일정을 상당히 큰 폭으로 단축했다”며 “이 결과는 대량의 문서 리뷰에서 AI 기반 솔루션을 이용함으로써 얻는 효율성을 입증한다. 따라서 향후 실제 소송과정에서 실제 적용하고 싶다”고 말했다.

이 같은 결과는 매우 고무적이다. AI를 활용한 대규모 문서 리뷰의 실질적인 효과가 계량화된 수치로 입증됐고, 이는 곧 프론테오 고객에게 실질적인 혜택을 제공할 수 있게 됨을 의미한다.

특히 PoC에서 증명됐듯 키빗 오토메이터는 소량의 트레이닝 데이터만으로 대량의 문서들을 빠른 시간 내에 분석 품질을 해치지 않고 리뷰할 수 있다. AI 기반의 리뷰는 인간의 실수를 크게 줄이고 속도와 정확성은 크게 높여준다. 원고, 피고측 변호인단, 판사 등 소송 관계자 모두는 빠르고 정확한 분석을 통해 이디스커버리 리뷰 과정에서의 효율성을 크게 개선할 수 있다. 

프론테오는 법률 영역뿐 아니라 대량의 문서 리뷰가 필요한 다양한 사업 영역에서 분석 워크플로우 최적화를 구현할 수 있다. 소량의 트레이닝 데이터만 있다면 프로젝트 관리자와 데이터 과학자들이 고객의 니즈와 세부 상황, 필요에 따라 워크플로우를 조정할 수 있다. 전문가가 가진 능력과 경험, 암묵지를 첨단 AI에 학습시키고, 그 기준을 바탕으로 전체 데이터를 해석하면 인간 전문가 이상의 속도와 정확성으로 데이터를 처리할 수 있다.

프론테오는 인간의 지식 및 경험과 AI 기술을 결합해 고객의 목표와 필요를 충족시킬 수 있는 최적의 솔루션 개발과 공급에 앞장서고 있다.