10개 병명 대상 추출 정확도 측정 결과, 타사 모델 대비 높은 90.39% 정확도 기록
[데이터넷] 카카오브레인이 흉부 엑스레이 판독문에서 특정 병명을 추출하는 의료영상 판독문 전문 레이블러 프로젝트를 ‘깃허브(Github)’에 공개했다.
레이블러 프로젝트는 글머리 기호 형식 등 정리되지 않은 자연어로 작성된 판독문에서 특정 병명을 추출하는 연구 개발 프로젝트다. 흉부 엑스레이 결과를 바탕으로 진단 가능한 병명 중 발병 빈도 또는 중요도가 높은 ▲골절 ▲흉막 병변 ▲기흉 등 13가지 병명 추출이 가능하다. 예를 들어 사용자가 자연어로 작성된 판독문을 입력하면, 판독문 분석 후 13개 병명에 대한 양성/음성 여부를 알려주게 된다.
카카오브레인은 의료 진단 업무 개선을 위해 기존에 공개된 타사 모델보다 정확하고 효율적으로 특정 병명을 추출하는 레이블러 프로젝트 연구에 착수했다. 이 프로젝트는 카카오브레인의 흉부 엑스레이 초안 판독문 생성 기술의 내부 성능 검증 연구에도 활용된 바 있다.
카카오브레인이 실제 ▲골절 ▲기흉 ▲폐부종 등 10개 병명을 대상으로 병명 추출의 정확도를 측정한 결과, 카카오브레인의 레이블러 프로젝트가 타사 모델(약 76%) 대비 높은 정확도인 90.39%를 기록했다.
카카오브레인은 레이블러 프로젝트를 ‘깃허브’에 공개하면서 지난달 말 레이블러의 학습법과 성능 비교 결과를 담은 논문 ‘대규모 언어 모델을 활용한 향상된 흉부 X선 판독문 라벨링(CheX-GPT: Harnessing Large Language Models for Enhanced Chest X-ray Report Labeling)’을 논문 공개 사이트 ‘아카이브(arXiv)’에 게재했다.
카카오브레인 김일두 각자 대표는 “많은 연구자가 카카오브레인의 레이블러 프로젝트를 테스트 벤치마크로 활용할 수 있도록 직접 제작한 테스트 셋을 공개할 예정”이라며 “자사의 언어 모델을 활용하고, 흉부 엑스레이 데이터를 추가로 학습 시키는 등 레이블러 프로젝트의 성능을 더욱 향상시킬 계획”이라고 전했다.
한편 카카오브레인은 ‘기술이 만드는 더 나은 세상’이라는 카카오와 공동체의 핵심 가치에 부합하도록 AI 기술 노하우를 공유하고 새로운 가치를 창출하고자 노력하고 있다. 지난 1월 공개한 오픈소스 프로젝트인 ‘허니비(가칭)’와 같이 이번 레이블러 공개도 AI 오픈소스 생태계 활성화를 위함이다.