의료 LLM의 발전에 대해서

LLM에 대한 자료수집을 하다가 메디컬 분야에서도 LLM이 유의미한 성과를 얻었길래 아카이빙해봅니다 ^^

특정 도메인 분야에 특화된 모델을 만들기위해 해당 지식을 파인튜닝하고 Q&A 챗봇을 만들 수 있는 바탕이 될 것 같습니다 :)

 

글

: https://m.post.naver.com/viewer/postView.naver?volumeNo=38136901&memberNo=34635212

 

LLM은

• 언어 모델의 한 종류
• 문장 내 단어 시퀀스에 확률을 할당하는 역할
• 목적 : 가장 자연스러운 단어 순서를 찾음
• 이전 단어가 주어지면 다음 단어를 예측함

의료분야의 LLM

• 인간과 유사한 텍스트를 이해하고 생성하는 능력을 발휘
• 복잡한 의료 작업을 해결하고 환자 치료를 개선
• 의료 질문-답변(QA) 시스템, 대화 시스템, 텍스트 생성
• 다양한 의료 응용 분야에서 유망한 기술
• 전자 건강 기록 (EHR), 의학 문헌, 환자 생성 데이터 급증으로 LLM은 의료 전문가들이 중요한 정보를 추출하고 의사 결정을 내리는데 필수적인 도구임

의료 LLM(Medical LLM)의 성과

1) 폐쇄 의료 LLM (Closed Medical LLM) : Google, Med-PARM 2

• 폐쇄 모델 (Closed LLM)이란
  • 특정 기업이나 기관이 개발, 소유
  • 공개 사용 및 수정 불가 (예 : GPT-4)
• 구글의 Med-PARM 2
  • 의학적 질문에 전문적 답변을 생성하거나 대량의 건강 데이터를 정리
  • 미국 의사 면허시험 USMLE 성적이 뛰어남 (100점 중 86.5점)
  • 의사의 답변보다 높은 퀄리티를 가진다고 평가됨
    • 더 높은 합의 반영, 더 나은 지식 회상, 더 뛰어난 추론 능력을 보여줌
    • 부정확하거나 관련 없는 정보가 적고 해를 끼칠 가능성이 적다고 평가됨

2) 공개의료 LLM

• 인도스타트업 JIVIAI의 medX_v1
  • 허깅페이스에서 평균 91.65점 기록
• 스위스 연방공과대학교의 메디트론
  • 메타의 LLama2 기반 학습

3) 국내의료 특화 LLM

• 연세대 MAI Lab의 medllama3-v20
  • 허깅페이스에서 90.01점 기록
• 고려대, 임페리얼 칼리지 런던 공동연구, sLLM인 Meerkat-7B
  • 미국 의사면허시험에서 74점 통과
• 국내 모델이어도 한국어 답변을 잘하지 않음. 한국어 데이터셋으로 추가 파인튜닝이 필요
• 평가를 위한 한국어 med LLM 리더보드나 clinical QA셋 구축 필요