모델의 의료지식 수준은 다음과 같은 데이터셋으로 평가되고 있습니다:

① MedQA (미국의사고시 기반)
이 데이터셋은 의사고시와 유사한 객관식 문제로 구성되어 있으며, 모델의 의료지식 수준을 의사면허 통과 기준으로 평가합니다. 2022년 Google의 MedPaLM이 67점으로 간신히 통과선을 넘었다면, 2024년에는 MedGemini (Google)가 90점, GPT-o1-preview (OpenAI)가 97점을 기록하여 일반적인 의사의 성적을 뛰어넘는 수준에 도달했습니다.

② NEJM Clinicopathological Conference
이 데이터셋은 NEJM에서 발간하는 희귀 질환 사례를 바탕으로 검사 결과를 제시하고 진단을 도출하는 형태입니다. 일반적인 의사고시 문제보다 난이도가 높은 학회 수준의 문제들로 구성되어 있습니다. 일반 미국 전문의들의 평균 점수가 20점인 데 비해, GPT-o1-preview는 88점을 기록했습니다.

이처럼 폭넓은 지식과 추론 능력을 갖춘 모델들을 의료 분야에 다양하게 활용하려는 시도가 이루어지고 있습니다. 이제 이를 실제로 활용할 수 있는 앱 형태의 서비스들을 소개해 드리겠습니다.

1. 자료 검색 (Perplexity, Genspark) LLM의 직접적인 활용은 간단합니다. ChatGPT가 가장 널리 사용되는 도구로, 임상 지식이나 잘 알려진 기준들에 대해 높은 정확도로 답변을 제공합니다. 예를 들어 진료 중에 mannitol 양성 기준치가 기억나지 않을 때 GPT에게 물어볼 수 있습니다. 다만 GPT는 환각(Hallucination)이라는 본질적인 한계가 있어, 복잡하거나 희귀한 사례에 대해서는 답변을 전적으로 신뢰하기 어려울 수 있습니다.

이러한 한계를 보완하기 위해 웹 검색과 참조 논문을 함께 제공하는 Perplexity라는 서비스가 있습니다. 이를 통해 단순한 LLM 답변이 아닌, 최신 참조 논문을 포함한 더욱 신뢰성 높은 정보를 얻을 수 있습니다.

실제 사례로, NTM으로 추적 관찰 중인 환자가 췌장의 IPMN으로 인해 대학병원 소화기내과를 다니던 중, CA19-9 수치가 상승했으나 췌장에는 변화가 없어 호흡기 질환과의 연관성을 문의한 적이 있습니다. 당시 즉각적인 답변이 어려웠던 상황에서 Perplexity의 도움으로 신속하고 정확한 설명을 제공할 수 있었습니다.

검색 결과의 신뢰성 검증을 위해서는 인용된 논문을 확인하는 과정이 필요한데, 이 전체 과정이 약 30초 정도로, 기존의 구글이나 PubMed 검색에 비해 현저히 빠른 속도를 보입니다. 이는 진료 시간에 영향을 크게 미치지 않는다는 장점이 있습니다. 오늘날 의료 논문이 급속도로 발표되는 상황에서, 교과서만으로 최신 지견을 따라가기는 어렵습니다. 이때 Perplexity와 같은 검색 LLM이 매우 유용한 도구가 됩니다.

<Perplexity를 통해 검색한 내용>

하지만 이러한 정보를 얻더라도, 그 내용이 일반적으로 수용 가능한 것인지 평가하는 것은 의료인으로서 중요한 검증 과정입니다. 특히 단일 논문의 결과는 UpToDate나 Harrison's와 같은 권위 있는 자료만큼 신뢰하기 어려울 수 있으므로, 해당 논문의 질적 평가와 다른 연구들과의 일관성을 확인해야 합니다.

이러한 평가 과정을 효율적으로 수행하기 위해 Genspark라는 앱을 활용할 수 있습니다. 예를 들어 "NTM과 CA 19-9가 관련이 있나?"라는 질문을 던지면, 50개 이상의 사이트에서 관련 정보를 검색하여 종합적인 분석을 제공합니다. 이를 통해 해당 결과의 근거 수준을 평가할 수 있습니다.

<Genspark를 이용해서 추려낸 동일한 내용의 검색결과>

2. AI와 함께 논문 읽기 전공의나 펠로우 시절에 논문 읽기는 상당히 도전적인 과제였습니다. 서론까지는 수월하게 읽을 수 있었으나, 방법론 부분에서 사용된 기법과 분석 방식을 이해하기가 어려웠고, 논문의 전체적인 맥락을 파악하기도 쉽지 않았습니다. 경험이 쌓이면서 이해도가 높아졌지만, 여전히 새롭거나 익숙하지 않은 방법론을 다루는 연구는 이해하기 어려운 것이 사실입니다.

특히 AI 분야 연구자로서, 일반적인 의학 통계뿐만 아니라 수식이 포함된 논문들도 읽어야 하는 경우가 많습니다. 이러한 상황에서 AI의 도움을 받으면 훨씬 효율적으로 논문을 이해할 수 있습니다.

PDF 형태의 논문을 ChatGPT나 Claude와 같은 LLM에 업로드한 후, 이해하기 어려운 부분을 복사하여 "추가 설명해 줘" 또는 "비전문가에게 설명하듯이 설명해 줘"라고 요청하면, 맥락을 고려한 상세한 설명을 받을 수 있습니다. 이를 통해 관련 논문들을 추가로 찾아보는 시간을 절약할 수 있습니다.

<Claude를 이용해서 논문을 읽는 방식.
모르는 내용을 복사한 뒤 “이 부분이 좀 중요한 것 같은데 설명을 해줘”와 같은 명령을 통해 부연 설명을 얻고 있다. >

3. 데이터 처리 ChatGPT를 이용한 코딩으로 데이터 분석이 가능하지만, 코딩에 익숙하지 않은 대부분의 의료인을 위해 더 간단한 방법이 있습니다.

방법

1. 데이터 파일을 ChatGPT에 업로드하고 설명 요청
   • 데이터 파일의 열 이름 등을 통해 데이터의 특성을 파악합니다.
2. 원하는 열을 선택하여 분석 요청
   • 예: "질환별 ADA의 분포를 그래프로 그려줘"와 같은 명령으로 시각화할 수 있습니다.

<ChatGPT를 이용하여 데이터분석을 하는 모습>

4. 복잡한 질의 요청

• ADA가 40이 넘고 lymphocyte/neutrophil ratio가 0.75 이상이면 True, 아니면 False인 칼럼을 만들어줘. 예: "질환별 ADA의 분포를 그래프로 그려줘"와 같은 명령으로 시각화할 수 있습니다.
• 지금 생성된 칼럼으로 True인 분율이 원인(new_label)에 따라서 각각 몇프로나 있는지 그래프로 그려줘.

<새로운 컬럼을 만들고 이를 바탕으로 한 원인질환별 결핵성 흉막염 진단기준에 따른 양성비율 그래프화>

5. ChatGPT와 대화하기 ChatGPT의 음성 모드는 의료 지식뿐만 아니라 다국어 지원도 가능해 활용도가 매우 높습니다. 저는 출퇴근 시간에 영어 회화 연습용으로 활용하고 있습니다. "지금부터 영어로 대화할 건데, 내 말에 영어로 대답해 주고 문법적 오류가 있으면 조언해 줘"라고 시작하면 됩니다.

한국어로 생각나는 표현을 영어로 바꾸고 싶을 때는 "이 문장은 영어로 어떻게 표현하지?"라고 물어보면 되고, 발음이 빠를 경우 "천천히 따라 할 수 있게 나눠서 말해줘"라고 요청할 수 있습니다. 이는 전화 영어나 1:1 영어 회화 수업보다 더 효과적인 학습 경험을 제공할 수 있습니다.

또한 외국인 환자 진료 시에도 유용합니다. 서양권(프랑스, 스페인 등) 환자가 통역 없이 내원한 경우, ChatGPT에 "한국어는 프랑스어로, 프랑스어는 한국어로 번역해 줘"라고 설정하면 즉석에서 통역 서비스를 이용할 수 있습니다. 다만 베트남어를 포함한 동남아시아 언어의 경우 성능이 다소 떨어질 수 있습니다.

이상으로 ChatGPT를 임상 및 연구에 활용하는 방법들을 소개해 드렸습니다. ChatGPT는 활용 방식에 따라 그 가치가 크게 달라지므로, 각자의 상황에 맞게 적절히 활용한다면 바쁜 진료와 교육 활동에 큰 도움이 될 것입니다.