[기고] 임상 AI, 성능보다 먼저 밝혀야 할 것 – 허찬

진료를 하다 보면 약물 용량 하나를 급히 확인해야 하는 순간이 옵니다. 그때 물어본 AI가 그럴듯한 숫자를 지어내 답한다면, 그 대가는 수의사를 불편하게 하는 데서 그치지 않습니다. 눈앞의 환자에게 돌아갑니다. 일반 챗봇의 오답과 임상 AI의 오답은 무게가 다릅니다.

임상 AI는 다른 잣대로 봐야 합니다. 우리는 흔히 벤치마크 점수로 AI를 평가하지만, 고위험 진료 현장에서는 점수만으로 신뢰가 생기지 않습니다. ‘잘 작동하는 것처럼 보이는 것’과 ‘실제로 안전한 것’ 사이의 거리는 환자가 다치기 전에는 잘 드러나지 않기 때문입니다. 그렇다면 정답률에 앞서 공개해야 할 것이 있습니다. 이 시스템이 어떤 규칙 위에서 작동하고, 무엇을 하지 않는지입니다.

저희 춘옥컴퍼니가 소동물 임상 의사결정지원 시스템(CDSS)을 만들기 시작하면서 가장 먼저 부딪힌 질문도 이것이었습니다. 성능을 얼마나 끌어올릴 것인가가 아니라, 이 도구가 무엇에 대해 책임질 것인가. 진료실에 들어가는 도구라면 그 답을 회사 안의 원칙으로만 두어서는 안 된다고 판단했습니다. 그래서 시스템이 지켜야 할 약속을 문서로 정리해 공개하기로 했고, 그것이 ‘Vetfr.ai.day 헌장’입니다.

헌장을 만든 데에는 몇 가지 이유가 있었습니다. 우선, 검증할 수 없는 약속은 약속이 아니라고 보았습니다. 다음으로, 임상의 최종 책임은 언제나 수의사에게 있는데, AI가 그 경계를 스스로 긋지 않으면 책임 소재가 흐려지기 때문입니다.

원칙을 공개하는 일 자체가 특별한 것은 아닙니다. Anthropic은 자사 모델 Claude가 따르는 원칙을 담은 헌장(Constitution)을, OpenAI는 모델의 행동 규범인 모델 사양(Model Spec)을 이미 공개해 두었습니다. 오답이 환자에게 직접적으로 해를 끼치는 임상 AI는 더 중요하다고 생각합니다.

다만 범용 AI의 원칙을 그대로 가져다 쓸 수는 없습니다. 지향점이 다르기 때문입니다. 요즘 AI 경쟁의 중심에 선 코딩에이전트들을 보면, 모델은 빈칸을 남기기보다 완성된 코드를 자신 있게 내놓도록 다듬어집니다. 그런데 LLM을 유창하게 만드는 그 힘은, 근거 없는 내용도 매끄럽게 지어내는 힘과 뿌리가 같습니다. 코딩에서는 이것이 큰 문제가 되지 않습니다. 코드는 돌아가지 않고, 틀리면 곧바로 값싸게 드러나니까요. 하지만 진료실에는 그런 검산기가 없습니다. 지어낸 처방이 틀렸는지 알려줄 컴파일러는 없고, 그 확인은 최악의 경우 환자의 예후로 돌아옵니다. 임상 AI가 오히려 ‘덜 말하는’ 쪽으로, 모르면 모른다고 멈추는 쪽으로 설계돼야 하는 이유입니다.

그래서 저희가 스스로에게 건 핵심 약속은 네 가지입니다.

1. 할루시네이션을 억제합니다. 확인되지 않은 수치나 근거를 사실처럼 제시하지 않습니다.

2. 아첨하지 않습니다. 수의사가 듣고 싶어 하는 답 대신, 근거가 가리키는 답을 말합니다.

3. 최종 판단은 수의사에게 남깁니다. 확진도 치료 선택도 대신하지 않고, 옵션과 트레이드오프를 내놓습니다.

4. 모르는 것은 모른다고 합니다. 근거가 없을 땐 지어내는 대신, 모른다는 사실 자체를 답으로 제시합니다.

헌장은 이 네 가지 위에 원칙 몇 가지를 더 얹습니다. 하나는 근거의 추적 가능성입니다. ‘이 용량은 어느 가이드라인에서 나왔다’와 ‘이 용량을 쓰면 된다’는 겉으로는 똑같이 단정적인 문장으로 들립니다. 출처를 함께 밝혀야 비로소 그 둘이 구별되고, 그래서 모든 판단은 그 근거까지 거슬러 올라갈 수 있어야 합니다.

진료의 스펙트럼(Spectrum of Care)도 설계 원칙으로 삼았습니다. 교과서적 최선의 처치가 언제나 그 환자에게 가능한 최선은 아닙니다. 이를테면 보호자가 감당하기 어려운 표준 치료만 제시하면 아무 도움이 되지 않습니다. 여건에 따라 받아들일 수 있는 선택지는 달라지므로, AI는 하나의 정답을 밀어붙이는 대신 현실적인 대안까지 함께 놓아야 합니다. 이해가 충돌할 때의 우선순위도 분명히 했습니다. 환자가 먼저이고, 그다음이 수의사입니다. 이 과정에서 환자와 병원의 데이터는 최소한으로, 신중하게 다룹니다.

무엇을 하지 않을지도 명시했습니다. 수의사의 직접 진찰과 임상 판단을 대체하지 않습니다. 확률적 추정을 확정 진단으로 제시하지 않습니다. 근거 없이 낙관적인 예후를 말하지 않습니다. 대화 상대는 수의사이며, 보호자를 직접 상대로 진단이나 처치를 권하지 않습니다. 특히 안락사처럼 돌이킬 수 없는 결정은 종용하지 않습니다. 이런 경계들은 기능이 부족해서가 아니라, 의도적으로 그어 둔 선입니다.

한계도 있습니다. 지금 기술로 할루시네이션을 완전히 없앨 수는 없습니다. Vetfr.ai.day는 완벽한 지식 저장소가 아니라, 유용하지만 근본적으로 오류가 생길 수 있는 통계적 도구입니다. 저희가 약속할 수 있는 것은 틀릴 여지를 구조적으로 줄이고, 드러난 오류를 계속 고쳐 가는 것뿐입니다. 그리고 이 한계를 인정하는 것이야말로 신뢰의 출발점이라고 믿습니다.

그래서 헌장은 완성된 선언이 아니라 살아 있는 문서입니다. 저희가 업계 전체가 따라야 할 표준을 세우려는 것이 아닙니다. 저희가 어떤 선택을 왜 했는지 밝히고, 그 판단을 동료 수의사들의 검증에 부치려는 것입니다.

Vetfr.ai.day 헌장 전문 확인하기