일부 결과가 정확하지 않을 수 있습니다<진단 검사 장비의 성능과 수치적 함정을 넘어서: 더 나은 진단을 위한 통계적 통찰 및 장비 선택의 기준>
그린벳 기업부설연구소 이홍재 연구소장
우리가 믿는 ‘정확도’는 과연 절대적인가?
임상 수의사로서 여러분은 매일 수많은 진단 키트와 장비를 마주합니다. 보호자에게 “이 검사의 정확도는 90%입니다”라고 설명할 때, 그 ‘90%’라는 숫자가 ‘병이 있는 동물을 찾아낼 확률’인지, 아니면 ‘양성이 나왔을 때 실제로 병이 있을 확률’인지 명확히 구분하여 진료에 활용하고 계십니까?
많은 경우, 우리는 의료기기 제조사가 제시한 높은 민감도와 특이도 수치에 만족하며 검사 결과를 수용합니다. 하지만 임상 현장은 실험실처럼 통제된 환경이 아닙니다. 동물의 품종, 연령, 검체 채취 환경의 다양성, 그리고 무엇보다 해당 질환의 역학적 특성을 고려한 ‘유병률’에 따라 동일한 장비라도 지역 또는 시기별로 그 결과값이 달라집니다.
이번 칼럼에서는 진단 지표의 본질적인 의미를 재확인하고, 임상 현장에서 흔히 발생하는 진단적 오류와 더불어 현장 진단 장비(POCT)와 전문 수탁기관 대형 장비 간의 기술적 차이와 활용 방법을 다루고자 합니다.
* * * *
진단 성능 평가지표의 입체적 이해: 단순 수치를 넘어 지표의 의미 알기
특정 진단 검사의 성능을 분석하고 그 수치를 나타내기 위해 먼저 마주하게 되는 것은 질병의 유무를 나누는 기준입니다. 이론적으로 질병의 유무를 평가했을 때 그림1과 같이 양성과 음성으로 구분될 확률의 총합은 1, 또는 100%가 됩니다.
검사 장비는 질병이 양성인 경우와 음성인 경우를 100% 맞추어야 가장 이상적이겠으나, 현실적으로 기술적 요소, 인적 요소, 환경적 요소 등에 의한 변수 개입으로 이는 불가능합니다.
따라서 얼마나 정확히 감별을 해낼 수 있는지를 분석하기 위해 가장 먼저 마주하는 방법은 2×2 분할표(Contingency Table)이며, 때로는 목적에 따라 혼동행렬(confusion matrix)이라 부르기도 합니다.
아래 표1의 예시를 보면서 민감도와 특이도가 어떻게 결정되는지 되짚어 보겠습니다. 가상의 예시로서, 중증열성혈소판감소증후군(SFTSV 감염증)에 이환된 강아지 100마리와 건강한 강아지 100마리가 있다고 가정을 하고 가상의 검사 키트로 검사를 수행한 결과입니다.
① 민감도(Sensitivity)와 특이도(Specificity): 검사의 ‘스펙’
민감도(Sensitivity)는 질병이 있는 환자를 실제로 양성이라 판단할 확률입니다. Screening 검사에서 가장 중요하며, 민감도가 높을수록 위음성(False Negative)을 최소화하는 지표입니다. 표2에 따르면 SFTSV에 대한 상기 검사의 민감도는 0.81입니다.[1]
특이도(Specificity)는 질병이 없는 건강한 개체를 음성이라 판단할 확률입니다. 확진 검사에서 중요하며, 위양성(False Positive)으로 인한 잘못된 치료 개입 방지에 활용할 수 있습니다. 표에 따르면 SFTSV에 대한 상기 특이도는 0.95입니다. 수치만 본다면 꽤 준수하다고 볼 수 있습니다.[1]
민감도와 특이도는 아래와 같은 산식으로 도출합니다.
② 예측도(Predictive Value): 임상 수의사의 실질적 고민
사실 수의사에게 더 유용한 지표는 예측도입니다. 임상 현장에는 위의 민감도, 특이도 예시와 같이 정해진 표본 집단이 통째로 내원하는 게 아니라, 어떤 질환을 앓고 있는지 알 수 없는 개별환자가 내원하기 때문에 민감도와 특이도만 가지고는 정확한 진단에 활용이 어렵습니다.[1]
양성예측도(PPV, Positive predictive value)는 “양성이 나왔는데, 진짜 이 개가 아픈 게 맞나?”에 대한 답을 구할 때 활용할 수 있습니다.
음성예측도(NPV, Negative predictive value)는 “음성이 나왔는데, 정말 안심하고 돌려보내도 되나?”에 대한 답을 구할 때 활용할 수 있습니다.
양성예측도(PPV)와 음성예측도(NPV)는 아래와 같은 산식으로 도출합니다.
여기서 핵심은 양성예측도와 음성예측도가 해당 질환의 유병률(Prevalence)에 따라 요동친다는 점입니다. 아무리 특이도가 99%인 우수한 키트라도, 유병률이 0.1%인 희귀 질환을 검사하면 양성 결과 중 진짜 환자는 10%에도 못 미칠 수 있습니다. 나머지 90%는 멀쩡한 동물을 환자로 오인하게 됩니다.
위에서 설명한 SFTSV 사례를 가지고 예를 들어보겠습니다. 공식적인 국내 통계가 없다 보니 역학적 개념의 유병률(Prevalence)을 직접 사용하기는 어렵습니다. 따라서 정확한 방법은 아니지만 설명을 위해 그린벳 검사정보시스템을 기반으로 그동안 의뢰된 SFTSV 검사 중 연간 평균 양성 검출률을 이용해 설명해보겠습니다.
그린벳 검사 결과 기준 우리나라 반려동물의 SFTSV 양성 검출률은 약 2% 내외입니다. 이를 2%라고 가정했을 때, 병원에 내원한 SFTSV 의심 환자 100마리 중 실제 환자는 2마리가 됩니다. 나머지 98마리는 SFTSV에 걸리지 않은 동물이겠죠.
그림2에서 예시로 들었던 검사 기기를 사용했을 때 최종 예측도 결과는 표2와 같습니다.
검사 결과 양성 판단을 받은 7마리 중 실제 SFTSV에 이환된 개체는 2마리로 약 28%의 양성예측도를 보입니다. 민감도만 보면 80%는 맞추겠지 싶은데 현실은 그렇지가 않습니다.
SFTSV가 아니라 만약 공격적인 치료 개입이 발생하는 다른 질환에 대한 검사 기기였다면, 위양성이지만 양성 판정을 받은 5마리는 치료 후 시간적, 비용적 낭비와 약물 부작용 등으로 곤욕을 치렀을 겁니다.
이렇듯 양성예측도가 낮은 경우라면, 다른 추가 검사를 수행하고 통합적인 임상적 의사결정을 통해 치료 개입 여부를 판단하는 것이 좋습니다.
우리나라 동물 진료 시장에서 아쉬운 점 중 하나는 동물의 질병에 대한 유병률 조사와 통계 자료가 극히 적다는 점입니다. 모든 질병에 대한 유병률 조사는 현실적으로 어렵지만, 증거 기반의 진료를 위해서는 주요 질병에 대한 데이터가 뒷받침이 되어야 하는데 현실은 그렇지 못한 상황입니다.
많은 수의사 선생님들께서 진료에 믿고 활용할 수 있는 국내 질병 데이터 베이스 구축이 가능하도록 그린벳도 차근차근 기여해 나가도록 하겠습니다.
③ 우도비(Likelihood Ratio): 진단 도구의 실질적인 성능을 결정하는 지표
검사 기술의 진단적 성능 평가를 위해 민감도와 특이도를 하나로 통합한 개념이 우도비입니다.[2]
양성우도비(LR+, Positive Likelihood ratio)는 양성 결과가 나왔을 때, 질병이 있을 확률이 ‘몇 배’나 증가하는지를 보여줍니다. 보통 LR+가 10 이상이면 매우 유용한 검사로 판단합니다.
음성우도비(LR-, Negative Likelihood ratio)는 음성일 때 질병 확률이 얼마나 떨어지는지를 보여줍니다. 0.1 이하일 때 배제 진단으로서 가치가 높습니다.
양성우도비(LR+)와 음성우도비(LR-)는 아래와 같은 산식으로 도출합니다.
그림2에서 예시로 들었던 검사 기기의 경우 민감도와 특이도는 0.81과 0.95로 나타났습니다. 이를 우도비로 전환해보면 양성우도비는 16.2, 음성우도비는 0.2로 계산할 수 있습니다.
단순히 특이도만 보았을 때는 질환의 음성 여부를 판단하기 좋겠다고 생각할 수 있지만, 우도비를 고려했을 때는 질환의 양성 여부 판단에 있어 검사의 가치가 더 높은 것을 알 수 있습니다.
‘SNout’과 ‘SPin’의 함정: 베이지안 접근법의 필요성
진단검사 관련한 교육을 듣다보면 SNout(Sensitivity-High, Negative → Rule out)과 SPin(Specificity-High, Positive → Rule in) 원칙에 대한 내용을 접할 수 있습니다. 원론적으로는 어느 정도 타당한 이야기지만, 이를 맹목적으로 적용하는 것은 실제 임상에서 위험한 일반화의 오류를 초래할 수 있습니다.[3], [4]
① SNout의 오류와 배제 진단의 한계
민감도가 100%에 가깝다고 해서 음성 결과가 곧바로 ‘완치’나 ‘질병 없음’을 의미하지는 않습니다. 감염병을 예로 들면, 샘플 채취 시기나 바이러스 배출량에 따라 위음성은 언제든 발생할 수 있습니다.
특히 치사율이 높거나 전염성이 강한 질환(예: CPV, FPLV)에서 SNout에만 의존해 섣불리 음성을 확언하는 것은 치명적인 결과를 초래할 수 있습니다.
② 베이시안 접근법(Bayesian Approach): 진단은 절대적 기준이 아닌, 질병 상태의 ‘업데이트’
우리는 검사 결과를 보기 전, 이미 환자에 대한 일부 임상 정보를 가지고 있습니다. 이를 ‘사전 확률(Prior Probability)’이라고 합니다.
예를 들어, 15세 노령묘가 다뇨/다갈(PU/PD) 증상을 보인다면 만성 신부전(CKD)에 대한 사전 확률은 매우 높습니다. 이 상태에서 검사를 수행하여 우도비를 기준으로 얻은 결과가 ‘사후 확률(Posterior Probability)’입니다.
베이지안 접근법 관점에서 진단이란, “기존의 의심(사전 확률)을 객관적 데이터(검사)를 통해 수정해 나가는 과정”입니다. 민감도와 특이도에 의존하여 하나의 검사 결과로 임상적 의사결정을 굳히기 보다는 임상 증상과 통계적 확률을 결합하는 통합적 사고 방식이 증거 기반 진료에서는 필수적입니다.
POCT와 전문 수탁기관 장비의 간극: 편의성 뒤에 숨겨진 정밀도의 차이
근래 수년에 걸쳐 원내 진단(Point-of-Care Testing, POCT) 장비가 비약적으로 발전한 덕분에 많은 검사가 병원 내에서 즉시 이루어지고 있습니다.
하지만 POCT 장비와 전문 수탁기관(Reference Laboratory)의 대형 자동화 분석기 사이에는 기술적, 구조적 격차가 엄연히 존재합니다.
① 분석 기술의 차이: Wet Chemistry vs Dry Chemistry
그린벳이 운용하고 있는 Roche Cobas c702나 Siemens Immulite 2000과 같은 대형 장비들은 높은 신뢰도를 자랑합니다.
Roche Cobas c702는 액체 상태의 시약을 사용하는 습식 화학(Wet Chemistry) 방식과 흡광 광도 분석법을 사용합니다. 균일한 시약 반응성과 간섭 물질의 영향을 적게 받아 데이터의 정확성이 매우 높습니다.[5]
Siemens Immulite 2000은 화학발광면역분석법(CLIA)을 사용하여 미량의 호르몬이나 단백질을 측정합니다.[5]
반면, 상당수의 원내용 POCT 장비는 건식 화학(Dry Chemistry)이나 간이 면역측정법(측면 유동 방식)을 사용합니다. 이는 보관과 사용은 편리하지만, 검체의 상태나 농도에 따라 반응이 일정하지 않을 수 있으며, 대형 장비가 가진 광학적 정밀도를 따라가기 어렵습니다.
특히 혈액은 다양한 물질이 섞인 혼합체로서 검사법의 inhibitor 성분이 많고, 고유의 matrix effect를 가지고 있어 POCT 장비만으로는 정교하고 재현성 있는 검사 결과를 얻기 어려운 검체입니다.[6], [7]
② 반복성(Repeatability)과 재현성(Reproducibility)
전문 수탁기관 장비의 가장 큰 우월성은 ‘재현성’과 ‘반복성’에 있습니다. 동일한 샘플을 수차례 반복 측정했을 때 오차 범위(CV, Coefficient of Variation)가 극히 적습니다. 반면 POCT 장비는 환경 온도, 습도, 사용자의 숙련도에 따라 결과값이 요동칠 확률이 상대적으로 높습니다.
어제는 수치가 낮았는데 오늘 갑자기 튀는 현상은 POCT 장비 자체의 재현성 한계 때문일 수 있습니다. 같은 환자를 서로 다른 병원에서 검사했을 때 진단 결과가 상이한 경우도 POCT 장비 검사 결과만 참고했을 때 발생할 확률이 높습니다.[6]
POCT 장비는 응급 수술이나 환자에 대한 빠른 의사 결정이 필요한 경우 병원에서 활용할 수 있는 유용한 선택지입니다. 다만 수의학의 발전과 동물의 생애주기가 늘어남에 따라 정밀한 모니터링이 필요한 질환들이 점차 늘고 있습니다. 이런 질환에 대한 치료 효율과 사후 만족도는 높은 수준의 재현성과 반복성이 보장된 대형 검사 장비를 사용했을 때 비로소 극대화할 수 있습니다.
③ 엄격한 품질 관리(Quality Control, QC)
대형 전문 장비를 운용하는 수탁 기관은 매일 업무 개시와 종료 전 엄격한 내부 QC를 수행하며, 주기적으로 외부 기관과의 교차 검증을 거칩니다.
하지만 24시간 바삐 돌아가는 현장 동물병원에서 POCT 장비의 보정(Calibration)을 매뉴얼대로 수행하기란 현실적으로 어렵습니다. 관리되지 않은 POCT 장비는 자칫 ‘정확한 오답’을 내놓는 기계가 되어 수의사의 판단을 흐릴 수 있습니다.
진단 정확도의 유지 측면에서도 대형 장비와 POCT는 큰 차이를 갖습니다. 수탁 기관의 검사 업무와 정도 관리 프로세스는 사실상 진단 검사 기기의 성능을 매일 같은 수준으로 유지하는 것이지만, POCT 장비의 경우 병원에 비치한 후에도 의료기기 등록 당시 임상적 성능 시험 이후 같은 성적을 유지하는지는 확인할 방법이 달리 없습니다. 검사 시약과 소모품은 매번 바뀌는데 이를 같은 조건, 같은 규모로 계속 평가할 수는 없으니 말입니다.
비유하자면 본 시험에서 좋은 성적을 내고 수의과대학에 입학한 대학생이 긴 시간이 지난 뒤 다시 시험을 봐서 똑같은 점수를 낸다는 보장이 없을 겁니다. 이와 대비하여, 정기적인 모의고사로 좋은 점수를 꾸준히 유지하는 현역 고3 수험생은 본 시험에서 좋은 성적을 기대할 수 있는 확률이 높은 것과 비슷하다고 할 수 있습니다.
질병 진단에 있어 높은 정밀도를 요구하는 상황이라면, 대형 장비를 통해 도출한 검사 결과를 참고하는 것이 치료 방향 설정에 유효할 가능성이 높습니다.
* * * *
마치며
진단 검사는 수의사의 임상적 판단을 돕는 ‘나침반’이지, 그 자체가 ‘목적지’가 되어서는 안 됩니다. 높은 민감도에 안도하거나 높은 특이도에 섣불리 확진하기보다, 환자의 임상 증상과 유병률을 고려한 통합적 해석이 필요합니다.
특히 호르몬 질환이나 만성 소모성 질환처럼 수치 하나에 치료 방향이 바뀌는 경우, POCT 결과에만 의존하기보다 검증된 대형 장비를 운용하는 수탁기관에 의뢰하여 결과를 재확인하는 신중함이 필요합니다.
숫자가 주는 표면적인 성능 가치에서 벗어나 각 지표가 갖는 특성을 이해하면, 그 이면의 통계를 읽어내고 각 장비의 특성을 명확히 파악할 수 있습니다. 동물병원 현장에서 검사 수행을 위한 POCT 장비와 위탁 검사 서비스 활용법을 최적화할 때, 비로소 우리는 환자에게 가장 안전하고 정확한 치료 경로를 제시할 수 있을 것입니다.
Reference
[1] Trevethan, R. (2017). “Sensitivity, Specificity, and Predictive Values: Foundations, Pliabilities, and Pitfalls in Research and Practice.” Frontiers in Public Health.
[2] Akobeng, A. K. (2007). “Understanding diagnostic tests 2: likelihood ratios, pre- and post-test probabilities and their use in clinical practice.” Acta Paediatrica.
[3] Grimes, D. A., & Schulz, K. F. (2005). “Uses and abuses of screening and diagnostic tests.” The Lancet.
[4] Morgenstern, J. (2021). “The sensitivity and specificity are lying to you.” First10EM.
[5] Burtis, C. A., & Bruns, D. E. (2014). Tietz Fundamentals of Clinical Chemistry and Molecular Diagnostics. Elsevier.
[6] Flatland, B., et al. (2014). “Differentiating between analytical and diagnostic performance evaluation with a focus on the method comparison study and identification of bias.” Veterinary Clinical Pathology.
[7] Thungrat, K., et al. (2025). “Agreement between a point-of-care analyzer and a reference laboratory analyzer for plasma phenobarbital quantification in dogs and cats.” Journal of Veterinary Internal Medicine
*저자 및 그린벳과의 협의를 거쳐 GREEN VET NEWSLETTER 제22호에 실린 칼럼을 전재하였음을 알려드립니다<편집자주>
