우리가 논문을 만나는 방식이 달라졌다
요즘 원장님들과 이야기를 나누다 보면, 최신 연구를 알게 된 경로가 대부분 비슷합니다. 학술지 원문이 아니라 기사, 학회 소식지, 단톡방에 올라온 카드뉴스, 그리고 점점 더 많은 경우 AI가 만들어 준 요약입니다.
저는 이것을 나쁜 변화라고 생각하지 않습니다. 하루에 발표되는 수의학 논문을 전부 원문으로 읽는 것은 애초에 불가능하고, 요약은 그 불가능을 감당 가능하게 만들어 주는 합리적인 도구입니다. 저 역시 같은 방식으로 읽습니다.
문제는 다른 데 있습니다. 이 경로를 거치는 동안 ‘무엇을 발견했는가’는 잘 전달되지만 ‘얼마나 확신할 수 있는가’는 거의 전달되지 않는다는 것입니다.
그리고 흥미롭게도, 이 과정에서 누군가 명백히 잘못을 저지르는 경우는 드뭅니다. 연구자는 논문에 한계를 성실히 적어 둡니다. 출판사는 자사 논문을 홍보할 정당한 권리를 행사합니다. 기자는 저자의 발언을 정확히 인용합니다. 그런데도 최종적으로 임상의에게 도착하는 메시지는, 그 연구가 뒷받침할 수 없는 문장인 경우가 적지 않습니다.
체계의 문제라는 뜻입니다. 그렇다면 해법도 개인을 탓하는 데서 나오지 않습니다. 읽는 사람이 최소한의 기준을 갖는 것이 현실적으로 가장 빠른 길입니다.
아래 여섯 가지는 제가 연구 보도를 볼 때 순서대로 던지는 질문입니다. 원문을 다 읽을 필요는 없습니다. 초록과 표 두어 개면 대부분 확인됩니다.
1. 전체 표본수가 아니라, 결론을 만든 하위군의 표본수는 몇인가
기사에는 대개 전체 두수가 나옵니다. “100마리를 대상으로” 같은 문장입니다. 그런데 실제 결론은 훨씬 작은 하위군에서 나오는 경우가 많습니다. 성별로 나누고, 병기로 나누고, 품종으로 나누다 보면 최종 비교군이 서너 마리인 경우도 드물지 않습니다.
이때 함께 보아야 할 값이 신뢰구간(CI, confidence interval)입니다.
진단 검사 연구에서 가장 자주 등장하는 성능 지표는 AUC(area under the curve, ROC 곡선하 면적)입니다. 새 검사가 질병이 있는 개체와 없는 개체를 얼마나 잘 갈라내는지를 0에서 1 사이의 한 숫자로 요약한 값으로, 아무 정보가 없는 무작위 판정이 0.5, 완벽한 판별이 1.0입니다. 통상 0.7 전후를 보통, 0.8대를 양호, 0.9 이상을 우수한 수준으로 봅니다. 0.5에 가까울수록 동전 던지기와 다를 바 없다는 뜻이라고 이해하시면 됩니다.
여기서 요점은 이 숫자 하나만으로는 판단이 불가능하다는 것입니다. AUC 0.85라는 점추정치만으로는 충분하지 않습니다. 95% 신뢰구간이 0.5를 포함한다면, 해당 검사의 AUC가 무작위 분류 수준(0.5)보다 우수하다고 통계적으로 입증되었다고 보기 어렵습니다. 이는 실제 성능이 동전 던지기 수준일 가능성을 아직 배제하지 못했다는 의미이기 때문입니다. 표본이 작을수록 이 구간은 넓어지고, 점추정치가 아무리 좋아도 결론을 지탱하지 못합니다.
점추정치만 보도되고 신뢰구간이 생략되는 것은 연구 보도에서 가장 흔한 누락입니다. 기사에 없으면 원문 표를 보시면 됩니다. 대개 AUC 바로 옆 칸에 함께 실려 있습니다.
2. 검증 코호트가 있는가, 아니면 발견 코호트뿐인가
이것이 실무적으로는 가장 중요한 질문일지 모릅니다.
바이오마커 연구는 두 단계로 진행됩니다. 먼저 후보군에서 신호가 있어 보이는 것을 고르고(discovery), 그다음 별개의 독립된 집단에서 그것이 실제로 작동하는지 확인합니다(validation). 두 단계는 성격이 전혀 다른 작업입니다.
같은 데이터에서 마커를 고르고 그 데이터로 성능까지 평가하면, 성능은 필연적으로 부풀려집니다. 통계학에서 optimism bias라고 부르는 현상입니다. 극단적인 경우에는 표본이 작고 예측변수가 많아 모델이 데이터를 통째로 외워 버리면서 정확도 100%가 나오기도 하는데, 이는 성능이 아니라 과적합이라는 이름의 고장입니다. 양심적인 저자들은 논문 안에서 이 점을 스스로 밝혀 둡니다.
기사에서 “규명했다”, “확인했다”는 표현이 붙어 있어도, 검증 코호트가 없다면 그것은 가설을 만든 연구이지 가설을 확인한 연구가 아닙니다. 이 구분 하나만 습관화해도 오독의 절반은 줄어듭니다.
3. 그 설계로 그 질문에 답할 수 있는가
연구 설계는 답할 수 있는 질문의 종류를 결정합니다.
한 시점에 채취한 검체를 비교하는 단면 연구(cross-sectional)는 “이 두 집단은 다르다”까지 말할 수 있습니다. 그러나 “이것으로 조기에 발견할 수 있다”거나 “경과를 추적할 수 있다”는 주장은 시간을 따라가며 관찰하는 종단 연구(longitudinal)를 필요로 합니다. 전자의 결과에 후자의 표현이 붙어 있다면, 그 문장은 데이터가 아니라 기대에서 나온 것입니다.
함께 볼 것이 정답지(reference standard)입니다. 새 검사법의 성능은 언제나 기존 기준과 대조해서 측정되는데, 만약 그 기존 기준이 바로 연구가 “부정확하다”고 비판한 그 방법이라면 논리가 순환합니다. 예컨대 촉진과 육안 평가가 초기 변화에 둔감하다는 문제의식에서 출발한 연구가, 촉진으로 분류한 환자를 얼마나 잘 맞히는지 측정했다면, 그 결과가 아무리 좋아도 의미하는 바는 “이미 눈과 손으로 명백한 상태를 구분한다”입니다. 조기 발견 능력은 원리적으로 측정되지 않았습니다.
4. 저자들이 스스로 밝힌 한계는 무엇인가
역설적이지만, 논문에서 가장 정직한 대목은 대개 Limitations 섹션입니다. 그리고 요약과 기사에서 가장 먼저 잘려 나가는 부분도 정확히 그 대목입니다.
좋은 저자들은 놀라울 만큼 솔직합니다. 표본이 작다, 특정 품종에 편중되어 일반화가 어렵다, 대조군 구성이 불균형하다, 이 수치는 통계적 인공물이므로 극도로 신중하게 해석해야 한다 — 이런 문장을 논문 안에 직접 써 둡니다.
따라서 어떤 연구가 임상적으로 중요해 보인다면, 원문에서 확인할 곳은 결론이 아니라 Discussion 후반의 한계 서술입니다. 대부분의 학술지가 초록을 무료 공개하고, PubMed Central이나 오픈액세스 저널이라면 전문을 볼 수 있습니다. 5분이면 충분합니다.
5. 연구비는 어디서 왔고, 저자는 어디에 소속되어 있는가
Acknowledgements의 연구비 지원처와 저자 소속(affiliation)을 대조해 보는 습관을 권합니다.
오해를 피하기 위해 분명히 해 두면, 기업이 연구를 지원하는 것 자체는 문제가 아닙니다. 산업계 자금 없이는 상당수의 중개연구가 성립하지 않습니다. 요점은 그것이 판단에 필요한 정보이므로 투명하게 공개되어야 한다는 것입니다. 국제의학학술지편집인협의회(ICMJE) 기준이 이해상충 선언을 요구하는 이유도 여기에 있습니다.
특히 진단키트나 치료제처럼 상업화 경로가 명확한 연구라면, 저자 목록에 기업 소속이 있는지, 그 기업이 연구비 지원처와 겹치는지 확인해 볼 가치가 있습니다. 논문 첫 페이지와 마지막 페이지만 대조하면 확인됩니다.
6. 관심도 지표를 근거 수준으로 착각하고 있지는 않은가
마지막이자 요즘 가장 자주 마주치는 함정입니다.
Altmetric 점수, 조회수, 다운로드 수, 언론 보도 건수, 출판사 보도자료 배포 여부 — 이런 지표들은 모두 관심의 양(attention)을 측정합니다. 근거의 질(quality)을 측정하지 않습니다. Altmetric은 자사 문서에서 이 점을 명시적으로 밝히고 있습니다.
주의해야 할 것은 이 지표들이 만들어지는 방식입니다. 출판사가 보도자료를 배포하고, 그 보도자료를 받은 매체들이 기사를 쓰고, 그 기사 건수가 점수로 집계되고, 다시 그 점수가 “학계의 뜨거운 관심”으로 인용됩니다. 하루 만에 상위 몇 퍼센트에 진입했다는 서술은, 연구 내용에 대한 학계의 반응이 아니라 동시에 배포된 홍보물의 도달 범위를 보여주는 경우가 많습니다.
출판사 보도자료 역시 학술적 평가가 아닙니다. 출판사 홍보 부서는 논문이 얼마나 견고한지가 아니라 얼마나 기사가 될 만한지를 기준으로 소재를 고릅니다. 학술적 평가는 동료심사와 이후의 인용·재현이 하는 일입니다.
임팩트 팩터(IF)도 마찬가지입니다. 저널의 평균적 인용도이지, 그 저널에 실린 개별 논문의 신뢰도가 아닙니다. 좋은 저널에도 작은 파일럿 연구가 실리고, 그건 정상적인 일입니다.
AI 요약 시대의 추가 과제
여기에 최근의 변화가 하나 더 얹혔습니다. 요약의 요약입니다.
압축 과정에서 가장 먼저 사라지는 것은 언제나 유보 표현입니다. “~할 가능성이 있다”, “예비적 결과이며”, “대규모 전향 연구를 통한 검증이 필요하다” 같은 문장들입니다. 저자가 논문에서 ‘preliminary’라는 단어를 다섯 번 썼더라도, 두 문장짜리 요약에는 한 번도 남지 않습니다. 문법적으로 틀린 요약이 아닙니다. 다만 확신의 정도라는 정보가 소실된 요약입니다.
이것은 도구를 쓰지 말라는 뜻이 아닙니다. 오히려 반대입니다. 요약을 쓰는 것이 기본값이 된 이상, 판단 기준을 읽는 쪽이 들고 있어야 한다는 뜻입니다. 위의 여섯 가지 질문은 그래서 필요합니다.
그래서 진료를 바꿀 것인가
실무적으로는 세 단계로 나누어 생각하시길 권합니다.
1단계 : 인식 — 흥미로운 방향이 제시되었다. 기억해 둔다. 대부분의 소규모 탐색 연구가 여기에 해당합니다.
2단계 : 주시 — 후속 검증 연구를 추적한다. 관련 학회 세션이나 리뷰 논문이 나오면 확인한다. 검증 코호트에서 재현된 연구가 여기부터입니다.
3단계 : 적용 — 진료 프로토콜을 변경하거나 보호자에게 권유한다. 다기관 검증, 가급적 가이드라인 반영까지 이루어진 근거가 필요한 자리입니다.
검증 코호트 없는 25마리 규모의 연구를 3단계로 다루면 어떤 일이 벌어질까요. 보호자에게 새 검사를 권유하고, 비용이 발생하고, 결과에 따라 판단이 달라집니다. 그리고 후속 연구에서 재현되지 않으면 그 부담은 온전히 임상의와 보호자에게 남습니다. 1단계 연구를 1단계로 다루는 것은 연구를 폄하하는 일이 아니라, 그 연구를 정확하게 대우하는 일입니다.
맺으며
이 글은 특정 매체나 특정 연구자를 겨냥한 것이 아닙니다. 앞서 말씀드린 대로, 이 구조에서는 대개 아무도 명백히 잘못하지 않습니다.
다만 우리 생태계에 근거 수준을 번역해 주는 장치가 없다는 점은 짚어 둘 필요가 있습니다. 종합일간지에는 과학 담당 데스크가 있어 “검증 코호트는 있습니까”라고 묻는 사람이 최소한 한 명은 존재합니다. 규모가 작은 전문 매체에 같은 것을 요구하기는 어렵습니다. 그렇다면 그 역할을 누군가는 나누어 맡아야 하고, 저는 그것이 학회의 몫 가운데 하나라고 생각합니다.
한국수의임상포럼은 창립 이래 근거중심수의학(EBM)과 임상 표준화를 중심 과제로 삼아 왔습니다. 진료 가이드라인을 만드는 일과, 연구 결과를 임상 언어로 정확하게 옮기는 일은 사실 같은 작업의 앞뒤입니다. 앞으로 학회 차원에서 주요 연구에 대한 근거 수준 해설을 정기적으로 제공하는 방안을 검토하려 합니다.
동시에, 이 여섯 가지 질문이 어렵지 않다는 점도 말씀드리고 싶습니다. 표본수와 신뢰구간, 검증 코호트 유무, 연구 설계, 저자가 밝힌 한계, 연구비 출처, 관심도와 근거의 구분. 초록과 표 몇 개면 확인되고, 익숙해지면 5분이 걸리지 않습니다.
우리는 연구 결과의 최종 소비자이자, 그것을 동물과 보호자에게 적용할지 결정하는 마지막 판단자입니다. 그 판단의 무게를 생각하면, 5분은 충분히 치를 만한 비용이라고 생각합니다.
부록 : 5분 체크리스트
[ ] 결론을 만든 하위군의 표본수는? 전체 n 말고.
[ ] 신뢰구간이 제시되어 있는가? AUC의 구간이 0.5를 포함하지는 않는가?
[ ] 검증 코호트가 있는가? 발견 코호트뿐인가?
[ ] 단면인가 종단인가? 주장하는 바가 그 설계로 가능한가?
[ ] 정답지(reference standard)는 무엇인가? 순환하지 않는가?
[ ] Limitations 섹션에 무엇이 적혀 있는가?
[ ] 연구비 출처와 저자 소속이 겹치는가?
[ ] 인용된 지표가 관심도인가 근거인가?
부록 : 용어 정리
AUC (area under the curve) — ROC 곡선하 면적. 검사가 질병 유무를 얼마나 잘 구분하는지를 0~1로 나타낸 값. 0.5는 무작위 판정, 1.0은 완벽한 판별.
신뢰구간 (CI, confidence interval) — 참값이 존재할 것으로 추정되는 범위. 표본이 작을수록 넓어지며, AUC의 95% 신뢰구간이 0.5를 포함하면 성능이 입증되었다고 보기 어렵다.
발견 코호트 / 검증 코호트 (discovery / validation cohort) — 후보 마커를 골라내는 집단과, 그것이 실제로 작동하는지 독립적으로 확인하는 집단. 둘이 같으면 성능이 과대평가된다.
단면 연구 / 종단 연구 (cross-sectional / longitudinal) — 한 시점의 비교인지, 시간을 따라 추적한 관찰인지. 조기 진단과 경과 추적은 후자를 필요로 한다.
정답지 (reference standard) — 새 검사의 성능을 대조하는 기존 기준. 이것이 부정확하면 새 검사의 평가도 그만큼만 정확하다.
과적합 (overfitting) — 표본에 비해 변수가 많을 때 모델이 데이터를 외워 버려 성능이 실제보다 부풀려지는 현상.
이해상충 (COI, conflict of interest) — 연구 결과에 영향을 줄 수 있는 재정적·관계적 이해관계. 존재 자체가 아니라 공개 여부가 요점이다.
