< 전회(11월 8일자 제487호)에 이어 >
3. 연구의 진행 그리고 통계 처리
2주일 후, 미래로 원장은 채한 박사로부터 연구 계획서에 사용될 통계 부분을 이메일로 받았습니다. 여기에는 연구의 가설, 가설을 확인하기 위해 사용될 실험군의 숫자, 구체적인 통계 처리 방법, 사용되는 소프트웨어와 연구 진행에 따른 통계 방법의 수정 계획 등이 모두 들어 있는데, 이는 모두 IRB (Institutional Review Board)에 제출되어야 필수 조항들입니다. 치료자인 미래로 원장이 어떤 환자들이 대조군-실험군 중 어디에 속하는지를 알게 된다는 점 등이 연구 계획서의 약점이었습니다만, 깔끔하게 계획된 최초의 연구라는 점에서 그 의의를 인정받아 IRB를 무사히 통과했습니다.
미래로 원장은 임상 시험 결과를 연구 계획서의 작성과정에서 약속된 형식에 맞추어 Microsoft Excel 파일로 정리하여 채 박사에게 이메일로 보냈습니다. 채 박사는 기초 통계 분석을 위해 JMP를 사용하였으며, 연구 결과의 발표를 위한 기초 통계치를 서둘러 미래로 원장에서 보냈습니다. 아울러, 연구 결과의 중요성과 차후 활용 목적에 따른 추가 통계 분석은 시간을 보아가면서 진행하기로 했습니다.
연구 전문가들은 실험 결과의 분석을 위한 통계 소프트웨어를 개인의 기호와 연구 분야의 특성에 따라서 결정하는데, SAS Inc.에서 만든 SAS (v10.0), JMP (v5.1), statview (단종) 혹은 SPSS Inc.에서 만든 SPSS (v13.0), SYSTAT (v11.0), Stata Corp의 stata (v8.0) 등이 많이 사용됩니다. 그러나 분자 생물학과 같은 분야에서는 데이터의 특성에 따라 Prism (v4.0) 등과 같은 소프트웨어를 사용하기도 합니다. 사용되는 소프트웨어에 따라 가능한 통계의 종류, 편이성과 확장성이 차이를 보일 수는 있지만, 동일 통계법에 있어서는 통계 결과에서 유의한 차이를 보이지는 않습니다.
4. 연구 결과치의 표기
채 박사가 보내온 통계 결과 중에서 미래로 원장이 이해할 수 없었던 것은, 결과 수치를 표기하는 방법 - 곧 ‘평균±표준편차’를 찾아볼 수 없다는 것이었습니다. 미래로 원장은 채 박사로부터 ‘95% CI’가 무엇이며, 왜 ‘평균±표준편차’ 대신에 ‘95% CI(confidence Interval)’가 사용되는지 이유를 듣게 되었습니다.
95% CI는 지금까지 사용되어 왔던 과거의 방법인 ‘평균±표준편차’에 한 가지 정보 - 실험군의 크기(n)를 더 포함하고 있는 최근의 방법입니다. 95% CI 는 ‘평균이 있는 위치를 95% 확실성을 가지고 이야기할 수 있는 범위’를 의미하는데, 이는 동일한 ‘평균±표준편차’라도 그룹의 크기(n)에 따라서 그 통계적 의미(p)가 엄청난 차이를 보이기 때문입니다. <표 참조>
표에서 볼 수 있듯이 대조군과 실험군의 평균과 표준 편차가 동일하더라도 연구군의 크기(n)에 의해서 그 차이가 유의한(p<0.05) 결과인지 혹은 아닌지 결정되기 때문입니다. JAMA나 New England Journal of Medicine 등에서, 평균±표준편차(18.2±1.0) 대신 가장 정확하게 표현할 수 있는 방법인 95% CI (17.57, 18.83)가 사용되는 이유입니다.
5. 연구 결과의 발표
연구 결과를 발표할 때 논문에 필수적으로 포함되어야 하는 내용은, 가설과 이를 확인하기 위해 사용된 연구 방법, 그리고 얻어진 데이터와 그 의의입니다. 채한 박사의 도움으로 이들을 충실하게 엮어 넣은 미래로 원장의 논문은 기대 이상으로 좋은 SCI급 논문집에 실리게 되었습니다. 논문의 분량이 많다고, 얻어진 데이터가 많다고, 사용된 연구 방법이나 통계 처리가 화려하다고 해서 좋은 논문이 되는 것이 아닙니다. 가장 중요한 점은 흥미로운 가설을 통계학적 고려를 통해 논리적인 연구를 기획하는 것에 있습니다.
아울러, 이러한 연구 결과의 발표를 위해서는 얻어진 통계치를 적절하고도 직관적으로 이해시킬 수 있는 도표(Table & Figure)가 사용되어야 합니다. 가장 중요한 것, 가장 의미 있는 것을 한 장의 그림으로 설명할 수 있는 것은 좋은 논문의 필수조건으로, 연구 자체만큼이나 혼신의 노력이 필요한 부분입니다. Science나 Nature의 논문들을 보시면, 한 장의 그림이 논문 전체를 설명하고 있는 것을 볼 수 있습니다.
통계에 있어서 항상 강조하고 싶은 것은 ‘통계적 유의성’과 ‘임상적 유의성’은 전혀 다르다는 것과, 이를 구별해내는 것은 연구자 본인의 역할이라는 것입니다. 연구 과정이 아무리 그럴 듯 하고, 첨단 연구 방법을 사용했고, 연구 결과에서 매우 의미 있는 수준(p<0.001)의 차이를 확인했다고 하더라도, 이것이 연구의 가치 곧 임상적 의의를 담보하지는 못한다는 점입니다.
예를 들어 미래로 원장의 연구에서 체감침의 체중 감소 효과가 사상 유형간 200g의 차이를 보였으며 통계적 유의성이 매우 높은 수준(p<0.001)이었다고 하여, 체감침의 효과가 사상 유형간 차이를 보였다고 결론내릴 수 없다는 것입니다. 0.2kg의 차이는 연구 방법 (체중 측정법), 실험군의 특성 (식사, 배변 습관)에 의해서 충분히 나타날 수 있으며, 200g의 체중 감량을 위해서 체감침을 시술하지는 않는다는 사실 등을 감안한다면, 이는 ‘통계적으로 99.999% 유의한, 그러나 임상적으로 100.000% 무의미한’ 결과이기 때문입니다.
이상에서 임상가로 활동해 온 미래로 원장이 ‘체감침’의 효과를 확인하는 과정을 통해, 연구가 어떻게 진행되는지 무엇을 준비해야 하는지 살펴보았습니다. 위에서 예시한 경우 이외에도 필요와 상황에 따라 다양한 통계 방법과 결과표기 방법이 사용됩니다만, 두 그룹 간의 차이를 보고자 하는 경우에 필요한 기본적인 것들은 설명된 듯 합니다. 본인의 관심에 맞도록 본 칼럼을 template삼아 응용하신다면 연구 논문, 학위 논문 등을 작성하실 때 많은 도움이 되실 것입니다. 지면이 허락한다면, 의학 연구에 있어서 중요하게 취급되는 statistical modeling, 오드비, 메타분석, 클러스터 임의화, Superior/Equivalence Hypothesis 등을 다룰 기회도 기대하겠습니다.
마지막으로 강조하고 싶은 것은, 임상 연구가 달나라 여행처럼 환상적인 것이나 혹은 선택받은 환경을 소유한 소수에 의해서 이루어지는 것이 아니라는 점입니다. 워드 프로세서와 Excel만 실행시킬 컴퓨터 하나면 지금이라도 시작할 수 있습니다. 내가 할 수 있는 것과 없는 것을 이해하고, 전문가의 도움이 필요한 부분을 가려낼 수 있으며, 연구를 기획하고 결과를 해석하는 방법을 아는 것이 가장 중요합니다. 진정 환자를 생각하는 임상가인 당신에게 있어서 중요한 연구 테마는 항상 존재합니다.
임상 연구는 게을러서 안하는 것이지 의지가 없어 못하는 것이 아닙니다. 연구가 없는 임상, 임상 연구를 하지 않는 의사는 환자를 대할 자격이 없는 것입니다. <다음 칼럼 ‘해외 연수를 꿈꾸다’>
필자약력
한의학 박사, 리서치 펠로우, 칼럼니스트
현 : CIM, Cleveland Clinic Foundation
전 : Harvard Medical School, 한국 한의학 연구원, 특수전 사령부 한방과장
연락처 : www.chaelab.org
저작권자 © 민족의학신문 무단전재 및 재배포 금지