외국 사람들이 중국이나 한국의 침술을 보면 한심하게 느낄 것입니다. 특히 과거 한국과 중국의 침술임상은 실패하지 않는 임상으로 잘 알려져 있습니다. 즉, 미국에서는 임상시험을 하면 절반은 실패하는데, 한국과 중국에서 침술임상을 하면 항상 성공적인 결과만 나옵니다. 그렇다면 미국의 침술을 연구하는 사람들과 한국에서 연구하는 사람들 간에 차이가 있다는 의미인데, 과연 누가 임상시험을 제대로 했을까요? 말할 것도 없이 미국입니다.

연구자의 국적	임상시험 건수	Positive 비율
Non-US/Non-UK 영어권(캐나다, 호주, 뉴질랜드)	20	30%
미국	47	53%
스칸디나비아	47	55%
영국	20	60%
기타 유럽국가	62	78%
아시아 (중국,홍콩,대만,스리랑카,일본, 베트남)	52	98%
기타 국가(브라질,이스라엘, 나이지리아)	3	100%

왜 한국과 중국 그리고 일본에서는 항상 침술 임상을 하면 효과가 있다고 임상결과가 나왔을까요? 그것은 임상실험을 제대로 하지 않았기 때문입니다. 특히 침술의 경우는 임상에서 대조군을 만들기가 매우 어렵습니다. 하지만 그럼에도 불구하고 미국에서는 침술 임상을 제대로 수행해서 침술이 거의 효과가 없다는 것을 확인하지만, 우리나라 등에서는 엉터리 임상이 계속 반복되고 있습니다.

여기서 중요한 사실은, 잘못된 임상 수백 건이 있어도 제대로 된 임상 한 건을 대체하지 못한다는 것입니다. 즉 잘못된 임상이라도 여러 번 하면 대충 통계적으로 맞는 값을 찾지 않겠냐고 생각하는데 그것이 절대로 아니라는 것입니다. 대개 수준 낮은 임상시험을 하면 대체적으로는 효과가 있는 것으로 나오기 마련이고 제대로 된 임상시험을 하면 드디어 효과가 사라지는 경우가 부지기수라는 것입니다. 그러면 제대로 된 임상 혹은 우수한 임상시험이란 무엇인가를 생각해보겠습니다

우선 임상은 일단 무조건 환자를 정해진 기준에 따라서 무작위 선발해야 합니다. 이것이 말이 쉽지 그렇게 쉽지 않습니다. 의사들은 대개 희망이 없어 보이는 환자는 대조군에 희망이 있어 보이는 환자는 시험군에 넣는 경향이 있습니다. 그래서 의사나 등록하는 사람들이 환자가 어떤 군에 배정될 지를 몰라야 합니다.

그 다음 이러한 문제가 해결되면 가능하면 대규모 임상을 하는 것이 좋습니다. 그리고 플라시보를 사용해야 합니다. 일반적으로 약은 플라시보를 만들 수 있지만 치료법은 플라시보 치료가 매우 어렵기 때문에 이 부분을 완전하게 만족시키기는 어려울 것입니다.

그 다음은 탈락자가 적어야 합니다. 탈락자는 효과가 없다고 생각하는 쪽에서 더 많이 발생하기 때문에 문제가 됩니다. 그렇게 하고도 뭔가 실수를 했는지 모르기 때문에 좋은 저널에 투고하여 동료들에 의해서 철저하게 심사를 받습니다. 그 다음에 다른 연구자들에 의한 독립적인 임상에서 비슷한 결과가 나오면 그 결과를 드디어 믿게 되는 것입니다.

이러한 문제는 오래전부터 알려진 사실입니다. 그렇기 때문에 이러한 점을 해결하기 위해서 많은 사람들이 고민을 했고, 가장 대표적인 사람이 아키 코크레인 (Archie Cochrane)입니다. 그는 1972년 기념비적인 논문인 “Effectiveness and efficacy: random reflections on health services를 발표하게 되고 그의 생각을 지지하는 사람들의 메타분석 연구가 뒤를 이었고, 결과적으로 그는 1988년에 사망했지만, 그의 이름을 딴 코크란 아카이브, 코크란 라이브러리, 코르란 연합, 그리고 1993년 설립된 ‘The Cochrane Collection’등등이 만들어졌고, 지금도 그가 창안한 방법에 따라 창설된 기관이 ‘코크레인 공동연구 (www.cochrane.org)’가 있습니다.

이 사람이 주장하는 것은 임상시험 특히 무작위배정 이중맹검 비교임상시험(RCT)의 중요성을 역설한 것입니다. 이것을 간단히 설명하면, 임상시험을 실시할 때, 미리 정한 기준에 따라서 등록한 환자를 무작위적으로 대조군이나, 치료군에 배치시켜서 배치하는 단계에서 사람의 편견이 작용하지 않도록 하고, 임상시험 기간 동안 환자나, 의사가 등록된 환자가 어느 군에 속했는지 알지 못하게 하는 것입니다. 코크란 연합의 경우 RCT를 6개 영역 즉, 순서 생성, 배정 은닉, 눈가림, 불완전한 결과변수, 선택 적 결과보고, 그리고 타당도를 위협하는 기타 잠재적 편견으로 구분하여 평가하고 있습니다. 이렇게 임상시험의 질을 평가한 이후에 기준을 통과한 우수한 임상시험만을 모아서 메타분석이라는 것을 실시합니다. 메타분석은 서로 다른 연구 결과를 비교하는 것인데, 처음 나왔을때는 많은 사람들이 이에 엄청난 반발을 했던 연구 분석방법입니다. 예를 들어 우리가 사과와 사과를 비교할 경우에는 어떤 사과가 좋은 사과인지 평가하기 쉽습니다. 그리고 오렌지와 오렌지를 비교할 때도, 이러한 비교가 쉽습니다. 하지만 사과와 오렌지를 비교하는 것은 그렇게 쉽지 않습니다. 이러한 비교를 하는 것이 메타분석이라고 생각하시면 됩니다. 방법론적인 것이야 모른다고 해도, 이렇게 분석해서 나온 결과는 매우 중요한 의미를 가지고 있기 때문에 함부로 무시해서는 안 되는 것입니다.

이 사람에 대해서는 한의학계에서도 일부 알려져 있습니다. 2002년 한방재활의학회지 논문에는 다음과 같은 내용이 실려 있습니다.

영국의 의사이자 역학자인 아키 코크란은 체계적 비평의 필요성을 다음의 예를 들어 역설했다.

“1972년 corticosteroids에 대한 첫 무작위 임상 실험 보고가 있은 후부터 corticosteroids가 임부에게 조기 투여되었을 때 신생아 사망률이 30%에서 50%까지 증가되었음에도 불구하고 1989년 체계적 비평이 가해질 때까지 많은 경제적 손실과 희생을 야기시켰다5).”

따라서 의학논문은 잘 쓰는 것만큼이나 적절한 평가와 비평이 필요하며 그것의 결과, 의학논문을 적절히 평가하기 위해선 연구 방법론적 측면에서 의학연구의 종류와 과정 및 그 구조를 먼저 이해하여야 한다4).

한방재활학회에 올라온 이 논문은 논문을 제대로 평가해야 한다는 주장과 함께, 코크란에 대한 언급이 포함되어 있습니다. 다만 아쉬운 것은 사례로 들은 내용이 사실과 정반대라는 것입니다. 위의 이야기는 뉴질랜드의 연구자인 Liggins and Howie가 1972년에 발표한 논문이 있었음에도 불구하고 1989년 체계적 비평문헌이 발표되기 전에는 사망률을 감소시키는 효과가 30~50%로 매우 크다는 사실을 제대로 알지 못했다는 것입니다. 이 내용과 관련되어 1999년 코크레인 리뷰 자료가 번역되어 있습니다. 뿐만 아니라 1997년 대한신생아학회지에 “미숙아에서 산전 Corticosteroid 치료 효과에 대한 임상적 고찰”이라는 제목으로 거의 동일한 내용의 연구 결과가 올라와 있습니다.

많은 사람들이 비평적인 연구의 중요성에 대해서 말하지만, 그것이 구호로만 사용되고 실제로 자신들에게 적용할 때는 최대한 느슨하게 적용하여 많은 실수가 발생하는 것 같습니다.

메타분석 결과 보는 방법

메타분석의 결과는 모두 Forest plot으로 표현되기 때문에 이것을 잘 알아둘 필요가 있습니다. 일반인이라면 Forest-Plot만 알아두시면 될 것 같습니다.

Forest plot 에서 하나의 선분과 사각형은 하나의 임상시험을 의미합니다. 선분의 위치가 95% 신뢰구간을 표현합니다. 선분이 짧을 수록 사각형이 커지는데 그것은 가중치가 높기 때문입니다.

하나의 임상시험의 결과 해석

아래 임상은 예를 들어, 암환자에게 악액질을 효과를 확인하기 위해서 약의 투여후 체중의 증가를 조사한 임상시험이라고 가정하겠습니다.

임상시험 결과 4가지가 위의 결과처럼 나왔다면 study1은 중간의 0을 포함하지 않기 때문에 통계적으로 유의미하다고 생각합니다. 그리고 왼쪽에 결과가 나왔다면 음의 상관 관계를 가지고 있다는 것입니다. 예를 들어 이 임상이 어떤 약을 먹었을 때, 체중의 증감을 조사하는 것이라면, 왼쪽의 경우는 체중감소를 표현할 수 있습니다.

Study2는 선분이 0을 통과하기 때문에 통계적으로 유의미하다고 생각하지 않습니다. 다만 결과는 음의 상관관계를 가지고 있다는 것을 알 수 있습니다. 이러한 결과가 하나만 있다면 별 의미가 없을 수가 있지만, 통계적으로 유의미하지 않아도 임상시험의 갯수가 많아지고 메타분석을 통해서 통계적으로 유의미한 결과가 나올 수 있습니다.

Study3은 선분이 0을 통과하므로 통계적으로 유의미한 결과는 아닙니다. 그리고 결과는 양의 상관관계를 보입니다. 즉, 약을 투여했더니 체중이 증가했다는 것을 의미합니다.

Study4는 선분이 0을 걸치기 않고 오른쪽에 있기 때문에 통계적으로 유의미한 결과이고, 약의 투여와 체중증가가 서로 상관관계가 있다는 것을 보여줍니다.

메타분석 최종 결과 표현

메타분석의 최종결과는 Forest plot의 가장 아래 부분에 다이아몬드 형태로 표시됩니다.

만약 이 다이아몬드가 0.0을 통과하면 통계적인 유의성이 없다는 것을 의미합니다. 그러므로 가장 중요한 것이 0을 통과하는지 안 하는지를 먼저 확인해야 합니다. 그리고 사각형의 크기는 메타분석결과로 확인한 값의 범위를 의미합니다.

Forest Plot의 일반적인 모습

아래는 비타민 C와 폐암과의 관계에 대한 자료예시입니다.

위의 자료에서 각각의 선분은 임상시험 결과이며, 선분의 위치는 95% 신뢰구간의 값입니다. plot의 가장 마지막 아래 부분에 다이아몬드 형의 자료를 보면 0을 걸치지 않고 왼쪽에 있다는 것을 알 수 있습니다. 이것은 통계적인 유의성이 있다는 것이며, 그 효과는 0.83 이라고 되어 있습니다.

일반적으로 위의 그림에서는 중간값으 1로 표현했지만, 대부분의 임상결과를 기준 값보다 몇 % 증가하거나 감소하는 것을 보기 때문에 이것은 플라시보를 1로 생각하면 됩니다. 즉 0.17 즉 17% 낮아진다는 것을 의미합니다.

최종적으로 위의 자료로만 본다면 비타민 C는 폐암의 발병률을 플라시보 대비 13% 낮춰줄 수 있습니다.

추가적인 자료

이 외에도 메타분석의 분석에는 전체 자료에 왜곡이 없는지 확인하는 방법도 있으나, 그러한 내용은 생략하겠습니다. 더 자세한 내용을 알고 싶으신 분은 아래 참고자료를 확인하시기 바랍니다.

참고자료

메타분석의 이론과 실제, J Rhinol 2020;27(2):83-89 https://doi.org/10.18787/jr.2020.00320