거짓말을 파는 사람들 I

진담반 농담반이지만, 기상 전문가들은 오류를 범하고도 돈을 받는 유일한 사람이라는 말을 듣는다.
그러나 실제 대부분의 전문가들이 오류를 범하면서 돈을 받고 있으며, 아마도 기상전문가보다 오류율이 훨씬 더 높다면, 그 사실을 과연 어떻게 이해해야 할까?

우리가 전문가라고 말할때는 대중매체가 어떤 주제에 대해 신뢰할 만한 권위자라고 인용하는 사람들을 주로 머리속에 생각한다. 즉, "전문가에 따르면 ..."이라고 언급할 때 보통 지칭하는 사람들이다.

이 사람들은 이른바 '대중적인' 또는 '일반적인' 전문가로서 많은 사람이 삶에 영향을 미치는 의사결정을 내릴 때 참조하는 의견이나 연구결과를 제시할 수 있는 지위에 있는 사람들이다.

과연 이들 전문가들의 의견을 우리가 생각하는 만큼 신뢰할 수 있고 중요한 의사결정이 필요할 때 참조할 만 한지 알아보도록 보자.
 

   언제나 복잡하고 혼란스러운 조언들

1997년 미시간대학 미식축구팀은 오랫동안 후보 선수로 있던 3학년 학생에게 짧은 시간동안 뛸 수 있는 기회를 주기로 했다.
그는 한때 팀의 쿼터백 중 7번째 순위였으나, 후보 생활에 낙심하여 다른 대학으로 이적하는 문제를 고민하고 있었다. 그러나 그는 출전 기회를 잘 활용하여 멋진 경기를 보여주었다.

그 결과 그는 가장 많은 패스 시도와 성공율을 보였으나 그의 기록을 눈여겨보는 사람은 없었다. 확실히 눈에 띄지 않는 그의 대학시절 성적은 북미프로 미식축구리그 드래프트까지 계속되었고, 그는 199번째로 선발되었다.

오픈시즌(경기 시즌이 끝난 시기) 동안 일부 선수들의 결손을 보충하기 위해 추가 선수를 선발하는 한 팀에서 그를 뽑아 주었다. 거기서도 언제나 익숙한 벤치에서 경기를 지켜보고 있던 그는 일년 후 한 동료의 부상으로 뜻밖의 출전 기회를 얻었다.

그 때부터 그는 그 해 나머지 시즌 기간의 경기를 통해 프로 미식축구 선수 중 가장 탁월한 쿼터백으로 알려지게 되었다. 그 이후로 그는 팀을 네번 슈퍼볼에 진출시켜 그 중 세번 우승했고, 슈퍼볼 최우수 선수상을 두번 받았고, 올스타 게임에 네차례 출전했다.

                                                                                                     <자료 : 네이버 인물백과>

올버린의 그 후보 선수는 바로 뉴 잉글랜드 패트리어츠 소속의 톰 브래디다.

선수들의 재능과 잠재력을 평가하는 감독, 코치, 스카우트 담당자, 대중매체 스포츠 분석가들은 왜 브래디를 전혀 알아보지 못했을까?
스포츠 전문가들의 큰 문제점은 그들이 좋은 자료를 갖고 있지 않으며, 설령 자료가 있어도 종종 그것을 무시한다는 점이다. 심지어 좋은 자료를 이용할 수 있어도 감독들은 그 정보가 자신의 판단과 모순될 경우에는 별로 신경쓰지 않는다.


이러한 오류는 다른 분야에서도 수시로 발생한다.

미국의회 전문잡지인 콩그레셔널쿼털리(Congressional Quarterly)는 널리 인용되는 연간 '도시별 범죄 순위' 목록(경찰이 보고한 범죄발생 건수를 도시 거주 인구로 나눈 것)을 발표한다.

그런데 안타깝게도 일부 도시의 범죄는 많은 통근자들에 의해 저질러 진 것으로, 이들은 범죄의 희생자 또는 가해자가 될 수 있지만 해당 도시의 인구로 포함되지 않는다.
세인트루이스의 범죄율은 도시 주변의 통근 지역을 감안하여 보정한 결과 범죄율 목록에서 2위에서 120위로 떨어졌다. 

미연방수사국(FBI)은 홈페이지에 도시범죄율 순위에 대한 입장을 아래와 같이 밝히고 있다.
"이 개략적인 순위는 특정마을, 도시, 군, 주 또는 지역의 범죄에 영향을 미치는 다양한 변수들을 감안하지 않은 것입니다. 따라서 이 순위는 단순하거나 불완전한 분석을 야기할 수 있으며, 그 결과 종종 지역사회와 저주민들에게 악 영향을 미치는 잘못된 인식을 초래합니다."   

이러한 혼란 스러운 자료들이 우리가 거의 모든 분야의 전문가에게서 얻는 조언의 바탕이된다는 사실을 알게된다면 어떤 생각이 들까?

   또다른 전문가인 과학자들의 거짓말 사례

중요하지 않은 사항에 대한 측정

온타리오 주 맥매스터대학의 심장학자이자 생물통계학 연구자인 필립 P. J. 데버로는 1980년대 초 심장학계가 흥분의 도가니에 휩싸였던 때를 생생하게 기억한다.

심장학자들은 불규칙적인 심장박동이 나쁜 징조라는 것을 이미 알고 있었으며, 심장발작 후 12일 이내에 불규칙한 심장박동을 일으킨 사람이 그렇지 않은 사람보다 죽을 가능성이 훨씬 높다고 말했다.

항부정맥 약품들이 갑자기 등장했고 심장학자들은 그것을 호평했다. 그들은 심장병 환자들에게 그 약을 투약하고 환자의 심장 심장박동을 면밀히 조사한 결과, 심장박동이 안정되는 것을 보고 전율했다. 

항부정맥 약물 처방이 심장마비 환자의 표준적인 치료 방법으로 빠르게 자리를 잡았고 1990년대 초까지 지속되었다. 그러나 1990년대 초에 이 약물에 대한 새로운 대규모 연구 결과가 발표되었다.

데버러는 다음과 같이 말했다. "실험 결과 그 약물은 생명을 구하지 못할 뿐만 아니라 오히려 사람들을 죽이고 있는 것으로 밝혀졌습니다."  환자의 심장은 그 약을 먹고 더 규칙적인 심장박동을 보였지만 평균적으로 세 배 이상 사망률이 증가했다.

미국에서만 대략 일 년에 4만명이 그 약물때문에 죽었다. 심장학자들은 왜 이런 실수를 저질렀을까?

그 이유는 제대로 된 결과를 얻을 수 있는 방식보다는 상대적으로 손쉬운 방식으로 연구하기 때문이다. 
심장발작 환자들을 위한 항부정맥 약품의 경우, 심장학자들이 정말 알고 싶은 것은 생존율이었다. 그러나 생존율을 측정하는 것은 시간이 오래 걸리고, 비교적 복잡하다.

불규칙적인 심장박동의 빈도가 줄어들면 사망률도 떨어진다는 가정 하에 심장학자들은 불규칙한 심장박동을 타당한 측정 자료로 간주하는 것이 합리적이라고 생각했다. 의사들은 불규칙한 심장박동을 측정하고, 항부정맥 약물이 그것을 성공적으로 억제하는 것을 확인했다. 빙고, 과제는 해결되었다!   

연구조작 사례

2004년, 런던의 '타임즈'는 "과학자들, 인간 줄기세포 연구에서 획기적인 성과를 달성하다"라고 대서특필했다. 이 기사는 우리나라의 생물의학 연구자인 황우석 박사의 연구를 전한 것이다.
'사이언스'는 인간 배아줄기세포의 복제에 관한 놀라운 성공을 자세하게 발표했다.

                                                                                                   <사진 : 연합뉴스>

2005년, 황 박사는 다시 국제적으로 언론의 주목을 받았다. 이번에는 복제 연구 자료를 조작했다는 혐의로 기소되었다는 보도였다. 그 후 황 박사는 서울대 교수직에서 쫓겨났고, 인간복제 연구를 금지당했다.

이런 연구 조작은 황 박사만의 문제가 아니었다. 프톨레미, 갈릴레오, 뉴턴을 비롯한 과학사에서 가장 탁월했던 일부 인물들은 그들의 관찰 결과가 실제 세계와는 일치하지 않는다는 이유로 연구 결과를 조작한 것으로 알려졌다.  


존 이오아니디스(의학연구계 분야의 연구원)는 지금까지 발표된 수백편의 연구들(가장 권위있는 의학저널에 발표된 연구들 중 0.1%미만)을 조사한 결과, 분명한 패턴이 있다고 분석하였다.

그 패턴은 한 연구가 발표되면, 그 연구의 유효기간은 몇 달 또는 길어도 몇 년 정도였다. 그 후 다른 연구가 기존의 연구 결과와 완전히 상반되는 내용을 제시하거나, 나중에 발표된 논문이 기존 치료 방법이 효과가 매우 적다는 점을 보여주면서 시존 연구 결과가 '과장되었다'고 발표한다.

시간이 흐른 후 '별 가치가 없는' 연구 결과가 지속적으로 유효한 연구 결과보다 2:1 비율로 더 많아지는 패턴을 보였다고 한다.

그런데 이 사람도 또 한명의 전문가이다. 과연 이 분석 자료는 믿을 수 있을까?
어쩌면 지금까지 얘기도 또 하나의 주장으로 사라질 수도 있겠다. 

<자료 : 거짓말을 파는 스페셜리스트>