도널드 B. 루빈과의 대화 (2)

by d_ijk_stra

1편에서 이어집니다.

1980년대 초 하버드에서의 루빈

1980년대 초 하버드에서의 루빈

다시 하버드로: 성향 점수, 다중 대치법 등

파브리: ETS에서 그렇게 생산적인 시간을 보내고, 당신은 EPA(미국의 환경 보호 기관)에서 시간을 좀 보냅니다. 분명히 ETS에서 그렇게 잘 지냈는데 왜 옮기신거죠?

: 누가 저에게 “당신 ETS에 얼마나 오래 있었나요?”라고 묻는 걸 “너무 오래요”, 라고 농담삼아 대답한 것이 부분적으로나마 그 시작이었습니다. 제가 ETS에서 푸는 문제들은 뭔가 반복적이 되는 것 같아 보였고, 나는 EM과 다중 대치법 등을 통해 그들에게 중요한 공헌을 많이 했다고 느꼈습니다. 이런 기법들은 ETS에서 중요한 문제들인 시험 결과 비교나 데이터를 수집하는 올바른 방법을 찾아내는 것과 같은 주제들에 사용되었거든요. 그래서 나는 뭔가 다른 걸 해보고 싶었습니다. 당시 데이비드 로젠바움(David Rosenbaum)이 EPA의 방사선 프로그램 부서(Office of Radiation Programs)의 대표(head)로 있었죠. 그는 응용수학자와 통계학자들을 모아 한 팀을 꾸린다는 원대한 계획을 갖고 있었습니다. 그는 어찌 제 이름을 찾아내서 저를 (워싱턴) DC로 초대해 제가 그런 그룹을 이끌고 싶은지 알아보려 했죠. 제가 원하는 사람들을 몇 명 고용할 자유와, 괜찮은 정부 월급(“Senior Executive Service” 레벨에서요)을 제안받았습니다. 그래서 저는 “제가 누굴 데려올 수 있는지 한 번 봅시다”라고 대답했습니다. 나는 로드 리틀(Rod Little; 당시엔 영국에 있었습니다)과 폴 로젠바움(Paul Rosenbaum; 제가 아직 ETS에 있을 때 가르친 사람이었습니다) 외에도 몬타나 주립 대학(Montana State University)에서 결측 자료에 대한 학위 논문을 쓴 수잔 힌킨스(Susan Hinkins) 외 두 명을 더 데려올 수 있을 것이라고 확신했습니다. 그게 대통령 선거 얼마 전이었죠. 그리고 민주당이 패배하고 레이건이 대통령이 되며 모든 것이 무너집니다. 갑자기 EPA에서 제 직급 위에 있는 많은 사람들(대부분 대통령에 의해 임명된 사람들이었죠)이 사직서를 준비하고 다음 직장 걱정을 해야 하게 되었죠.

파브리: 그래서 EPA 프로젝트는 시작하기도 전에 끝나게 되었군요.

: 어떤 의미로 보면 그건 아예 시작하지도 않았었죠. 12월 초에 정식으로 사인했는데, 하루 있다가 사직서를 제출했거든요. 그러나 저는 제가 거기에 데려온 모든 사람들에게 책임감을 느꼈죠. 결과적으로 수잔 힌킨스는 IRS의 프릿즈 슈렌(Fritz Scheuren)과 연결이 되었습니다; 폴 로젠바움은 위스콘신-매디슨 대학(University of Wisconsin-Madison)에 자리를 얻었구요; 로드는 인구 통계에 관련된 직업을 얻었습니다. 그 잠시의 시간 동안 좋았던 한 가지는 제가 맡았던 프로젝트들을 통해 허먼 체르노프(Herman Chernoff)나 조지 박스(George Box)와 같은 사람들과 좋은 관계를 형성했다는 겁니다. 조지는 진짜 문제를 푸는데 도움이 되는 통계를 하고자 하는 고집과 위트 있고 상스러운 환상적인 유머 감각, 그리고 발랄함에 대한 사랑 때문에 저와 정말 죽이 잘 맞았죠. 어쨌거나 EPA에서의 자리 때문에 위스콘신 대학 수학 연구소(Math Research Center)에 있던 박스에게 방문 초청을 받았고 저는 기쁘게 승낙했죠. 이것이 기회가 되어 저는 폴(로젠바움)과 성향 점수에 대한 논문들을 마무리합니다(Rosenbaum and Rubin, 1983a, 1983b, 1984a).

: 다양한 응용 분야에서 가장 인기 있는 인과 추론 기법인 성향 점수 얘기가 나와서 말인데, 성향 점수의 역사에 대한 통찰을 좀 주실 수 있나요?

: 저는 1978년 하버드에 구겐하임(Guggenheim) 장학금으로 왔을 때 폴을 처음 만났습니다; 그는 1년차 박사과정 학생이었는데 굉장히 똑똑하고 열성적이었죠. 프린스턴에 있던 시절 저는 러트거스(Rutgers)의 심리학자이자 나중에 킨제이 연구소(Kinsey Institute)에 킨제이를 이어 첫 소장이 된 쥰 라이니시(June Reinisch)에게 컨설팅을 좀 해줬었습니다. 그녀는 유전-환경 논쟁(nature-nurture controversy)에 굉장히 관심이 많았습니다- 무엇이 남자와 여자를 그렇게 다르게 만드는 걸까요? 그녀와 역시 심리학자였던 그녀의 남편은 쥐와 돼지 실험을 하고 있었습니다. 그들은 임신한 동물들의 자궁에 호르몬을 주사해서 태아들을 다른 출산 전 환경에 노출시켰죠; 이런 식의 무작위 실험은 당연히 인간에게는 비윤리적인 것입니다. 폴과 제가 폴의 학위 논문의 일부분이기도 했던 이 프로젝트에서 풀고자 했던 문제 중 하나는 노출된 사람과 노출되지 않은 사람을 배경이 비슷한 사람끼리 대응(matching) 시키는 것이었습니다. 우리가 사용한 공변량(covariate)은 아주 많은 수의 연속(continuous) 변수와 이산(discrete) 변수들을 포함하고 있었는데, 그 중 몇 개는 임신 전이나 초기에 특정한 심각한 병을 앓는 것과 같이 아주 드문 사건에 대한 것이었죠. 머지 않아 표준적인 대응 방법인 마할라노비스 대응(Mahalanobis matching)과 같은 방법은 이렇게 고차원의 문제에서는 적절치 못하다는 것이 분명해졌습니다. 우리는 이런 변수들에 대한 어떤 요약 수치들을 찾아내, 개인과 개인이 단계가 아닌 실험군과 대조군 단계에서 이 요약 수치들이 균형을 이루도록 해야 했습니다. 그리고 우리는 할당 기제(assignment mechanism)이 존재한다면 우리는 할당 확률(assignment probability)를 이용해서 대응을 할 수 있다는 것을 깨달았습니다. 이건 사실 호빗츠와 톰슨(Horbitz-Thompson)이 계통적 오류(systematic bias)를 모두 없애기 위해서 제안한 것과 거의 흡사한 아이디어죠. 정확한 것은 기억나지 않지만 아마 우리는 관상 동맥 우회(coronary artery bypass) 수술에 대한 듀크 데이터 은행 자료를 분석하면서 성향 점수에 대한 아이디어를 처음 얻게 되었다가, 라이니시(Reinisch) 데이터에 사용할 때 다듬었던 것 같습니다. 이론적으로는 둘이 거의 같지만요. 앞에서 언급한 주제들에서와 마찬가지로 성향 점수라는 아이디어는 실제 문제를 풀다가 얻게 된 것이지만 일반성을 갖고 있었죠.

: 다중 대치(multiple imputation; MI) 또한 당신의 영향력 있는 공헌 중 하나였습니다. 당신의 책 “표집 설문 무응답의 다중 대치 (Multiple Imputation for Nonresponse in Sample Surveys, Rubin 1987a)”은 널리 MI의 시초로 인용되고 있죠. 하지만 제가 아는 바에 따르면 당신은 이 아이디어와 MI라는 용어를 훨씬 전부터 갖고 있었습니다.

루빈: 맞습니다. 저는 1978년 ASA 학회지에 낸 논문에서 처음 MI에 대해서 썼죠(Rubin 1972, 1978b). 제가 “18+년이 흐른 이후의 다중 대치 (Multiple Imputation After 18+ Years, Rubin 1996)”를 썼을 때의 “18+년”은 여기에서 온 것입니다.

파브리: MI는 결측 자료의 맥락에서 개발되었지만, 그보다 훨씬 다양한 상황에서 사용할 수 있지요.

루빈: 그렇습니다. 제 생각에 MI는 온갖 상황에서 사용되어 왔으며 앞으로도 그럴 것입니다. 제가 책 이름을 “표집 설문 무응답의 다중 대치”이라고 지은 것은, 공공으로 사용하기 위한 데이터셋을 만들 때 결측 자료를 손보는 사람과 데이터 분석을 하는 사람 사이에 분리가 있어야 함이 적어도 제게는 분명해 보였기 때문입니다. 데이터의 사용자들은 다중 대치를 하기 위한 도구나 자원(예를 들면 기밀 정보 같은)이 없을 수도 있기 때문에, 이런 것이 필요함은 분명했죠. 제 박사과정 학생들인 트리빌로어 라그후나탄(Trivellore Raghunathan; Raghu)과 제리 라이터(Jerry Reiter)은 MI를 이용한 비밀 유지(confidentiality)에 대해 환상적인 공헌들을 했죠. 물론 제 다른 지도학생들인 Nat Schenker, Kim Hung Lee, Xiao-Li Meng, Joe Schafer과 다른 많은 사람들도 MI에 중요한 공헌들을 했습니다. MI의 발전은 이들과 로드 리틀(Rod Little) 같은 사람들, 그리고 그들의 동료들과 학생들 덕분에 이루어졌죠.

파브리: 로드 리틀은 반쯤은 농담으로 “인용을 많이 받고 싶은가요? 그러면 루빈과 함께 책을 쓰십시오!”라고 한 적이 있습니다. 그리고 실제로 그는 당신과 “결측 자료의 통계적 분석(Statistical Analysis with Missing Data)”를 썼는데, 이 책은 지금 결측 자료 교과서의 고전이죠. 그 이후 결측 자료 분석에 있어서 많은 발전과 변화가 있었습니다. 당신은 이러한 변화들을 반영한 책을 쓸 예정이 있나요?

: 오 그럼요, 우리는 지금 그 작업을 하고 있어요. 1987년과 2002년 사이의 주요한 변화는 베이지언 방법론과 MCMC같은 연산의 수용이 훨씬 확대된 것이지요. 로드는 나보다 훨씬 유려하게 글을 쓰는 환상적인 공저자지요. 저는 3판은 1987년 판과 2002년 판 사이의 변화보다 훨씬 큰 변화가 있을 것으로 생각하는데, 이 중 다수가 전산의 발전에 기인한 것이지요.

베이지언에 대해

: 당신은 1978년 Annals (역자주: 통계학의 유명 저널인 ‘통계학 연보(Annals of Statistics)’의 약칭) 논문에서 (Rubin 1978a) 처음으로 인과 효과의 베이지언 추론에 대해 엄격한 공식을 만들었죠. 그러나 아주 최근까지만 해도 인과 추론의 베이지언 접근을 하는 사람은 많지 않았고, 인과 추론의 영역에 있는 사람들은 대부분 현재까지도 주로 빈도주의자 들입니다. 당신은 인과 추론에 있어서 베이지언 접근의 역할에 대해 어떻게 보시나요?

: 저는 베이지언 통계가 문제들을 접근하는 옳은 방법이라고 믿습니다. 피셔 식의 검정이나 네이만의 비편항 추정 혹은 신뢰 구간과 같은 기본적인 빈도주의 접근은 잡음(nuisance) 변수가 많은 복잡한 문제들에서는 대체로 잘 작동하지 않습니다. 그러니까 새로운 절차를 만드려면 베이지언 통계를 사용해야 하죠. 귀무가설을 기각할 근거를 찾는 용도로 사후 분포의 예측력 확인(posterior predictive checks)을 하거나, 직접적으로 우도 함수를 건드리는 방식(Frumento et al, 2012)으로 부분적인 베이지언 접근을 할 수도 있습니다; 데이터가 흥미로운 귀무가설과 일치한다면 그걸 받아들여야 하죠. 하지만 네이만 식의 베이지언 절차에 대한 빈도주의 평가는 여전히 의미가 있습니다.

: 하지만 왜 인과 추론 분야는 여전히 빈도주의가 대세인 것일까요?

: 제 생각에 여기엔 여러가지 이유가 있습니다. 첫째로, 많은 베이지언 통계학자들이 과학에는 관심이 없고 MCMC 대수나 알고리즘에만 너무 치중합니다. 둘째로, 제가 생각하기에 빈도주의의 적률추정(method of moments; MOM) 접근은 동기 부여가 잘 되고 정보의 출처가 뚜렷해 가르치기가 쉽습니다. 예를 들어서 도구 변수(instrumental variable)을 단방향 비순응 문제에 사용하는 간단한 상황을 생각해 봅시다. 단순한 적률 추정치를 보고서 정보가 어디에서 왔는지 파악하는 것은 정말 쉽습니다. 베이지언 방법론을 사용하면, 답은 어떤 의미론, 그냥 당신의 눈 앞에 있습니다. 그런데 정보가 어디에서 왔냐고 묻는다면, 당신은 어떤 임의의 값으로부터 시작해서, 반복적으로 조건부 기대값을 계산하거나 결합 분포(joint distribution)으로부터 뽑아내야 하지요. 베이지언 아이디어를 이해하기 위해서는 훨씬 복잡한 수학적 사고를 해야만 합니다. 결측 자료 문제 중에는 어떤 변수에 대해서는 적률추정을 이용한 유일하고 일관된 추정치가 있지만, 결합 최우도 추정치(joint MLE)는 경계이 있는 경우들이 있죠(Efron 1994에 대한 제 논의를 보세요). 그러니까 제가 생각하기에 아이디어를 전달할 때는 간단한 추정치나 간단한 절차의 동기를 설명하고 너무 효율적이려 하지는 않는 것이 교육적으로 쉬운 경우들이 많습니다. 인과 추론에 있어서는 Rubin 1977에서처럼 비편향이나 거의 비편향으로 인과 추정을 하는 것이 여기 해당하죠. 현재 대부분의 통계학자들이 받아온 교육에 따른 문제들도 있습니다.

: EM 이후 1980년 초부터 당신은 베이지언 연산 방법을 개발하는 데 깊게 관여했는데, 여기엔 베이지언 부트스트랩(Bayesian bootstrap; Rubin 1981), 표본추출 중요도 재추출 (Sampling Importance Resampling; SIR; Rubin 1987b), 그리고 (덜 알려진) “근사 베이지언 계산 (Approximate Bayesian Computation; ABC; Rubin 1984, Section 3.1)이 포함되죠.

: 그 시점에는 컴퓨터가 베이지언 통계가 더 널리 쓰여지는 것을 가능케 할 것이라는 점이 분명했지요. 당신과 Simon Tavare, Christian Robert 그리고 Jean-Michel Marin 등은 처음으로 ABC를 제안한 공로를 저에게 돌렸지요. 고맙습니다! 그렇지만 솔직히 말해서 저는 간단한 충분 통계량(sufficient statistics)이 있는 경우가 아니고서는 이것이 유용한 알고리즘이 될 것이라는 생각은 전혀 하지 못했습니다.

파브리: 그렇지만 당신은 이런 아이디어를 사용할지라도 계속해서 연구하지는 않죠. 그리고 당신은 베이지언 추정에 근본적이고 중요한 아이디어들을 제공하는 굉장한 공헌을 하고서도 스스로를 베이지언이나 빈도주의자로 규정하지는 않습니다.

: 일단 저는 모든 “종교”에 적대적입니다. 얼마 전 독일 밤베르크에서 라구(Raghu)의 강연을 들었는데, 그는 그의 세상엔 억만겁의 많은 신들이 존재한다고 하더군요. 그리고 저는 그가 맞다고 생각해요. 이 좋은 생각에 하나, 저 좋은 생각에 하나씩, 무수히 많은 신들이 있어야 합니다. 그리고 각자가 원하는 대로 각자의 신들을 만들어낼 수 있죠. 나는 베이지언 진영에 완전히 맹세한 회원이 아닙니다- 나는 그들과 친구가 되는 것이 좋지만, 종교적으로 베이지언이 되고 싶었던 적은 한 번도 없어요. 제 생각에 한 종류의 추론 방법에 문제를 야기하는 어려움은 다른 종류의 추론 방법에도 방식이 다를 뿐 꼭 문제를 야기합니다. 예를 들자면, 교란이 일어난 실험군 배정이 빈도주의 추정에 문제를 일으킨다는 점은 자명하죠. 이것이 베이지언 추정에도 문제를 야기하나요? 그렇습니다. 1978년 Annals 논문이 이 점을 지적하죠: 무작위화(randomization)은 베이지언에게도 영향을 미치죠. 빈도주의에서처럼 추론의 근본에 영향을 주지는 않지만, 우도 함수(likelihood function)에 영향을 줍니다.

제가 폴 로젠바움(Paul Rosenbaum)과 1984년에 쓴, 폴에게 있어서는 유일한 (적어도 저와 쓴 것 중에서는) 베이지언 논문이 있는데 (Rosenbaum and Rubin, 1984b) , 지금 박사과정 학생인 비비안나 가르시아(Viviana Garcia)와 함께 그것을 더욱 발전시키고 있습니다. 폴과의 논문에서 우리는 시뮬레이션을 통해 중단 규칙(stopping rule)이 베이지언 추정에 영향을 준다는 사실을 보였습니다. 중단 규칙을 갖고 있고 또 균일 부적절 사전 분포(uniform improper prior)와 같이 “잘못된” 사전 분포를 사용하는데 반면 데이터는 “올바른” 사전 분포로부터 생성된다면, “잘못된” 사전 분포로부터 얻은 해답과 올바른 사전 분포로부터 얻은 해답은 다르다는 것입니다. 이건 아주 많은 상황으로 확장될 수 있고, 무관성(ignorability)에 대한 온갖 정리들과 관련되어 있으며, 올바른 메져(measure)에 맞는 올바른 모델이 사용해야 한다는 교훈을 줍니다. 물론 이것은 실제로는 불가능하므로, 잘못된 모델을 사용하는 베이지언 절차에 대한 노이만 식 빈도주의 평가가 필요해지게 됩니다 (Rubin 1984). 이론적으론 베이지언 분석은 언제나 잘 작동합니다만, 때로는 작동하게 만들기가 굉장히 어려울 수 있습니다! 현실적으로는 베이지언 분석이 잘 작동한다고 해도, 얼마나 결론이 뒤틀릴 수 있는지에 대해서 다른 이론적 근거들을 갖고 있는 것이 필요합니다. 그러니까 뭔가 잘못되었을 때의 대비책이 필요한 것이고요, 그래서 저는 빈도주의 평가가 굉장히 중요하다고 생각합니다. 물론 모든 질점 사전분포(point mass prior)에 대한 비조건부 네이만-피어슨 (unconditional Neyman-Pearson) 빈도주의 평가 말고, 주어진 상황에서 고려해야 하는 문제의 군(class of problems) 속에서 평가해야겠죠.

: 1984년 “응용통계학자를 위한, 베이지언 식으로 정당화 가능한 적절한 빈도 계산(Bayesianly Justifiable and Relevant Frequency Calculations for the Applied Statistician, Rubin 1984)”은 제가 가장 좋아하는 논문 중 하나입니다. 조지 박스의 이전 논문(Box, 1980)에서와 같이 이 논문은 “보정된 베이지언(calibrated Bayes)” 패러다임을 일반적으로 접근하는데, 이것은 베이지언과 빈도주의 패러다임의 절충 혹은 중간 지점으로 볼 수 있죠. 이 논문은 많은 사람들에게 깊은 영향을 주었습니다. 특히 로드 리틀(Rod Little)은 2005 ASA 회장 추천 연설과 2012 피셔 강의를 포함 많은 강연에서 21세기 통계학의 로드맵을 얘기할 때 “보정된 베이지언”을 강하게 변호했죠. 당신이 이 논문을 쓰게 된 배경과 이유는 무엇인가요?

: 흥미로운 질문이군요. 저는 1981년과 1982년 사이에 수학 연구 센터(Mathematics Research Center)에 있는 박스(Box)를 방문했고 Rubin (1983)을 그  때 썼습니다- 제가 생각하기에 그건 괜찮은 아이디어인 좋은 논문이었지만, 만족스러운 큰 그림이 빠져 있었습니다. 그 큰 그림에 대한 불만이 1984년 논문으로 이어졌죠. 그걸 “제대로” 해내기 위해 아주 오랜 시간이 걸렸습니다만, 이제는 전 모든게 자명해 보입니다. 사후 분포의 예측력 확인(posterior predictive check)은 Meng (1984), Gelman, Meng and Stern (1996), 그리고 여러 저자가 쓴 “베이지언 데이터 분석(Bayesian Data Analysis)” (Gelman et al., 1995, 2003, 2014)에서 더 명확해지고 발전되었죠.

파브리: 가장 유명한 베이지언 교과서 중 하나인 “베이지언 데이터 분석(Bayesian Data Analysis)” 책에 대해서 좀 더 얘기해주실 수 있나요?

: 넵, 제 생각에 그 Gelman et al. 책은 최고로 유명한(THE most popular) 베이지언 교과서입니다. 그건 1980년 중반 아니면 후반 제가 학과장일 때 존 칼린(John Carlin)이 가르친 베이지언 수업 노트로부터 시작했죠. 앤디(Andrew Gelman)은 아마 그 때 대학원생이었을 거고, 학문에 대한 엄청난 열정을 갖고 있었습니다. 존 (칼린) 은 자기 고향인 호주로 돌아가려 했고 학과는 강의 예산이 좀 남아 있어서 우리는 존을 일 년 더 붙잡아두려 했습니다 – 자세한 건 기억이 나지 않네요. 그렇지만 강의 노트를 한 권의 책으로 만들어야겠다는 생각이 그 때 시작되었다는 것은 기억합니다. 할 스턴(Hal Stern)도 조교수로 우리와 함께 있었고, 우리 넷은 한번 해보기로 결정했습니다. 우리는 기본적으로 챕터를 나누었고 작성을 시작했죠. 존의 초기 강의 자료로 시작한 것이긴 했지만, 앤디가 “맡기” 시작하자 많은 것들이 바뀌었습니다. 곧 앤디와 할이 가장 활발해졌죠. 앤디와 할의 역할은 2판에서는 더욱 지배적이었고, 저는 몇가지를 더하고 편집하긴 했지만 분명히 이건 앤디의 작품이었습니다. 2014년 초에 막 나온 3판에선 그게 더 심해져서 앤디가 좋아하는 연구를 하는 두 사람(데이비드 던슨(David Dunson)과 아키 베타리(Aki Vehtari))이 추가됐고, 그들은 앤디의 요청을 잘 수용해 줬지요. 그룹의 나이 든 사람으로서 저는 그냥 저를 마지막 저자로 만들어 달라고 요구했습니다; 앤디는 당연히 첫번째 저자였고, 두번째와 세번째는 1판에서와 같이 했지요. 어떤 면에 있어서 저는 앤디가 에디터인 저널의 준 에디터(associate editor)가 된 것 같은 느낌이 듭니다! 우리는 잘 어울리고, 그 책은 분명히 성공적이죠.

: 1990년대 초 통계학의 혁명적인 발전은 MCMC 방법론입니다. 당신은 겔만-루빈 통계량(Gelman-Rubin statistic)으로 겔만과 함께 여기에 공헌했는데, 이건 당신의 이전 연구와 관련이 깊어 보입니다.

: 그렇습니다. 우리는 다중 대치(multiple imputation)에서 규칙들을 조합하는 아이디어를 사용해, MCMC의 수렴을 확인하는 문제를 다중 다치와 다중 경로(multiple chain) 프레임워크 안으로 끌어왔죠. 다중 경로(multiple chain)을 사용하는 아이디어는 앤디의 물리학 지식에서 온 것으로, 제 아이디어는 아니었습니다. 제 공헌은 다중 대치에서 규칙들을 조합하는 방법을 변형해서 적용하라고 조언한 것이었죠. 아 아이디어는 단순하기 때문에 강력합니다. 시작점이 영향을 주지 않는다면, MCMC에 문제가 없는 것이고 그것으로 끝이죠. 진짜 어려운 문제는 수렴을 확인하기 위한 추정량(estimand)의 함수를 선택하는 것이죠. 항상 그렇다시피 이 함수가 정규분포에 잘 점근 수렴(asymptotically converge)해야 겔만-루빈 통계량의 단순한 정당성이 대충이라도 확보되니까요.

1990년대: 경제학자들과의 공동 연구

파브리: 1990년대에 당신은 경제학자들과 일하기 시작하죠. 조슈아 앵그리스트(Joshua Angrist)와 특히 귀도 임벤스(Guido Imbens)와 함께 당신은 잠재적 결과(potential outcome)와 도구 변수를 이용한 인과 추론을 연결하는 일련의 아주 영향력 있는 논문들을 써냅니다. 어떻게 이런 공동 연구가 시작되었는지 말씀해주실 수 있나요?

: 그럼요. 저는 언제나 경제학을 좋아했습니다; 많은 경제학자들은 성격이 아주 좋죠! 90년대 초에 하버드 경제학과의 신임 교수였던 귀도가 내 연구실에 찾아와서 “나는 당신이 재미있어 할 만한 것을 갖고 있어요”라는 식으로 얘기했습니다. 그와 나는 초면이었고, 그는 도구 변수와 같은 개념이 통계학에서 사용된 역사가 있는지 물어보았죠. 귀도와 조쉬 앵그리스트는 이미 Econometrica 논문에서 LATE (Local Average Treatment Effect)라는 개념을 정의했었습니다. 나는 더 기술적이고 정확한 CACE(Compiler Average Causal Effect)라는 이름이 훨씬 더 나은 이름이라고 생각하지만요. 지역적(local)이라는 말은 여러 가지 의미로 사용될 수 있잖아요. 보스톤의 지역(local)이라던가, 여성의 신체 부위라(local)던가 하는 식으로요. 여하간 그래서 저는 “흠, 어떤 문제인지에 대해서 얘기해주세요, 저는 통계학 내에서는 그것에 대해 들어본 적이 없군요”라고 대답했고, 그가 설명하는 동안 나는 “우와, 이거 중요해 보이는데! 난 이런 걸 본 적이 없어”라고 생각하기 시작했지요. 그리고선 저는 “내일 만나서 이것에 대해 더 얘기해봅시다”라고 말했습니다. 왜냐하면 이런 종류의 가정들 (단조성(monotonicity)라던가 “배제 제한(exclusion restriction)”)은 제게 매력적이었고, 여기에 제가 전혀 진지하게 생각해보지 못한 무엇인가가 있음이 분명했기 때문이지요; 그건 굉장했습니다. 이것이 마침내 도구 변수 논문(Angrist, Imbens and Rubin, 1996)과 베이지언 논문(Imbens and Rubin 1997)으로 이어졌죠.

당시 제가 AMGEN의 ALS(amyotrophic lateral sclerosis)를 치료하기 위한 제품에 대한 컨설팅 프로젝트를 하고 있었던 것이 여기에 긴밀하게 관련되어 있습니다. ALS는 루게릭 병이라고도 불리는 진행형(progressive) 신경근(neuromuscular) 질병으로, 결국엔 운동 신경을 파괴시키고 죽음에 이르게 하죠. 새로운 제품은 무작위 할당 후 2년 뒤의 QOL(quality of life; 삶의 질) 측면을 주로 대조군과 비교되는데, QOL은 말하자면 풍선을 얼마나 불어낼 수 있는지 평가하는 “forced vital capacity” (FVC)로 측정됩니다. 사실 많은 사람들이 무작위 할당 후 2년간 생존하지 못하기 때문에, 2년 뒤의 QOL은 죽음에 인해서 절단(truncate) 혹은 검열(censor)되죠. 사람들은 결측 자료(missing data)의 틀에 이 문제를 맞추려고 노력했지만, 나는 단번에 바로 이 문제는 그것과는 다르다는 것을 깨달았습니다.

: 본질적으로 두 아이디어는 모두 주층화(Principal Stratification)의 특수한 경우인데, 여기서 얘기해 봐도 좋겠네요.

: 네, 그럼요. 귀도와의 연구와, 또 그와 같은 사고의 방식은 지나치게 최소 제곱 추정에 집착했던 후대 경제학자들 보다는 틴버겐(Tinbergen)이나 하벨모(Haavelmo)와 같은 3~40년대 유럽의 경제학자들의 생각에 더 가까웠죠. 둘 중 하나(아마 하벨모일 겁니다)와 네이만은 이 가상적인 수요와 공급 실험에 대해서 좀 교신을 했었습니다. 유럽의 두뇌들은 기술적인 수학을 논하지 않았을 뿐 서로 얘기하고 있었던 것이죠!

파브리: 저는 당신이 귀도를 만나기 수년 전부터 튜키와 같은 다른 통계학자들과 함께 경제학자들이 선택(selection)이나 결측 자료 문제를 다루는 방식에 대해 논의했다는 것을 알고 있습니다. 그러나 당신은 경제학자들이 최소한으로 말해서도 모험적이라 할 정도로, 당신이 연구한 문제들을 완전히 무시하고 다루는 것을 본 경험들이 있었죠.

: 네, 제임스 헥먼(James Heckman)은 내가 ETS를 퇴직하고 시카고로 간 1980년대 초부터 내 연구를 따라오고 있었죠. 공식적인 의견 교환은 하워드 와이너(Howard Wainer)가 편집하고 헥먼(Heckman), 튜키(Tukey), 하티건(Hartigan)이 주석을 단 ETS 책(여기에 Glynn, Laird and Rubin 1986이 등장하죠)이 처음이었습니다.

파브리: 경제학은 인과 관계라는 개념이 아주 중요한 분야이죠; 당신은 이것 때문에 경제학에 관심을 갖게 된 건가요? 경제학자들이 갖고 있는 문제들은 대개 아주 재미있지요.

1980년대 후반 하버드 강의실에서

1980년대 후반 하버드 강의실에서

: 수업에서 사회과학과 학생들이 던지는 질문들 중에 재미있는 것이 많습니다. 최근의 예를 들자면 “미국이 유럽에 의해서 세워지지 않았으면 어떻게 되었을까?”와 같은 질문을 어떻게 대답해야 할 것인가에 대한 것이었죠. 저는 질문자에게 “그럼 누구에 의해서 세워질까요? 중국인? 아프리카 인? 당신은 무슨 얘기를 하고 있는 겁니까? 우리는 지금의 미국을 무엇과 비교하고 있는 거죠?” 다른 예는 내가 지도한 앨리스 시앙(Alice Xiang)의 학사 논문입니다. 뛰어난 학위 논문으로 훕스 상(Hoopes Prize)과 경제학에서 해리스 상(Harris Prize)을 받은 이 논문은 인종 차별 철폐 조처(racial affirmative action)의 법대 입학 결과에 대한 인과 효과와 사회경제학적인 위치(socioeconomic status)에 조건법적인 같은 비율을 비교합니다. 이건 칵테일 파티에서나 얘기하는 가벼운 내용이 아닙니다- 이것은 최근 미국 대법원에서의 피셔 대 텍사스 주립대(Fisher v. University of Texas) 사건이었고(하급 법원에 되돌려 보내졌습니다), 최근엔 미시건 주의 법에 영향을 받게 되기도 했습니다. 귀도 (임벤스), 예전 박사과정 학생들, 댄 호(Dan Ho), 짐 그레이너(Jim Greiner), 저와 다른 사람들이 미국 대법원에 의견서를 써서 제출하기도 했구요.

(왼쪽부터) 귀도 임벤스, 돈 루빈, 조쉬 앵그리스트, 2014년 3월

(왼쪽부터) 귀도 임벤스, 돈 루빈, 조쉬 앵그리스트, 2014년 3월

이렇게 질문을 명확하게 나타내는 것은 아주 중요한 일이고, 제가 생각하기에는 통계학의 중심에 있는 일입니다. 인과 관계에 대한 당신의 질문을 명확하게 나타내는 것은 정말 중요합니다. 당신이 대학 졸업률이나 변호사 자격 통과율에 대한 차별 철폐 조처의 인과 효과를 얘기할 때, 당신이 고려하는 다른 개입 방안은 무엇인가요? 성급하게 문제를 최소제곱추정(OLS) 회귀 분석으로 만드는 것은, 적어도 제가 보기에는 잘못된 접근입니다.

: 당신은 분명히 오랫동안 법학에 관심을 가졌지요; 앞서 언급한 차별 철폐 법안 논문 외에도, 통계학을 법학에 적용하는 연구들을 했습니다.

: 네. 아마 제 생각에 폴 로젠바움이 제 하버드에서의 학생들 중엔 처음으로 법학에서 통계학을 사용했지요. 1978년 그의 자격 시험 논문 (qualifying paper) 아니면 수업 논문이 사형 제도의 효과에 대한 것이었습니다. 저의 다른 훌륭한 박사과정 학생이었고 하버드 통계학과에 들어오기 전에 법학 학위를 갖고 있던 짐 그레이너(Jim Greiner)는 박사학위 논문(과 그리고 이어진 여러 중요한 논문들)에서 잠재적 효과와 불변 속성(immutable characteristics)의 인과 효과를 다뤘습니다. 그는 지금 하버드 법대의 정교수지요. 그 외에도 과거 제겐 통계학과 법학에 관심이 있던 학부생들이 여럿 있었습니다만, (슬프게도) 대부분 법대로 갔습니다. 1980년부터 저는 여러 법적인 주제에 관여해 왔습니다.

새로운 천년(millenium): 주층화(principal stratification)

파브리: 귀도와의 공동연구와, 사망으로 인한 검열(censoring)에 대한 연구는 주층화(principal stratification)에 대한 논문(Frangakis and Rubin, 2002)으로 이어집니다. 이 논문은 콘스탄틴 프랑가키스(Contantine Frangakis)라는 당신의 뛰어난 학생과 함께 썼는데, 그는 판의 지도교수이기도 하죠.

: 네, 콘스탄틴은 굉장했지만, 그 논문의 원래 제목은 그의 학위 논문 제목과 같이 굉장히 길었죠. 그 제목은 라틴어 조금, 이탈리아어 조금, 불어 조금, 그리고 그리스어 조금을 섞어가며 계속 이어졌습니다! 물론 저는 몹시 짜증이 났고, 논문의 제목을 ‘인과 추론에서의 주층화(Principal Stratification in Causal Inference)’ 로 단순화하라고 설득했죠. 그는 정말 명석해서 자기 머리 속에서 벌어지는 온갖 복잡한 생각들을 다 감당할 수 있었지만, 그런 이유로 그는 가끔 그 모든 아이디어 속에서 핵심을 뽑아내 단순화하는 일에는 어려움을 겪었습니다.

: 당신은 주층화의 발전에 있어서 가장 중요한 성과는 무엇이었다고 생각하나요?

: 주층화는 인과 문제에 있어서 진짜 정보가 무엇인지에 대한 완전히 새로운 사고방식의 집합입니다. 진짜 정보가 무엇인지 이해하고 나면, 어떻게 그 정보를 이용해서 원하는 질문에 대답할지 생각할 수 있게 되지요; 항상 가정은 필요하고, 주층화는 가정을 명확하게 하도록 강제합니다. 최소제곱추정처럼 어떤 사회과학자나 의사도 이해하지 못할 개념 말고, 과학적이나 의학적인 개념들을 통해서요. 그리고 가정은 필요하기 때문에, 솔직하고 분명하게 가정을 얘기해야 합니다. 예를 들면 나는 당신들의 다중 사후 무작위화 결과(multiple post-randomization outcomes)에 대한 논문들(Mealli and Pacini, 2013; Mattei, Li and Mealli, 2013)을 좋아합니다. 당신들은 어떤 결과에 대해서는 배제 제한(exclusion restriction)이나 다른 구조에 대한 가정(structural assumption)이 더 적합할 수 있다고 논의하기 때문이죠.

파브리: 주층화는 종종 조정 분석(mediation analysis)과 같은 도구들과 비교됩니다- 조정 효과(mediation effect)의 추정에 대한 당신의 생각은 어떤가요?

: 제 생각에 우리(돈과 파브리)가 최근에 JRSS-A에서 한 논문에 대해 논의한 것 같은데, 그 논의가 저(혹은 우리)의 입장에 대한 요약입니다. 말하자면 조정 효과에 대해 논문을 쓰는 사람들은 함수가 무엇인지 잘 모르는 것 같습니다. 그들은 인수(argument)가 두 개 들어있는 괄호가 있는 뭔가를 쓰고, 인수 사이에 쉼표를 넣고서는, 뭔가가 잘 정의됐다고 생각하는 것 같아요!

: 인과 추론이 통계학과 다른 분야들에서 점점 주목을 받고 있음에도 불구하고, 인과 추론에 대한 오해, 오용, 오독, 그리고 신비화(mystifying)가 많이 일어나는 것 같습니다. 왜일까요? 그리고 무엇이 변화해야 할까요?

: 저는 부분적으로는 인과 추론이 다른 통계학의 많은 주제들과는 매우 다르게 기술적인 고급 수학 지식을 필요로 하지 않지만 개념적이고 기본적인 수학적 세련됨(sophistication)을 요구하기 때문이 아닌가 합니다. 주층화가 그런 예 중 하나죠. 기호를 적는다고 해서 기호의 의미를 이해하거나 수학적으로 뭔가를 증명하게 되는 건 아닙니다. 또 부분적으로는 인과 추론이 인기 있는 주제가 되었기 때문에 엉성한 논문들이 쏟아져서 그런 것도 있습니다. 어떤 분야에서는 (모든 것이 최소제곱추정에 기반한) “낡은” 생각과 새로운 생각들을 연결하는 것이 중요합니다. 이것이 귀도와 제가 책을 쓰면서 끊임없이 노력해온 점이죠 (Imbens and Rubin, 2015).

: ‘그 책’을 언급하셨는데요; 그 책 언제나 나오나요? 지난 십년간 계속 나온다고 했는데요.

: (웃으며) 에이 판, 너무하는데요! 그게 십년밖에 안 되었다고요? 우리는  출판사(Cambridge University Press)에게 2013년 9월 30일까지 다 쓰겠다고 약속했습니다. 거의 500페이지에 25챕터로 구성되어 있을 거예요. 주층화나 IV 환경(setting) 이상에 대한 내용들은 다음 권에 들어갈 겁니다. 이건 분량 문제 때문이기도 했고, 또 우리가 회귀 불연속 설계(regression discontinuity design)나 다중 대조군(multiple treatments)에서 성향 점수(propensity score)를 사용하는 것과 같은 주제들이 아직 명확하고 분명하게 체계화되지 못했다고 생각하기 때문이기도 합니다. 또 1권에서는 역학(epidemiology)에서 중요한 사례 조절 연구(case control study)를 다루지 못했어요; 역학 연구자들에게 온갖 기교만 가르치기보다 이런 연구를 말이 되는 체계 안으로 들여오는 것은 굉장히 중요합니다.

멘토링, 컨설팅 그리고 편집자로서의 활동

파브리: 당신은 50명 이상의 박사과정 학생들과 많은 학사과정 학생들을 지도했습니다. 이거 무슨 채용 인터뷰처럼 들리긴 합니다만, 당신의 교육 철학은 무엇인가요?

: 제 관점은 교육은 학생 각각의 성격과 지향점에 맞춰서 완전히 다르게 접근해야 한다는 것입니다. 하버드에는 굉장한 학부와 대학원 학생들이 있지만, 이들은 각각 다른 장점과 목표를 갖고 있습니다. 오래 전 저는 수업에서 학생들의 주목을 받기 위한 엔터테이너가 되겠다는 의지나 능력이 없다고 결론지었습니다. 그들이 제가 재밌다고 느끼면 좋죠; 그렇지만 제가 강의하는 내용이 재미있다고 느끼는 게 더 낫습니다.

파브리: 당신의 학생들 중 다수가 학계 뿐만이 아니라 많은 곳에서 리더가 되었습니다. 그리고 당신은 자주 당신이 가장 자랑스러워하는 것은 당신의 학생들이라는 말을 했죠. 여기서 그들에 대해 하나 하나 언급하는 것은 당연히 말도 되지 않지만, 학생들과의 좋았던 기억들을 좀 들려주실 수 있나요?

: 파브리, 우리가 이 인터뷰를 하루 더 하지 않는 이상 그건 불가능하겠군요. 제가 말할 수 있는 것은 정말 많은 재능있는 학생들을 지도하게 되어 대단히 행복했다는 것입니다. 시카고 대학과 하버드에서의 내 뛰어난 박사과정 학생들을 열거하는 것으로 시작할 수 있겠죠. 제 학생들은 모두 다양한, 때로는 남다른 측면에서 재능이 뛰어났습니다; 제 학생들 중 두 명이 COPSS 상을 탔고, 한 명은 ASA 회장, 한 명은 ENAR 회장, 두 명이 JSM program chair 등등 많은 영예를 얻었고, 다수가 정부, 학계와 산업에 중요한 공헌을 했습니다.

: 당신은 다양한 종류의 주제에 있어 많은 학부 학생들을 지도하기도 했습니다. 사람들은 대학원생 지도에 비해 학부생 지도가 더 어렵고 보람은 덜하다고 생각하기 때문에 이건 상당히 드문 일이지요. 당신은 여기에 대해 어떻게 생각하시나요?

: 나는 이런 종류의 비난에 있어 완전히 결백한 건 아닙니다. 나는 학부생이든 대학원생이든 의욕 없는 학생들에게 의욕을 불어넣고 응석을 받아주는 일에는 전혀 관심이 없습니다. 그렇지만 하버드는 굉장히 재능과 의욕이 있는 학부생들을 끌어들이고, 즐겁게도 저는 그들 중 일부를 지도할 수 있었죠. 그들 중 다섯이 Hoopes 상을 탔고 뛰어난 학부 졸업 논문에 대한 다른 상들도 탔습니다.

파브리: 이제 판과 제가 직접적인 경험이 있는 (비록 다른 사람들도 많지만) 글쓰기에 대해서 얘기를 해 보죠. 당신은 글쓰기에 있어 완벽주의자로 알려져 있습니다. 당신이 앞서 언급했다시피, 당신은 합격한 논문도 백 퍼센트 만족하지 못하면 철회할 의사가 있죠.

: 네, 여러분이 알다시피 저는 공동저자로서 아주 짜증나는 사람이죠. 저는 이제까지 세개의 논문을 철회하고 더 발전시키려 노력했습니다; 모두 결국엔 다시 게재 승인(accept)됐죠. 하나는 당신들과의 논문이고 그 외엔 CDX 탄저병 백신 실험의 다중 대치(multiple imputation)에 대한 것(Li et al., 2014)이었습니다. 당신들은 처음엔 이걸 그렇게 기뻐하지 않았죠.

파브리: (웃으며) 네, 우리들은 저항하려 했지만 소용 없었죠. 다른 질문입니다: 당신은 게재 거절(rejection)을 어떻게 받아들이시나요? 여기에 대해 젊은 통계학자들에게 조언해 주실 수 있나요?

: 많은 시간 동안 제 논문 중 다수가 바로 거절되거나 다시 제출하는 것이 현명하지 못할 것이라는 조언과 함께 거절되었습니다. 그렇지만 이들 중 대부분이 이로 인해 어떤 측면에선가는 훨씬 좋아진 논문이 되었습니다. 사실 저는 계속해서 거절된 논문들이 저를 대표하는 공헌이라고 생각합니다. 분명히 반복된 거절과 여러 조언을 반영하려 한 제 노력을 통해 글쓰기가 좀 더 나아졌고, 가끔은 문제 정의까지 좋아지기도 했습니다. 가장 중요한 점은 비판적인 사람들이 적대적이라고 생각하지 않는 것입니다. 거의 대부분의 경우 편집인(editor)과 리뷰어(reviewer)들은 그들의 시간을 포기해가며 저자들을 도우려 하고, 흔히 젊거나 경험이 부족한 저자들에게 특별히 관대하다고 저는 믿습니다. 거절 편지(rejection letter)를 개인적인 공격으로 받아들이지 마세요. 그런 일은 정말 거의 없으니까요.

도널드 루빈(왼쪽)과 톰 벨린(오른쪽) 그리고 톰의 딸 재닛(가운데), 캠브리지 2008

도널드 루빈(왼쪽)과 톰 벨린(오른쪽) 그리고 톰의 딸 재닛(가운데), 캠브리지 2008

: 1978년 당신은 JASA의 조정 및 응용 편집인(Coordinating and Applications Editor)이 되었죠. 당신이 편집인으로서 특별한 점이 있나요?

: 저는 저자로서 게재 수락된 논문을 철회할 의지가 있습니다. 새로운 편집인으로서 저는 이전의 편집인이 승인한 논문들을 철회하라고 저자들에게 적어도 권유는 해볼 생각이 있었습니다! 저는 초반에 그것 때문에 불타올랐지요. 저는 이전의 편집 위원회(editorial board)가 승인하고 출판을 위해 편집 대기중인 논문들을 몽땅 읽었습니다; 제가 좋지 않은 논문이라고 생각한 것들에 대해서는 (제가 기억하기에 그런 논문은 여덟개가 있었습니다) 저자들에게 “친애하는 저자들에게, 저는 당신이 논문을 철회할 것을 고려해야 한다고 생각합니다”로 시작해서 왜 이 논문이 출판되면 그들이 망신당하게 될 지를 설명하는 긴 설명이 이어지는 편지를 썼습니다. 파브리는 내가 이런 조언에 있어서 얼마나 무참할 정도로 솔직했는지 알 겁니다.

: 저자들이 받아들였나요?

: 네, 하나 빼고는요. 이 저자는 투쟁했고 저는 계속 “당신은 이걸 고쳐야 합니다” 라고 얘기했죠. 결과적으로는 이렇게 논문을 수정해서 괜찮은 논문이 됐습니다. 다른 논문들의 경우 저자들이 저의 비판을 받아들였죠: 이전의 편집인이 좋은 리뷰어를 섭외하는데 실패하거나 실수를 방관했다고 해서, 그 논문이 출판되어야 하는 것은 아니죠. 그렇지만 (이래서) 저는 적어도 초반엔 별로 인기가 없었습니다.

파브리: 당신은 아주 다양한 종류의 컨설팅을 했습니다. 당신의 연구에 있어서 컨설팅은 어떤 역할을 했나요?

: 제게 있어서 컨설팅은 관심을 자극하는 문제들을 얻는 원천이었지요. 앞서 언급했다시피, 성향 점수(propensity score)에 대한 기술은 부분적으로 쥰 라이니쉬에게의 컨설팅을 통해 발전됐습니다.

파브리: 가장 논란거리가 되는 당신이 컨설팅한 사례 중에는 미국 담배 소송 건에서 전문가 증인으로 담배 회사들을 대표한 것이 있습니다. 이 소송에 대한 당신의 생각을 좀 나누어 주시겠어요?

: 기꺼이 그렇게 하죠. 이건 우리 가족이 변호사들을 다뤄온 역사에서 나온 겁니다. 우리는 어떤 것들은 합법이고 어떤 것들은 불법인 법체제(legal system)가 있습니다. 일반적으로는 법률을 싫어하더라도 따르거나 아니면 그걸 바꾸려고 노력해야 합니다. 회사가 합법적인 제품을 만들고, 그것을 현재의 법률 상 합법적으로 광고한다면, 그걸 받아들이거나 법을 바꿔야죠. 그들이 거짓말을 한다면, 법적으로 가능하다면 처벌해야 하고요. 스포츠카 광고에서 코너를 돌 때 굉장히 천천히 안전하게 돌지는 않잖아요. 차를 어떻게 광고하나요? 대개 코너를 미끄러지듯 도는 것을 보여주고, “절대로 따라하지 마세요” 라고 얘기하죠. 즐거운 것들은 대개 불확실성이나 위험성을 갖고 있습니다. 파브리를 보러 유럽으로 날아가는 것은 위험성이 있죠!

센칭 식당에서 돈의 70번째 생일을 축하하며, Harvard Square, 2014년 3월 29일. 앞줄 (왼쪽부터 오른쪽으로): Alan Zaslavsky, Elizabeth Stuart, Xiao-Li Meng, TE Raghunathan, 뒷줄(왼쪽부터 오른쪽으로): Fan Li, Elizabeth Zell, Fabrizia Mealli, Don Rubin. 이 식당에는 돈의 이름이 붙여진 "루빈"이란 접시가 있습니다.

센칭 식당에서 돈의 70번째 생일을 축하하며, Harvard Square, 2014년 3월 29일. 앞줄 (왼쪽부터 오른쪽으로): Alan Zaslavsky, Elizabeth Stuart, Xiao-Li Meng, TE Raghunathan, 뒷줄(왼쪽부터 오른쪽으로): Fan Li, Elizabeth Zell, Fabrizia Mealli, Don Rubin. 이 식당에는 돈의 이름이 붙여진 “루빈”이란 접시가 있습니다.

분명히 저는 제가 어떻게 담배 흡연을 줄이려고 개입하던 간에 폐암 발병률은 내려갈 것이라는 사실을 알고 있습니다. 그렇지만 흡연을 줄이는 어떤 조처가 담배 산업의 불법적인 활동을 줄이는 데 기여할 것이냐- 이건 법적인 문제의 정수라고 할 수 있죠.

처음 담배 회사의 변호사가 저에게 연락했을 때, 저는 그들을 컨설팅하는 것을 대단히 주저했고, 제가 정직할 수 없도록 압력을 받으면 어떻게 하나 걱정했습니다만, 주욱 그런 일은 없었습니다. 원래의 주제는 단순히 원고의 전문가들이 결측 자료를 다룬 방식에 대해서 논평해 달라는 것이었죠. 살펴보니 제가 보기에 그들의 방법은 최적이라고 할 순 없었고 나쁘게 보자면 한심했습니다 (예를 들면 “혼인 여부” 항목이 결측이면 “기혼”으로 처리). 이 초기 보고서들을 읽어 나갈수록 저는 천억 달러 단위의 돈이 걸린 일이 이런 분석에 기초해 있다는 사실에 경악하지 않을 수 없었습니다. 더 넓은 관점에서 보자면, 대부분의 분석이 기초하고 있는 논리 역시 제가 보기엔 완전히 혼란스러웠습니다. 예를 들자면, 혐의를 받고 있는 위법 행위는 대부분의 계산에서 아무런 역할을 하지 않았고, “…에 의해”와 “…의 영향으로”라는 구절은 거의 생각 없이 혼동되고 있었습니다. 우리가 피고가 악하고 유죄라는 사실을 “알고” 있는 것 만으로 이렇게 그릇된 논리와 나쁜 통계 분석에 기초해 수조 달러에 달하는 피해를 입었다고 결론지을 수 있는 것일까요? 만약에 담배 산업이 그들의 제품에 대해 거짓말을 했다는 이유로 수조 달러의 벌금을 물리는 것이라면, 저는 놀라겠지만 침묵할 것입니다. 그렇지만 이 보고서들은 통계적인 분석을 통해 금액을 결정하고 있습니다 – 피고인이 유죄라는 것을 “알고” 있다는 이유만으로 나쁜 통계를 통해 숫자를 정하는 것이 합당한가요? 이것은 어떤 선례를 남깁니까? 이 컨설팅에 관련된 윤리에 대해서는 Rubin (2002)에서 제법 다루고 있습니다.

파브리: 우리는 통계에 대해서는 상당히 많은 얘기를 했습니다. 이제 당신의 다른 열정들에 대해서 얘기해보죠. 예를 들면 음악, 오디오 시스템이나 스포츠카에 대해서요.

: 저는 다른 열정들도 갖고 있고, 그 순서는 상당히 나이에 영향을 많이 받았습니다 (당신의 인지에 이상의 판단을 맡기죠). 예를 들어서 어렸을 때는 스포츠카를 운전하는 것이나 제작하는 것이 세 손가락 안에 드는 취미였습니다. 그렇지만 나이가 들면서 (눈이 나빠지고, 반응이 느려지고, 여기저기가 아파오는 등) 음악 쪽으로 균형이 많이 옮겨갔죠. 라이브 음악과 녹음된 음악 모두요 – 다행히 아직 이런 것들을 즐기기에 제 귀는 충분히 좋지만, 나이가 더 들면 달라질 수 있겠죠.

판과 파브리: 음, 우리가 얘기를 시작한 지 벌써 세시간이 되었군요. 당신이 저녁을 먹으러 가도록 해주기 전에 마지막 질문입니다: 젊은 통계학 연구자들을 위해 짧은 조언을 해주실 수 있나요?

: 즐기십시오! 틱틱대지 말아요. 운이 좋다면 환상적인 70번째 생일 잔치를 할 때까지 살 수 있을 겁니다!

감사의 말

Elizabeth Zell, Guido Imbens, Tom Belin, Rod Little, Dale Rinkel과 Alan Zaslavsky의 조언에 감사를 표합니다. 이 작업은 부분적으로 NSF-SES Grant 1155697에서 지원을 받았습니다.

Advertisements