도널드 B. 루빈과의 대화

by d_ijk_stra

번역자의 서문

도널드 B. 루빈 (Donald B. Rubin) 교수님의 학문적 성과는 현대 통계학의 중추를 형성했을 뿐만 아니라, 현재 많은 관심을 받고 있는 인공지능 기계학습이나 이미지/음성 인식과 같은 응용 분야의 기초가 되기도 했습니다. 교수님의 성과 중 하나인 EM(Expectation Maximization) 알고리즘은 많은 분들에게 친숙할 것입니다. 루빈 교수님과의 본 인터뷰는 원래 Statistical Science라는 저널에 실린 것으로, 저자 판 리(Fan Li) 교수님과 페브리지아 밀리(Febrizia Meali) 교수님 및 Institute of Mathematical Science의 허락을 얻어 글을 번역하여 공개합니다. 인터뷰 전문은 블로그 포스팅으로는 조금 길기도 하고, 제가 번역하기에 좀 지치기도 해서 두 개의 포스팅으로 나누고 두 번째는 추후에 올리고자 합니다. 번역상의 실수는 모두 제 잘못이며, 피드백은 yungilbert@gmail.com 으로 보내주실 것을 부탁드립니다. 원 글은 http://arxiv.org/abs/1404.1789 에서 읽으실 수 있습니다. 논문 레퍼런스는 원 글에서 참조해 주시기를 부탁드립니다.

초록: 도널드 브루스 루빈(Donald Bruce Rubin; 이후 돈으로 약칭)은 하버드 대학 통계학과의 존 L. 로엡 교수입니다. 그는 결측 자료, 인과 관계 추론, 표본 조사, 베이지언 추론, 전산과 다양한 응용 분야(심리학, 정책, 법, 경제, 역학, 공공 보건, 사회과학과 생체 의학 등)에 사용되는 통계 분석의 발전에 핵심적인 기여를 했습니다.

돈은 1943년 12월 22일 워싱턴 DC에서 해리엇(Harriet)과 앨런(Allan) 루빈의 아들로 태어났습니다. 태어난 지 일 년 만에 그의 가족은 일리노이 주 에반스톤으로 집을 옮겼고, 돈은 거기서 성장했습니다. 그는 고등학교에서 과학과 수학에 깊은 관심을 갖게 됩니다. 그는 1961년 물리학을 전공하고자 프린스턴 대학에 입학했지만, 1965년 심리학 전공으로 졸업합니다. 이후 그는 하버드 대학 심리학과 대학원에 입학하지만, 전산학으로 옮겨 1966년 석사 학위를 받고 1970년 빌 코크란(Bill Cochran) 아래서 마침내 통계학 박사 학위를 받습니다. 하버드를 졸업한 이후 그는 하버드 통계학과에서 1년간 강의하다가, 1971년부터는 ETS(Educational Testing Service)에서 일하기 시작함과 동시에 프린스턴 대학에 새로 생긴 통계학과의 방문 교수가 됩니다. 그는 이후 십년간 하버드, UC 버클리, University of Texas at Austin, University of Wisconsin at Madison 등에 방문 교수로 재직합니다. 그는 1981년부터 1983년까지는 University of Chicago에서 정교수로 일하다가 1984년 하버드 통계학과로 돌아와 현재까지 재직하며 1985년과 1994년, 2000년과 2004년 사이에 학과장을 맡았습니다.

돈은 50명 이상의 박사과정 학생을 지도하거나 공동 지도했으며, 12권 이상의 책을 쓰거나 편집했고, 400편에 가까운 논문을 발표했습니다. 구글 스콜라(Google Scholar)에 따르면 2014년 5월 기준 루빈의 학문적 성과는 150,000번 인용되어 (2013년만도 16,000번) 그는 전 세계에서 가장 많은 인용을 받는 학자 중 하나입니다.

그의 많은 기여에 따라 돈은 US National Academy of Sciences, the American Academy of Arts and Sciences, the British Academy의 회원으로 선출되었으며, American Statistical Association, Institute of Mathematical Sciences, International Statistical Institute, Guggenheim Foundation, Humboldt Foundation, 그리고 Woodrow Wilson Society의 Fellow입니다. 그는  American Statistical Association에서 Samuel S. Wilks 메달을, Statistical Societies의 회장 위원회로부터 Parzen Prize for Statistical Innovation, the Fisher Lectureship, 그리고 George W. Snedecor 상을 받았습니다. 그는 American Statistical Association의 보스톤과 시카고 지부로부터 올해의 통계학자(Statistician of the Year)로 지정받았습니다. 또한, 그는 독일의 Bamberg 대학과 슬로베니아의 University of Ljubljana로부터 명예 학위를 받았습니다.

개인적으로 그는 음악과 오디오 애호가이며, 전통적인 스포츠카 팬이기도 합니다.

본 인터뷰는 몬트리올에서의 Joint Statistical Meeting 학회가 열리던 중인 2013년 8월 7일에 루빈의 70번째 생일에 앞서 한 것이며, 이후 수개월에 걸쳐 내용을 추가하였습니다.

시작

다섯살 때의 루빈

다섯 살 때의 루빈

: 일단 당신의 어릴 적 이야기부터 해보죠. 제가 알기로 당신은 변호사 집안에서 자라났고, 그것이 지적인 영향을 많이 주었을 것 같습니다. 당신의 가족에 대해서 좀 얘기해 볼 수 있나요?

: 그렇죠. 저의 아버지는 전원이 변호사인 사형제 중 막내였고, 우리는 온갖 주제에 대해 열띤 토론을 하곤 했습니다. 아마 가장 논쟁적이었던 삼촌은 (워싱턴) DC에서 온 사이(Sy; Seymour Rubin. 그는 Arnold, Fortas and Porter의 시니어 파트너이며 외교관이고 American University의 법학 교수입니다)였을 겁니다. 그는 해리 트루먼부터 제리 포드 대통령까지, 그리고 아들라이 스티븐슨(Adlai Stevenson)같은 대통령 선거의 도전자나 많은 대법원 재판관들의 개인적인 감사 편지의 틀을 잡아주는 일을 했지요. 이런 경력은 아주 인상적이긴 했지만 저를 좀 기죽게 만들기도 헀습니다. 제가 왜 이런 얘기를 하느냐면, 분명히 이런 제 경험이 제가 법률 시스템에 대해 깊은 경의를 갖게 했고, 법학에 있어서 통계학이 아주 중요하다고 생각하는 제가 통계학을 사형 제도나 차별 철폐 조처(affirmative action), 담배 소송 등과 같은 다양한 법학의 주제들에 적용하는 일을 하는데 영향을 주었기 때문입니다.

파브리: 이 주제는 나중에 다시 돌아올 겁니다만, 당신이 통계학에 관심을 갖는데 영향을 준 사람은 없었나요?

: 아마 제일 큰 영향을 준 건 당시엔 총각이었던 치과의사 외삼촌 멜(Mel)이 아닌가 합니다. 그는 작은 돈을 걸고 도박을 하는 것을 정말 좋아했어요. 그는 리글리 필드(Wrigley Field, 역자주: 시카고 컵스 경기장)에 나가서 컵스가 지는 것을 보면서 다음 공의 결과에 돈을 걸거나, 알링턴 경마장(Arlington Race track)에서 내기를 하곤 했죠. 저는 어려서부터 2불씩 돈을 잃으며 출주표(Racing Form)를 읽고 경기 각각의 승리 확률을 계산하는 방법을 배우곤 했습니다. 제가 아직 아동이었던 시절 날씨가 따뜻한 달의 수요일과 토요일 오후가 통계학을 배우는 시간이었습니다- 비록 이따금 마권 업자들이 단속을 당하긴 했지만요. 제가 기억하기로 저는 외삼촌의 괜찮은 학생이었지만 그래도 여전히 돈은 좀 잃었습니다.

1950년 후반과 1960년 초반에 제가 통계학에 관심을 갖게 만든 두가지 요인이 있었습니다. 첫번째는 아버지가 정부에 계실 때부터 오랜 친구셨고 UC 버클리 대학교의 경제학 명예 교수셨던 조지 메렌(George Mehren)입니다. 이 분과 즐겁고 (제겐) 교육적인 논쟁을 벌인 것이 제가 지금까지 경제학을 높이 사게 만들었지요. 그리고 제가 Evanston Township 고등학교에 있을 때 환상적인 물리학 선생님이셨던 로버트 앤스파우(Robert Anspaugh)가 진짜 과학자처럼 생각하는 법과 과학을 목적으로 수학을 사용하는 법을 가르쳐 주신 것이 두번째입니다.

제가 고등학교를 졸업하고 대학에 진학할 즈음 저는 도박으로부터 약간의 통계적 사고 능력을, 물리학으로부터 과학적인 사고 능력을 갖추었고, 엄밀한 수학 뿐만 아니라 물리학이나 법학과 같은 다른 분야에도 깊은 경의를 품고 있었지요. 이제 와서 생각하면 제가 나중에 하게 된 통계학 연구에 이런 경험들이 많은 영향을 미쳤습니다. 제 멘토들이 제게 미친 영향에 대해서는 Rubin (2014b)에서 자세히 읽으실 수 있습니다.

프린스턴에서의 학창시절

: 당신은 1961년에 프린스턴에 들어가서 처음엔 물리학 전공이었지만 나중에 심리학으로 바꿨죠. 왜 그랬나요?

: 좋은 질문입니다. 앤스파우 선생님 덕분에 저는 과학자가 되고 싶었어요. 저는 3년짜리 학사 과정에 들어갔었는데, 들어가기 전에는 몰랐지만 그건 5년만에 물리학 박사를 받는 미친 프로그램의 일부였습니다. 리처드 파인만의 박사과정 지도교수이자 아주 유명한 물리학 교수였던 존 윌러(John Wheeler)가 만든 심오한 계획이었죠. 지나고 생각하면 적어도 제게 있어서 그건 지나치게 야심찼습니다. 베트남 전쟁(과 그에 관련된 징병), 윌러 교수의 이 중요한 시점에서의 안식년 등 여러가지 복합적인 요소 때문에 아마 아무도 이 5년짜리 통합 박사과정을 마치지 못했을 겁니다. 어쨌거나 당시에 저같이 프린스턴에 있던 주로는 수학이나 물리학에 관심이 있던 아이들은 다른 분야에 관심을 가져볼 것을 권유받았습니다. 저는 그것을 따랐고, 당시 들었던 수업 중 하나가 후일 저와 좋은 친구가 된 환상적인 교수 실번 톰킨스(Silvan Tomkins)가 가르친 성격 이론(personality theory) 수업이었지요. 두번째 해가 끝났을 때 저는 저처럼 수학과 과학 배경지식을 갖고 있는 사람이 좀 더 드물고 인정받는 심리학과로 옮깁니다. 그건 좀 미성숙한 결정이었지만 (성숙한 사람이 어떻게 했을지는 잘 모르겠습니다), 그래도 새로운 방식으로 생각하는 법을 배우게 되었고 굉장한 학문적 스승들을 만났으니 그렇게 나쁜 결정은 아니었습니다.

파브리: 당신은 그 당시엔 드물었던 전산 능력도 갖추고 있었죠? 그러니까 당신은 컴퓨터를 상당히 일찍부터 사용하기 시작했군요.

: 그렇습니다. 프린스턴에서의 첫 해와 두번째 해 사이 언제쯤 저는 포트란을 독학했습니다. 당신이 말한 대로 그 땐 프린스턴 같은 곳에서도 이런 능력은 흔하지 않았죠.

파브리: 포트란을 배운 건 그냥 재미를 위해서였나요, 아니면 특별히 이런 기술을 이용해 풀고 싶은 문제가 있어서였나요?

: 문제 해결을 위해서였습니다. 제가 심리학과에 있을 때 생활비를 벌려고 PSTAT이라는 프린스턴의 초창기 통계 소프트웨어 패키지 개발의 코딩을 도왔거든요. UCLA의 BDMP라는 패키지의 경쟁 제품이었죠. 인간의 행동을 시뮬레이션하는 프로그램들도 많이 짰습니다.

: 프린스턴에서 4학년 때 당신은 심리학과 박사과정에 지원했고 아주 좋은 곳들에 합격했었죠.

: 네, 저는 스탠포드, 미시간, 그리고 하버드에 합격했었어요. 이 프로그램들을 방문하면서 굉장한 사람들을 만났었습니다. 저는 스탠포드로 처음 가서 윌리엄 에스터스(William Estes)라는 조용하지만 놀라운 교수를 만났는데, 수학 실력이 아주 강하고 비꼬는 농담을 잘 하는 사람으로 나중에 하버드로 옮겼죠. 미시간은 굉장히 좋은 수리심리학 프로그램을 갖고 있었고, 제가 1965년 봄 방문했을 때 굉장히 유망한 박사 졸업생이었던 아모스 트버스키(Amos Tversky)의 안내를 받았는데 그는 인간 행동과 사람이 위험을 어떻게 관리하는지에 대해서 매우 흥미로운 연구를 하고 있었습니다. 후일 그는 다른 심리학자인 대니얼 카네만(Daniel Kahneman)과 만나 심리학과 경제학에 굉장히 영향이 큰 논문들을 줄줄이 써냈고 덕분에 카네만은 2002년에 노벨 경제학상을 받게 되죠; 트버스키는 1996년 별세해서 노벨상을 받을 수 없었습니다. 카네만(최근에 오바마로부터 국가 과학 메달(National Medal of Science)를 받은 사람이죠)은 항상 자기가 받은 노벨상은 트버스키와 공동으로 받은 것이라고 말하곤 했습니다. 작년 언젠가 제가 카네만과 같은 위원회에 있었는데, 제가 트버스키를 카네만보다 오래 알고 지냈다는 것을 알게 되어 흥미로웠죠.

: 그렇지만 당신은 결국 하버드를 선택했죠.

: 뭐, 우린 모두 다 이상한 결정을 하기 마련이죠. 그 이유는 아직 졸업이 일 년 남은 여자친구가 동부에 있어서였습니다.

하버드에서의 대학원 시절

파브리: 당신은 당시엔 사회 관계(Social Relations) 학과였던 심리학과 박사과정 학생으로 1965년 하버드에 도착하고서 얼마 지나지 않아 실망하고, 전산학과로 옮겼습니다. 무슨 일이 있었나요?

: 제가 1965년 여름 하버드를 방문했을 때 사회 관계 학과의 시니어들을 몇 만났는데, 그들은 제 수학과 물리학 배경을 매력적으로 봐줬고 기초적인 수리 수업들을 면제해 주겠다고 약속했죠. 하지만 제가 막상 도착하자 사회학자였던 학과장은 “안돼 안돼, 자네 성적표를 보니 ‘통계학 방법론’같은 수업들을 듣지 않아 과학적인 소양이 부족하더군. 지금 그런 수업들을 듣던가 아니면 나가게” 라는 식으로 얘기했습니다. 프린스턴에서 많은 수학과 물리학 수업들을 들었기에 저는 모욕당한 느낌이었습니다! 저는 학과를 나가야만 했죠. 저는 하버드 심리학과 밖에서 NSF 대학원 장학금을 받고 있었기 때문에, 부담 없이 주위를 살펴봤습니다. 당시에 응용수학은 나중엔 ‘공학과 응용과학대학(School of Engineering and Applied Sciences)’이 된 ‘공학과 응용물리 분과(Division of Engineering and Applied Physics)’에서 주로 하는 것 같아 보였습니다. 분과는 여럿으로 나뉘어 있었는데 그 중 하나가 전산학(Computer Science; CS)이었고 저를 환영했죠.

: 그렇지만 당신은 또 금방 지루해하죠. 그건 당신에게 전산학 문제들이 재미가 없었거나 충분히 도전적이지 못한 것으로 생각되어서였나요?

: 아뇨, 별로 그런 건 아니었습니다. 거기엔 여러 이유가 있었죠. 첫째로는 당시가 냉전 시기였기 때문에 자동 언어 번역이 아주 강조되고 있었고 전산학과는 지금은 DARPA인 당시 ARPA(Advanced Research Projects Agency)로부터 돈을 엄청 많이 받고 있었습니다. 소련은 철의 장막 뒤편에서 엄청난 양의 러시아어 문서를 쏟아냈지만, 미국엔 그걸 다 번역할 만한 사람이 충분하지 않았죠. 어려운 점은 그들의 맥락을 알지 못하고서는 번역할 수 없는 문장들이 많았다는 겁니다. 저는 아직도 예제를 하나 기억하는데요: “Time flies fast” 라는 세 단어 문장은 셋 중 어떤 단어가 동사인지에 따라 세 가지 다른 의미가 있죠. 이런 세 단어 문장도 번역하지 못한다면, 어떻게 자동으로 (컴퓨터 같은 것을 써서) 복잡한 문단을 번역할 수 있겠습니까? 강 건너 MIT에 있는 노암 촘스키의 변형 문법(Transformational Grammar)에 대한 연구가 이것과 연관이 있죠.
(역자주: 현재 기계 번역의 트렌드가 통계적 모델을 통해 맥락을 추정하는 것임을 생각하면, 통계학의 대가인 루빈 교수가 당시에 이렇게 생각했다는 것은 흥미로운 사실입니다.)
두번째로, 전산학과에서 튜링 머신이나 괴델의 정리 등을 다루는 계산복잡도 같은 수리적인 주제의 진짜 수학 수업들은 재미있었지만, 다른 많은 수업들은 제겐 지루했습니다. 대부분 그런 건 프로그래밍에 대한 거였거든요. 당시에 했던 프로젝트 중 아직도 기억하는 하나가 DEC PDP-1 컴퓨터를 이용해 4차원 도형들을 2차원에 투영하고 돌리는 것이었습니다. 이건 정말 엄청난 시간이 걸렸죠. 제 프로그램은 완벽히 동작했지만, 저는 대단한 시간 낭비를 한 것처럼 느꼈습니다. 그리고 저는 수업에 한번도 가지 않았기 때문에 C+를 받았죠. 아주 많은 학생들을 상대하고 난 지금 저는 제가 C+를 받을 만 했다고 생각하지만, 제가 아직 애였을 땐 그럴 수 없었죠. 저는 4차원 도형들을 회전시키고 C+를 받는 것보다 더 나은 일이 있을거라고 생각했습니다. 그렇지만 베트남 논밭을 행군한다던가 캐나다 어딘가로 가는건 별로 내키지 않았습니다. 그래서 1966년 전산학 석사를 받고서 일년간 더 전산학과에 있고 나서야 저는 다른 걸 시도할 준비가 되었습니다.

파브리: 어떻게 통계학을 진로로 선택하게 된 거죠?

돈: 1996년 여름 프린스턴에서의 아르바이트 덕분이었습니다. 전 존 튜키(John Tukey)를 위해 포트란, 리스프와 코볼로 프로그래밍을 좀 해주고 있었죠. 저는 프린스턴의 사회학과 교수인 로버트 알트하우저(Robert Althauser)에게 컨설팅을 좀 해주고 있었는데, 기본적으로 템플 대학교(Temple University) 중도 포기율의 인종 격차를 연구하기 위해 흑인과 백인을 대응시키는 대응 표집(matched sampling)을 하는 프로그램을 짜는 거였습니다. 저는 알트하우저와 제 하버드에서의 심리학과 전산학 공부가 잘 풀리지 않고 있는 것에 대한 대화를 했습니다. 그는 심리학에서 반쯤은 테크니컬한 연구를 했기 때문에 프레드 모스텔러(Fred Mosteller)를 (개인적인 건 아니었지만) 알고 있었고, 하버드가 1957년 설립되어 10년이 된 통계학 학과를 갖고 있다는 것도 알고 있었습니다. 그는 저보고 모스텔러를 만나보라고 권유했죠. 저는 하버드로 돌아가고 나서 프레드에게 찾아갔고 그는 통계 수업을 몇개 들어보라고 조언했습니다. 그래서 하버드에서의 세번째 해에 저는 주로 통계 수업들을 들었고 적당히 잘 했죠. 그리고 통계학과는 저를 받아들여 주었습니다. 제가 NSF에서의 금전적인 지원을 받았던 것도 도움이 됐죠; 이유는 잘 알 수 없지만 NSF는 매년 제게의 지원을 갱신해 주었는데 (아마 그들이 보는 눈이 없다는 걸 보여주는 것일 겁니다) 뭐 제게는 잘 된 일이었죠. 어쨌거나 세번째 해가 끝날 때 저는 통계학과로 옮겼고 그게 제 4년간 세번째 학과였습니다.

파브리: 모스텔러 외에 교수진엔 누가 있었나요? 당신이 말한 대로 그건 꽤 초창기였는데요.

: 다른 시니어 교수는 빌 코크란(Bill Cochran)과 아마 막 정년 보장을 받았을 아트 뎀스터(Art Dempster) 정도가 있었죠. 주니어 교수로는 폴 홀랜드(Paul Holland), 확률론을 하는 제이 골드만(Jay Goldman), 그리고 버클리에서 왔고 에릭 레만(Erich Lehmann)의 제자였던 슐라미트 그로스(Shulamith Gross)가 있었습니다.

파브리: 그리고 당신은 빌과 일을 하기로 했죠.

: 사실 저는 처음엔 프레드한테 찾아갔습니다. 프레드는 항상 하고 있는 프로젝트들이 아주 많았죠; 하나는 존 튜키와 함께하는 것이었고 그는 저보고 그 일을 하라고 했습니다. 저는 저 스스로도 대응 표집을 하는 프로젝트를 하고 있다고 말해줬고, 그는 그럼 코크란과 얘기해보라고 했습니다. 그 때 코크란은 몇 년 전 의무감(Surgeon General)이 작성하는 흡연과 폐암에 대한 보고서의 자문 역할을 했었죠. 그건 분명히 임의화 실험(randomized experiments)이 아닌 관측 자료(observational data)에 기반한 것이었고, 프레드는 코크란이 역학과 생물 통계학에서 발생하는 이런 이슈들에 대해서 아주 잘 알고 있다고 했습니다. 그래서 저는 빌의 문을 두드렸죠. 그는 툴툴거리는 목소리로 “그래” 라고 했고, 저는 그래서 들어갔는데 그는 “아니 지금 말고 나중에!” 라고 말했습니다. 그래서 저는 “음… 까다로운 사람이군”이라고 생각했는데, 알고 보니 정이 많은 사람이었고, 스코틀랜드 식 건조한 유머 감각을 갖고 있었으며 스카치 위스키와 담배를 사랑했죠 (저는 전자는 이해했지만 후자는 그렇지 못했습니다).

파브리: 코크란은 당신에게 긴 영향을 남겼죠, 맞습니까?

: 네, 그는 제게 엄청난 영향을 줬죠. 어느날 저는 전 대응(matching) 분석에 대한 별로 중요치 않은 산수를 좀 했습니다 (요즘 학계에 그게 다시 나타나고 있더군요). 저는 빌에게 그걸 보여줬고, 그는 “돈, 자네는 이게 중요하다고 생각하나?”라고 물어봤습니다. 저는 “글쎄요, 잘 모르겠는데요”라고 했죠. 그러자 그는 “이건 나에겐 중요하지 않네. 자네가 이걸 하고 싶다면 다른 지도교수를 찾아보게. 나는 의미가 있는 통계학 문제에 관심이 있지, 이미 존재하는 것들을 엡실론만큼 나아지게 만드는 것엔 관심 없네.”라고 했죠. 그 밖에 저에게 큰 영향을 준건 아트 뎀스터 입니다. 한 번은 Data Text라는 PSTAT이나 BMDP같은 컴퓨터 프로그램 모음 프로젝트에 컨설팅을 했었죠. 저는 지금 생각해 보면 아주 부족한 연산 능력(computing power)을 갖고도 분산 분석(Analysis of Variance), 회귀분석, 보통 최소 제곱 추정(ordinary least squares), 역행렬 연산 등을 하는 프로그램을 디자인하고 있었습니다. 저는 이 중 몇개에 대해 다변수 함수에 기하학에 대한 깊은 이해를 바탕으로 항상 엄청난 직관을 갖고 있었던 (아주 피셔 스타일이죠) 뎀스터에게 조언을 구했죠.

: 당신의 박사 학위 논문은 대응 분석에 대한 것이었고 당신의 인과 추론에 대한 평생의 연구의 시발점이 되었죠. 어떻게 인과 추론에 관심을 갖게 되었나요?

: 제가 알트하우저와 인종간 격차 문제에 대한 일을 하고 있었을 때, 저는 항상 그에게 이건 본질적으로 기술(descriptive) 통계이고 인과 관계를 보여주지 못한다고 강조했습니다. 저는 고등학교와 프린스턴에서 받은 물리학 교육으로부터 연관 관계와 인과 관계는 다르다는 사실 정도는 기억하고 있었죠. 그러니까 저는 아마도 인과 추론 그 자체보다는, 사회 과학자들이 그것에 갖고 있는 혼란에 더 관심이 있었던 것 같습니다. 인과 관계를 추론하기 위해서는 먼저 실제로든 가상으로든 우리가 개입해서 그 영향으로 (예를 들면 대조군의) 결과가 바뀌는 것을 볼 수 있는 실험을 상정해야 하죠. 만약에 당신이 개입에 대해서 얘기하지 않고 있다면, 당신은 인과 관계에 대해서 얘기하고 있는 것이 아닙니다. 왜인지 모르겠지만 오래된 철학을 보면 그들은 이걸 제대로 이해하지 못했던 것 같아요. 그 전의 수백년 동안 몇몇 실험자들은 이걸 이해했지만요. 그들은 소를 기르거나 매를 교배하곤 했죠. 당신이 훌륭한 암컷 매와 수컷 매를 교배한다면, 그 결과인 다음 세대 매들은 대체로 무작위로 교배한 매들보다 더 훌륭한 사냥꾼들입니다. 20세기에 와서 많은 과학자들과 경험주의자들이 이걸 깨달았습니다.

파브리: 그러니까 당신은 박사 학위 논문에서 기술적인(descriptive) 비교들만을 했을 뿐, 잠재적 결과(potential outcome)에 대한 기호(notation)는 아직 거기 없었던 거군요.

: 부분적으로 맞는 말입니다. 1968년 코크란이 가르친 수업에서 무작위 설계에 대한 토론을 시작할 때 잠재적 결과에 대한 기호를 사용했기 때문에, 내 머릿속에선 그 생각을 하고 있었어요. 초창기엔 그건 전부 임의화(randomization), 비편향성(unbiasedness), 피셔의 검증(Fisher’s test) 등에 기반한 것이었죠. 그렇지만 당시엔 아무도 보통 최소 제곱 추정(ordinary least squares; OLS) 회귀 분석 이상의 계산을 할 수 없었기 때문에 모든 개념들은 최소 제곱 추정으로 환원되어야 했습니다. 빌( 코크란)이 가르친 회귀 분석과 실험 설계 수업에서 가르치는 것 중 하나가 간소화된 두리틀(Dolittle) 방법을 사용해 손으로(!) 역행렬 계산을 하는 거였죠. 그러니까 당시엔 임의화 검정(randomization test) 같은 건 일반적으론 할 수가 없었습니다. 제가 실험과 사회 과학에 대해 관심을 가진 건 가족 환경 떄문이기도 했지요. 항상 다음과 같은 법적인 문제를 의식하곤 했습니다: “혐의를 받고 있는 이 행위의 영향으로 무슨 일이 있을 수 있었을까?”

: 1970년에 박사 학위를 받고 나서 첫 직장은 무엇이었나요?

: 일부는 강의로, 일부는 ARPA에서 지원하는 캠브리지 프로젝트(MIT의 전산학 기술과 하버드의 사회 과학 연구를 한데 모아 사회과학에서 엄청난 걸 해보자는 아이디어였습니다)로 지원받아 강사로 하버드에서 일년을 더 지냈죠. 통계학과에서 저는 밥 로젠탈(Bob Rosenthal)과 “심리학자를 위한 통계학”수업을 가르쳤는데, 역설적이게도 그건 5년 전 사회 관계 학과에서 저보고 수강하라고 강요해서 저를 그 학과에서 나가게 만든 바로 그 과목이었습니다! 밥은 그때나 지금이나 실험 설계와 다른 실용적인 이슈들에 대해 굉장한 직관을 가지고 있고, 우리는 많은 논문을 같이 썼지요.

1967년 경 루빈과 그의 개 토르

1967년 경 루빈과 그의 개 토르

ETS에서의 10년: 결측 자료, EM 그리고 인과 추론

: 그 일 년이 지나고 나서 당신은 연구 중심 대학의 신임 교수 자리 대신 프린스턴에 있는 ETS로 갔죠. 당신이 쉽게 저명한 대학의 통계학과 교수로 갈 수 있었음을 생각하면 상당히 특이한 결정이었습니다.

: 그렇죠- 많은 사람들이 제가 얼빠진 놈이라고 생각했습니다. 저는 좋은 제안을 여러개 받았는데 그 중엔 하버드에 계속 남는 것도 있었고 다트머스(Dartmouth)로 가는 것도 있었죠. 그렇지만 저는 매디슨에서 열린 학회에서 나중 ETS에서의 제 보스가 된 알 비튼(Al Beaton)을 만났는데, 그가 제게 자리를 제안했고, 저는 그걸 수락했죠. 알은 하버드 교육학과 박사를 갖고 있었고, 뎀스터와 쓸어내기 연산(sweep operator)과 같은 계산 문제에 대한 연구를 했었죠. 그는 실용적인 전산 이슈에 대한 깊은 이해를 갖고 있는 굉장한 사람이었습니다. 제가 프린스턴에서 학부를 나왔기 때문에 ETS로 가는 것은 집에 가는 것 같았습니다. 몇 년 간 저는 프린스턴에서 수업을 한 개씩 가르쳤죠. ETS와 프린스턴에서 일하는 것으로 저는 하버드에서 받았을 연봉의 두배를 벌어서, 그 돈으로 구형 메르세데스 로드스터를 조립할 차고가 딸린 1.5에이커짜리 집을 살 수 있었죠. 캠브리지에서와는 다른 종류의 삶이었습니다.

: ETS에서는 하고 싶은 연구를 할 수 있는 자유가 많이 주어졌던 것 같습니다. ETS에서 당신의 직무는 무엇이었나요?

: ETS에서의 제 직책은 학교 교수 업무에서 강의를 빼고, 대신 심리 테스트나 교육 성취도 시험 같은 ETS에서의 사회과학 문제들에 대한 컨설팅이 들어갔다고 보면 됩니다. 저는 컨설팅이 강의보다 훨씬 쉬웠고, ETS는 재미있는 문제들을 많이 갖고 있었어요. 그리고 심리측정학(psychometrics)에서 권위가 있는 프레드 로드(Fred Lord)처럼 아주 능력있는 사람들이 많이 있었지요. 프린스턴의 교수진도 굉장히 좋았습니다. 더빈-왓슨(Durbin-Watson) 통계량을 만든 제프리 왓슨(Geoffrey Watson)이 학과장이었죠; 피터 블룸필드(Peter Bloomfield)는 노스 캐롤라이나로 옮기기 전에 거기서 신임 교수로 있었고요; 그리고 당연하지만 (존) 튜키도 여전히 거기 있었습니다. 비록 대부분 시간을 벨 연구소(Bell Labs)에서 보내긴 했지만요. 존은 언제나 존 답게 굉장하면서도 또 특이한 방식으로 생각했지요- 명백한 천재였습니다. 스튜어트 헌터(Stuart Hunter)는 그 땐 공대에 있었습니다. 그 때는 내가 중요하다고 생각하는 연구를 할 수 있는 자유가 엄청나게 주어진 좋은 때였죠.

파브리: 어떤 방식으로 측정하든, ETS에 있는 동안 당신의 업적은 엄청났습니다. 1976년 당신은 현대적인 결측 자료 분석의 토대가 된 논문 “추론과 결측 자료(Inference and Missing Data, Rubin 1976)”를 바이오메트리카(Biometrika)에 냈죠; 1977년 아서 뎀스터(Arthur Dempster)와 낸 레어드(Nan Laird)와 함께 당신은 EM 논문인 “EM 알고리즘을 이용한 불완전 데이터의 최고 우도 추정(Maximum Likelihood from Incomplete Data via the EM Algorithm”을 JRSS-B에 냈고요 (Dempster, Laird and Rubin, 1977); 1974, 1977, 1978년 당신은 루빈 인과 모형(Rubin Causal Model; Rubin 1974, 1977, 1978a)의 토대를 형성합니다. 이 시기는 당신에게 어떤 때였나요? 어떻게 이렇게 많은 혁신적인 아이디어들이 당신으로부터 동시에 터져나올 수 있었던 겁니까?

: 아마도 가장 중요한 이유는 저는 항상 실제 문제를 푸는데 관심이 있었다는 것일 겁니다. 저는 논문 쓸 인기 있는 주제를 찾기 위해 문헌을 읽지 않았어요. 저는 항상 수학을 좋아했지만, 저는 대부분의 수리통계가 진짜 수학이라고 생각한 적은 한번도 없습니다- 수리통계의 대부분은 단지 엄청 따분하죠. 당신들은 그 많은 엡실론을 다 따라갈 수 있는 겁니까?

파브리: 이 모든 논문들이 결측 자료라는 공통된 주제를 갖고 있었던 것은 우연이 아니겠지요.

: 맞습니다. 그 주제는 제가 대학원생일 때부터 생각하게 되었어요. 제가 혼자 쓴 첫 논문이기도 했던 결측 자료에 대한 제 첫 논문은 분산 분석에 대한 것으로 거의 알고리즘 논문에 가까웠죠. 코크란의 실험 설계 수업을 들을 때부터, 대조군에서의 잠재적 결과(potential outcome)를 결측 자료로 보고 실험을 설계해야 한다는 것은 항상 분명해 보였습니다. 그렇지만 제게는 너무 이상하게도 관찰 연구(observational study)를 그런 식으로 하는 사람은 아무도 없었어요. 아무도 무작위 실험의 맥락 외에서는 잠재적 결과를 사용하지 않았고, 무작위 실험의 경우에도 대부분 저자들이 실제로 일을 할 때에는 잠재적 결과를 버리고 최소 제곱(least squares)을 썼죠.

: 당신이 등장하기 이전 결측 자료 연구는 어떤 상태였습니까?

: 무지무지하게 임시변통에 불과했지요. 표준적인 결측 자료 접근 방법은 평균값으로 채워 넣는 편향을 비교하거나, 상황에 따라 회귀 대치(regression imputation)을 하는 거였지만, 거의 항상 “완전 무작위 결측 (Missing Completely at Random)”을 가정했지요. 순수히 기술적인 측면에서 이런 논문들은 견고했습니다. 그렇지만 저는 항상 특정한 방법론의 적절성을 부정하는 반례를 찾을 수 있었고, 이걸 제대로 탐구하기 위해서는 각각의 상황마다 석사 논문 하나 정도가 필요했지요. 저는 그보다는 일반적인 차원에서 한 종류의 문제들을 한꺼번에 다루고 싶었습니다. 제 방법은 자료에 결측이 생겨나는 기제가 있음을 상정하는데, 이 기제가 무엇인지가 결측 자료를 다뤄야 할 방법의 대부분을 결정하지요. 이렇게 형식적인 지표(indicator)를 결측 자료에 사용하는 아이디어는 실험 설계와 설문 설계의 맥락에서부터 있어온 겁니다. 제가 1970년 이걸 관찰 연구에 도입할 때까지 왜 아무도 이것을 하지 않았는지가 저는 항상 너무 신기합니다; 아마 누군가 했는지도 모르겠지만 제가 몇 년을 논문을 읽었는데도 하나도 찾을 수 없었어요. 하지만 제가 결측 자료를 다루는 방식이 상대적으로 새로웠기 때문에, 저는 이 연구를 출판하기가 굉장히 어려웠습니다 (Rubin 2014a에서 더 자세하게 다룹니다).

: EM 알고리즘은 현대 통계학에 있어서 또다른 중요한 전환점이었습니다; EM은 전산학에도 영향을 미쳤고 데이터 마이닝에서는 가장 중요한 알고리즘 중 하나죠. 몇몇 특수한 상황에서 비슷한 아이디어들은 이미 나와 있었는데, 아무도 EM의 일반성을 깨닫지 못했습니다. 어떻게 뎀스터, 레어드와 당신은 이런 일반성을 찾을 수 있었나요?

: EM에서의 첫 몇 년 동안 저는 하버드에 있는 코크란, 뎀스터, 홀란드, 로젠탈과 계속해서 긴밀하게 일할 수 있는 기회가 주어졌었고, 그건 저에게 굉장히 중요했습니다. 저는 항상 원칙적이고 생각이 깊은 뎀스터와 얘기하는 것이 즐거웠어요. 저는 ETS에서의 컨설팅 프로젝트들을 몇 개 조율해서 그를 프린스턴으로 데려올 수 있었죠. 한번은 우리가 결측 자료 문제에 대해 얘기하다가 어떻게 결측값들을 채워넣을 수 있을지 얘기하기 시작했는데, 저는 그게 일반적으로는 되지 않을 것임을 알고 있었어요. 하틀리의 1956년 논문(Hartley, 1956)에서 가산 자료(count data)를 다룰 때처럼 반복적으로 결측 자료를 채우는 접근을 버리고, 정규 분포를 다루기 위해서는 그 반복적인 알고리즘 대신 (아마) 뉴턴-랩슨(Newton-Rhapson) 알고리즘을 사용한 하틀리와 호킹(Hartley and Hocking, 1971)의 논문을 보여줬죠. EM의 여러 측면들은 오랫동안 알려져 있었지만, 하틀리를 비롯한 다른 사람들은 EM의 언저리에서만 맴돌고 있었고 아무도 그걸 하나의 알고리즘으로 일반화하지 못했습니다. 아트 (뎀스터)와 저는 결측 자료에 충분 통계량(sufficient statistic)을 채워넣으면 된다는 걸 깨달았어요. 저는 t 분포, 요인 분석(factor analysis; ETS 애들은 이걸 사랑했어요), 잠재 계층 모델(latent class model) 등 온갖 예제를 알고 있었죠. 아트의 뛰어난 대학원생인 낸 레어드가 몇몇 부분들을 채워넣었고, 우리는 논문을 쓰기 시작했죠. EM 논문은 JRSS-B에 무려 초청 토론까지 받아 바로 합격했어요.

: 이제 인과 추론에 대해서 더 얘기해보죠. 당신은 잠재적 결과(potential outcome)이라는 틀을 제안한 것으로 알려져 있었습니다. 잠재적 결과의 기호를 처음 언급한 것은 네이만의 박사 학위 논문이지만 (Neyman 1990), 그 기호는 오랫동안 잊혀져 왔었죠.

: 네, 그건 무작위 실험 외에서는 무시되고 있었습니다. 무작위 실험 연구 내에서는 이 기호가 표준이 되었고 예를 들면 켐쏜(Kempthorne) 같은 사람의 연구에서 사용되었지만, 제가 먼저 언급했다시피 다른 곳에는 무시되었죠.

: 당신은 그 전에 네이만의 연구 결과에 대해서 알고 있었나요?

: 아뇨, 저는 그의 설문에 대한 연구(Neyman 1934)와 그 연장(Rubin 1990a와 Rubin 1990b를 보십시오) 때문에 제 관점을 네이만 덕분에 형성된 것으로 인정해 왔었지만, 1990년 그의 박사학위 논문이 영어로 번역되기 전까지 그의 잠재적 결과에 대한 연구는 모르고 있었습니다.

파브리: 당신은 사실 1970년 중반 버클리를 방문했을 때 네이만을 만났지요. 점심을 그렇게 많이 같이 먹으면서 인과 추론과 잠재적 결과에 대해서는 토론한 적이 한번도 없었나요?

: 했었죠. 사실 제 연구실이 그의 연구실 바로 옆이었어요. 네이만은 30대 후반에 버클리로 왔죠. 그는 꼭 수리통계학자로서만이 아니라 한 사람의 인간으로서 정말 인상적인 사람이었어요. 그 주위에서는 늘 엄청난 아우라가 느껴졌죠. 버클리에 도착하자 마자 저는 결측 자료와 인과 추론에 대한 대한 발표를 했죠. 다음날 저는 네이만과 점심을 먹으러 갔고 저는 대충 “제게 있어서는 무작위 실험 뿐만 아니라 관찰 연구에 있어서도 인과 추론 문제들을 잠재적 결과가 결측인 것으로 보고 푸는 것이 당연한 것처럼 보여요”라는 식으로 얘기했습니다. 네이만은 “아닙니다, 인과 추론은 무작위가 아닌 상황에서는 훨씬 심오해요” 정도로 대답했죠 (이 말을 하면서 자신이 잠재적 결과를 처음 도입한 사람이었다는 점을 언급하지 않았다는 것이 지금 생각하면 놀랍죠). 그는 자신의 전기에 나오는 이 말을 반복했습니다: “…무작위로 설계하지 않은 실험은 나중에 어떻게 분석하든 별 가치가 없습니다” (여기에 대한 제 생각은 Rubin 2010을 참고하세요). 그리고서 그는 예의바르면서도 확고하게 “우리 그 얘기는 그만 하고 대신 천문학에 대해서나 얘기합시다”라고 했죠. 그는 당시 천문학에 굉장히 심취해 있었어요.

파브리: 당신은 아마 그가 왜 빈도주의 접근에 그렇게 천착했는지 알 기회도 있으셨겠죠.

: 네. 우리가 신뢰 구간의 진짜 의미와 왜 네이만-피어슨(Neyman-Pearson) 접근이 제게는 무의미하게 느껴지는지에 대해서 얘기한 적이 한 번 있었던 것을 기억합니다. 그는 대충 “당신은 우리의 연구를 잘못 해석하고 있습니다. 우리는 수학을 하고 있었어요; 돌아가서 제가 처음 신뢰구간을 정의한 1934년 논문을 읽어보세요.” 라는 식으로 얘기했죠. 그는 모든 사전 분포(prior distribution)에 대해서 올바른 포함(coverage) 확률을 갖는 절차로 신뢰 구간을 정의했었습니다(Neyman 1934의 589 페이지를 읽어보세요). 이런 식으로 생각하면 당신은 모든 질점 사전 분포(point mass prior)들을 고려하지 않을 수 없고, 그러면 네이만-피어슨을 사용할 수밖에 없게 되죠. 그는 (대충 말하자면) “당신이 어떤 한 종류의 문제에 대해서만 연구하는 진짜 과학자라면, 당신은 질점 사전 분포에 대해서는 신경쓸 필요가 없고 그 종류에 적합한 사전 분포만 고려하면 되죠. 하지만 당신이 수학을 하는 거라면, 당신은 당신이나 다른 누군가가 푸는 문제 그 자체에만 대한 얘기는 할 수 없습니다.” 나는 Rubin 1995에서 이 부분을 언급했지만, 그다지 다른 사람들에게 공감을 샀던 것 같지는 않습니다.

파브리: 폴 홀랜드(Paul Holland)는 그의 유명한 1986년 JASA 논문에서, 인과 모형에 사용하는 잠재적 결과라는 틀을 “루빈 인과 모형(Rubin Causal Model; RCM)”라는 이름으로 부르기 시작하죠 (Holland, 1986). 만약 당신이 “루빈 인과 모형”이라는 이름이 당신의 공헌에 적합한 이름이라고 생각한다면, 왜 그렇게 생각하는지 말씀해주실 수 있겠습니까?

: 사실 앙그리스트(Angrist), 임벤스(Imbens)와 저는 1996년 JASA 논문에서 다시 만나 (Angrist, Imbens and Rubin, 1996) 왜 우리는 그게 괜찮다고 생각하는지 설명했죠. 네이만이 무작위 실험의 맥락에서 잠재적 결과를 도입한 선구자인 것은 이론의 여지가 없습니다. 그러나 1974년 논문에서 (Rubin 1974) 저는 무작위 실험 뿐만 아니라 관찰 연구에 있어서도 전면적으로 잠재적 결과를 이용해 인과 효과(causal effect)를 정의하도록 만들었는데, 이것은 분명히 제가 처음이었습니다. 네이만이 버클리에 있던 당시 얘기했다시피, 그는 무작위 실험의 테두리 밖에서 인과 효과를 통계적으로 추정할 수 있다는 것을 믿지 않았죠.

: 그리고 RCM에서의 할당 기제(assignment mechanism)을 정의하는 것과 같은 측면들도 당신이 도입한 것이었죠.

: 그렇습니다, 무작위 실험들이 더 일반적인 할당 기제의 집합 속에 속한다는 사실을 인식하는 것은 굉장히 중요했는데 아직 그런 연구 결과는 없었죠. 그리고 1978년 논문에서 (Rubin, 1978a) 저는 RCM 틀의 세가지 중요한 요소들을 제안합니다; 잠재적 결과, 할당 기제, 그리고 과학적인 (베이지언) 모델이죠. 나머지 두 개는 네이만은 다루지 않았을 뿐만 아니라, 그는 아마도 마지막 것은 좋아하지도 않았을 겁니다. 사실 저는 죽은 사람에게 무언가의 공로를 기리는 것은 정당하지 않다고 생각해요. 그 사람은 그걸 거부할 수도 있었을 테니까요. 피셔의 좁은 영가설에 대한 무작위 검증과 같이 근본적인 아이디어가 분명히 그 사람으로부터 온 것이라면, 당연히 공로를 피셔에게 돌려야죠. Brillinger, Jones and Tukey (1978)가 그렇게 한 것 처럼요. 파노스 툴리스(하버드의 괜찮은 박사과정 학생)는 제가 ETS 시절 존( 튜키)이 건네줘서 읽어 기억하고 있던 원고를 찾아내는 데 도움을 줬습니다:
“컴퓨터가 없던 시절에는 대부분의 문제를 한번에 해결할 수 있다는 것이 아주 중요했습니다. 그래서 그 결과로 무작위를 이용한 접근의 장점들은 – 무작위 분포를 이용해 한번에 문제를 해결할 수 있는 드문 경우를 빼놓고서는 – 그 가치가 제대로 인정되지 못했죠.
저평가의 이유 중 하나는 무작위화(randomization)가 다루기 쉬운 특정 통계량에 한정된 이상, 검증 통계량(test statistic)이 어떤 때 포착하고자 하는 변화에 가장 민감할 지 (때로는 혼란을 가져다주지만 때로는 중요하고 가치있는) 직관을 얻을 방법이 전혀 없어 보였다는 겁니다. 컴퓨터의 부상으로 이 문제가 사라졌다는 사실은 충분한 주목을 받지 못하고 있습니다.” (Brillinger, Jones and Tukey, 1978, Chapter 25, page F-5)

파브리: 톰 벨린(Tom Belin)의 잠재젹 결과에 대한 흥미로운 질문을 여기서 인용해 보죠: “당신은 잠재적 결과가 사람들 속에 어떤 정해진 숫자로 존재한다고 믿으십니까, 아니면 잠재적 결과라는 개념은 인과 추론을 하기 위한 도구일 뿐인가요?”

: 당연히 후자입니다. 여기엔 여러가지 이유가 있는데요, 이를테면 어떤 사람의 잠재젹 결과는 시간에 따라 달라질 수 있는데 어떻게 과거에 연구한 사람이 오늘의 그 사람과 교환 가능(exchangeable)하다고 할 수 있겠습니까? 하지만 과학에서의 많은 도구들이 다 이런 식이죠.

: RCM에서는 분석을 시작하기 전 항상 먼저 원인(cause)와 개입(intervention)을 정의해야 하죠. 그러니까 RCM은 “원인의 영향”을 분석하고자 하는 도구이지, “영향의 원인”을 분석하는 도구가 아닌 것입니다. 어떤 사람들은 이것을 큰 한계점이라고 지적하지요. 당신은 이것을 한계점이라고 생각하나요? 당신은 영향의 원인을 자료로부터 추론하는 것이 가능하다고 생각하나요? 아니면 이건 대답하기 위해선 더 연구해봐야 할 흥미로운 문제인가요?

: 저는 사건의 ‘원인’에 대한 주제를 칵테일 파티에서나 토론할 주제로 생각하지, 과학적인 탐구의 주제로 생각하지는 않습니다. 그것은 이 주제에 대한 토론은 한없이 퇴행할 수 있기 때문이지요. 어떤 사람이 “그는 하루에 세 갑씩 담배를 피웠기 때문에 폐암으로 죽었어”라고 하죠; 그러면 다른 사람은 “아냐, 그는 그의 부모가 하루에 세 갑씩 담배를 피웠고, 그래서 그는 하루에 담배를 세 갑씩 피지 않는 것은 생각도 할 수 없었기 때문에 죽었어”라고 반박하죠; 그러면 또다른 사람은 “아냐 아냐, 그의 부모들은 그의 조부모가 담배를 피웠기 때문에 따라 피운거야- 그들은 노스 캐롤라이나에 살고 있었고, 그 당시 거기선 모두가 세 갑씩 담배를 피웠지. 그러니까 조부모가 살았던 동네가 원인이야.” 도대체 얼마나 과거로 돌아가서 살펴봐야 하는 것일까요? 어떤 사건의 ‘원인’에 대해서는 논리적으로 얘기할 수 없습니다; 그러나 ‘(여러가지 원인 중) 그 원인으로 어떤 효과가 있을 수 있었는가?’에 대해서는 얘기할 수 있죠. 개념적으로는 이런 두번째 종류의 질문들은 모두 대답할 수 있습니다. 그러나 단일한 원인(the cause)이라? 저는 그런 개념은 무의미하다고 생각합니다.

파브리: 당신은 통계학의 역사에 대해서 알고 있는 것이 통계학의 근본에 대해서 생각하는데 도움이 되었다고 느끼시나요?

: 저는 역사를 좀 알긴 하지만 많이 아는 것은 아닙니다. 저는 피셔나 네이만과 같은 통계학의 거인들이 왜 잘못을 했는지 이해했다고 느꼈을 때 가장 큰 공부가 되었어요. 평범한 사람이 왜 잘못했는지 이해하는 것으로부터는 조금밖에 배우지 못하지만, 왜 천재가 잘못했는지 이해하는 것으로부터는 엄청나게 많이 배우게 됩니다.

(2편으로 이어집니다)

Advertisements