먼저 고백을 하나 하고 글을 시작해야겠습니다.
제가 오늘 글의 주제로 삼으려 하는 Reinhart and Rogoff의 논문 및 그에 관한 최근의 논쟁은 같은 연구실 선배가 페이스북에 기사를 올린 걸 보고 알았습니다. 그래서 엊그제부터 그 논문들을 좀 읽었는데, 오늘 페이스북에 보니 제가 아는 다른 교수님께서 이 주제에 관해 잘 정리해 주셨네요. 솔직히 말하면 제가 굳이 또 따로 정리할 필요가 있나 싶었습니다만, 이미 준비한 것이니 그 교수님의 글도 링크하고 저도 글을 쓰겠습니다.
최근에 경제학계에 ‘스캔들’이 하나 터졌습니다.
혹 이 블로그에 오시는 분들 중에 Reinhart and Rogoff(이하 R&R)의 이름을 들어보신 분이 계실지 모르겠습니다. 하버드 행정대학원과 경제학과에 재직중인 꽤나 유명한 거시경제학자들로, “This time is different”라고, 과거 금융위기에 관한 그들의 연구들을 집대성해 책으로 냈는데, 우리나라에선 “이번엔 다르다”라는 제목으로 번역이 되 나오기도 했습니다.
그런데 바로 최근에, 이들의 과거 연구 논문을 메사츠세츠 대학 경제학과의 대학원생들인 Herndon, Ash, and Pollin(이하 HAP)가 R&R의 데이터로 ‘복제(replicate)’ 해 봤는데 결과가 다르더라라고 발표하면서 미국 경제학계가 발칵 뒤집어졌습니다. 더 중요한건 그냥 단순히 결과가 다르더라는 걸 넘어 ‘엑셀에서 R&R이 어떤 데이터를 누락시키고, 어떤 체계적 실수를 저질렀더라’라고 발표했다는 점이죠. 제 글에서는 Reinhart and Rogoff의 논문 내용이 어떤 것이었는지, 그리고 HAP가 발견한 R&R의 실수가 어떤 것인지를 요약해 보려 합니다.
R&R의 2010년 NBER working paper, 그리고 이것이 출판된 2011 AER proceeding 논문의 내용을 정리하면 아주 간단합니다.
‘국가별 GDP 대비 부채와 GDP 성장률간에는 국가별 GDP 대비 부채가 0~90%일 때는 별 상관관계가 없는데, 90%를 넘어가면 GDP 성장률이 낮아지는, 음의 상관관계를 갖는다. (그리고 그 관계는 GDP 성장률의 중간값을 측정한 것보다 평균을 측정할 때 더 크게 나타난다)’ 즉 국가별 GDP 대비 부채 비율 90%가 경제성장률을 좌우하는 일종의 문턱(thresholds)과 같다는 겁니다. 그래프 한 번 보죠.
R&R(2010)의 Figure 2로 1946~2009년도의 20개 선진국에 관한 것 입니다. 국가별 부채/GDP를 4개 구간으로 나눠서 분류해 놨습니다. 국가별 부채/GDP가 90%를 넘어갈 때 평균 경제성장률이 4%정도 급하락 하는 것을 볼 수 있습니다.
R&R(2010)의 표1입니다. 위에 선택된 20개 국가에 대한 (좀 더 장기간의) 통계량을 담고 있죠. 이들은 기간을 장기로 확장해도 여전히 비슷한 결과를 얻을 수 있다고 주장합니다. 그리고 이와 비슷한 분석을 24개의 신흥성장국가(emerging market economies)에 대해서도 수행했습니다. 보시죠.
네. 큰 내용에 있어서는 별로 달라진게 없습니다. 다만 저자들은 신흥개발국의 경우 선진국보다 해외로부터 들여온 부채(external debt)에 대한 의존도가 높을 것이라고 생각해, external debt에 대해서도 분석을 시도했고, 사적부문 부채(private sector debt)에 대한 분석도 있습니다만, 여기서는 생략하겠습니다. 큰 줄거리는 이미 위에서 다 나왔거든요.
자, Reinhart and Rogoff의 주장은 간단하죠. 이들은 위와 같은 현상이 일어나는 이유로 자신들이 다른 선행연구에서 내놓은 'Debt Intolerance'라는 개념을 제시합니다. 이들의 연구는 그간 정치권에서 의원들이 예산안을 올릴 때 국가부채비율과 경제성장률의 관계를 제시하는 근거로 많이 사용되었다고 합니다. 물론 이들이 논문에서 부채/GDP 비율과 GDP 성장률간의 상관관계가 있다고 했지 인과관계(causation)이 있다고 하지는 않았습니다만... (그나마도, 이들이 인과성을 직접적으로 논문에서 언급하지는 않았지만 칼럼이나 인터뷰등을 통해 위 두 관계를 인과성으로 주장한 정황은 여기저기서 보입니다. 그 정황은 아래에 링크를 건 제가 이 이슈를 처음 접한 기사에 정리되어 있습니다.)
그런데 이 논문을 매사추세츠 대학 경제학과 대학원생들 HAP들이 한번 따라해 보니 결과가 다르게 나온겁니다. 한 번 어떻게 된건지 보죠.
먼저 이들은 Reinhart and Rogoff가 그들의 책 ‘This time is different’의 웹사이트에 대중 공개한 데이터로 복제를 시도했습니다만, 잘 되지 않았습니다. 일단 그 데이터를 R&R이 어떻게 가공한 것인지를 알기가 어려우니까요. 그래서 이들은 R&R에게 요청해 그들이 사용한 working sheet를 받아서 분석을 했습니다. (약간 아이러니하죠?ㅎㅎ)
이들이 제시한 R&R의 오류는 크게 3가지입니다.
1. 데이터를 일부만 취했다. 즉 일부 국가, 기간을 R&R이 빼먹었다.
R&R은 1946~2009 기간 데이터를 사용했는데, 주로 데이터의 시작 시기에서 일부 국가 데이터가 계산에 들어가지 않았다고 HAP가 주장합니다. 그리고 특히 제외된 국가 데이터 중 중요한 케이스가 오스트리아(1946~1950), 뉴질랜드(1946~1949), 캐나다(1946~1950)라네요. (이 중에서도 뉴질랜드의 제외는 더더더더 치명적!) 왜냐면 이 국가-기간 데이터들은 모두 분석의 주된 대상인, GDP 대비 국가 부채 90% 이상인 카테고리에 들어가거든요!
HAP에 의하면 가장 높은 구간인, GDP 대비 국가 부채 90% 이상인 카테고리에 들어갈 데이터 수는 총 110개여야 합니다. 그런데 이 1번 오류로 인해 14개가 누락, R&R이 사용한 데이터는 96개라는군요. 근데 문제는 여기서 끝나지 않습니다.
2. 엑셀 스프레드 시트에 오류가 있었다.
이게 무슨 소리냐구요? 무려 평균을 계산하는 과정에서 알파벳 순서상 앞에 있는 5개 국가(호주, 오스트리아, 벨기에, 캐나다, 덴마크)의 일부 데이터를 넣지 않았다는겁니다. 셀의 평균을 계산하는데 30~49셀의 데이터를 더해 평균치를 더해야 하는데 맨 아래 5개 셀을 빼고 30~44개 셀을 더해서 구했다나요... 96게 데이터 중 5개 셀 씩 5개 국가, 총 25개 데이터가 그래서 또 분석에서 제외되었습니다. 결국 R&R이 분석에 사용한 데이터 수는 71개입니다. 좀 어처구니가 없죠?
3. 경제성장률을 계산하는데 쓴 가중치가 이상하다.
이건 또 무슨 소린가...이런겁니다. 국가 부채/GDP 90%이상 카테고리 안에 있는 국가의 경제성장률을 계산합니다. 이 카테고리 안에 A 국가 데이터가 10년, B 국가가 5년, C 국가가 7년 있다고 치죠. 그럼 어떻게 계산해야 할까요. A, B, C각 국의 기간별 데이터를 통해 각국 경제성장률을 구한다음, 그걸 이 카테고리 안에서 A, B, C 각국이 차지하는 비율대로 가중평균을 구해 최종적인 카테고리 내 경제성장률을 구해야겠죠.
근데 R&R은 어떻게 했냐면, 그냥 국가 수로 나눠버렸답니다. (The country averages within each group were then averaged, equally weighted by country, to calculate the average real GDP growth rate within each public debt/GDP grouping)
제가 든 예시대로 하면 나누기 3을 한거죠...이게 과연 합당한 계산이었을까요.
이런 심각한 삽질이 세 개가 연속되니, 분석결과가 온전할 리가 없습니다. 한 번 HAP가 따라해 본 결과를 봅시다. 어떻게 되는지.
네...국가 부채/GDP 비율 90% 이상으로 올라가더라도 GDP 성장률이 급격하게 떨어지지는 않는 것을 볼 수 있습니다. HAP는 R&R과 달리 최고 국가 부채/GDP 비율 구간을 90% 위로도 확장시켜서 아래와 같은 그림을 그려 봤는데요, 역시 90% 지점에서 유의미하게 GDP 성장률이 변화하지는 않는 것을 볼 수 있습니다. 오히려, R&R의 분석결과와는 달리 0~30%구간에서 경제성장률의 저하가 관측되고 있죠. (Figure 4는 같은 그림을 좀 더 확대해서 그린겁니다.)
자... 이 정도로 R&R과 HAP의 연구 결과 요약을 마무리 짓겠습니다. 어떤가요. 물론 이 논쟁은 현재 진행형으로 HAP에 대한 R&R의 반박, 그리고 그에 대한 Krugman의 비판은 아래 링크만 달아 놓겠으니 관심 있으신 분은 한 번 보세요. (Krugman의 비판은 제 눈에는 사실 거의 독설로 보입니다.) 이와는 별론으로 제가 링크건 우석진 교수님의 글에 따르면 통계학자들은 R&R을 애처로운 눈으로 바라보고 있다는군요. ‘니네 아직도 엑셀 써?’ 이런...
어떤 걸 느끼셨나요. 전 처음 보면서 든 생각이 ‘아니 저걸 어떻게 찾아내지? 천재들인가?’ 였습니다. 논문을 딱 보고 뭔가 이상하다 싶으니까 검증해 본 것 아니겠어요. 근데 이 이슈를 소개해준 연구실 선배와 이야기 해보니 사실 의심을 하는게 너무나 당연한 상황이었더라구요. 특정 구간에서 중위값과 평균값이 큰 차이가 나면 당연히 그 데이터의 분포가 굉장히 한 쪽으로 이상하게 쏠려 있거나, 이상치(outlier)를 의심하거나 해야 하는거니까요. 그걸 생각해보니 반대로 대가라는 Reinhart and Rogoff가 그런 기본적인 걸 놓치다니 하는 생각도 들고요.
그리고 두 번째 생각이, ‘이거 황우석 사태와 너무 똑같은데?’ 였습니다. 그 때도 황우석의 연구 성과들에 처음 이의를 제기한 사람들은 BRIC의 젊은 과학자들이었죠. Reinhart and Rogoff는 거시경제학의 대가들입니다만, 미국의 한 대학 경제학과 대학원생들의 재검증에 그 허점을 완전히 노출하고 말았습니다. 결국 우리가 공부를 하는 것은 단순히 기존의 이론과 실증 연구 결과물들을 ‘습득’하는 것을 넘어 그걸 비판적으로 ‘검증’ ‘재검토’하는 데 까지 이르러야 한다는 것을. 그게 공부하는 사람들의 자세라는 걸 이 사건을 통해 다시 깨달았습니다.
Reference)
이 이슈를 제일 처음 제가 접하게 된, 기사. 이를 소개해준 서울대 경제학부 대학원 이도현 형께 감사합니다.
그리고 이 이슈에 대한 명지대 경제학과 우석진 교수님의 요약.
Reinhart and Rogoff의 논문들
Working paper Version.
Reinhart, Carmen M., and Kenneth S. Rogoff. 2010. "Growth in a Time of Debt." http://www.nber.org/papers/w15639
Published Version
Reinhart, Carmen M., and Kenneth S. Rogoff. 2010. "Growth in a Time of Debt." American Economic Review, 100(2): 573-78
그리고 문제의, HAP 논문
Thomas Herndon, Michael Ash and Robert Polin. 2013.
“Does High Public Debt Consistently Stifle Economic Growth? A Critique of Reinhart and Rogoff”
HAP에 대한 R&R의 방어
그리고 이에 대한 Krugman의 비판
페이스북에도 올렸더니 서울대 정치학과 안도경 교수님께서, R&R의 보다 자세한 해명을 보고 글을 써야 옳지 않겠냐는 의견을 주셨습니다. 저도 아직 읽지는 못했는데요, 읽고 글에서 수정할 부분이 있다면 다시 고쳐놓겠습니다. 일단 안 교수님께서 알려주신 링크는 아래와 같습니다. 교수님께 감사드립니다.
http://ineteconomics.org/blog/inet/reinhart-and-rogoff-respond-criticism/
HAP 중에서 Herndon만 대학원 생이고 뒤에 두 사람은 UMASS의 교수랍니다. 둘 다 꽤 유명한 경제학자지요. ^^;
답글삭제아 그렇군요. 좋은 지적 고맙습니다. 마이클 애쉬라는 이름은 들어본 것 도 같아요. (Pollin은 누군지 모르겠지만...ㅠㅠ)
삭제다시 알아보니 제가 들어본 애쉬는 마이클 애쉬가 아니라 수잔 애쉬군요ㅠㅠ
삭제그리고 UMASS를 나온 분한테 들은 건데, Ash와 Polin이 계량경제학 수업을 co-teaching을 하는데, 기말 프로젝트가 유명한 논문의 결과를 그대로 replication하는 거랍니다. 요즘은 데이터 공개가 원칙이니까요. R-R 논문을 택한 학생이 딱 잡아낸 것이지요. 우리 대학원 수업도 이런 과정이 있으면 좋겠다 싶네요. 그래고 Financial Times를 보시면 HAP이 짧게 쓴 코멘트가 있습니다. 오히려 꽤나 겸손하군요.
답글삭제http://www.ft.com/intl/cms/s/0/9e5107f8-a75c-11e2-9fbe-00144feabdc0.html#axzz2ROVAQLGM
그리고 크루그만이 쓴 글 치고는 보기 드물게 차분하게 씌여졌다고 보는데, 이게 독설처럼 보였나보네요. ^^;
아...그렇군요. 그렇게 잡아낸 것일 개연성이 높겠네요. 이해가 됩니다. 그 학생, 논문 제대로 골랐네요...
삭제그리고 크루그만 글은...그런가요? 제 눈에는 '니네 내가 실드 쳐 줄라캤는데 안되겠다' 정도로 좀 빡친 것 같이 느껴졌는데...제가 크루그만 글을 많이 본 건 아니라서. 꾸준히 많이 보신 분이라면 다르게 느낄 수 도 있겠지요. 근데 개인적으로는 댓글 다신 분이 누구신지 궁금합니다. UMASS 나온 분께 들어 그런 이야기까지 아실 정도라면 누구실지...ㅎㅎ
주제와는 별 상관없는 댓글인데, 저도 최근에 재미있게 지켜보고 있는 '현상'이라 조금 덧붙이겠습니다. (다음달까지 R&R연구에 대해 아무도 글을 쓰지 않는다면 제가 해 볼까 생각하고 있던터라 ^^;;)
답글삭제제가 문제삼고 싶은 점은 윤리적인 부분인데요, '90% 이상의 정부부채가 성장률을 둔화시킨다는 명제'는 하나의 준칙으로 사람들의 삶에 엄청난 영향을 끼쳤을겁니다. 연구자들은 정책적인 조언을 했을 뿐이지만, R&R의 이 연구는 주류경제에 편입된 대부분의 나라의 정책입안자들에게 영향이 있었을 것이고, 그 여파는 수 천 수 만 명이 연관된 먹고사는 문제에 영향을 줍니다. 그건 R&R의 이름도 모르는 사람들이 직장을 잃거나, 그들의 삶의 질에 관련된 문제입니다. (게다가 이 연구가 사실을 오도한 경우, 경제학의 근본 원리중 하나인 공리주의적 관점에서도 타당치 않죠.)
그러니까 이 사건의 진상도 흥미롭지만, 제가 그 보다 더 관심있게 관찰중인 것은 R&R이 이 일에 어떻게 반응하는가 입니다. 일단 '구차한 변명'을 했다는 점에서 그들은 사회적 책임에 민감하게 반응하지 않는 것 처럼 보입니다.
일반적 차원에서 '준칙(제가 아는건 테일러 준칙 밖에 없지만 ㅎㅎ)'이라는 것이 각 나라의 경제적 특징을 반영한 결과물이 아니라 말 그대로 현실의 특수성을 탈각시킨, 추상화 과정을 거친 결과물이라는 점(호모 이코노미쿠스라는 존재와 비슷하게)을 경제학자들이 재인식 할 수 있는 계기가 되었으면 하는 바람도 있습니다.
쓰다 보니 뻘 얘기가 되었네요.
아주 타당한 지적이라고 봅니다. HAP논문의 서두에서도 R&R을 정치인들이 어떻게 인용했는지 짧게 나옵니다. 제 생각에도 일단 R&R이 '상관관계가 있다'와 '인과성이 있다'라는 다른 명제를 교묘하게 정치적/학문적 맥락에 따라 섞어 사용한 부분에 있어서는 비판을 피하기 어려워 보입니다. (그나마 그 상관관계라는 것도 지금 비판 받고 있지만요...)
삭제이 글에 동의합니다. 일단, 자신들의 논문 때문에 정리 해고된 사람들에게 면구한 마음 정도는 가져야 할텐데요...
삭제보니 주로 미국 언론매체들을 통해 이 사건에 대해 요새 논쟁이 격렬한 것 같군요. 정리해 뒀다가 다음 경연 글은 이 글의 후속편으로 쓰겠습니다.
답글삭제