환영회식사

환영회식사
레이블이 Rogoff인 게시물을 표시합니다. 모든 게시물 표시
레이블이 Rogoff인 게시물을 표시합니다. 모든 게시물 표시

2013년 4월 24일 수요일

Reinhart and Rogoff, 그들의 진실과 거짓.


먼저 고백을 하나 하고 글을 시작해야겠습니다.

제가 오늘 글의 주제로 삼으려 하는 Reinhart and Rogoff의 논문 및 그에 관한 최근의 논쟁은 같은 연구실 선배가 페이스북에 기사를 올린 걸 보고 알았습니다. 그래서 엊그제부터 그 논문들을 좀 읽었는데, 오늘 페이스북에 보니 제가 아는 다른 교수님께서 이 주제에 관해 잘 정리해 주셨네요. 솔직히 말하면 제가 굳이 또 따로 정리할 필요가 있나 싶었습니다만, 이미 준비한 것이니 그 교수님의 글도 링크하고 저도 글을 쓰겠습니다.
 
최근에 경제학계에 ‘스캔들’이 하나 터졌습니다.

혹 이 블로그에 오시는 분들 중에 Reinhart and Rogoff(이하 R&R)의 이름을 들어보신 분이 계실지 모르겠습니다. 하버드 행정대학원과 경제학과에 재직중인 꽤나 유명한 거시경제학자들로, “This time is different”라고, 과거 금융위기에 관한 그들의 연구들을 집대성해 책으로 냈는데, 우리나라에선 “이번엔 다르다”라는 제목으로 번역이 되 나오기도 했습니다. 

그런데 바로 최근에, 이들의 과거 연구 논문을 메사츠세츠 대학 경제학과의 대학원생들인 Herndon, Ash, and Pollin(이하 HAP)가 R&R의 데이터로 ‘복제(replicate)’ 해 봤는데 결과가 다르더라라고 발표하면서 미국 경제학계가 발칵 뒤집어졌습니다. 더 중요한건 그냥 단순히 결과가 다르더라는 걸 넘어 ‘엑셀에서 R&R이 어떤 데이터를 누락시키고, 어떤 체계적 실수를 저질렀더라’라고 발표했다는 점이죠. 제 글에서는 Reinhart and Rogoff의 논문 내용이 어떤 것이었는지, 그리고 HAP가 발견한 R&R의 실수가 어떤 것인지를 요약해 보려 합니다.
 
R&R의 2010년 NBER working paper, 그리고 이것이 출판된 2011 AER proceeding 논문의 내용을 정리하면 아주 간단합니다. 

‘국가별 GDP 대비 부채와 GDP 성장률간에는 국가별 GDP 대비 부채가 0~90%일 때는 별 상관관계가 없는데, 90%를 넘어가면 GDP 성장률이 낮아지는, 음의 상관관계를 갖는다. (그리고 그 관계는 GDP 성장률의 중간값을 측정한 것보다 평균을 측정할 때 더 크게 나타난다)’ 즉 국가별 GDP 대비 부채 비율 90%가 경제성장률을 좌우하는 일종의 문턱(thresholds)과 같다는 겁니다. 그래프 한 번 보죠.
 


 
R&R(2010)의 Figure 2로 1946~2009년도의 20개 선진국에 관한 것 입니다. 국가별 부채/GDP를 4개 구간으로 나눠서 분류해 놨습니다. 국가별 부채/GDP가 90%를 넘어갈 때 평균 경제성장률이 4%정도 급하락 하는 것을 볼 수 있습니다.
 

 
R&R(2010)의 표1입니다. 위에 선택된 20개 국가에 대한 (좀 더 장기간의) 통계량을 담고 있죠. 이들은 기간을 장기로 확장해도 여전히 비슷한 결과를 얻을 수 있다고 주장합니다. 그리고 이와 비슷한 분석을 24개의 신흥성장국가(emerging market economies)에 대해서도 수행했습니다. 보시죠.
 
 
네. 큰 내용에 있어서는 별로 달라진게 없습니다. 다만 저자들은 신흥개발국의 경우 선진국보다 해외로부터 들여온 부채(external debt)에 대한 의존도가 높을 것이라고 생각해, external debt에 대해서도 분석을 시도했고, 사적부문 부채(private sector debt)에 대한 분석도 있습니다만, 여기서는 생략하겠습니다. 큰 줄거리는 이미 위에서 다 나왔거든요.

자, Reinhart and Rogoff의 주장은 간단하죠. 이들은 위와 같은 현상이 일어나는 이유로 자신들이 다른 선행연구에서 내놓은 'Debt Intolerance'라는 개념을 제시합니다. 이들의 연구는 그간 정치권에서 의원들이 예산안을 올릴 때 국가부채비율과 경제성장률의 관계를 제시하는 근거로 많이 사용되었다고 합니다. 물론 이들이 논문에서 부채/GDP 비율과 GDP 성장률간의 상관관계가 있다고 했지 인과관계(causation)이 있다고 하지는 않았습니다만... (그나마도, 이들이 인과성을 직접적으로 논문에서 언급하지는 않았지만 칼럼이나 인터뷰등을 통해 위 두 관계를 인과성으로 주장한 정황은 여기저기서 보입니다. 그 정황은 아래에 링크를 건 제가 이 이슈를 처음 접한 기사에 정리되어 있습니다.)
 
그런데 이 논문을 매사추세츠 대학 경제학과 대학원생들 HAP들이 한번 따라해 보니 결과가 다르게 나온겁니다. 한 번 어떻게 된건지 보죠.
 
먼저 이들은 Reinhart and Rogoff가 그들의 책 ‘This time is different’의 웹사이트에 대중 공개한 데이터로 복제를 시도했습니다만, 잘 되지 않았습니다. 일단 그 데이터를 R&R이 어떻게 가공한 것인지를 알기가 어려우니까요. 그래서 이들은 R&R에게 요청해 그들이 사용한 working sheet를 받아서 분석을 했습니다. (약간 아이러니하죠?ㅎㅎ)

이들이 제시한 R&R의 오류는 크게 3가지입니다.
 
1. 데이터를 일부만 취했다. 즉 일부 국가, 기간을 R&R이 빼먹었다.
 
R&R은 1946~2009 기간 데이터를 사용했는데, 주로 데이터의 시작 시기에서 일부 국가 데이터가 계산에 들어가지 않았다고 HAP가 주장합니다. 그리고 특히 제외된 국가 데이터 중 중요한 케이스가 오스트리아(1946~1950), 뉴질랜드(1946~1949), 캐나다(1946~1950)라네요. (이 중에서도 뉴질랜드의 제외는 더더더더 치명적!) 왜냐면 이 국가-기간 데이터들은 모두 분석의 주된 대상인, GDP 대비 국가 부채 90% 이상인 카테고리에 들어가거든요!
 
HAP에 의하면 가장 높은 구간인, GDP 대비 국가 부채 90% 이상인 카테고리에 들어갈 데이터 수는 총 110개여야 합니다. 그런데 이 1번 오류로 인해 14개가 누락, R&R이 사용한 데이터는 96개라는군요. 근데 문제는 여기서 끝나지 않습니다.
 
2. 엑셀 스프레드 시트에 오류가 있었다.
 
이게 무슨 소리냐구요? 무려 평균을 계산하는 과정에서 알파벳 순서상 앞에 있는 5개 국가(호주, 오스트리아, 벨기에, 캐나다, 덴마크)의 일부 데이터를 넣지 않았다는겁니다. 셀의 평균을 계산하는데 30~49셀의 데이터를 더해 평균치를 더해야 하는데 맨 아래 5개 셀을 빼고 30~44개 셀을 더해서 구했다나요... 96게 데이터 중 5개 셀 씩 5개 국가, 총 25개 데이터가 그래서 또 분석에서 제외되었습니다. 결국 R&R이 분석에 사용한 데이터 수는 71개입니다. 좀 어처구니가 없죠?
 
3. 경제성장률을 계산하는데 쓴 가중치가 이상하다.
 
이건 또 무슨 소린가...이런겁니다. 국가 부채/GDP 90%이상 카테고리 안에 있는 국가의 경제성장률을 계산합니다. 이 카테고리 안에 A 국가 데이터가 10년, B 국가가 5년, C 국가가 7년 있다고 치죠. 그럼 어떻게 계산해야 할까요. A, B, C각 국의 기간별 데이터를 통해 각국 경제성장률을 구한다음, 그걸 이 카테고리 안에서 A, B, C 각국이 차지하는 비율대로 가중평균을 구해 최종적인 카테고리 내 경제성장률을 구해야겠죠.
 
근데 R&R은 어떻게 했냐면, 그냥 국가 수로 나눠버렸답니다. (The country averages within each group were then averaged, equally weighted by country, to calculate the average real GDP growth rate within each public debt/GDP grouping)
 
제가 든 예시대로 하면 나누기 3을 한거죠...이게 과연 합당한 계산이었을까요.
 
이런 심각한 삽질이 세 개가 연속되니, 분석결과가 온전할 리가 없습니다. 한 번 HAP가 따라해 본 결과를 봅시다. 어떻게 되는지.
 

 
네...국가 부채/GDP 비율 90% 이상으로 올라가더라도 GDP 성장률이 급격하게 떨어지지는 않는 것을 볼 수 있습니다. HAP는 R&R과 달리 최고 국가 부채/GDP 비율 구간을 90% 위로도 확장시켜서 아래와 같은 그림을 그려 봤는데요, 역시 90% 지점에서 유의미하게 GDP 성장률이 변화하지는 않는 것을 볼 수 있습니다. 오히려, R&R의 분석결과와는 달리 0~30%구간에서 경제성장률의 저하가 관측되고 있죠. (Figure 4는 같은 그림을 좀 더 확대해서 그린겁니다.)
  

 
자... 이 정도로 R&R과 HAP의 연구 결과 요약을 마무리 짓겠습니다. 어떤가요. 물론 이 논쟁은 현재 진행형으로 HAP에 대한 R&R의 반박, 그리고 그에 대한 Krugman의 비판은 아래 링크만 달아 놓겠으니 관심 있으신 분은 한 번 보세요. (Krugman의 비판은 제 눈에는 사실 거의 독설로 보입니다.) 이와는 별론으로 제가 링크건 우석진 교수님의 글에 따르면 통계학자들은 R&R을 애처로운 눈으로 바라보고 있다는군요. ‘니네 아직도 엑셀 써?’ 이런...
 
어떤 걸 느끼셨나요. 전 처음 보면서 든 생각이 ‘아니 저걸 어떻게 찾아내지? 천재들인가?’ 였습니다. 논문을 딱 보고 뭔가 이상하다 싶으니까 검증해 본 것 아니겠어요. 근데 이 이슈를 소개해준 연구실 선배와 이야기 해보니 사실 의심을 하는게 너무나 당연한 상황이었더라구요. 특정 구간에서 중위값과 평균값이 큰 차이가 나면 당연히 그 데이터의 분포가 굉장히 한 쪽으로 이상하게 쏠려 있거나, 이상치(outlier)를 의심하거나 해야 하는거니까요. 그걸 생각해보니 반대로 대가라는 Reinhart and Rogoff가 그런 기본적인 걸 놓치다니 하는 생각도 들고요.
 
그리고 두 번째 생각이, ‘이거 황우석 사태와 너무 똑같은데?’ 였습니다. 그 때도 황우석의 연구 성과들에 처음 이의를 제기한 사람들은 BRIC의 젊은 과학자들이었죠. Reinhart and Rogoff는 거시경제학의 대가들입니다만, 미국의 한 대학 경제학과 대학원생들의 재검증에 그 허점을 완전히 노출하고 말았습니다. 결국 우리가 공부를 하는 것은 단순히 기존의 이론과 실증 연구 결과물들을 ‘습득’하는 것을 넘어 그걸 비판적으로 ‘검증’ ‘재검토’하는 데 까지 이르러야 한다는 것을. 그게 공부하는 사람들의 자세라는 걸 이 사건을 통해 다시 깨달았습니다.
 
Reference)
 
이 이슈를 제일 처음 제가 접하게 된, 기사. 이를 소개해준 서울대 경제학부 대학원 이도현 형께 감사합니다.
그리고 이 이슈에 대한 명지대 경제학과 우석진 교수님의 요약.
Reinhart and Rogoff의 논문들
 
Working paper Version.
 
Reinhart, Carmen M., and Kenneth S. Rogoff. 2010. "Growth in a Time of Debt." http://www.nber.org/papers/w15639

Published Version
 
Reinhart, Carmen M., and Kenneth S. Rogoff. 2010. "Growth in a Time of Debt." American Economic Review, 100(2): 573-78
그리고 문제의, HAP 논문
 
Thomas Herndon, Michael Ash and Robert Polin. 2013.
“Does High Public Debt Consistently Stifle Economic Growth? A Critique of Reinhart and Rogoff”

HAP에 대한 R&R의 방어
그리고 이에 대한 Krugman의 비판



페이스북에도 올렸더니 서울대 정치학과 안도경 교수님께서, R&R의 보다 자세한 해명을 보고 글을 써야 옳지 않겠냐는 의견을 주셨습니다. 저도 아직 읽지는 못했는데요, 읽고 글에서 수정할 부분이 있다면 다시 고쳐놓겠습니다. 일단 안 교수님께서 알려주신 링크는 아래와 같습니다. 교수님께 감사드립니다.

http://ineteconomics.org/blog/inet/reinhart-and-rogoff-respond-criticism/