[내 페이퍼]경제학자들은 예측을 얼마나 '못' 할까?

밑에 3줄요약 있음

*잘못 쓴 부분 및 애매한 문장 수정하였습니다

2010년 봄, 경제학을 계속 공부하리라 생각하고 있던 저는 Black Swan 이라는 책을 읽고 혼란에 빠지게 됩니다. 저자가 정말 '신명나게' 경제학을 털어버리기 때문이죠. 저자가 지적하는 것 중 하나는 경제학의 예측력이 떨어진다는 것이었습니다. 그 예로 든 것중 하나는 Spyros Makridakis가 주최했던 “M-Competitions”이라는 "대회"입니다. 세 번에 걸쳐 열린 이 “대회”는 많은 계량경제학자들이 현실 경제에 대한 예측을 하게끔 한 다음 그것에 대해 실제로 얼마나 정확히 맞췄는지 알아보는 일종의 실험이었습니다. 이 대회의 결과를 보고 Makridakis는 통계적으로 세련되고 복잡한 방법들이 단순한 방법보다 더 정확한 예측치를 제공해주지 못하는 것 같다고 결론을 내렸습니다.

저도 어릴 때부터 궁금했던 것이 있습니다. 경제학자들이 내놓는 예측치 – 대표적으로는 성장률 예측치 – 가 과연 얼마나 정확할지 입니다. 그냥 내가 대충 생각해서 예측치를 내놔도 얼추 경제학자들이 내놓는 예측치와 비교해서 그렇게 떨어지지 않지 않을까하는 생각도 많이 했었죠. 이 책을 읽고 나니 그러한 의심은 더욱 더 커져만 갔습니다.

그러다가 이를 실제로 실험해 볼 기회가 생겼고, 그래서 해 보았습니다. 그리고 이에 대해 페이퍼를 하나 썼습니다. 이하는 이 페이퍼의 주요 내용을 쉽게 정리해본 것입니다.

저의 아이디어는 권위있는 기관들의 경제성장률 예측치를 “제가 대충 만든 그럴듯한 예측치”와 비교하여 어떤 것이 더 현실의 성장률과 밀접한 관계를 보이는지 알아보는 것입니다. 영국의 1970년부터 2000년까지의 경제성장률이 기준이 되었구요. 권위있는 기관들은 London Business School (LBS; 괄호 안에 쓰인 약자들은 밑의 테이블을 읽기 위해 필요합니다), 영국 재무부 (TREA), National Institute of Economic and Social Research (NIESR) 을 선정했습니다. 변수 이름은 기관 뒤에 달로 측정한 horizon(예측 대상이 되는 시점까지의 기간을 의미합니다. 따라서 horizon이 작을수록 정확하겠죠?)을 붙여 만들었습니다. 이를테면 LBS38의 경우 LBS에서 38개월 전에 추정한 예측치입니다. 


 “제가 대충 만든 그럴듯한 예측치”는 예시를 들어 설명하는 것이 쉬울 것 같습니다. "2007년의 성장률"을 예측하는 상황을 상정하여 설명을 하겠습니다:
1) 2007년 실제 성장률을 2006년 실제 성장률으로 예측한 것(변수이름: out_n. n은 horizon)
2) 2006년에 available한 ‘2006년의 성장률 예측치’로 설정한 것 (fore_n). 이렇게 놓는 이유는, 2006년이 막 끝난 시점에서는, 사실 2006년의 정확한 성장률이 available 하지 않기 때문입니다. 그렇기 떄문에, out_n으로 예측을 하는 것은 기관들 입장에서는 불공평한 일일 수 있습니다.
3) 이전 10년간 (1997~2006) 실제 성장률의 추세선을 OLS로 추정하고, 그 추세선이 예측하는 2007년 성장률을 예측치로 놓은 방식 (reg_n) 
4) 2번 방식과 4번 방식으로 계산한 예측치들의 평균을 예측치로 놓은 방식(fore+reg_n/2)
 이렇게 네 가지입니다.

이 예측치들의 예측력을 정리한 것이 TABLE 1.1입니다. 
Period는 각 예측치들의 데이타가 존재하는 기간입니다. 
Root Mean Squared Error (RMSE) 및 Mean Absolute Error (MAE)는 매해 평균적으로 예측치가 얼마나 틀렸는지 (이를테면 RMSE가 1.3일 경우 대략 매년 1.3% 포인트의 에러가 있었구나 생각하시면 됩니다)를 나타내는 지표들입니다.
RMSE/SD나 1.25*MAE/SD에서의 SD는 성장률의 표준편차를 가리킵니다. 이는 각각의 기관이 예측치를 내놓는 기간 동안 성장률의 변동성이 서로 상이할 것을 우려하여 해준 작업입니다. 왜냐하면 변동성이 큰 기간 동안은 예측을 정확하게 하기가 더욱 어려웠을 것으로 생각되기 때문입니다. 
RMSO는 Root mean squared outcome으로 실제 성장률을 제곱한 다음 평균하여 루트를 취한 것입니다. MAO는 Mean squared outcome으로 실제 성장률의 절대값을 평균한 값입니다. 따라서 RMSE/RMSO, MAE/MAO는 예측오차와 실제 수치의 비율이라고 보시면 되겠습니다. 
GRAPH 1.1은 RMSE/SD와 1.25*MAD/SD를 보기 쉽게 나타낸 그래프입니다.

Period	Forecast	RMSE	MAE	RMSE /SD	1.25* MAE/SD	RMSE /RMSO	MAE /MAO
1978~1996	LBS14	1.36	1.15	0.67	0.71	0.45	0.42
1979~1997	LBS26	2.04	1.46	1.01	0.90	0.68	0.53
1980~1998	LBS38	2.25	1.78	1.10	1.09	0.74	0.64
1981~1999	LBS50	2.04	1.59	1.15	1.12	0.65	0.56
1970~1996	NIESR13	1.91	1.46	0.88	0.84	0.61	0.53
1970~1995	NIESR19	2.46	1.86	1.11	1.05	0.78	0.67
1977, 1980~1982, 1984~1989	NIESR25	2.66	2.36	1.19	1.32	0.83	0.79
1977~1995	TREA13	1.25	0.96	0.62	0.60	0.42	0.36
1970~2000	out_12	2.37	1.61	1.14	0.97	0.74	0.56
1970~2000	out_24	3.15	2.38	1.52	1.43	0.99	0.83
1970~2000	out_36	3.20	2.60	1.54	1.56	1.00	0.91
1970~2000	out_48	3.21	2.63	1.54	1.58	1.01	0.92
1970~1995	fore_12	2.82	2.21	1.30	1.27	0.90	0.80
1971~1996	fore_24	3.58	3.08	1.59	1.71	1.14	1.10
1972~1997	fore_36	3.53	2.88	1.61	1.64	1.10	1.01
1973~1998	fore_48	3.48	2.89	1.59	1.65	1.09	1.02
1970~2000	reg_12	2.71	2.19	1.30	1.32	0.85	0.76
1970~2000	reg_24	3.00	2.50	1.44	1.50	0.94	0.87
1970~2000	reg_36	2.97	2.54	1.43	1.53	0.93	0.89
1970~2000	reg_48	2.87	2.41	1.38	1.45	0.90	0.84
1970~1995	(fore+reg_12)/2	2.68	2.11	1.23	1.21	0.85	0.77
1971~1996	(fore+reg_24)/2	3.24	2.83	1.44	1.57	1.03	1.01
1972~1997	(fore+reg_36)/2	3.19	2.77	1.45	1.58	1.00	0.97
1973~1998	(fore+reg_48)/2	3.11	2.77	1.42	1.58	0.97	0.97

TABLE 1.1 – various measures of prediction errors for the two types (institution and naïve) of forecasts.

위 테이블 및 그래프를 보시면 비슷한 horizon 하에서는 대체로 기관 예측치들이 정확한 것으로 나왔습니다. 그래서 처음에 우려하였던 “제가 대충 만든 예측치”가 기관 예측치보다 더 정확한 불상사는 일어나지 않았습니다. 당연한 결과라고 느껴지시나요? 저는 사실 충분히 그럴 수도 있겠다고 생각을 하면서 페이퍼를 썼습니다. 제가 경제학을 너무 의심하기 때문일까요? 여튼 이 페이퍼를 쓰면서 충격적인 결과가 나오진 않아서 한편으로는 실망도 했지만, 그래도 제가 앞으로 공부하게 될 경제학이 가장 죽 쓴다고 평가받는 ‘예측력’도 적어도 무의미하진 않다는 생각에 안심이 되기도 했습니다.

하지만 그렇다고 완전히 마음을 놓을 건 아닌 것 같습니다. 왜냐하면 RMSE가 가장 낮은 TREA13도 RMSE가 1.25%나 되었기 때문입니다. 가장 높았던 NIESR25는 2.66%이었습니다. 한편 1970~2000년 동안의 영국의 RMSO가 3.37%정도였음을 생각해보면 결코 낮은 수치가 아니죠. 평균적으로 3.37%중에서 2.66%가 빗나갔다는 점은 과연 우리가 기관의 경제성장률 예측치를 얼마나 믿을 수 있을지 재고하게 하기에 충분하다고 느껴집니다.

그 외에도 제 페이퍼에는 실제로 기관 예측치들이 “대충 한” 예측치들과 통계적으로 얼마나 유의하게 다른지 검정, 기관의 예측치들의 unbiased 여부 검정, autocorrelation 여부 검정, contemporaneous correlation 여부 검정 등등이 포함되어 있습니다. 이에 관심있는 분들은 페이퍼를 직접 읽어보시길 권합니다. 다음에 한번 정리해 볼 수도 있겠네요. 

아 그리고 저는 3줄요약이란 걸 합니다. 왕년에 스갤질좀 했거든요.

3줄요약

경제학자들이 그래도 니네가 대충 찍는 것 보단 잘찍음

근데 그 잘찍는게 니네보다 잘찍는다는 거지 진짜 잘찍진 않음

내 페이퍼 읽어주고 코멘트좀 해주셈    ▄█▀█●   ▄█▀█●