예측 보정 (Forecast Calibration)

한 줄 정의

미래 판단을 "될 것 같다/안 될 것 같다"로 끝내지 않고, 확률로 예측하고 결과를 기록해 자신의 과신·과소신뢰를 보정하는 사고도구. GJP 상위 2% superforecaster들이 평균 회귀를 거슬러 정확도를 유지한 핵심 습관이다 [Mellers et al. 2015].

일상 한 줄

예측은 맞히는 게임이 아니라 확률 감각을 훈련하는 로그다.

흔한 장면

"아마 괜찮겠지"라고 말하지만 실제 확률을 쓰지 않는다.
60%와 90% 확신을 같은 말투로 표현한다.
예측이 틀리면 운이 나빴다고 하고, 맞으면 실력이라고 기억한다.
투자·진로·관계 선택에서 사후 해석만 남고 예측 기록은 없다.

왜 빠지나 (메커니즘)

확률 표현 회피: 확률을 숫자로 쓰면 사후에 책임을 남기므로, 사람들은 "아마", "괜찮겠지" 같은 모호어로 도망친다 [Tetlock & Gardner 2015].
calibration 무지: 자기 확신이 실제 적중률과 얼마나 어긋나는지 대부분 모른다. 70%라고 말한 사건이 실제로 70% 가까이 발생해야 잘 보정된 것이지만, 이를 측정하지 않으면 알 수 없다 [Mellers et al. 2015].
고정관념상 과신: 평소 환경에서는 "전형적 수행"만 측정돼 인간 판단의 한계가 드러나지 않는다. Mellers et al.은 토너먼트의 고성과 인센티브가 일반 실험실 패러다임에서는 보이지 않던 판단 양상을 드러낸다고 본다 [Mellers et al. 2015].
hindsight bias: 결과를 본 뒤 "처음부터 알았다"고 기억해, 빗나간 예측을 사후에 정당화한다 [Tetlock & Gardner 2015].

빠져나오는 법

1. 중요한 판단 전 "몇 % 확률인가?"를 숫자로 쓴다. 2. 예측 조건과 마감일을 명확히 한다. 3. 결과가 나오면 맞고 틀림뿐 아니라 확률 구간별 적중률을 본다. 4. 자주 과신하는 영역과 과소신뢰하는 영역을 분리한다. 5. 새 정보를 만나면 확률을 갱신하고 로그를 남긴다.

함께 쓰기 좋은 도구

베이즈 사고 — 증거로 확률 갱신
기저율 무시 — reference class 확인
평균 회귀 — 극단 결과 해석
깊은 불확실성 의사결정 — 예측이 어려운 경우 견고성으로 전환

통념이 무너지는 순간

"예측은 맞거나 틀리거나 둘 중 하나다"

⚠ 흔한 말: "그 사람 예측 틀렸잖아. 예측은 결국 맞히거나 못 맞히거나지." ✓ 학술: Tetlock & Gardner(2015)는 확률 예측의 품질을 calibration(70%라 한 사건이 실제 약 70% 발생)과 resolution(자신감과 결과를 분리하는 해상도)으로 평가하며, 둘을 하나로 합친 Brier score로 측정한다. 한 번의 적중/오류가 아니라 다수 예측의 분포로 봐야 한다. [Tetlock & Gardner 2015]

"전문가면 확신 있게 단정해야 한다"

⚠ 흔한 말: "전문가가 '60%쯤'이라고 말하면 무능해 보인다. 확실하게 단언해야지." ✓ 학술: GJP에서 상위 2% 정확도로 선발된 superforecaster들은 확신을 줄이지 않고 오히려 확률을 잘게 쪼개 자주 갱신했다. 이들은 정보공동체 분석가보다 약 30% 더 정확했다(Brier score 기준). 확신이 아니라 보정과 갱신이 정확도를 만든다. [Mellers et al. 2015]

"잘 맞히는 사람은 그냥 운이 좋았던 것이다"

⚠ 흔한 말: "한두 해 잘 맞혔어도 결국 평균으로 돌아갈 거야." ✓ 학술: Mellers et al.(2015)은 상위 성과자를 elite team으로 묶은 superforecaster들이 2년 연속 평균 회귀 기대를 거슬러(defying expectations of regression toward the mean) 수백 개 질문에서 높은 정확도를 유지했음을 보고했다. [Mellers et al. 2015]

1차 출처

Mellers, B. et al. (2015). "Identifying and cultivating superforecasters as a method of improving probabilistic predictions." Perspectives on Psychological Science, 10(3), 267-281. DOI: 10.1177/1745691615577794.
Tetlock, P. E., & Gardner, D. (2015). Superforecasting: The Art and Science of Prediction. Crown.

원문 핵심 인용

Mellers et al.(2015) 초록 verbatim: "Defying expectations of regression toward the mean 2 years in a row, superforecasters maintained high accuracy across hundreds of questions and a wide array of topics." [Mellers et al. 2015]
같은 초록: "superforecasters are partly discovered and partly created" — 예측력은 타고나는 동시에 훈련으로 길러진다는 핵심 주장. [Mellers et al. 2015]

핵심 정의·메커니즘

Calibration(보정): 70%라고 예측한 사건이 실제로 약 70% 발생하는 정도. 자신감과 적중률의 일치도. [Mellers et al. 2015]
Resolution(해상도): 발생할 사건과 안 할 사건에 서로 다른 확률을 얼마나 잘 부여하는가. calibration과 함께 예측 품질의 두 축. [Tetlock & Gardner 2015]
Brier score: calibration과 resolution을 하나로 합친 확률 예측 정확도 점수. 0(완벽)~2 범위, 낮을수록 정확. [Tetlock & Gardner 2015]
상위 2% (superforecaster): GJP에서 매년 정확도 상위 2%를 추려 elite team으로 재편성한 선발 기준. [Mellers et al. 2015]
Updating(갱신): 새 증거가 오면 확률을 조금씩 갱신한다. superforecaster의 핵심 습관. [Mellers et al. 2015]

주요 후속 연구·메타분석

Gneiting & Katzfuss (2014). "Probabilistic Forecasting." Annual Review of Statistics and Its Application, 1, 125-151. DOI: 10.1146/annurev-statistics-062713-085831.
Mellers et al. (2014). "Psychological strategies for winning a geopolitical forecasting tournament." Psychological Science, 25(5), 1106-1115. DOI: 10.1177/0956797614524255.

비판·한계

예측 보정은 결과가 관찰 가능한 사건에 더 적합하다.
장기·복잡계 문제에서는 정확한 확률보다 robust strategy가 더 중요할 수 있다.
과도한 수치화는 가치 판단과 윤리 판단을 숨길 수 있다.

앱 활용 방법

시나리오 선택 전 사용자가 결과 예측 확률을 기록하게 한다.
반복 사용 후 개인 calibration 리포트를 제공할 수 있다.