굿하트의 법칙 / 지표 게임 (Metric Gaming)

한 줄 정의

측정 지표가 목표가 되는 순간, 사람과 조직이 그 지표를 개선하는 방향으로 행동을 바꾸면서 원래 목표가 왜곡되는 현상.

일상 한 줄

점수가 목표가 되면, 사람은 목표가 아니라 점수를 최적화한다.

흔한 장면

고객 만족(CSAT) 게이밍: 점수를 올리려고 불만 고객에게는 설문 링크를 아예 보내지 않는다 — 분모를 손본다.
조회수가 목표가 된 콘텐츠: 클릭률(CTR)을 KPI로 걸자 자극적 제목·낚시 썸네일이 늘고, 정작 끝까지 본 비율은 떨어진다.
병원 평가 지표 좁히기: 평가표에 잡히는 항목(대기시간 등)만 개선하고, 측정 안 되는 진료 질은 방치된다.
학교 시험 점수 맞춤(teaching to the test): 시험에 나오는 것만 가르쳐 점수는 오르지만 실제 학력 신호는 약해진다 — Campbell이 시험 점수의 부패로 든 대표 사례 [Campbell 1976].
콜센터 통화 시간 단축: "평균 처리 시간"을 줄이라 하니 해결 안 된 문의를 빨리 끊어 재문의가 폭증한다.
영업 분기말 밀어내기: 분기 매출 목표를 채우려 다음 분기 주문을 당겨와, 지표는 맞지만 실수요는 왜곡된다.

왜 빠지나 (메커니즘)

대리지표 최적화: 진짜 목표는 측정이 어려워 대리지표(proxy)를 쓰는데, 압력이 붙으면 목표가 아니라 proxy 자체를 최적화한다 [Manheim & Garrabrant 2018].
회귀적(Regressional) 게이밍: 불완전한 proxy를 고르면 신호와 함께 잡음(noise)까지 같이 선택된다 — proxy 만점이 목표 만점이 아니다 [Manheim & Garrabrant 2018].
극단(Extremal) 게이밍: proxy를 극단값까지 밀면 원래 성립하던 proxy-목표 관계가 깨지는 영역으로 분포가 이동한다 [Manheim & Garrabrant 2018].
적대적(Adversarial) 게이밍: 규제자와 목표가 다른 행위자가 평가 방식을 알고 그에 맞춰 행동을 조정한다 — 보상이 붙은 지표는 선택 압력이 된다 [Manheim & Garrabrant 2018].
부패 압력(corruption pressure): 양적 지표가 사회적 의사결정에 쓰일수록 그 지표와 지표가 감시하려던 과정 자체가 왜곡된다 [Campbell 1976].
측정되지 않는 것의 소외: 측정 안 되는 중요한 요소는 회의·보상에서 밀리고, 사람은 평가받는 방식에 합리적으로 적응한다 [Strathern 1997].

빠져나오는 법

1. 이 지표가 대리하는 진짜 목표를 적는다. 2. 지표가 목표가 되면 어떤 부작용이 생길지 묻는다. 3. 단일 지표보다 균형 지표와 질적 검토를 함께 둔다. 4. 지표 개선과 실제 목표 개선을 주기적으로 분리 검증한다. 5. 지표를 공개·보상하기 전에 gaming 가능성을 검토한다.

함께 쓰기 좋은 도구

인센티브 호환성 — 보상 구조 점검
정보 비대칭 — 숨겨진 행동과 사적 정보
시스템 사고 — 피드백 루프와 부작용
파레토 원칙 — 핵심 소수 지표의 위험

통념이 무너지는 순간

### "측정하면 개선된다" ⚠ 흔한 말: "측정할 수 없으면 관리할 수 없다 — 일단 KPI부터 걸자." ✓ 학술: Goodhart의 원 정식화는 정반대를 경고한다 — 통제 목적의 압력이 가해지면 관찰된 통계적 규칙성은 무너진다. Strathern은 이를 "측정이 목표가 되는 순간 좋은 측정이기를 멈춘다"로 정식화했다. [Goodhart 1975] [Strathern 1997]

### "숫자는 객관적이다" ⚠ 흔한 말: "감이 아니라 데이터로 말하자, 숫자는 거짓말을 안 한다." ✓ 학술: 양적 지표가 의사결정에 쓰일수록 부패 압력에 노출되고, 지표가 감시하려던 과정 자체를 왜곡한다 — 객관적 형식이 객관적 결과를 보장하지 않는다. [Campbell 1976]

### "지표가 좋아졌으니 일이 잘되고 있다" ⚠ 흔한 말: "대시보드가 다 초록불인데 뭐가 문제냐." ✓ 학술: 불완전한 proxy를 극단까지 최적화하면 proxy-목표 관계가 성립하던 영역을 벗어나(Extremal Goodhart), 지표는 개선돼도 목표는 악화될 수 있다. [Manheim & Garrabrant 2018]

1차 출처

Goodhart, C. A. E. (1975). "Problems of Monetary Management: The U.K. Experience." Papers in Monetary Economics, Vol. I, Reserve Bank of Australia. Goodhart's law의 원 정식화.
Campbell, D. T. (1976). "Assessing the Impact of Planned Social Change." Occasional Paper Series #8, The Public Affairs Center, Dartmouth College. (1979년 Evaluation and Program Planning 2(1):67–90으로 재간행, DOI: 10.1016/0149-7189(79)90048-X.) Campbell's law의 고전 출처.
Manheim, D., & Garrabrant, S. (2018). "Categorizing Variants of Goodhart's Law." arXiv:1803.04585. Goodhart 효과를 4유형(Regressional·Extremal·Causal·Adversarial)으로 형식화.
Strathern, M. (1997). "'Improving ratings': audit in the British University system." European Review, 5(3), 305–321. DOI: 10.1002/(SICI)1234-981X(199707)5:3<305::AID-EURO1843.0.CO;2-4. 오늘날 가장 널리 쓰이는 Goodhart식 정식화의 출처.

원문 핵심 인용

Goodhart (1975), Manheim & Garrabrant 2018, p.1에서 재인용: "any observed statistical regularity will tend to collapse once pressure is placed upon it for control purposes."
Strathern (1997), p.308: "When a measure becomes a target, it ceases to be a good measure." (Goodhart을 일반화한 정식화 — 원 문장이 아니라 Strathern의 재정식화임.)
Campbell (1976): "the more any quantitative social indicator … is used for social decision-making, the more subject it will be to corruption pressures and the more apt it will be to distort and corrupt the social processes it is intended to monitor."
Manheim & Garrabrant (2018), p.1: "a Goodhart effect is when optimization causes a collapse of the statistical relationship between a goal which the optimizer intends and the proxy used for that goal."

핵심 정의·메커니즘

Proxy measure: 직접 측정하기 어려운 목표를 대신하는 지표.
Gaming: 지표 개선이 실제 목표 개선 없이 일어나는 행동.
Goodhart 4유형 [Manheim & Garrabrant 2018]:
- Regressional: 불완전한 proxy를 고르면 신호와 함께 잡음까지 선택된다.
- Extremal: proxy를 극단값으로 밀면 proxy-목표 관계가 깨지는 영역으로 분포가 이동한다.
- Causal: 규제자의 개입(action)이 proxy-목표 인과 경로를 끊으며 관계를 붕괴시킨다.
- Adversarial: 목표가 다른 행위자가 선택 압력을 알고 역이용한다.
Selection pressure: 보상이 붙은 지표가 행동을 선택한다.
Feedback loop: 지표가 행동을 바꾸고, 바뀐 행동이 지표 의미를 다시 바꾼다.

주요 후속 연구·메타분석

Muller, J. Z. (2018). The Tyranny of Metrics. Princeton University Press. 의료·교육·치안·군 등에서 지표화(metric fixation)의 조직적 부작용을 사례로 종합.
Hoskin, K. (1996). "The 'awful idea of accountability': inscribing people into the measurement of objects." 회계·감사 맥락에서 Goodhart 일반화의 선행 논의(Strathern이 응답·재정식화한 대상).

비판·한계

지표가 항상 나쁜 것은 아니다. 문제는 보상과 압력이 붙은 단일 지표다.
정성 평가만으로 돌아가면 불투명성과 편파가 커질 수 있다.
좋은 지표 설계는 목표·부작용·검증 주기를 함께 가져야 한다.

앱 활용 방법

조직 평가, 성과급, 학교 성적, SNS 조회수, 건강 앱 점수 시나리오에 적용한다.
질문: "이 지표를 목표로 삼으면 무엇이 망가지는가?"