생존 편향 (Survivorship Bias)
처음 실린 날 2026-05-31 · 마지막으로 고친 날 2026-09-27
다른 이름: 생존자 편향 · Survivorship Bias
한 줄 정의
선택 과정을 통과해 살아남은 대상만 보고 결론을 내리고, 탈락·실패해서 보이지 않게 된 대상은 빼버리는 오류 [Wald 1943]. 표본이 "생존자"로 잘려 있으면, 그 표본에서 도출한 어떤 규칙도 전체 모집단에서는 성립하지 않을 수 있다.
일상 한 줄
성공한 사람·기업·전략만 모아 놓고 "이렇게 하면 된다"를 뽑아내면, 같은 행동을 하고도 망한 다수가 표본에서 통째로 빠져 있다. 보이는 것은 살아남은 비행기뿐이고, 격추된 비행기는 데이터에 없다 [Wald 1943; Denrell 2003].
이 카드의 학술 출처는 모두 서지(DOI) 확인을 거쳤습니다. 원문과 글자 대조한 문장만 인용으로 싣습니다. Wald 1943 메모 원문은 열람하지 못해 인용하지 않았고, 그래서 confidence를 B로 둡니다.
흔한 장면
- 성공 비결 책·인터뷰: "이 습관/전략으로 성공했다"는 사례집. 같은 습관으로 실패한 사람은 책을 못 내므로 표본에서 사라진다. → 상관을 인과로 착각.
- 창업 조언: "대학 중퇴 후 창업해 성공한 사람들" 목록만 보고 중퇴를 권한다. 중퇴 후 사라진 절대다수는 집계되지 않는다.
- 펀드 성과 광고: 운용사가 수익률 낮은 펀드를 청산·합병해 없애면, 살아남은 펀드만 평균에 들어가 업계 수익률이 부풀려진다 [Brown et al. 1992].
- 건물·유물의 내구성: "옛날 건물이 더 튼튼하다." 부실한 옛 건물은 이미 무너져 사라졌고, 지금 남은 건 튼튼했던 것뿐.
- 노병·노장의 무용담: 살아 돌아온 사람의 "이렇게 하면 산다"는 조언. 그대로 했다가 못 돌아온 사람은 말이 없다.
- 앱·게임 성공 사례: "이 기능으로 대박 났다." 같은 기능을 넣고 묻힌 수만 개 앱은 분석 대상에 없다.
왜 빠지나 (메커니즘)
- 선택적 가시성 (truncated sample) [Wald 1943] — 데이터는 선택 과정을 통과한 것만 남긴다. 격추된 폭격기는 기지로 돌아오지 못하므로 탄흔 데이터 자체에 존재할 수 없다. 보이는 표본이 곧 잘려 있다.
- 실패의 과소표집 (undersampling of failure) [Denrell 2003, Organization Science] — 실패한 조직은 관찰·기록·학습 대상에서 빠진다. 그 결과 위험한 관행이 성과와 무관한데도 생존자 표본에서는 성과와 양(+)의 상관처럼 보인다.
- 생존이 만드는 가짜 예측력 [Brown et al. 1992, Review of Financial Studies] — 변동성 큰 대상 중 운 나쁜 것이 제거되면, 잘린 표본 안에서 과거-미래 성과가 이어지는 것처럼 보이는 "예측 가능성의 외양"이 생긴다.
- 걸러진 자료를 대표 자료처럼 읽음 (selection neglect) [Koehler & Mercer 2009, Management Science] — 펀드 회사가 광고한 펀드의 성과 순위 중앙값은 상위 79~100 백분위였는데, 초보 투자자와 금융 전문가 모두 광고가 골라낸 자료라는 점을 드러내 주지 않으면 이를 전체의 대표처럼 받아들였다.
- 표본이 어떻게 뽑혔는지는 따지지 못함 [Fiedler 2000; Fiedler et al. 2000] — 사람은 손에 든 표본의 통계는 꽤 정확히 요약하지만, 그 표본이 결과 쪽으로 걸러졌다는 제약은 고려하지 못한다. 그래서 걸러진 표본의 치우침이 그대로 판단으로 넘어간다.
- 결과 → 실력 귀인 [Mauboussin 2012, The Success Equation] — 좋은 결과를 보면 실력으로 귀인하려는 경향. 운으로 살아남은 생존자를 보고 "비결이 있었다"고 해석한다. (대중서 기반 설명, 원문 인용 없음)
- 생존 조건이 여러 해에 걸칠수록 편향이 커진다 [Carhart et al. 2002] — 펀드가 몇 년 연속 성과를 내야 살아남는 구조라면, 표본 기간이 길수록 생존자 평균이 더 부풀려진다.
빠져나오는 법
1. 사라진 표본을 명시적으로 찾는다 — "이 전략을 쓰고 실패한 쪽은 어디 있나? 왜 안 보이나?"를 먼저 묻는다. Denrell(2003)의 핵심: 성공·실패 양쪽 모두를 표본에 넣어야 관행과 성과의 실제 관계가 드러난다 [Denrell 2003]. — 근거: 실험 [Koehler & Mercer 2009] (표본 공간을 떠올리게 하는 단서를 주면 선택 무시가 줄었다)·이론 분석 [Denrell 2003] 2. 분모를 복원한다 — "성공한 N명"을 "같은 시도를 한 전체 모집단 중 N명"으로 환산한다. 분모(시도한 전체)가 클수록 분자(성공)의 비율은 작아진다. → base-rate-neglect와 직결. — 근거 수준: 경험칙(산수 규칙. 이 습관의 효과를 시험한 연구 없음) 3. 데이터가 어떻게 수집·필터링됐는지 추적한다 — 청산·합병·중도 탈락으로 제거된 항목이 있는지 확인. 펀드·기업·학교 통계에서 특히 [Brown et al. 1992]. — 근거: 모의실험·실증 분석 [Brown et al. 1992; Elton, Gruber & Blake 1996] (자료 쪽 편향의 근거. 사람이 이 점검을 하면 판단이 나아지는지는 시험된 적 없음) 4. 빈자리를 의심한다 — Wald 분석의 논리: 돌아온 비행기에 탄흔이 적은 부위일수록 맞았을 때 돌아오지 못했을 가능성이 크다. "문제가 안 보이는 곳"을 먼저 의심한다 [Wald 1943; Mangel & Samaniego 1984]. — 근거 수준: 통계 방법론 [Mangel & Samaniego 1984] (일상 판단에 옮긴 효과는 시험된 적 없음) 5. 통계로 보정한다 — 탈락이 무작위가 아니면 표본 선택 자체를 모형에 넣어 보정한다(Heckman 2단계 추정) [Heckman 1979]. 펀드 연구는 청산·합병된 펀드까지 추적한 "생존 편향 없는" 데이터베이스를 쓴다 [Elton, Gruber & Blake 1996; Carhart et al. 2002]. 반대로 운 나쁜 실력자까지 청산돼 실력이 낮게 추정되는 역방향 편향도 있어 함께 보정한다 [Linnainmaa 2013]. — 근거: 계량 방법론 [Heckman 1979; Carhart et al. 2002; Linnainmaa 2013]
함께 쓰기 좋은 도구
- base-rate-neglect — 분모(전체 모집단)를 빼먹는다는 점에서 동전의 양면. 생존 편향은 분모가 제거되어 보이지 않는 특수 형태.
- regression-to-mean — 극단적 성공은 운의 비중이 커서 평균으로 회귀. 생존자 표본은 극단값에 치우쳐 있어 회귀를 놓치기 쉽다.
- confirmation-bias — 성공 사례만 골라 보면 가설을 강화하는 증거만 수집하게 된다.
통념이 무너지는 순간
"성공한 사람들의 공통점을 따라 하면 성공한다"
⚠ 흔한 말: "성공한 창업가 100명을 분석했더니 새벽 5시 기상·독서·끈기가 공통점이더라. 따라 하자." ✓ 학술: Denrell(2003)은 실패한 조직이 표본에서 빠지는 "undersampling of failure"가 경영의 통념(myths of management)을 만든다고 보였다. 같은 관행을 쓰고 실패한 다수가 안 보이면, 성과와 무관한 관행도 양의 상관처럼 보인다. 성공자만의 공통점은 실패자도 공유했을 수 있다. [Denrell 2003]
"이 펀드/업계는 장기 수익률이 좋으니 믿을 만하다"
⚠ 흔한 말: "이 운용사 펀드 평균 수익률이 시장을 이긴다." ✓ 학술: Brown, Goetzmann, Ibbotson & Ross(1992)는 수익률 낮은 펀드가 청산·합병으로 사라지면 살아남은 표본만 평균에 잡혀 성과 예측력의 외양(appearance of predictability) 이 생긴다고 보였다. 변동성-수익률 관계가 생존으로 잘린 표본에서는 가짜 지속성을 만든다. [Brown et al. 1992]
"손상이 심한 부위를 보강하면 된다"
⚠ 흔한 말: "돌아온 비행기에서 총알 구멍이 많은 곳을 강화하자." (직관적·상식적) ✓ 학술: 돌아온 비행기는 그 부위에 맞고도 살아남은 기체다. Wald(1943)의 메모는 살아 돌아온 기체의 피격 분포로 부위별 격추 확률을 추정하는 방법을 만들었다 [Wald 1943; Mangel & Samaniego 1984]. 이 방법을 쉽게 옮기면, 탄흔이 적은 부위일수록 맞았을 때 돌아오지 못했을 가능성이 크고 보강이 더 필요하다. "엔진·조종석에 장갑을 둬라"는 구체적 권고는 Wald 메모의 문장이 아니고 후대 해설·대중서에서 널리 퍼진 설명이다.
"옛날 것이 더 잘 만들어졌다 / 명작은 시대를 증명한다"
⚠ 흔한 말: "옛날 건물·가구·음반이 더 튼튼하고 좋다." ✓ 학술: 생존 편향의 정의(살아남은 대상만 관찰)가 직접 깬다 [Wald 1943]. 부실한 옛 물건은 이미 폐기·붕괴해 사라졌고, 지금 남은 것은 견뎌낸 소수. "옛것의 우수성"은 표본이 시간으로 필터링된 결과일 수 있다. (현상 자체는 강건하나 정량 연구 적음 → 일반화 주의.)
1차 출처
- Wald, A. (1943). A Method of Estimating Plane Vulnerability Based on Damage of Survivors. Statistical Research Group, Columbia University. (8편의 memoranda 시리즈; National Defense Research Committee 제출.) 재간행: Center for Naval Analyses, CRC 432 (July 1980). (실재·검증: 2026-05-31, AMS Feature Column·Wikipedia·CNA 일치)
- Mangel, M., & Samaniego, F. J. (1984). Abraham Wald's Work on Aircraft Survivability. Journal of the American Statistical Association, 79(386), 259-267. DOI: 10.1080/01621459.1984.10478038 (Wald 1943을 요약·해설한 표준 출처. 초록에 따르면 이 메모는 2차대전과 한국·베트남 전쟁에서 쓰였다)
- Wallis, W. A. (1980). The Statistical Research Group, 1942–1945. Journal of the American Statistical Association, 75(370), 320-330. DOI: 10.1080/01621459.1980.10477469 (Wald가 속했던 컬럼비아대 통계연구그룹(SRG)의 회고)
- Brown, S. J., Goetzmann, W. N., Ibbotson, R. G., & Ross, S. A. (1992). Survivorship Bias in Performance Studies. Review of Financial Studies, 5(4), 553-580. DOI: 10.1093/rfs/5.4.553 (검증: 2026-05-31, Oxford Academic·논문 표지 이미지에서 "Volume 5, number 4, pp. 553-580" 확인)
- Denrell, J. (2003). Vicarious Learning, Undersampling of Failure, and the Myths of Management. Organization Science, 14(3), 227-243. DOI: 10.1287/orsc.14.2.227.15164 (CrossRef 기준 14권 3호. DOI 문자열의 "14.2"는 호수가 아니다)
원문 핵심 인용
"In general this conditioning induces a spurious relationship between observed return and total risk for those securities that survive to be included in the sample." — Brown, Goetzmann & Ross (1995), "Survival", Journal of Finance 50(3), abstract verbatim 검증: 2026-09-27, CrossRef 초록과 글자 대조.
"The organizations that can be observed at any point in time are the survivors of a selective process that has eliminated a large fraction of the underlying population." — Denrell (2003), Organization Science 14, abstract verbatim 검증: 2026-09-27, CrossRef 초록과 글자 대조.
"In the data we find the annual bias increases from 0.07% for 1-year samples to 1% for samples longer than 15 years." — Carhart, Carpenter, Lynch & Musto (2002), Review of Financial Studies 15(5), abstract verbatim 검증: 2026-09-27, OpenAlex 초록과 글자 대조.
Wald(1943) 메모 원문은 열람하지 못해 인용하지 않는다.
핵심 정의·메커니즘
원전 정의
- Wald의 문제 설정: Wald는 살아 돌아온 기체의 피격 자료만으로 부위별 취약성(맞았을 때 격추될 확률)을 추정하는 방법을 만들었다. 이 작업은 컬럼비아대 통계연구그룹(SRG)의 메모 시리즈로 나왔고, 2차대전과 한국·베트남 전쟁에서 쓰였다 [Wald 1943; Mangel & Samaniego 1984]. 메모 원문은 열람하지 못해 Mangel & Samaniego (1984)의 해설 초록을 따른다.
- 통계학의 정의: 관찰 가능한 표본이 결과(생존·성공·잔존)에 따라 걸러져 있으면, 그 표본에서 추정한 관계는 전체 모집단의 관계와 다를 수 있다. 계량경제학은 이를 표본 선택 편향(sample selection bias)으로 다루고, 누락 변수 문제로 보아 보정한다 [Heckman 1979].
- 조직 연구의 정의: Denrell (2003)은 "The organizations that can be observed at any point in time are the survivors of a selective process that has eliminated a large fraction of the underlying population."이라고 썼다. 실패가 관찰에서 빠지는 현상을 실패의 과소표집(undersampling of failure)이라 불렀다.
- 판단 심리학의 정의: Koehler & Mercer (2009)는 골라낸(또는 골라냈을 수 있는) 자료를 그만큼 할인하지 못하는 것을 선택 무시(selection neglect)로 정의했다. 생존 편향이 자료에 생긴 문제라면, 선택 무시는 그 자료를 읽는 사람 쪽의 문제다.
| 개념 | 내용 | |---|---| | 절단 표본(truncated sample) | 표본이 선택 과정으로 잘려 있음. 잘린 부분(실패·탈락)은 관찰 불가 | | 실패의 과소표집 | 실패 사례가 기록·관찰에서 빠짐 [Denrell 2003] | | 예측력의 외양 | 생존으로 잘린 표본에서만 나타나는 가짜 지속성·예측력 [Brown et al. 1992] | | 선택 무시 | 골라낸 자료를 전체의 대표처럼 읽음 [Koehler & Mercer 2009] |
작동 기제
두 단계가 겹쳐서 생긴다. 자료가 걸러지는 단계(통계)와, 걸러진 자료를 그대로 믿는 단계(인지)다.
- ① 결과에 따른 탈락 → 절단 표본: 결과 변수가 기준 아래인 대상이 표본에서 빠진다. 펀드는 성과 부진으로 청산·합병되고, 조직은 파산한다 [Brown et al. 1992; Denrell 2003].
- ② 위험과 생존의 결합 → 가짜 상관: 변동성이 큰 대상은 망하거나 크게 성공한다. 망한 쪽이 빠지면 살아남은 고위험 대상의 평균이 높아 보여, 전체 모집단에서는 성과와 무관한 위험한 관행이 생존자 표본에서는 성과와 양(+)의 관계처럼 보인다 [Denrell 2003]. 증권 수익률에서도 생존 조건이 수익률과 위험 사이에 가짜 관계를 만든다 [Brown, Goetzmann & Ross 1995].
- ③ 인과 구조로 보면 충돌변수 조건화: 생존은 여러 원인(예: 관행과 운)이 함께 만드는 결과다. 이런 공통 결과 변수(충돌변수, collider)로 표본을 거르면 원인들 사이에 없던 상관이 생긴다 [Elwert & Winship 2014].
- ④ 걸러진 표본 → 판단: 사람은 받은 표본의 통계는 꽤 정확히 요약하지만, 그 표본이 어떤 방식으로 뽑혔는지는 고려하지 못한다. Fiedler (2000)는 이를 표집 제약을 이해하고 통제하는 메타인지 능력의 부족으로 설명했다 [Fiedler 2000; Fiedler et al. 2000]. 이 부족을 이후 메타인지 근시(metacognitive myopia)라는 이름으로 묶었다 [Fiedler 2012].
- ⑤ 표본 공간을 떠올리지 못함: 펀드 광고 실험에서 사람들은 광고된 성과를 전체 펀드를 대표하는 자료처럼 받아들였다. 저자들은 그 원인을 밑에 깔린 표본 공간을 떠올리지 않는 일반적 경향으로 봤고, 선택 과정이나 골라낸 자료의 가치를 몰라서 생긴 일로 보지 않았다 [Koehler & Mercer 2009].
- ⑥ 다기간 생존 규칙 → 기간이 길수록 커짐: 여러 해 성과로 생존이 정해지면 표본 기간이 길수록 편향이 커진다 [Carhart et al. 2002].
언제 강해지고 언제 약해지나
- 탈락과 결과의 연결: 탈락이 결과와 무관하게(무작위로) 일어나면 남은 사례만 분석해도 인과 효과가 그대로 식별된다. 처치가 탈락에 영향을 줘도 마찬가지다. 결과와 탈락에 함께 영향을 주는 숨은 요인이 있을 때 편향이 생긴다 [Elwert & Winship 2014].
- 관찰 기간: 펀드 연간 편향은 표본 1년에서 0.07%, 15년 이상에서 1%로 커졌다 [Carhart et al. 2002].
- 위험의 크기: 변동성이 큰 관행일수록 생존자 표본에서 좋아 보이는 쪽으로 왜곡된다 [Denrell 2003].
- 선택의 투명성: 광고가 자료를 골라냈다는 사실을 드러내면 선택 무시가 사라졌다 [Koehler & Mercer 2009].
- 표본 공간 단서: 크고 잘 알려진 회사의 광고에서는 표본 공간을 떠올리게 하는 간단한 외부 단서로 선택 무시가 줄었다. 통계적 추론 능력의 개인차도 영향을 줬다 [Koehler & Mercer 2009].
- 전문성: 초보 투자자와 금융 전문가 모두 선택 무시에 빠졌다 [Koehler & Mercer 2009].
- 표집 방향: 원인 쪽으로 표본을 뽑으면 판단이 정확했고, 결과 쪽으로 뽑으면 드문 사건이 표본에 크게 과대 대표되어 판단이 부풀었다 [Fiedler et al. 2000].
어떻게 재나
- 생존 편향 없는 데이터베이스와의 비교: 청산·합병된 대상까지 포함한 전체 표본 수익률과 생존자만의 수익률 차이를 연 단위로 잰다. Elton et al. (1996)은 1976년 말 존재한 모든 펀드를 추적하고 합병 조건까지 반영해 수익률을 계산했다 [Elton, Gruber & Blake 1996; Carhart et al. 2002].
- 기록 자료 분석: 광고된 펀드가 전체 펀드 가운데 성과 순위 몇 번째인지 본다 [Koehler & Mercer 2009 Study 1].
- 판단 실험: 광고에 선택 과정을 드러내는지, 표본 공간 단서를 주는지를 바꿔 투자 판단을 비교한다 [Koehler & Mercer 2009 Study 2·3]. 참가자가 스스로 원인 쪽 또는 결과 쪽으로 사례를 뽑게 한 뒤 조건부 확률 추정을 받는 능동 표집 과제도 있다 [Fiedler et al. 2000].
- 형식 모형·시뮬레이션: 전체 모집단을 만들고 생존 규칙으로 걸러 가짜 상관이 생기는지 본다 [Brown et al. 1992; Denrell 2003].
- 인과 그래프(DAG): 선택 변수가 처치와 결과 사이 경로의 충돌변수인지 그려서 편향 여부를 판정한다 [Elwert & Winship 2014].
- 선택 모형 보정: Heckman 2단계 추정처럼 선택 확률을 모형에 넣는다 [Heckman 1979].
- Wald 방식: 살아 돌아온 기체의 피격 자료만으로 부위별 격추 확률을 추정한다 [Mangel & Samaniego 1984].
헷갈리는 개념과의 차이
| 개념 | 핵심 | 생존 편향과의 차이 | |---|---|---| | 충돌변수 조건화·버크슨 편향 | 공통 결과로 표본을 거르면 원인들 사이에 가짜 상관이 생김 | 더 넓은 상위 개념이다. 생존 편향은 "생존"이라는 결과로 거른 특수한 경우다. 결과로 거르는 것 말고도 결과에 영향받은 변수, 처치 이전 변수로 걸러도 같은 편향이 생긴다 [Elwert & Winship 2014] | | 탈락 편향(attrition bias) | 추적 연구에서 참가자가 중도 이탈 | 같은 구조의 편향이다 [Elwert & Winship 2014]. 탈락 편향은 보통 한 연구 안에서 추적 중 빠진 사람을 말하고, 생존 편향은 표본이 만들어지기 전에 이미 탈락이 끝난 경우를 주로 말한다 | | 기저율 무시 | 전체에서 그 사건이 얼마나 흔한지를 판단에 넣지 않음 | 기저율 정보가 눈앞에 있어도 무시하는 문제다. 생존 편향에서는 실패군이 자료에서 아예 사라져 분모를 알 수 없다. Fiedler et al. (2000)은 조건부 확률 판단의 오류가 기저율 무시보다 표집 방식에서 나온다고 봤다 | | 확증 편향 | 가설에 맞는 증거를 골라 찾음 | 확증 편향은 찾는 사람이 고른다. 생존 편향은 세상이 먼저 골라 놓은 자료를 받는다 |
주요 후속 연구·메타분석
생존 편향 자체를 모은 메타분석은 없다. 펀드 연구가 같은 편향을 서로 다른 데이터로 반복 추정해 왔고, 판단 심리학은 사람이 걸러진 자료를 어떻게 읽는지를 따로 실험했다.
### Koehler & Mercer (2009) — 투자자와 전문가 모두 골라낸 광고 성과를 대표 자료처럼 읽었다 Management Science, 55(7), 1107-1121. DOI: 10.1287/mnsc.1090.1013
- 설계: 기록 자료 연구 1개와 통제 실험 2개. Study 1은 펀드 회사가 광고한 펀드가 성과 순위에서 어디쯤인지 봤다. Study 2는 초보 투자자와 금융 전문가에게 펀드 광고를 보여 주고, 광고가 자료를 골라냈다는 사실을 드러내는지 여부를 바꿨다. Study 3은 크고 잘 알려진 회사의 광고에 표본 공간 단서를 주는지를 바꿨다.
- 결과: 광고된 펀드의 성과 순위 중앙값은 상위 79~100 백분위에 있었다. 초보자와 전문가 모두 광고가 선택성을 투명하게 드러내지 않는 한 선택 무시에 빠졌다. 간단한 외부 단서로 선택 무시가 줄었지만 통계적 추론 능력의 개인차도 영향을 줬다. 초록에 효과크기 수치는 없다.
- 의미와 한계: 생존 편향의 인지 쪽 절반을 실험으로 보인 연구다. 저자들은 원인을 표본 공간을 떠올리지 않는 일반적 경향으로 봤다. 금융 광고 한 영역의 결과다. (초록 기준)
### Fiedler, Brinkmann, Betsch & Wild (2000) — 사람은 표본은 정확히 요약하지만 표본이 어떻게 뽑혔는지는 고려하지 못한다 Journal of Experimental Psychology: General, 129(3), 399-418. DOI: 10.1037/0096-3445.129.3.399
- 설계: 실험 4개. 실험 2는 참가자가 정보를 직접 찾아 모은 뒤 조건부 확률을 추정하는 능동 표집 과제였다. 원인(예측 변수) 쪽으로 뽑는 조건과 결과(기준 변수) 쪽으로 뽑는 조건을 비교했다. 실험 3은 참가자가 표집 방식을 스스로 고르게 했고, 실험 4는 표집 방식이 적절한지 직접 평가하게 했다.
- 결과: 원인 쪽으로 뽑으면 추정하려는 조건부 확률이 표본에 보존되어 판단이 꽤 정확했다. 결과 쪽으로 뽑으면 드문 사건이 표본에 크게 과대 대표되었고, 표본의 편향이 판단의 편향보다 더 컸다. 판단은 실제로 얻은 표본의 통계를 꽤 정확히 반영했지만, 참가자는 자기 표집 방식이 만든 논리적 제약을 이해하지 못했다.
- 의미와 한계: 생존자 표본처럼 결과로 걸러진 자료를 받으면, 사람은 그 자료를 충실히 요약하는 바로 그 과정에서 틀린다. 조건부 확률 과제의 결과이고, 초록에 수치가 없어 크기는 적지 않는다. (초록 기준)
### Denrell (2003) — 실패가 빠진 표본은 위험한 관행을 좋아 보이게 만든다 Organization Science, 14(3), 227-243. DOI: 10.1287/orsc.14.2.227.15164
- 설계: 형식 모형. 조직이 다른 조직을 보고 배우는 상황에서, 관찰 가능한 조직이 생존 과정을 거친 표본이고 책·경영 언론이 성공한 조직에 쏠린다는 두 조건을 넣었다.
- 결과: 전체 모집단에서는 성과와 무관한 위험한 관행이 생존자 표본에서는 성과와 양의 관계로 보였다. 신뢰도가 낮고 정보가 적은 관행, 자원을 한곳에 몰아 쓰는 관행이 신뢰도 높고 분산된 관행보다 우수해 보이게 된다.
- 의미와 한계: 성공 기업의 공통점을 찾는 경영서가 왜 설득력 있으면서도 틀릴 수 있는지를 설명한다. 형식 모형이라 실제 관행별 편향 크기는 따로 재지 않았다. (초록 기준)
### Carhart, Carpenter, Lynch & Musto (2002) — 생존 기간이 길수록 펀드 성과가 더 부풀려진다 Review of Financial Studies, 15(5), 1439-1463. DOI: 10.1093/rfs/15.5.1439
- 설계: Carhart (1997)의 미국 뮤추얼펀드 자료로 생존 문제를 이론과 실증으로 함께 분석했다. 생존이 여러 해 성과로 정해지는 경우를 모형으로 만들었다.
- 결과: 생존이 다기간 성과에 달려 있으면 평균 성과의 생존 편향은 표본 길이에 따라 커진다. 실제 자료에서 연간 편향은 1년 표본 0.07%에서 15년 넘는 표본 1%로 커졌다. 생존자만 보면 성과 지속성의 증거가 약해졌다.
- 의미와 한계: 생존 편향 크기가 고정값이 아니고 표본 설계에 따라 달라진다는 근거다. 미국 뮤추얼펀드 한 자료의 추정치다. (초록 기준)
### Elwert & Winship (2014) — 생존 편향은 충돌변수로 표본을 거른 결과다 Annual Review of Sociology, 40, 31-53. DOI: 10.1146/annurev-soc-071913-043455
- 설계: 인과 그래프(DAG)로 내생적 선택 편향을 정리한 리뷰. 사회계층·문화·네트워크·인구학·교육 연구의 사례를 다시 분석했다.
- 결과: 내생적 선택 편향은 처치와 결과 양쪽에 영향받는 변수(충돌변수)로 표본을 거르거나 통제할 때 생긴다. 선택적 무응답, 탈락 편향, 헤크만 선택 편향, 표본 선택 편향이 같은 구조다. 할리우드 예시에서 재능과 외모가 모집단에서 무관해도 성공한 배우만 보면 둘 사이에 가짜 상관이 생긴다. 추적 연구의 탈락은 완전히 무작위이거나 처치만 탈락에 영향을 줄 때는 편향을 만들지 않고, 결과와 탈락에 함께 영향을 주는 숨은 요인이 있을 때 편향을 만든다.
- 의미와 한계: "종속변수로 표본을 거르지 말라"는 흔한 조언이 너무 좁다고 지적한다. 결과, 결과에 영향받은 변수, 처치 이전 변수 가운데 무엇으로 걸러도 같은 편향이 생길 수 있다. 추정 방법은 짧게만 다루고 다른 문헌을 소개한다. (전문 읽음)
그 밖의 문헌
- Fiedler, K. (2000). Beware of samples! A cognitive-ecological sampling approach to judgment biases. Psychological Review, 107(4), 659-676. DOI: 10.1037/0033-295X.107.4.659 — 표본은 가까움·두드러짐·주의 초점 때문에 체계적으로 치우치고, 사람은 표집 제약을 이해하고 통제하는 메타인지 능력이 없어 그 치우침이 판단으로 넘어간다는 이론. 기저율 무시·확증 편향·착각 상관·심슨의 역설을 같은 틀로 설명했다.
- Fiedler, K. (2012). Meta-cognitive myopia and the dilemmas of inductive-statistical inference. Psychology of Learning and Motivation, 1-55. DOI: 10.1016/B978-0-12-394293-7.00001-7 — 표본의 출처를 따지지 못하는 경향을 메타인지 근시로 묶은 리뷰(서지만 확인).
- Heckman, J. J. (1979). Sample selection bias as a specification error. Econometrica, 47(1), 153-161. DOI: 10.2307/1912352. 표본 선택을 누락 변수 문제로 보고 2단계 추정으로 보정하는 방법.
- Brown, S. J., Goetzmann, W. N., & Ross, S. A. (1995). Survival. Journal of Finance, 50(3), 853-873. DOI: 10.1111/j.1540-6261.1995.tb04039.x. 살아남은 증권(시장)만 표본에 넣으면 관찰 수익률과 위험 사이에 가짜 관계가 생긴다. 저자들은 이 결과가 주식 프리미엄 퍼즐(주식 수익률이 위험에 비해 지나치게 높아 보이는 현상)에 바로 적용된다고 봤다.
- Malkiel, B. G. (1995). Returns from investing in equity mutual funds 1971 to 1991. Journal of Finance, 50(2), 549-572. DOI: 10.1111/j.1540-6261.1995.tb04795.x. 매년 존재한 모든 주식형 펀드를 넣자 생존 편향이 앞선 추정보다 컸고, 펀드들은 전체로 보아 기준 지수보다 낮은 성과를 냈다. 1980년대에는 성과 지속성도 사라졌다.
- Linnainmaa, J. T. (2013). Reverse survivorship bias. Journal of Finance, 68(3), 789-813. DOI: 10.1111/jofi.12030. 불운으로 청산된 펀드 때문에 알파가 과소추정되는 역방향 편향을 구조 모형으로 보정. 보정 뒤 약 12%의 펀드가 수수료 뺀 4요인 알파 연 2% 초과. (초록 기준)
- Elton, E. J., Gruber, M. J., & Blake, C. R. (1996). Survivor bias and mutual fund performance. Review of Financial Studies, 9(4), 1097-1120. DOI: 10.1093/rfs/9.4.1097. 1976년 말 존재한 모든 펀드를 합병 조건까지 반영해 추적해 생존 편향 크기를 추정했다. 연간 편향 수치는 초록에 없고 원문을 구하지 못해 적지 않는다.
- Fung, W., & Hsieh, D. A. (2000). Performance characteristics of hedge funds and commodity funds: Natural vs. spurious biases. Journal of Financial and Quantitative Analysis, 35(3), 291-307. DOI: 10.2307/2676205. 헤지펀드 데이터의 생존 편향과 기록 편향을 분리해 추정.
- Mauboussin, M. J. (2012). The Success Equation: Untangling Skill and Luck in Business, Sports, and Investing. Harvard Business Review Press. 성공에서 운과 실력을 분리해야 하며, 생존자만 보면 운을 실력으로 잘못 귀인한다는 대중서 종합. 원문 인용 없이 개념만 참조.
비판·한계
재현성
- 펀드 편향 추정: 여러 연구가 서로 다른 데이터로 같은 편향을 반복해 확인했다. 매년 존재한 모든 주식형 펀드를 넣은 분석은 생존 편향이 앞선 추정보다 크다고 봤고 [Malkiel 1995], 청산·합병 펀드를 모두 추적한 분석이 뒤따랐다 [Elton, Gruber & Blake 1996]. 크기는 표본 기간에 따라 연 0.07%~1%로 달랐다 [Carhart et al. 2002].
- 판단 실험: 선택 무시는 기록 자료 1개와 실험 2개에서 나타났고, 초보자와 전문가 모두에서 확인됐다 [Koehler & Mercer 2009]. 결과 쪽 표집이 판단을 왜곡한다는 결과는 한 논문의 실험 4개에서 반복됐다 [Fiedler et al. 2000]. 다른 연구진의 사전등록 재현은 찾지 못했다.
대표 반론
- "생존자 자료도 쓸모 있다": 생존자 표본도 실패군과 대조하면 유효한 정보를 준다. Wald의 방법 자체가 생존 기체의 자료만으로 취약 부위를 추정한 것이다 [Mangel & Samaniego 1984]. 문제는 생존 자료를 쓰는 것보다 선택 과정을 모형에 넣지 않는 것이다.
- "탈락이 있다고 늘 편향은 아니다": 탈락이 결과와 무관하거나 처치만 탈락에 영향을 주면 남은 사례만 분석해도 인과 효과가 식별된다 [Elwert & Winship 2014]. 생존 편향을 들이대려면 탈락이 결과(또는 결과의 원인)와 연결됐는지를 먼저 보여야 한다.
- "사람이 선택 과정을 모르는 탓이다"에 대한 반론: 선택 무시가 자료 선택 과정을 몰라서 생긴다는 설명에 대해, Koehler & Mercer (2009)는 표본 공간을 떠올리지 않는 일반적 경향이 원인이라고 봤다. 선택성을 드러내거나 표본 공간 단서를 주면 줄었다는 결과가 이 해석을 받친다.
- 역방향 생존 편향: 펀드는 성과가 나쁘면 사라지는데, 그 나쁜 성과의 일부가 그 펀드만의 불운이었다면 펀드별로 추정한 초과수익(알파)은 실제 실력보다 낮게 나온다. Linnainmaa (2013)는 이 편향을 구조 모형으로 보정했다. 보정 뒤에도 대부분 펀드의 알파는 음수였지만 펀드별 회귀가 말하는 만큼 낮지는 않았고, 약 12%의 펀드는 수수료를 뺀 4요인 알파가 연 2%를 넘었다. 탈락을 다루는 방식에 따라 실력이 낮게 추정될 수도 있다.
- "보정도 틀릴 수 있다": 탈락 대상의 마지막 수익률 처리, 합병 수익률 반영 방식에 따라 추정치가 달라진다 [Elton, Gruber & Blake 1996; Carhart et al. 2002]. 한 숫자를 모든 시장·기간에 옮겨 쓰면 안 된다.
- Wald 일화의 과장: 탄흔 점을 찍은 비행기 그림은 후대 시각화이고, "엔진·조종석에 장갑" 같은 구체 권고도 후대 설명이다. Wald 메모의 실제 내용은 부위별 격추 확률을 추정하는 통계 방법이다 [Mangel & Samaniego 1984].
- 일상 주장의 근거 수준: "옛날 물건이 더 좋다" 같은 일상 주장에 대한 정량 연구는 없다. 논리는 같지만 크기를 말할 수 없다.
쓰면 안 되는 상황
- 탈락이 결과와 무관한 표본: 무작위 이탈에 생존 편향을 들이대면 멀쩡한 결론을 버리게 된다 [Elwert & Winship 2014].
- 실패군 자료가 이미 들어 있는 분석: 청산·합병된 대상을 포함한 데이터베이스를 쓴 결과에 같은 의심을 반복하면 안 된다 [Elton, Gruber & Blake 1996; Carhart et al. 2002].
- 모든 성공담을 거짓으로 볼 때: 성공 사례를 실패 사례와 비교할 수 있으면 유효한 증거다. 분모 없이 성공만 볼 때가 문제다 [Denrell 2003].
관련 모델
- base-rate-neglect — 분모(기저율) 무시. 생존 편향은 분모가 제거되어 보이지 않는 특수 사례.
- regression-to-mean — 극단적 성공의 운 성분. 생존자 표본은 극단값에 편중.
- confirmation-bias — 가설에 맞는 성공 사례만 수집.
- opportunity-cost / sunk-cost — 생존 편향으로 과대평가된 전략을 계속 좇을 때의 비용.
사고 도구 다른 글