프리모템 / 레드팀 사고 (Premortem / Red Teaming)

처음 실린 날 2026-05-31 · 마지막으로 고친 날 2026-09-27

다른 이름: 프리모템 · 사전 부검 · Premortem · Red Teaming

한 줄 정의

계획이 이미 실패했다고 가정하고 그럴듯한 실패 원인을 찾아내거나, 일부러 반대 역할을 맡아 취약점을 공격해 보는 사고도구 [Klein 2007].

일상 한 줄

실패한 뒤 후회하지 말고, 결정 전에 실패 원인을 미리 써본다.

흔한 장면

새 프로젝트가 성공할 이유만 적고 실패 경로를 말하지 않는다.
회의에서 반대 의견을 내면 분위기 깨는 사람처럼 보인다.
중요한 결정이 리더의 첫 의견에 맞춰 수렴한다.
시작 전에도 보였던 위험이 실패한 뒤에야 모두에게 뻔한 일로 보인다.

왜 빠지나 (메커니즘)

예측 모드의 한계: 결과를 "일어날 수도 있는 일"로 두면 설명이 짧고 일반론에 머문다. 결과가 이미 일어났다고 가정하면(사후 가정, prospective hindsight) 설명이 길어지고 구체적인 사건 이유가 늘어난다 [Mitchell et al. 1989]. Klein (2007)은 이 연구를 "원인 식별 능력 30% 향상"으로 소개했지만, 이 수치는 원 논문 초록에 없고 원 연구는 이유가 맞는지(정확도)를 재지 않았다.
확정 사건이 더 풍부한 설명을 낳음: Mitchell et al.의 실험에서, 불확실한 사건보다 "확실히 일어난" 사건의 설명이 더 길고, 일화적(episodic) 원인의 비율이 높았으며 과거 시제로 표현됐다 — 실패를 기정사실로 두면 사고가 구체화된다 [Mitchell et al. 1989].
합의 압력과 과몰입: 계획 단계에서는 우려를 말하면 눈치 없어 보일까 봐 입을 다문다. 프로젝트에 깊이 몰입한 사람일수록 "어뢰가 날아와도 전진" 식 태도를 보인다. 프리모템은 실패 이유를 적는 일을 모두의 과제로 만들어 이 침묵을 깬다 [Klein 2007].
반대 가능성을 떠올려야 편향이 줄어든다: 개인에게 "반대 경우를 생각해 보라(consider-the-opposite)"고 하면, "공정하게 판단하라"는 지시보다 편향된 판단이 더 줄었다 [Lord et al. 1984].
계획 오류: 사람들은 과제 완료 시간을 체계적으로 짧게 잡는다. 과거 경험보다 계획이 잘 풀리는 미래 장면에 초점을 맞추기 때문이다 [Buehler et al. 1994]. 프리모템은 실패 장면을 강제로 떠올리게 해 이 초점을 옮긴다.

빠져나오는 법

1. "6개월 후 이 계획은 실패했다"고 가정한다. — 근거: 실험 1건(계획 자신감 하락, 대학생 178명) [Veinott et al. 2010]. 실제 계획 성과 향상은 재지 않았다 2. 각자 독립적으로 실패 원인을 쓴다. 쉽게 떠오르는 만큼만 적고 개수를 억지로 채우지 않는다. 대안을 10개씩 짜내게 하면 떠올리기 어려움 때문에 원래 판단이 오히려 굳어졌다 [Sanna et al. 2002]. — 근거: 실험 Sanna et al. 2002 3. 가장 가능성 높고 치명적인 원인을 고른다. — 근거 수준: 경험칙(직접 검증 연구 없음) 4. 해당 원인을 줄이는 조기 경보와 대응책을 붙인다. — 근거: 실험 1건(개선안을 만든 뒤 자신감 회복 폭이 가장 컸음) [Veinott et al. 2010]. 대응책의 실제 효과는 검증되지 않았다 5. 반대 역할을 공식적으로 맡겨 개인 공격이 되지 않게 한다. 다만 역할로 맡긴 반대는 실제 반대 의견보다 효과가 약하므로 [Nemeth et al. 2001], 실제로 다르게 생각하는 사람을 회의에 부르는 편이 낫다. — 근거: 메타분석 [Schwenk 1990], 실험 [Nemeth et al. 2001]

함께 쓰기 좋은 도구

집단 사고 — 만장일치 압력 점검
2차 사고 — 부작용과 다음 효과
심리적 안전 — 반대 의견이 나올 수 있는 환경
깊은 불확실성 — 여러 미래에서 실패 조건 탐색

통념이 무너지는 순간

"긍정적으로 생각해야 성공한다"

⚠ 흔한 말: "실패를 미리 상상하면 김새고 추진력만 떨어진다. 일단 잘 될 거라 믿고 밀어붙여야 한다." ✓ 학술: Mitchell, Russo & Pennington (1989) — 사건을 "확실히 일어난 일"로 두면 설명이 더 길어지고 구체적 사건 이유의 비율이 높아졌다. 실패를 상상하는 일은 취약점을 찾는 작업이다. 대학생 178명 실험에서 프리모템은 100점 척도 계획 자신감을 평균 25.0점 낮춰, 장단점 쓰기(14.0점)나 단점만 쓰기(12.4점)보다 더 크게 낮췄다 [Veinott et al. 2010]. [Mitchell et al. 1989]

"위험은 예측 회의에서 충분히 다룬다"

⚠ 흔한 말: "어차피 계획 회의에서 '뭐가 잘못될 수 있나'를 묻는다. 굳이 실패를 기정사실로 둘 필요 없다." ✓ 학술: Klein (2007) — 일반적 비평 회의는 "무엇이 잘못될 수 있나"를 묻지만, 프리모템은 "환자가 이미 사망했다"고 가정하고 "무엇이 잘못됐나"를 묻는다. 이 차이가 침묵하던 우려를 끌어내고 실행 중 조기 경보 신호에 민감하게 만든다. [Klein 2007]

"반대 의견은 갈등을 만든다"

⚠ 흔한 말: "반대하는 사람은 분위기를 깨고 팀워크를 해친다." ✓ 학술: Lord, Lepper & Preston (1984) — 개인이 반대 가능성을 스스로 떠올리게 하면 편향된 판단이 줄었다. 집단에서 반대 역할을 두는 악마의 대변인(devil's advocate) 기법은 전문가 한 사람의 추천을 그대로 받는 방식보다 결정을 개선했다 [Schwenk 1990]. 다만 역할로 연기한 반대는 실제 소수 의견보다 약했다 [Nemeth et al. 2001]. 반대 의견은 절차로 받아 줄 때 결정의 질을 높인다. [Lord et al. 1984]

1차 출처

Mitchell, D. J., Russo, J. E., & Pennington, N. (1989). Back to the future: Temporal perspective in the explanation of events. Journal of Behavioral Decision Making, 2(1), 25–38. https://doi.org/10.1002/bdm.3960020103 — 사후 가정(prospective hindsight) 실험.
Klein, G. (2007). Performing a project premortem. Harvard Business Review, 85(9), 18–19. — 프리모템 절차를 처음 제안한 짧은 기고문(동료 심사 논문 아님).
Lord, C. G., Lepper, M. R., & Preston, E. (1984). Considering the opposite: A corrective strategy for social judgment. Journal of Personality and Social Psychology, 47(6), 1231–1243. https://doi.org/10.1037/0022-3514.47.6.1231
Buehler, R., Griffin, D., & Ross, M. (1994). Exploring the "planning fallacy": Why people underestimate their task completion times. Journal of Personality and Social Psychology, 67(3), 366–381. https://doi.org/10.1037/0022-3514.67.3.366 — 프리모템이 줄이려는 계획 오류.

원문 핵심 인용

"Research conducted in 1989 by Deborah J. Mitchell, of the Wharton School; Jay Russo, of Cornell; and Nancy Pennington, of the University of Colorado, found that prospective hindsight—imagining that an event has already occurred—increases the ability to correctly identify reasons for future outcomes by 30%." — Klein (2007), HBR 85(9). (Klein의 요약이다. Mitchell et al. 1989 초록에는 30%도, 정확도 측정도 나오지 않는다.)

"Unlike a typical critiquing session, in which project team members are asked what might go wrong, the premortem operates on the assumption that the 'patient' has died, and so asks what did go wrong." — Klein (2007), HBR 85(9).

"Explanations for sure events tended to be longer, to contain a higher proportion of episodic reasons, and to be expressed in past tense." — Mitchell, Russo & Pennington (1989), JBDM 2(1), 초록.

핵심 정의·메커니즘

### 원전 정의
사후 가정(prospective hindsight): Mitchell, Russo & Pennington (1989)은 이를 "미래 사건을 이미 일어난 일처럼 설명하는 것", 곧 시간을 앞으로 건너갔다가 뒤돌아보는 일로 정의했다("generating an explanation for a future event as if it had already happened") [Mitchell et al. 1989].
프리모템(premortem): 계획을 실행하기 전에 "이 계획은 이미 크게 실패했다"고 선언하고, 참가자가 각자 실패 이유를 적게 하는 회의 기법 [Klein 2007]. 의학의 사후 부검(postmortem)을 뒤집은 이름이다. Klein은 일반 비평 회의가 "무엇이 잘못될 수 있나"를 묻는 데 비해 프리모템은 "무엇이 잘못됐나"를 묻는다고 구분했다.
레드팀(red team): 우리 계획을 공격하는 역할을 따로 맡은 사람·팀. 실험 문헌에서는 두 형태로 연구됐다. 악마의 대변인(devil's advocacy)은 한 사람이 제안의 약점을 공격하는 방식이고, 변증법적 탐구(dialectical inquiry)는 반대 전제에 선 대안 계획을 따로 세워 맞붙이는 방식이다 [Schwenk 1990].

Klein의 절차 [Klein 2007] 1. 팀이 계획을 브리핑받는다. 2. 리더가 "프로젝트가 크게 실패했다"고 알린다. 3. 몇 분 동안 각자 조용히 실패 이유를 적는다. 평소 눈치 보여 말 못 하던 것까지. 4. 프로젝트 관리자부터 한 명씩 한 가지씩 돌아가며 읽어, 겹치지 않는 이유로 목록을 채운다. 5. 관리자가 목록을 보고 계획을 보강한다.

### 작동 기제 실패를 기정사실로 둔다 → 설명이 구체적으로 바뀐다 → 반대 방향 정보를 찾는다 → 계획 자신감이 내려간다 → 드러난 약점으로 계획을 고친다.

1. 결과를 확정하면 설명의 종류가 바뀐다. Mitchell et al. (1989) 실험 1에서 사건을 미래/과거에 두는 것(시간 방향)은 영향이 작았고, 결과가 확실한지 불확실한지가 설명을 크게 바꿨다. 확실한 사건에 대한 설명은 더 길었고, 특정 사건을 드는 일화적(episodic) 이유의 비율이 높았으며, 과거 시제로 쓰였다. 실험 2는 불확실성이 설명에 쓰는 시간은 그대로 두고 어떤 종류의 설명을 고르는지를 바꾼다는 해석을 지지했다 [Mitchell et al. 1989]. 2. 실패 틀은 반대 가능성을 떠올리게 한다. 반대 경우를 떠올리라는 지시는 "공정하게 판단하라"는 지시보다 편향된 증거 해석과 편향된 가설 검증을 더 줄였다 [Lord et al. 1984]. 숫자 추정에서도, 주어진 기준값(닻)이 왜 맞지 않는지 이유를 적게 하자 전문가 참가자의 기준점 효과(anchoring)가 줄었다. 두 번째 연구에서 기준점 효과와 반대 떠올리기의 효과는 서로 더해지는 방식으로 작용했다 [Mussweiler et al. 2000]. 집단 수준에서도, 과제 전에 "다르게 될 수도 있었던" 일을 떠올리게 하는 반사실적 사고 방식(counterfactual mind-set)을 켜 둔 집단은 챌린저호 사고를 본뜬 과제에서 맞는 결정을 내릴 가능성이 높았고, 처음 가설을 반박하는 정보를 더 많이 찾았다 [Kray & Galinsky 2003]. 3. 자신감이 내려간다. 대학생 178명이 신종플루(H1N1) 대응 계획을 평가한 실험에서, 프리모템 조건은 100점 척도 계획 자신감이 평균 25.0점 내려갔다. 장단점 쓰기는 14.0점, 단점만 쓰기는 12.4점 내려갔고, 기준 조건은 내려가지 않았다 [Veinott et al. 2010]. 저자들은 프리모템의 감소 폭이 단점만 쓰기의 두 배 가까이 되는 점을 들어, "결과를 확정하는 효과"와 "실패에 초점을 두는 효과"가 따로 더해진다고 해석했다. 4. 말 못 하던 우려가 나온다. 토론 전에 각자 적게 해 리더·목소리 큰 사람 쪽으로 의견이 모이기 전에 우려를 받아 낸다. Klein (2007)은 90분 킥오프 회의 내내 아무도 말하지 않았던 일정 제약이 프리모템에서 처음 나온 사례를 들었다(사례 보고이며 통제 실험은 아니다). 5. 계획 오류를 교정한다. 사람들은 과제 완료 시간을 예측할 때 과거 경험보다 계획대로 풀리는 미래 장면에 집중한다. 과거 경험을 예측에 연결하라고 지시하자 이 낙관 편향이 사라졌다 [Buehler et al. 1994]. 프리모템은 실패 장면을 떠올리게 해 같은 방향으로 초점을 옮긴다.

### 언제 강해지고 언제 약해지나
이유를 너무 많이 짜내면 역효과가 난다. 다른 결과를 떠올려 사후 확신 편향을 줄이려 한 두 실험에서, 대안을 2개 쓴 참가자는 사후 확신 효과가 유의하게 나타나지 않았지만 10개 쓴 참가자는 오히려 편향이 커졌다. 10개를 짜내는 일이 어렵게 느껴지자 "다른 결과는 별로 없었다"고 추론했기 때문이라고 저자들은 해석했다 [Sanna et al. 2002]. 프리모템에 직접 적용한 실험은 아니지만, 실패 이유의 개수를 억지로 채우게 하면 같은 방향의 역효과가 날 수 있다. Veinott et al. (2010)도 이유의 개수·내용·떠올리기 어려움이 자신감에 영향을 줄 수 있다며 후속 과제로 남겼다.
반대가 실제 입장인지. 역할로 맡긴 반대는 실제 소수 의견보다 해결책의 양과 질을 덜 끌어올렸다. 반대자의 실제 입장을 알게 하든 모르게 하든, 세 가지 형태의 악마의 대변인 모두 실제 소수 의견보다 못했다 [Nemeth et al. 2001].
과제 구조. 변증법적 탐구는 구조가 느슨한 과제에서 전문가 한 사람의 추천을 받는 방식보다 낫다는 결과가 나오지 않았다 [Schwenk 1990].
계획이 누구 것인지. Veinott et al. (2010)은 참가자가 대학 2학년 중심이었고, 남이 만든 계획을 평가했으며, 실행 책임이 없었다는 점을 한계로 밝혔다. 자기 팀이 세우고 직접 실행할 계획에서 효과가 어떨지는 따로 확인해야 한다.
시간이 짧아도 쓸 수 있다. 사관후보생 52명이 팀으로 시간 제한이 있는 야외 훈련 6회를 치르며 절반은 프리모템, 절반은 군 표준 계획 평가를 쓴 실험에서, 프리모템을 쓴 팀은 반칙이 적고 한 방식에 매달리는 고착이 덜했으며 계획·실행 시간은 늘지 않았다 [Peabody 2017, 석사 논문].
개인이냐 집단이냐. 같은 연구실의 학회 포스터에서 혼자 하는 프리모템과 집단 프리모템의 자신감 변화는 차이가 없었다(43명) [Keysor et al. 2020, 포스터].

### 어떻게 재나
설명 과제: 사건을 확실/불확실, 과거/미래로 바꿔 제시하고, 참가자가 쓴 설명의 길이·이유 유형(일화적 vs 일반적)·시제를 부호화한다 [Mitchell et al. 1989].
계획 자신감 변화: 계획을 읽고 "이 계획이 효과가 있을 거라고 얼마나 확신하나(0~100)"에 답한 뒤, 2분 동안 배정된 평가 기법(비판·장단점·단점만·프리모템, 기준 조건은 딴 과제)을 수행하고 다시 답한다. 이어서 개선안을 만든 뒤 세 번째로 답한다 [Veinott et al. 2010].
집단 결정 정확도와 반증 탐색: 챌린저호 사고를 본뜬 집단 과제에서 맞는 결정을 내렸는지, 반박 정보를 찾았는지를 잰다 [Kray & Galinsky 2003].
위험 식별 품질: 브레인스토밍 팀과 프리모템 팀이 찾아낸 위험과 계획 수정안의 질, 예측하기 어려운 치명적 위험(블랙 스완)을 몇 개 짚었는지 비교한다 [Gallop et al. 2016].
현장 수행: 야외 훈련에서 반칙 횟수, 고착, 계획·실행 시간을 센다 [Peabody 2017].

### 헷갈리는 개념과의 차이
사후 확신 편향(hindsight bias): 결과를 안 뒤에 그 결과가 원래 더 그럴 법했다고 느끼는 편향. 결과를 알게 된 사람은 보고된 사건의 가능성을 더 높게 매겼고, 자기가 그렇게 영향받았다는 것을 거의 알아차리지 못해 결과를 몰랐을 때 알았을 것을 과대평가했다 [Fischhoff 1975]. 사후 가정은 결과가 나오기 전에 "이미 일어났다"는 틀을 일부러 빌려 오는 기법이다. 사후 확신 편향은 실제 결과가 판단을 왜곡하는 현상이고, 프리모템은 그 과거 시점의 설명 방식을 계획 점검에 쓰는 도구다. 두 쪽은 같은 기제로 이어져 있어, 대안을 너무 많이 짜내면 사후 확신 편향이 커지는 역효과도 함께 알아 둬야 한다 [Sanna et al. 2002].
최악 시나리오 기법(worst-case scenario): "가장 나쁜 경우는 무엇인가"를 묻는다. 한 실험에서 프리모템과 최악 시나리오는 이유·해결책의 개수는 차이가 없었지만 이유가 나뉘는 범주의 분포가 달랐고, 다른 실험(82명)에서는 프리모템이 이유를 더 많이 끌어냈다 [Peabody 2017].
악마의 대변인: 한 사람에게 반대 역할을 맡기는 방식. 프리모템은 모든 참가자가 실패 이유를 쓰게 해 반대를 한 사람의 역할로 남기지 않는다. 역할형 반대는 처음 입장을 뒷받침하는 쪽으로 생각이 흐를 수 있다 [Nemeth et al. 2001].
일반 비평 회의: "무엇이 잘못될 수 있나"를 묻는다. Veinott et al. (2010)에서 비평 조건은 자신감이 거의 움직이지 않았다.

주요 후속 연구·메타분석

### Schwenk (1990) — 악마의 대변인은 전문가 한 사람의 추천보다 나았다 Organizational Behavior and Human Decision Processes, 47(1), 161–176. DOI: 10.1016/0749-5978(90)90051-A

설계: 약 20년간 나온 악마의 대변인(DA)·변증법적 탐구(DI) 실험 전부를 메타분석으로 묶어, 갈등 없이 전문가 추천을 따르는 방식(E)과 비교했다.
결과: DA는 전반적으로 E보다 효과적이었다. DI가 E보다 낫다는 결과는 구조가 느슨한 과제를 쓴 실험에서 나오지 않았다. DA와 DI 사이의 우열은 드러나지 않았다. (초록만 읽었다. 초록에 포함 연구 수·효과크기는 나오지 않는다.)
의미와 한계: 레드팀형 반대를 절차로 넣으면 결정이 나아진다는 가장 오래된 종합 근거다. 다만 과제 구조에 따라 효과가 달라지고, 어느 형태의 반대가 더 나은지는 가려지지 않았다.

### Veinott, Klein & Wiggins (2010) — 프리모템이 계획 자신감을 가장 많이 낮췄다 Proceedings of the 7th International ISCRAM Conference, Seattle. DOI 없음(학회 발표 논문)

설계: 대학생 178명(여성 62%, 평균 19세)이 5~6명씩 모여, 일부러 허점을 심어 둔 대학 신종플루(H1N1) 봉쇄 계획을 평가했다. 조건은 기준(딴 과제)·비판·장단점·단점만·프리모템 다섯 가지. 각 기법은 2분씩 했고 0~100 자신감을 세 번 물었다.
결과: 첫 자신감은 조건 간 차이가 없었다. 조작 직후 자신감 변화는 프리모템 −25.0점, 장단점 −14.0점, 단점만 −12.4점이었고, 기준·비판 조건은 거의 변하지 않았다. 프리모템은 장단점·단점만 조건보다 유의하게 더 낮췄다. 검정 통계량은 조건 주효과 F(5, 173) = 30.88(p < .0001), 기준 대비 프리모템 t(173) = −10.93, 프리모템 대 장단점 t(74) = −7.08, 프리모템 대 단점만 t(67) = −8.42 였다. 조건별 표준편차가 보고되지 않았고, 다섯 조건인데 F 의 분자 자유도가 5로 적혀 있어 표준화 효과크기(d)로 환산하지 않았다. 개선안을 만든 뒤 자신감 회복 폭도 프리모템이 가장 컸다.
의미와 한계: 프리모템을 다른 평가 기법과 나란히 놓고 비교한 첫 통제 실험이다. 저자들이 밝힌 한계는 네 가지다. 참가자가 경험 없는 학생이었고, 비교 조건에도 개인 작성 단계를 넣어 일반 회의보다 유리하게 만들었으며, 남이 만든 계획이었고, 실행 책임이 없었다. 자신감만 쟀고 계획의 실제 성과는 재지 않았다.

### Kray & Galinsky (2003) — 반사실적 사고를 켜 둔 집단이 반박 정보를 더 찾았다 Organizational Behavior and Human Decision Processes, 91(1), 69–81. DOI: 10.1016/S0749-5978(02)00534-4

설계: 두 실험에서 집단이 챌린저호 사고를 본뜬 결정 과제를 풀었다. 맞는 결정을 하려면 처음 가설을 반박하는 정보를 스스로 찾아야 했다. 과제 전에 반사실적 생각이 두드러지는 시나리오와 그렇지 않은 시나리오 중 하나를 읽혔다.
결과: 실험 1에서 반사실적 점화 집단이 맞는 결정을 할 가능성이 유의하게 높았다. 실험 2는 이 효과를 재현했고, 점화 집단이 반박 정보를 더 많이 찾았다는 것을 보였다. 매개 분석으로 결정 과정을 확인했다. (초록만 읽었다. 초록에 표본 수·효과크기는 없다.)
의미와 한계: "다르게 될 수 있었다"는 생각 방식이 집단의 확증 탐색을 줄인다는 실험 근거로, 프리모템의 기제 2번을 받친다. 프리모템 절차 자체를 시험한 연구는 아니다.

### Sanna, Schwarz & Stocker (2002) — 대안을 많이 짜내면 편향이 오히려 커진다 Journal of Experimental Psychology: Learning, Memory, and Cognition, 28(3), 497–502. DOI: 10.1037/0278-7393.28.3.497

설계: 두 실험에서 참가자에게 어떤 사건이 다르게 끝났을 수 있는 이유를 2개(적게) 또는 10개(많이) 쓰게 했다.
결과: 10개를 쓰는 일은 어렵게 느껴졌고, 사후 확신 편향을 일관되게 키웠다. 2개만 쓴 조건에서는 유의한 사후 확신 효과가 나오지 않았다. (초록만 읽었다.)
의미와 한계: 떠올린 내용과 함께, 떠올리기가 쉬웠는지 어려웠는지(인출 용이성)도 판단에 들어간다. 프리모템에서 "각자 이유 N개" 같은 할당량을 크게 잡으면 "실패할 길이 별로 없네"라는 반대 결론으로 흐를 수 있다. 과제가 사후 판단이라 계획 평가에 그대로 옮길 수 있는지는 검증되지 않았다. 제1저자 Sanna 는 자료 조작 의혹 속에 2012년 5월 미시간대를 사임했고, Retraction Watch 집계로 2013년 1월까지 논문 8편이 철회됐다. 2002년 이 논문은 CrossRef 기준 철회·정정 기록이 없지만(2026-09-27 확인) 독립 재현도 찾지 못했다. 경계 조건으로만 쓰고 2개 대 10개라는 수치는 보수적으로 읽는다.

### Nemeth, Brown & Rogers (2001) — 역할로 맡긴 반대는 실제 반대만 못하다 European Journal of Social Psychology, 31(6), 707–720. DOI: 10.1002/ejsp.58

설계: 악마의 대변인의 실제 입장을 알려 주는 조건(배정 입장과 같음/다름)과 모르는 조건, 그리고 실제 소수 의견 조건을 비교했다. 종속변인은 해결책의 양과 질.
결과: 실제 소수 의견이 세 가지 악마의 대변인 조건 모두보다 나았다. 앞선 연구에서도 악마의 대변인은 새로운 생각보다 처음 입장을 뒷받침하는 생각을 주로 끌어냈다. (초록만 읽었다.)
의미와 한계: 레드팀을 역할극으로만 운영하면 효과가 줄어든다. 실제로 다르게 보는 사람을 넣는 편이 낫다.

### Gallop, Willy & Bischoff (2016) — 프리모템 팀이 블랙 스완 위험을 더 짚었다 Journal of Enterprise Transformation, 6(2), 87–106. DOI: 10.1080/19488289.2016.1240118

설계: 창의성 기반 위험 식별 기법 두 가지, 브레인스토밍과 프리모템을 비교했다.
결과: 프리모템 팀이 질 높은 위험, 계획 수정안, 블랙 스완 위험을 브레인스토밍 팀보다 더 많이 찾았다고 결론지었다. (초록만 읽었다. 초록에 표본 수·수치는 없다.)
의미와 한계: 자신감 대신 찾아낸 위험의 질을 잰 연구다. 표본과 효과 크기를 원문으로 확인하지 못했다.

그 밖의 문헌
Mussweiler, T., Strack, F., & Pfeiffer, T. (2000). Overcoming the inevitable anchoring effect: Considering the opposite compensates for selective accessibility. Personality and Social Psychology Bulletin, 26(9), 1142–1150. https://doi.org/10.1177/01461672002611010 — 기준값에 반대되는 이유를 적게 하자 전문가의 기준점 효과가 줄었다. 두 효과는 더해지는 방식(초록만 읽음, 초록에 표본 수·효과크기 없음).
Chang, W., Berdini, E., Mandel, D. R., & Tetlock, P. E. (2018). Restructuring structured analytic techniques in intelligence. Intelligence and National Security, 33(3), 337–356. https://doi.org/10.1080/02684527.2017.1400230 — 구조화 분석 기법은 양방향 편향을 한 방향으로만 다뤄 과잉 교정을 잴 수 없고, 문제 쪼개기가 판단의 잡음을 줄이는지도 검증되지 않았다는 비판(초록만 읽음).
Fischhoff, B. (1975). Hindsight ≠ foresight: The effect of outcome knowledge on judgment under uncertainty. Journal of Experimental Psychology: Human Perception and Performance, 1(3), 288–299. https://doi.org/10.1037/0096-1523.1.3.288 — 사후 확신 편향의 원전.
Peabody, M. (2017). Improving planning: Quantitative evaluation of the premortem technique in field and laboratory settings. 석사 논문, Michigan Technological University. https://doi.org/10.37099/mtu.dc.etdr/374 — 사관후보생 야외 훈련(52명)과 실험실 실험(72명·82명). 동료 심사 논문 아님.
Keysor, E., Wojtyna, A., & Veinott, E. S. (2020). Premortem: Evaluating two structured analytic techniques for group brainstorming. SJDM 학회 포스터. — 사이버 보안 시나리오에서 프리모템이 "성공했다고 가정하기(promortem)"·통제 조건보다 자신감을 더 낮춤(53명, d=.81), 개인과 집단 프리모템은 차이 없음(43명). 동료 심사 논문 아님.

비판·한계

### 재현성
표준화 효과크기가 보고된 직접 검증은 포스터 1편뿐이다. 사이버 보안 계획을 평가한 53명 실험에서 프리모템은 "성공했다고 가정하기"·통제 조건보다 자신감을 더 낮췄다(F(2, 51) = 4.02, p = .024, d = .81) [Keysor et al. 2020, 포스터].
프리모템을 직접 시험한 연구는 학회 발표 논문 1편 [Veinott et al. 2010], 학술지 논문 1편 [Gallop et al. 2016], 석사 논문 1편 [Peabody 2017], 포스터 1편 [Keysor et al. 2020] 정도다. 대부분 같은 연구 계열(Klein·Veinott)에서 나왔고, 독립 연구실의 대규모 재현이나 메타분석은 없다.
기제 쪽 근거는 더 두텁다. 반대 가능성 떠올리기 [Lord et al. 1984], 반사실적 사고 방식 [Kray & Galinsky 2003], 레드팀형 반대의 메타분석 [Schwenk 1990]이 있다. 다만 이들은 프리모템 절차 자체의 효과를 잰 연구가 아니다.
"30%"는 원 연구 결과와 다르다. Klein (2007)의 "원인 식별 능력 30% 향상"은 Mitchell et al. (1989) 초록에 나오지 않고, 원 연구는 이유가 맞는지(정확도)를 재지 않았다. 이 수치를 효과크기로 인용하면 안 된다.

### 대표 반론
자신감이 내려간 것이 좋은 결정인가. 직접 검증 연구의 주요 결과 변수는 계획 자신감이다 [Veinott et al. 2010]. 자신감 하락이 실제 계획 성과 향상으로 이어지는지는 재지 않았다. 현장 수행을 잰 연구는 석사 논문 한 편이다 [Peabody 2017]. 지지하는 쪽은 개선안을 만든 뒤 자신감 회복 폭이 가장 컸다는 점을 들어, 프리모템이 약점을 찾은 뒤 계획을 고치는 데까지 이어진다고 본다 [Veinott et al. 2010].
대안 떠올리기의 역효과. 대안을 많이 짜내게 하면 떠올리기 어려움 때문에 원래 판단이 굳어질 수 있다 [Sanna et al. 2002]. 프리모템 옹호 문헌은 이 조건을 다루지 않았고, Veinott et al. (2010)은 이유 개수·떠올리기 어려움의 영향을 미해결 질문으로 남겼다.
과잉 교정 반론. 정보 분석의 구조화 분석 기법(레드팀·악마의 대변인 등)을 검토한 Chang et al. (2018)은 이 기법들이 편향을 한쪽 방향으로만 다룬다고 비판했다. 과신을 누르는 기법이 반대쪽의 과소 확신을 부르는지 잴 지표가 없고, 이 기법들이 판단을 실제로 돕는지 해치는지 지속적으로 검증된 적이 없다고 봤다. 프리모템의 주요 결과가 자신감 하락이라는 점에서 [Veinott et al. 2010] 같은 문제가 걸린다. 하락이 과신을 바로잡은 것인지 지나쳐 과소 확신으로 간 것인지 기존 연구는 가르지 못한다.
역할형 반대의 한계. 레드팀을 역할로 운영하면 실제 반대보다 약하다 [Nemeth et al. 2001]. 반면 메타분석에서는 역할로 맡긴 악마의 대변인도 반대가 없는 전문가 방식보다 나았다 [Schwenk 1990]. 두 결과를 합치면, 역할형 반대는 반대가 없는 것보다 낫고 실제 반대보다는 못하다.

### 쓰면 안 되는 상황
이미 조심스러운 팀. 자신감을 낮추는 도구라, 과신이 문제가 아닌 팀에 쓰면 실행을 미루는 핑계가 될 수 있다.
이유 할당량을 크게 잡을 때. "각자 10개" 같은 할당은 떠올리기 어려움 때문에 역효과를 낼 수 있다 [Sanna et al. 2002]. 이 근거는 제1저자가 사임·다수 철회를 겪은 연구진의 재현 안 된 실험 1편이다(위 주요 후속 연구 절).
레드팀이 권력 게임이 될 때. 경쟁 부서의 공격 수단이 되면 학습보다 공방이 된다.
되돌릴 수 있고 비용이 작은 결정, 이미 실행 중이라 바꿀 여지가 없는 계획. 후자는 조기 경보 목록만 만든다.
심리적 안전이 없는 조직. 우려를 말해도 불이익이 없다는 믿음이 없으면 적는 단계에서 이미 걸러진다.