2차 사고 (Second-Order Thinking)

처음 실린 날 2026-05-23 · 마지막으로 고친 날 2026-09-27

다른 이름: 2차적 사고 · 세컨더리 씽킹 · Second-Order Thinking

한 줄 정의

"그 다음에는?" — 1차 결과 너머의 연쇄 효과·반응·장기 결과까지 추론하는 사고. 1차 효과만 보는 직관과 대비된다.

일상 한 줄

결정 전 "그래서 그 다음엔?"을 한 번 더 묻는다.

흔한 장면

친구의 부탁을 거절 → 일은 줄지만 관계가 어색해지진 않을까?
"지금 30% 할인" 광고 → 사는 순간 만족이지만 한 달 뒤 안 쓰면 그저 자리만 차지.
야근으로 빨리 끝냈다 → 단기 성과 ↑ 지만 6개월 뒤 번아웃?
"다이어트 시작!" → 1주 효과는 좋지만 요요로 더 늘 가능성?

왜 빠지나

빠른 직관은 1차만 본다 — 보이는 즉시 결과만 처리한다. 연쇄 효과까지 보려면 멈춰서 따로 생각해야 하는데, 이런 느린 사고는 힘이 들어 잘 켜지지 않는다 [Kahneman 2011].
지연된 결과를 과소평가한다 — 시간이 걸려 돌아오는 피드백을 사람들은 계산에 넣지 못한다. 주문이 몇 주 뒤에 도착하는 모의 재고 유통 시스템에서 팀 비용이 컴퓨터로 구한 기준 비용의 평균 10배였고, 참가자들은 이미 주문해 두고 아직 받지 못한 물량을 평균 34%만 계산에 넣었다 [Sterman 1989].
상대도 생각한다는 걸 한두 단계에서 멈춘다 — 여러 게임 실험 자료를 맞춰 보면 사람들은 평균 1.5단계 정도까지만 "남이 어떻게 생각할지"를 따진다 [Camerer, Ho & Chong 2004].
지금의 보상이 커 보인다 — 당장의 만족을 나중 비용보다 크게 치는 경향(현재 편향)이 있다 [Laibson 1997].

빠져나오는 법

1. "그 다음엔?" 1번: 결정 전 의무적으로 한 번만 묻기. 30초. — 근거 수준: 경험칙(이 방법 자체를 시험한 실험 없음) 2. "다른 사람들도 같은 생각을 하면?": 모두가 같은 결론을 내면 가격·경쟁·반응이 어떻게 바뀌는지 묻는다. Marks(2011)가 2차 사고를 설명하며 쓴 질문 방식이다. — 근거 수준: 경험칙(투자서의 조언, 직접 검증 연구 없음) 3. 상대 반응 1단계 예상: 협상·갈등에서 "내가 이렇게 하면 상대는?"까지 한 번. 사람들이 보통 1~2단계에서 멈춘다는 관찰 [Camerer, Ho & Chong 2004]에 맞춘 권고다. 더 깊이 따지는 것이 이득인지는 상대에 달렸다 [Nagel 1995]. — 근거: 실험 자료에 맞춘 모형 추정 [Camerer, Ho & Chong 2004]·실험 [Nagel 1995] (이 처방 자체의 효과를 시험한 연구는 없음) 4. 확률로 적고 채점받기: "그 다음"을 "일어난다/안 일어난다"가 아닌 확률로 적고 나중에 맞춰 본다. 이 목록에서 실험으로 효과가 확인된 것은 이것뿐이다. 약 45분짜리 확률 추론 훈련이 두 시즌 동안 예측 오차를 줄였다 [Mellers et al. 2014]. — 근거: 무작위 배정 현장 실험 [Mellers et al. 2014]

함께 쓰기 좋은 도구

사전부검 — 미래 시점에서 "이게 실패한 이유"를 미리 적어보기
시스템 사고 — 피드백 루프·지연·재고를 본다 [Meadows 2008]
공유지의 비극 — 개인 합리가 집단 파국을 만드는 고전 사례

통념이 무너지는 순간

"직관이 빠르니까 직관을 믿어라"

⚠ 흔한 말: "고민하지 말고 직감대로." Gladwell Blink 이후 대중화된 직관 신뢰. ✓ 학술: Kahneman & Klein 2009 (American Psychologist 64(6):515-526, "Conditions for Intuitive Expertise: A Failure to Disagree"): 직관이 정확한 영역은 규칙성이 높고 피드백을 받으며 오래 연습할 수 있는 환경(체스·소방관)에 한정된다. 정치·금융·인사·복잡한 사회 결정처럼 피드백이 늦고 잡음이 많은 영역에서는 직관이 체계적으로 실패한다. 직관을 믿을지는 영역에 따라 갈린다.

"내가 결정하면 나만 영향받는다"

⚠ 흔한 말: 개인주의적 결정 정당화. ✓ 학술: Hardin 1968 (Science 162(3859):1243-1248, "The Tragedy of the Commons")이 이 통념을 반박한다. 개인적으로 합리적인 결정(소 한 마리 더 풀기)이 모두에게서 되풀이되면 공유 자원이 고갈돼 모두에게 파국이 온다. 사회학에서는 Merton (1936)이 목적을 가진 행동이 의도하지 않은 결과를 낳는 경로를 처음 체계적으로 다뤘다. 2차 효과에는 "내 결정이 모두에게서 되풀이될 때의 합계"가 들어간다.

"더 좋은 결과가 나오는 선택이 더 좋은 결정이다"

⚠ 흔한 말: 결과 본 뒤 결정을 평가. ✓ 학술: 결과를 보고 결정의 질을 판단하는 경향을 결과 편향(outcome bias)이라 한다. Baron & Hershey (1988)의 실험에서 참가자들은 똑같은 정보로 내린 똑같은 결정도 결과가 좋았다고 들으면 더 좋은 결정으로 평가했다. Annie Duke (2018, Thinking in Bets)는 같은 현상을 "resulting"이라 부르며 대중화했다. 2차 사고와의 연결: 결정 시점에 연쇄 효과를 얼마나 따졌는지로 결정을 평가해야 다음 예측이 나아진다. 결과만으로 평가하면 운이 좋았던 얕은 판단이 강화된다.

"결과 예측은 불가능하니 안 해도 된다"

⚠ 흔한 말: 불확실성 회피의 방어. ✓ 학술: 2년짜리 지정학 예측 대회에서 Tetlock 연구팀은 세 가지 개입으로 정확도를 높였다 [Mellers et al. 2014]. 확률 추론 훈련(인지 편향 교정, 기준 집단 활용), 팀 토론, 그리고 첫해 상위 2% 예측자만 모은 정예 팀 편성이다. 셋 모두 보정(calibration, 말한 확률과 실제 빈도가 맞는 정도)과 변별력을 높였다. Tetlock & Gardner (2015)가 말하는 슈퍼예측가는 이렇게 선별된 상위 예측자가 훈련·팀 작업과 결합한 결과다. 예측 능력은 훈련으로 나아지지만, 훈련만 받은 일반인이 곧 전문가를 이긴다는 뜻으로 읽으면 과장이다.

실전 적용: 화난 이메일 보내기 전

위 통념들을 일상에서 가장 자주 적용할 수 있는 시나리오. 이 카드와 연결된 트레이닝 시나리오 "화난 이메일을 바로 보내기 전"에서 분기 선택지로 직접 연습할 수 있습니다.

1차 출처

Howard Marks (2011). The Most Important Thing: Uncommon Sense for the Thoughtful Investor. Columbia Business School Publishing. Ch. 1 "Second-Level Thinking". 투자 분야에서 first-level vs second-level thinking 대비. (단행본, DOI 없음)
Robert K. Merton (1936). The unanticipated consequences of purposive social action. American Sociological Review, 1(6), 894-904. DOI: 10.2307/2084615. 의도하지 않은 결과를 다룬 사회학의 고전.
Garrett Hardin (1968). "The Tragedy of the Commons." Science, 162(3859):1243-1248. DOI: 10.1126/science.162.3859.1243. 개인 결정의 합산 효과를 다룬 고전.
Donella Meadows (2008, 사후). Thinking in Systems: A Primer. Chelsea Green. 시스템 사고의 표준 입문서. (단행본)

신뢰도 B 이유: "2차 사고(second-order thinking)"는 Marks(2011) 같은 투자·대중서에서 쓰는 이름이고, 이 이름의 학술 용어는 없다. 이 카드는 그 이름 아래 실제 근거가 되는 연구들, 곧 의도하지 않은 결과(Merton 1936), 동적 의사결정에서의 피드백 오지각(Sterman 1989), 전략적 사고의 단계 수(수준-k·인지 위계 모형: Nagel 1995; Camerer, Ho & Chong 2004)를 묶어 구성했다.

본문에서 함께 인용한 문헌:

Kahneman, D., & Klein, G. (2009). Conditions for intuitive expertise: A failure to disagree. American Psychologist, 64(6), 515-526. DOI: 10.1037/a0016755
Baron, J., & Hershey, J. C. (1988). Outcome bias in decision evaluation. Journal of Personality and Social Psychology, 54(4), 569-579. DOI: 10.1037/0022-3514.54.4.569
Laibson, D. (1997). Golden eggs and hyperbolic discounting. The Quarterly Journal of Economics, 112(2), 443-478. DOI: 10.1162/003355397555253
Kahneman, D. (2011). Thinking, Fast and Slow. Farrar, Straus and Giroux. (단행본)
Duke, A. (2018). Thinking in Bets. Portfolio. (단행본)
Tetlock, P. E., & Gardner, D. (2015). Superforecasting: The Art and Science of Prediction. Crown. (단행본)
Tetlock, P. E. (2005). Expert Political Judgment: How Good Is It? How Can We Know? Princeton University Press. (단행본)

원문 핵심 인용

"First-level thinking is simplistic and superficial... Second-level thinking is deep, complex and convoluted." — Marks (2011), Ch. 1 (원문 대조 못 함 — 2차 출처 기반. 단행본이라 OA 원문이 없다.)

"Freedom in a commons brings ruin to all." — Hardin (1968), p. 1244 2026-09-27 원문 텍스트와 대조.

"An average of 1.5 steps fits data from many games." — Camerer, Ho & Chong (2004), 초록 2026-09-27 OpenAlex 초록과 대조.

핵심 정의·메커니즘

원전 정의

"2차 사고(second-order thinking)"는 투자서 Marks (2011)에서 퍼진 이름이고, 이 이름으로 정의된 학술 개념은 없다. 이 카드는 같은 생각을 다룬 세 연구 줄기를 묶는다.
1차 사고: A → B. 행동의 직접 결과만 본다.
2차 사고: A → B → C → … 의 연쇄를 따라간다. "그래서 그 다음에는?", "다른 사람도 같은 생각을 하면?", "상대는 어떻게 반응할까?"를 묻는다.
세 갈래 (이 카드가 정리한 분류. Marks 2011에는 이 분류가 없다):
1. 시간: 단기 효과와 장기 효과가 다르다. 근거 줄기는 동적 의사결정 연구 — 지연된 되먹임을 사람들이 계산에 넣지 못한다 [Sterman 1989], 당장의 보상을 크게 친다 [Laibson 1997].
2. 시스템 반응: 행동이 환경을 바꾸고, 바뀐 환경이 다시 나에게 돌아온다. 근거 줄기는 사회학의 의도하지 않은 결과 [Merton 1936]와 시스템 동학 [Meadows 2008].
3. 다른 사람의 반응: 내 선택의 결과가 남의 선택에 달려 있다. Marks(2011)의 second-level thinking이 여기에 해당한다. 근거 줄기는 게임 이론의 단계적 추론 모형 [Nagel 1995; Camerer, Ho & Chong 2004].

작동 기제

시간·시스템 쪽: 결정 → 결과가 늦게 돌아옴 → 사람은 눈앞의 상태만 보고 다음 결정을 고침 → 이미 걸어 둔 조치가 겹쳐 도착해 과잉 반응이 생김. Sterman (1989)은 여러 사람·되먹임·시간 지연이 있는 모의 재고 유통 시스템에서 참가자들의 결정이 최적에서 체계적으로 벗어났고, 그 원인이 "자기 결정이 환경에 돌아오는 되먹임에 둔감한 것"임을 추정 모형으로 보였다. 참가자의 규칙은 현재 재고에 기준을 두고 조금씩 고치는 방식(기준점과 조정)으로 잘 설명됐다.
의도하지 않은 결과 쪽: Merton (1936)은 목적을 가진 행동이 뜻밖의 결과를 낳는 원인으로 정보 부족, 판단 오류, 눈앞 이익이 먼 결과를 가리는 것, 기본 가치가 결과 검토를 막는 것, 예측이 행동을 바꾸는 것(자기 부정적 예언)을 꼽았다.
다른 사람 쪽: 각자 "남은 나보다 덜 생각한다"고 가정하고 그에 맞춰 최선을 고른다. 인지 위계 모형에서 0단계는 무작위로 고르고, k단계는 다른 사람이 0~k-1단계에 퍼져 있다고 보고 최선을 고른다 [Camerer, Ho & Chong 2004]. "상대가 무엇을 생각할지"를 몇 번 겹쳐 따지느냐가 이 갈래에서 말하는 2차 사고의 깊이다.

언제 강해지고 언제 약해지나

되먹임이 늦고 잡음이 많을 때 차이가 커진다. 규칙성이 높고 즉시 피드백을 받는 환경(체스·소방)에서는 숙련된 직관이 연쇄 결과까지 이미 반영한다. 정치·장기 투자처럼 피드백이 드문 곳에서는 직관을 믿기 어렵다 [Kahneman & Klein 2009].
시스템에 지연·여러 행위자·비선형이 있을 때 오류가 커진다. Sterman (1989)의 과제는 이 세 가지를 모두 넣어 설계됐다.
최선의 깊이는 상대에 달렸다. 추측 게임에서는 "평균 × p 에 가장 가까운 사람"이 이기므로, 남들이 얕게 생각하는데 혼자 끝까지(0) 따지면 진다 [Nagel 1995].
훈련으로 나아진다. 45분짜리 확률 추론 훈련이 두 시즌(각 8~10개월) 동안 예측 오차를 줄였다 [Mellers et al. 2014].

어떻게 재나

p-미인대회(추측 게임): 여러 명이 0~100 사이 수를 동시에 적고, 전체 평균에 p(예: 2/3)를 곱한 값에 가장 가까운 사람이 상금을 받는다. 같은 집단이 네 판을 하고, 판마다 결과를 본다. 적어 낸 수가 50×p, 50×p², … 중 어디 근처인지로 몇 단계를 따졌는지 역산한다 [Nagel 1995].
재고 유통 시뮬레이션(맥주 게임 계열): 참가자가 공급망의 한 단계를 맡아 매주 주문량을 정한다. 주문은 몇 주 뒤에 도착한다. 재고·미납 비용을 최적 정책과 비교하고, 참가자의 주문 규칙을 계량 모형으로 추정한다 [Sterman 1989].
예측 대회: 실제 국제 사건에 확률을 붙이게 하고 브라이어 점수(Brier score, 0이 완벽·2가 최악인 확률 예측 오차)로 채점한다 [Mellers et al. 2014].
사람의 "2차 사고 성향"을 재는 표준 척도는 없다.

헷갈리는 개념과의 차이

| 개념 | 무엇을 보나 | 2차 사고와의 차이 | |---|---|---| | 시스템 사고 | 재고·흐름·되먹임 고리로 구조 전체를 그린다 | 구조를 모형으로 그리는 방법. 2차 사고는 결정 하나에서 "그 다음"을 묻는 습관이라 범위가 좁다 | | 의도하지 않은 결과 (Merton 1936) | 목적 있는 행동이 낳은 뜻밖의 결과와 그 원인 | 사후에 결과를 설명하는 사회학 개념. 2차 사고는 결정 전에 그 결과를 미리 따져 보는 쪽 | | 결과주의 추론 | 행동의 옳고 그름을 결과로 판단하는 윤리 입장 | 윤리 기준이다. 2차 사고는 어떤 기준이든 결과를 더 멀리 보라는 예측 습관 | | 반사실적 사고 | "그때 달리 했다면?" 지나간 일을 다시 그려 본다 | 과거를 향한다. 2차 사고는 앞으로 일어날 연쇄를 그린다 |

주요 후속 연구·메타분석

### Camerer, Ho & Chong (2004) — 사람은 상대의 생각을 평균 1.5단계까지 따진다 The Quarterly Journal of Economics, 119(3), 861-898. DOI: 10.1162/0033553041502225

설계: 참가자들이 균형(모두가 합리적이고 서로의 전략을 정확히 예측하는 상태)대로 움직이지 않는 여러 게임 실험 자료에 "인지 위계" 모형을 맞췄다. 0단계는 무작위, k단계는 남들이 0~k-1단계에 퍼져 있다고 보고 최선을 고른다.
결과: 평균 1.5단계가 여러 게임의 자료에 들어맞았다. 이 모형은 균형 이론이 어떤 게임에서는 잘 맞고 어떤 게임에서는 안 맞는 이유도 설명한다.
의미와 한계: "상대가 어떻게 반응할까"를 사람들이 한두 번에서 멈춘다는 정량 근거다. 다만 이 수치는 모형에 맞춘 추정치이고, 같은 자료를 다른 모형(아래 McKelvey & Palfrey)으로도 설명할 수 있다. (초록 기준)

### Nagel (1995) — 추측 게임으로 추론 단계를 처음 실험으로 재다 American Economic Review, 85(5), 1313-1326. (DOI 없음)

설계: 여러 명이 0~100 사이 수를 동시에 적고, 평균에 p를 곱한 값에 가장 가까운 사람이 상금을 받는다. p는 모두가 알고, 같은 집단이 네 판을 하며 판마다 모든 선택·평균·승자를 공개한다. p<1이면 내시 균형은 "모두 0"뿐이다.
결과: 한 판에 15~18명, 판마다 1등 상금 20마르크. 1회차 선택 평균은 p=1/2 조건 27.05(중앙값 17), p=2/3 조건 36.73, p=4/3 조건 60.12(중앙값 66)였다. p=1/2·2/3 조건에서 선택의 절반 가까이가 1단계(50×p)나 2단계(50×p²) 근처에 몰렸고, 3단계 이상은 6~10%뿐이었다. p=1/2·2/3 조건에서 균형인 0을 고른 사람은 1회차에 없었다. 자료로 따진 최선의 수는 p=1/2 조건에서 약 13.5, p=2/3 조건에서 약 25로 둘 다 2단계 구간이었고, 이 구간이 p=1/2에서 최빈 구간(약 30%)이었다. 2~4회차에는 선택이 균형 쪽으로 내려갔지만(p=1/2에서 144건 중 135건, p=2/3에서 201건 중 163건이 전 회차보다 낮음) 가장 흔한 추론 단계는 깊어지지 않았다. 4회차에 1 미만을 고른 사람이 p=1/2 조건에서 절반을 넘었지만 0을 고른 사람은 48명 중 3명이었다.
추론 단계의 뜻: 0단계는 무작위나 눈에 띄는 수(50), 1단계는 남이 무작위라 보고 최선, n단계는 남의 n-1단계 믿음에 최선. (전문 읽음)
의미와 한계: 게임 이론이 한 가지 답(0)을 예측하는데 실제 사람이 그와 다르게 고르는 틈을 측정 도구로 바꿨다. 이후 수준-k·인지 위계 모형의 표준 과제가 됐다.

### Sterman (1989) — 되먹임에 둔감한 결정이 시스템 전체를 흔든다 Management Science, 35(3), 321-339. DOI: 10.1287/mnsc.35.3.321

설계: 참가자가 여러 행위자·되먹임·비선형·시간 지연이 있는 모의 재고 유통 시스템을 운영했다. 개인 결정과 시스템 구조가 만나 어떤 전체 움직임이 나오는지 봤다.
표본: 4년간 48판(192명)을 모았고, 기록 오류가 없는 11판(44명)을 분석했다. 학부생·대학원생·기업 연수 참가자·대기업 임원이 섞였다. 소매→도매→유통→공장 네 자리가 한 팀이고, 재고 비용은 상자당 주 0.5달러, 미납 비용은 1달러다.
결과: 팀 비용은 같은 정보 제약 아래 컴퓨터 모의실험으로 구한 기준 비용의 평균 10배였다. 손님 주문은 주 4상자에서 8상자로 한 번 오를 뿐인데 공장 주문은 평균 최고 32상자까지 치솟았다(증폭 700%). 재고 관리의 "기준점과 조정" 규칙이 참가자 주문을 잘 설명했다(평균 R² 71%, 44명 중 6명만 50% 미만). 주문해 두고 아직 받지 못한 물량(공급선)을 얼마나 계산에 넣었는지 나타내는 모수의 평균은 0.34였고, 3분의 2 넘게 넣은 사람은 5명(11%)뿐이었다. 추정한 규칙으로 참가자를 대신하면 비용이 실제보다 약 5% 줄었다.
의미와 한계: 2차 사고의 "시간·시스템" 갈래를 실험으로 보인 대표 연구다. 과제가 특정 공급망 구조라 다른 영역으로 옮길 때는 지연·되먹임이 비슷한지 확인해야 한다. 같은 해 OBHDP 논문(아래 목록)도 같은 주제를 다룬다. (전문 읽음)

### McKelvey & Palfrey (1995) — "얕은 추론"이 아닌 "잡음 섞인 최적 반응"이라는 대안 Games and Economic Behavior, 10(1), 6-38. DOI: 10.1006/game.1995.1023

설계: 사람이 기대 효용에 따라 전략을 고르되 확률적으로(잡음을 섞어) 고르고, 남도 그렇게 한다고 가정하는 모형을 세웠다. 이 과정의 고정점을 "양자 반응 균형(QRE)"이라 부르고, 여러 실험 자료에 최대우도법으로 맞췄다.
결과: 오차가 0으로 가면 QRE는 내시 균형의 일부로 수렴하고, 일반적인 게임에서 여러 내시 균형 가운데 하나를 고르게 해 준다. 더 나은 반응일수록 자주 나오지만 최선이 확실히 나오지는 않는다.
의미와 한계: 균형에서 벗어난 행동을 "몇 단계만 생각해서"가 아닌 "실수 섞인 최선"으로도 설명할 수 있다. 두 모형 가운데 무엇이 맞는지에 따라 "더 깊이 생각하라"는 처방의 근거가 달라진다. (서론 2쪽 읽음)

### Mellers 외 (2014) — 확률 훈련·팀·정예 선발이 예측을 낫게 했다 Psychological Science, 25(5), 1106-1115. DOI: 10.1177/0956797614524255

설계: 2년짜리 지정학 예측 대회. 1년차 2,246명(설문 응답자 1,593명은 9개 조건에 무작위 배정, 조건당 평균 177명), 2년차 1,648명. 확률 훈련·시나리오 훈련·훈련 없음, 혼자·군중 정보 공유·팀을 교차했고, 2년차에는 1년차 상위 2%를 정예 팀("슈퍼예측가")으로 묶었다.
결과: 훈련은 1년차 브라이어 점수를 낫게 했다(F(2, 1586) = 14.29, p < .001; 2년차 확률 훈련 대 무훈련 F(1, 882) = 19.12, p < .001). 원문은 d나 개선 %를 보고하지 않는다. 이 두 F값으로 계산한 부분 에타제곱은 각각 약 .02로, 예측 점수 차이의 약 2%를 훈련 조건이 설명하는 작은 효과다(이 카드의 계산). 확률 훈련이 시나리오 훈련보다, 시나리오 훈련이 무훈련보다 나았다. 약 45분짜리 훈련의 효과가 각 8~10개월인 두 시즌 동안 이어졌다. 팀 안에서 댓글을 많이 단 사람일수록 정확했다(r = -.19, 2년차 -.22; 점수가 낮을수록 정확). 훈련·팀·선발 모두 보정과 변별력을 높였다.
의미와 한계: "그 다음을 따지는 능력"이 연습으로 나아진다는 현장 실험 근거다. 참가자는 학사 이상, 미국인 76%·남성 83%로 치우쳐 있다. 정예 팀의 효과에는 선발과 동기 상승이 섞여 있다. (전문 읽음)

그 밖의 문헌

Sterman, J. D. (1989). Misperceptions of feedback in dynamic decision making. Organizational Behavior and Human Decision Processes, 43(3), 301-335. DOI: 10.1016/0749-5978(89)90041-1 — 같은 주제의 동료 논문.
Forrester, J. W. (1971). World Dynamics. Wright-Allen Press. — 정책의 비직관적 결과를 시스템 동학으로 분석. (단행본)
Schelling, T. C. (1978). Micromotives and Macrobehavior. Norton. — 개인 선택이 모여 아무도 원하지 않은 집단 결과를 만드는 사례. (단행본)
Dörner, D. (1996). The Logic of Failure. Metropolitan Books. — 복잡계 시뮬레이션에서 부작용·장기 효과를 무시하는 패턴. (단행본)

비판·한계

재현성

"2차 사고"라는 이름으로 효과크기를 모은 메타분석이나 대규모 재현은 없다. 개념이 대중서 용어라 연구가 게임 이론·시스템 동학·예측 연구로 나뉘어 있다.
구성 요소 쪽은 반복 확인됐다. 추측 게임에서 균형과 다른 선택은 여러 게임 자료를 모아 맞춘 인지 위계 모형에서도 나타났다 [Camerer, Ho & Chong 2004]. 예측 훈련 효과는 2년 연속 대회에서 유지됐다 [Mellers et al. 2014].

대표 반론

"얕게 생각해서"인가, "실수 섞인 최선"인가: McKelvey & Palfrey (1995)는 사람이 최선의 반응을 확률적으로 고른다고 보는 양자 반응 균형으로 실험 자료를 맞췄다. 이 설명대로라면 균형에서 벗어난 행동은 추론 단계의 부족보다 선택의 잡음 때문이다. 인지 위계 쪽은 평균 1.5단계라는 하나의 모수로 여러 게임을 설명한다고 응답한다 [Camerer, Ho & Chong 2004]. 어느 쪽이든 "생각을 몇 단계 더 하면 이긴다"는 결론은 바로 나오지 않는다.
어디서 멈추나: 몇 단계까지 생각해야 하는지 정해진 기준이 없다. 추측 게임 규칙상 남들이 얕게 생각할 때 끝까지 따지면 오히려 진다 [Nagel 1995].
예측 한계: 복잡한 정치·경제 문제에서 전문가 예측은 기간이 길수록 단순한 기준선과 잘 구별되지 않았다 [Tetlock 2005]. 3차·4차 효과를 구체적으로 맞히려 하기보다 확률과 범위로 다루는 편이 현실적이다 [Mellers et al. 2014]. 같은 대회에서도 뜻밖의 사건 하나에서는 훈련받은 팀이 훈련 없는 개인보다 못했다(브라이어 1.44 대 1.31). 문항은 2011년 말까지 남중국해·동중국해에서 정부 병력이 얽힌 치명적 충돌이 일어날지를 물었고, 실제로는 한국 수역에서 불법 조업하다 붙잡힌 중국 어민이 한국 해경을 숨지게 한 일이 일어났다. 상위 예측자들은 이 기간의 기준 빈도(약 20%)에서 출발해 확률을 점점 낮추던 중이었다.

쓰면 안 되는 상황

되먹임이 빠르고 규칙적인 일: 숙련된 직관으로 충분하다. 연쇄 분석은 비용만 늘린다 [Kahneman & Klein 2009].
상대의 수준을 모르는 경쟁: 깊이 생각한 답이 얕게 생각한 다수에게 진다 [Nagel 1995].
결정을 미루는 핑계가 될 때: "그 다음, 또 그 다음"을 끝없이 묻다 되돌릴 수 있는 작은 결정까지 멈추면 손해다. 되돌릴 수 있는 결정은 해 보고 결과를 보는 편이 빠르다(이 카드의 권고, 실험 근거 없음).