깊은 불확실성 의사결정 (Robust Decision Making)

처음 실린 날 2026-05-31 · 마지막으로 고친 날 2026-09-27

다른 이름: 로버스트 의사결정 · Robust Decision Making · RDM

한 줄 정의

이해관계자가 모델·확률·가치 가운데 하나 이상을 모르거나 합의하지 못하는 "깊은 불확실성(deep uncertainty)" 상황에서, 수많은 그럴듯한 미래에 전략을 스트레스 테스트해 넓은 범위의 미래에서 크게 망가지지 않는 견고한(robust) 선택을 찾는 의사결정 방법(RDM) [Lempert 2003; Lempert 2006].

일상 한 줄

미래를 하나로 맞히기 어렵다면, 여러 미래에서 살아남는 선택을 고른다.

흔한 장면

단일 시나리오 계획: AI가 내 직업을 어떻게 바꿀지 한 가지 시나리오로만 커리어를 설계한다.
하나의 전망에 올인: 부동산·투자·진로를 특정 경제 전망 하나에 걸고, 그 전망이 틀리면 대안이 없다.
장기 문제를 점추정으로: 부모 돌봄, 가족 건강, 기후 리스크처럼 확률조차 합의 안 되는 문제를 "최적해" 하나로 푼다.
예측 의존의 취약성: 예측이 빗나가는 순간 계획 전체가 동시에 무너진다(견고성 없는 최적화의 전형).
불편한 미래 회피: 가능성은 낮지만 치명적인 미래(실직 장기화, 큰 의료비)를 시야에서 지운다.

왜 빠지나 (메커니즘)

단일 서사 선호: 세부 사항이 붙은 그럴듯한 이야기는 덜 구체적인 설명보다 더 그럴 법하게 느껴진다. 두 조건이 함께 일어날 확률을 한 조건만의 확률보다 높게 매기는 결합 오류(conjunction fallacy)가 그 예다 [Tversky & Kahneman 1983]. 그래서 하나의 생생한 미래 시나리오에 계획을 맞추기 쉽다. RDM은 점추정 예측 하나 대신 모델을 수백~수천 번 돌려 다중 미래를 만든다 [Lempert 2006].
예측 패러다임의 한계: 깊은 불확실성에서는 모델로 미래를 맞히려는 시도가 잘 통하지 않는다. 모델을 계산 실험 도구로 써서 가정이 달라질 때 결과가 어떻게 바뀌는지 탐색하는 방식을 탐색적 모델링이라 한다 [Bankes 1993]. RDM은 이 방식으로 "더 나은 결정"을 위한 스트레스 테스트를 한다 [Marchau 2019].
최적화의 가정 취약성: 가장 가능성 높은 미래에 최적화한 전략은 그 가정이 깨지는 순간 무너진다. 그래서 RDM은 견고성을 기준으로 삼는다. 견고성은 두 방식으로 잰다. 여러 미래 각각에서 최선의 전략 대비 손실(후회, regret)이 작은 전략을 고르거나 [Lempert 2006], 미리 정한 성과 기준을 넘는 미래의 비율이 큰 전략을 고른다(만족화, satisficing) [Herman et al. 2015].
인지 부담: 여러 미래·여러 전략을 동시에 비교하는 것은 부담스럽다. 그래서 대량 실행 결과에서 전략이 실패하는 조건을 통계 알고리즘으로 몇 개 변수의 범위로 요약하는 시나리오 발견(scenario discovery)을 쓴다 [Bryant & Lempert 2010].

빠져나오는 법

1. 다중 미래 생성: 예측 하나 대신 가정을 넓게 바꿔 가며 다양한 미래를 만든다(탐색적 모델링, exploratory modeling) [Marchau 2019]. — 근거 수준: 정책 분석 방법론 [Bankes 1993; Marchau 2019]. 개인 결정에 옮긴 것은 경험칙(개인 결정이 나아지는지 검증한 연구 없음) 2. 시나리오 발견: 각 선택지가 어떤 조건에서 실패하는지 찾는다 — 실패/성공을 가르는 핵심 요인을 특정한다(scenario discovery) [Marchau 2019]. — 근거 수준: 정책 분석 방법론 [Bryant & Lempert 2010]. 개인 적용은 경험칙 3. 견고성 기준 적용: 최상의 기대치보다 후회와 파산 위험이 낮은, 넓은 미래에서 허용 가능한 선택을 고른다. 이때 가장 안전한 쪽으로만 쏠리지 않게 점검한다. 확률 폭이 넓으면 사람들은 이미 큰 값을 치르고라도 안전한 쪽을 고르는 경향이 있고, 여러 확률에서 각 선택의 기댓값을 보여 주는 도구가 이 치우침을 줄였다 [Budescu et al. 2014]. — 근거 수준: 정책 분석 방법을 개인 결정에 옮긴 경험칙. 어떤 견고성 지표를 쓰느냐에 따라 답이 바뀐다 [Herman et al. 2015] 4. 조기 경보 부착: 작은 실험과 조기 경보 지표를 붙여 가정이 깨지는 시점을 미리 잡는다. — 근거 수준: 경험칙. 정책 사례에서는 발동 기준을 앞당길수록 실패 미래가 줄고 비용 범위가 커졌다 [Groves et al. 2019] 5. 적응 경로 설계: 미래가 드러날 때 경로를 바꿀 수 있는 옵션을 남긴다(adaptive pathways) [Haasnoot 2013]. — 근거 수준: 정책 설계 사례 [Haasnoot 2013; Kwakkel et al. 2016]. 개인 적용은 경험칙

함께 쓰기 좋은 도구

2차 사고 — 부작용과 지연 효과
시스템 사고 — 피드백 루프
예측 보정 — 예측 가능한 범위 확인
프리모템 — 실패 경로 상상

통념이 무너지는 순간

"좋은 결정은 가장 가능성 높은 미래에 맞추는 것이다"

⚠ 흔한 말: "베이스 시나리오를 정하고 거기에 최적화하면 된다." ✓ 학술: Lempert et al. (2006)은 후보 전략을 제시하고, 그 전략이 취약해지는 미래들의 묶음을 찾고, 그 취약성에 대비하는 비용을 따지는 과정을 되풀이한다. 모델을 수백~수천 번 돌려 넓은 범위의 미래에 전략을 스트레스 테스트하고, 여러 미래에서 허용 가능한 성과를 내는 견고성(robustness)을 기준으로 삼는다. [Lempert 2006]

"확률을 모르니 합리적으로 결정할 수 없다"

⚠ 흔한 말: "확률 분포를 모르면 기대값 계산이 안 되니 결정 불가." ✓ 학술: 깊은 불확실성은 모델·확률·가치 가운데 하나 이상을 모르거나 합의하지 못하는 상태로 정의된다(원문 "and/or"). [Lempert 2003] 확률을 몰라도 취약 조건·후회·회복 가능성은 비교할 수 있다. RDM은 계산을 더 나은 결정을 내리는 데 쓴다. [Marchau 2019]

"예측 정확도를 높이는 게 핵심이다"

⚠ 흔한 말: "모델만 더 정교하게 만들면 불확실성이 줄어든다." ✓ 학술: RDM은 모델을 스트레스 테스트 도구로 쓴다. 정확도를 겨루는 대신 "어떤 가정에서 전략이 깨지는가"를 시나리오 발견으로 찾는다. [Bryant & Lempert 2010; Marchau 2019]

1차 출처

Lempert, R. J., Popper, S. W., & Bankes, S. C. (2003). Shaping the Next One Hundred Years: New Methods for Quantitative, Long-Term Policy Analysis (MR-1626-RPC). RAND. — 깊은 불확실성 정의의 원전. RAND 무료 PDF
Lempert, R. J., Groves, D. G., Popper, S. W., & Bankes, S. C. (2006). A general, analytic method for generating robust strategies and narrative scenarios. Management Science, 52(4), 514-528. DOI: 10.1287/mnsc.1050.0472
Marchau, V. A. W. J., Walker, W. E., Bloemen, P. J. T. M., & Popper, S. W. (Eds.). (2019). Decision Making under Deep Uncertainty: From Theory to Practice. Springer (오픈 액세스). DOI: 10.1007/978-3-030-05252-2

원문 핵심 인용

"Deep uncertainty exists when analysts do not know, or the parties to a decision cannot agree on, (1) the appropriate models to describe the interactions among a system's variables, (2) the probability distributions to represent uncertainty about key variables and parameters in the models, and/or (3) how to value the desirability of alternative outcomes." — Lempert, Popper & Bankes (2003), Shaping the Next One Hundred Years, pp.3-4 (verbatim 검증: 2026-09-27, RAND 무료 PDF에서 pdftotext 추출·대조)

"Robust Decisionmaking (RDM) is a set of concepts, processes, and enabling tools that use computation, not to make better predictions, but to yield better decisions under conditions of deep uncertainty." — Lempert (2019), Marchau et al. (Eds.), Ch.2 "Robust Decision Making (RDM)", p.23 핵심 요약 (verbatim 검증: 2026-09-27, OAPEN 오픈 액세스 PDF에서 pdftotext 추출·대조)

핵심 정의·메커니즘

원전 정의

Lempert, Popper & Bankes (2003)는 깊은 불확실성(deep uncertainty)을 분석자가 모르거나 결정 당사자들이 합의하지 못하는 것이 ① 시스템 변수 사이의 관계를 설명할 모델, ② 핵심 변수·모수의 확률분포, ③ 결과의 바람직함을 평가하는 방법 가운데 하나 이상("and/or")인 상태로 정의했다(위 원문 인용 1). 이 정의 위에서 Lempert (2019)는 RDM을 "계산을 더 나은 예측이 아닌 더 나은 결정에 쓰는 개념·절차·도구의 묶음"으로 규정했다(위 원문 인용 2).

Lempert (2019)는 RDM을 기대효용 기반 결정분석과 순서가 반대인 방법으로 설명한다. 기대효용 분석은 먼저 미래 상태의 확률에 합의하고 그 합의로 대안의 순위를 매긴다("가정에 먼저 합의하기, agree-on-assumptions" 또는 "예측 후 행동, predict-then-act"). RDM은 검토 중인 전략에서 출발해 수많은 미래에서 스트레스 테스트를 하고, 그 결과로 전략의 취약점을 드러낸 다음 대응을 찾는다("결정에 먼저 합의하기, agree-on-decisions"). 확률은 아예 쓰지 않거나, 하나의 분포 대신 여러 분포의 집합(부정확 확률, imprecise probabilities)을 쓴다. 판단 기준은 최적성 대신 견고성이다.

| 개념 | 정의 | |---|---| | 견고성(robustness) | 넓은 범위의 그럴듯한 미래에서 허용 가능한 성과를 내는 정도. 후회 기준(여러 미래에서 최선 대비 손실이 작음) [Lempert 2006]과 만족화 기준(성과 기준을 넘는 미래의 비율) [Herman et al. 2015] 두 계열이 있다 | | 탐색적 모델링(exploratory modeling) | 계산 실험으로 불확실성이 큰 시스템을 추론하는 모델 사용법. 지식을 모아 예측하는 모델 사용과 구분한다 [Bankes 1993] | | 시나리오 발견(scenario discovery) | 대량 모델 실행 결과에서 전략이 목표를 놓치는 조건을 몇 개 변수의 범위(상자)로 요약. 대표 알고리즘은 PRIM(Patient Rule Induction Method)이고, 상자가 실패 사례를 얼마나 덮는지(coverage)·상자 안 사례 중 실패 비율(density)·해석 가능성으로 평가한다 [Groves & Lempert 2007; Bryant & Lempert 2010] | | 적응 경로(adaptive pathways) | 조건이 바뀌면 다른 조치로 갈아탈 수 있게 조치의 순서와 전환 시점을 미리 설계하는 방법(DAPP) [Haasnoot 2013] |

작동 기제

RDM은 분석 절차다. 절차가 하나씩 무엇을 바꾸는지 적으면 다음과 같다 [Lempert 2006; Lempert 2019].

1. 결정 틀 짜기(XLRM): 이해관계자와 함께 외부 불확실 요인(X), 정책 수단(L), 요인과 결과를 잇는 관계 모델(R), 성과 지표(M)를 정한다. 이 틀은 Lempert et al. (2003)에서 나왔다. 여기서 "무엇이 불확실한가"를 넓게 잡을수록 뒤 단계에서 놓치는 미래가 줄어든다. 2. 대량 실행: 불확실 요인의 조합 수백~수천 개(사례에 따라 수만 개)에서 각 전략을 계산해 결과 데이터베이스를 만든다. 예측 하나에 맞춘 계획은 이 단계에서 "어느 미래에서 깨지는가"로 다시 읽힌다. 3. 취약성 분석: 시나리오 발견 알고리즘으로 전략이 목표를 놓치는 미래 묶음을 가장 잘 가르는 요인을 찾는다. 이 묶음이 "정책에 의미 있는 시나리오"가 된다. Lempert (2019)는 이 시나리오가 스트레스 테스트에 재현 가능하게 묶여 있어서, 정성 시나리오 작업에서 때때로 생기는 편향과 자의성을 피할 수 있다고 적었다. 4. 맞교환(trade-off) 분석: 취약 시나리오가 일어날 가능성에 따라 전략의 성과가 어떻게 달라지는지 비교하고, 대비 비용과 견고성을 저울질한다. 5. 새 전략·새 미래로 반복: 취약점을 보완한 전략(대개 조기 경보 지표와 발동 기준을 붙인 적응형 전략)을 만들어 다시 1~4를 돈다.

전 과정은 "분석과 함께하는 숙의(deliberation with analysis)"라는 학습 과정 안에 놓인다. 분석 결과가 이해관계자 논의로 들어가고, 논의가 다시 틀을 고친다 [Lempert 2019].

언제 강해지고 언제 약해지나

불확실성이 깊고 정책 선택지가 많을수록 쓸모가 크다. Marchau et al. (2019)의 도입 장은 세 조건을 든다. 외부 불확실성이 잘 특성화되지 않고 깊을수록, 정책의 자유도가 클수록, 시스템이 복잡해 전문가도 모델·확률·결과를 모르거나 이견이 있을수록 이득이 비용보다 크다. 불확실성이 잘 특성화돼 있거나 선택지가 적으면 기존 예측 후 행동 방식보다 나은 점이 적다.
전문가 직관으로 정책과 결과를 이을 수 있으면 정성 시나리오 기획으로 충분할 수 있다. 미래·시스템·결과가 놀라움을 줄 수 있을 때 전체 분석이 값을 한다 [Marchau 2019].
견고성 지표를 무엇으로 정하느냐에 따라 답이 바뀐다. 노스캐롤라이나 리서치 트라이앵글 지역 상수도 사례에서 대안 생성·미래 표집·견고성 지표·민감도 분석 방식의 선택이 서로 크게 다른 계획을 고르게 만들었다 [Herman et al. 2015]. 지표마다 순위가 갈리는 이유는 결정 맥락(절대 성과인가 후회인가), 위험 회피 정도, 성과 최대화·분산 최소화 선호 차이에 있다 [McPhail et al. 2018].
분석자가 내리는 선택이 많다. RDM 과정은 경로 의존적이고 끝이 열려 있어, 분석자가 많은 선택을 해야 하는데 RDM 자체는 그 선택에 직접 지침을 주지 않는다 [Kwakkel et al. 2016].
모델 만들 비용이 크다. 필요한 시스템 모델을 만드는 비용 때문에 많은 결정자에게 RDM이 손에 닿지 않는다. 전문가 도출·참여형 모델링으로 빠르게 만드는 "RDM-lite" 연구가 제안돼 있다 [Lempert 2019].

어떻게 재나

견고성 지표: 후회 최소화(minimax regret), 만족화 비율(성과 기준을 넘는 미래의 비율), 성과 평균·분산 등. 같은 사례에서도 지표에 따라 전략 순위가 달라지므로 지표 선택 근거를 밝힌다 [Herman et al. 2015; McPhail et al. 2018].
취약성 지도: 콜로라도강 사례에서는 전략마다 "목표를 못 맞춘 미래의 비율"을 연간 비용과 나란히 그렸다 [Groves et al. 2019].
시나리오 발견 품질: coverage·density·해석 가능성 [Bryant & Lempert 2010].
방법 비교 실험: 같은 문제에 RDM과 다른 방법(info-gap, DAPP)을 적용해 권고가 얼마나 같은지 본다 [Hall et al. 2012; Kwakkel et al. 2016].
결정 지원 효과 평가: RDM 도구·시각화·절차의 효과를 실험실과 현장 실험으로 잰 연구가 몇 편 있지만, Lempert (2019)는 이런 평가 작업이 훨씬 더 필요하다고 적었다. 실험실 방식의 예로, Budescu et al. (2014)은 구성이 일부만 알려진 항아리에서 공을 뽑는 손실 상황을 주고, 결정 도구 없이·기댓값 계산기와 함께·확률 범위 전체의 기댓값 그래프와 함께 세 행동을 평정하고 고르게 했다. RDM을 쓴 결정이 쓰지 않은 결정보다 결과가 나았는지를 비교한 연구는 이 카드 작업에서 찾지 못했다.

헷갈리는 개념과의 차이

| 개념 | 무엇을 하나 | RDM과 다른 점 | |---|---|---| | 기대효용 결정분석 | 확률 하나에 합의한 뒤 최적안을 고른다 | RDM은 확률 합의를 요구하지 않고 견고성으로 고른다 [Lempert 2019] | | Knight의 위험/불확실성 구분 | 확률로 계산할 수 있는 위험과 계산할 수 없는 불확실성을 나눈다 | 개념 구분이다. RDM은 계산할 수 없는 쪽에서 결정하는 절차다. 깊은 불확실성 정의는 모델·가치의 불일치까지 넓힌다 [Marchau 2019; Lempert 2003] | | 정성 시나리오 기획(Shell식) | 전문가 토론으로 그럴듯한 미래 몇 개를 서술한다 | RDM의 시나리오는 수천 번의 모델 실행에서 "전략이 깨지는 조건"으로 계산해 낸다. 재현할 수 있고 특정 전략의 스트레스 테스트에 묶여 있다 [Lempert 2019] | | 의사결정 스케일링(decision scaling) | 결정 모델과 성과 기준에서 출발해 위험한 기후 상태를 찾고, 기후 예측 앙상블로 그 상태의 확률을 추정한다 | 아래에서 위로 가는 취약성 분석은 같다. 취약 상태에 확률을 붙이는 단계가 있어 RDM에 확률 부여를 더한 방식으로 볼 수 있다 [Brown et al. 2012; Marchau 2019] | | info-gap | 기준 추정에서 얼마나 멀어져도 성과가 유지되는지 잰다 | 둘 다 여러 미래로 불확실성을 표현하지만 분석 순서, 손실·이익을 다루는 방식, 부정확한 확률 정보를 쓰는 방식이 다르다 [Hall et al. 2012] | | 모호성 회피(ambiguity aversion, Ellsberg 역설) | 확률이 정확히 알려진 선택지를 모호한 선택지보다 값을 더 치르고라도 고르는 행동 경향 [Ellsberg 1961] | 모호성 회피는 사람의 선호를 말하고, 깊은 불확실성은 분석이 처한 상황(모델·확률·가치 합의가 없음)을 말한다. 확률 폭이 넓을수록 안전한 행동 쪽 선호가 커졌으므로 [Budescu et al. 2014], 깊은 불확실성 아래 결정은 이 경향을 따로 점검해야 한다 | | 적응 경로(DAPP) | 시간에 따라 조치를 바꾸는 경로를 설계한다 | RDM은 문제가 생기는 조건을 찾고 맞교환을 드러내는 데 강하다. DAPP는 그 취약점에 시간 축으로 대응하는 데 강하다. 둘은 보완 관계다 [Kwakkel et al. 2016] |

주요 후속 연구·메타분석

이 분야는 결정 방법론이라 효과크기를 모으는 메타분석은 없다. 대표 적용 사례, 방법 비교, 지표 비교 연구가 그 역할을 한다.

### Lempert, Groves, Popper & Bankes (2006) — RDM의 일반 절차 Management Science, 52(4), 514–528. DOI: 10.1287/mnsc.1050.0472

설계: 21세기 내내 경제 성장과 환경 질을 함께 지키는 단기 오염 통제 전략을 찾는 문제에 RDM을 적용한 방법 논문.
결과: 후보 견고 전략 제시 → 그 전략이 취약한 미래 묶음 찾기 → 취약성 대비의 맞교환 평가를 되풀이하는 절차를 제시했다. 이 과정이 견고하고 적응적인 전략을 설계하게 돕고, 동시에 서사 시나리오로 읽을 수 있는 핵심 미래 묶음을 체계적으로 만든다고 보였다.
의미와 한계: 견고성을 "직관"에서 계산 가능한 절차로 옮긴 기준 논문이다. 방법 시연이라 실제 결정이 나아졌는지는 다루지 않는다. 초록만 읽었다.

### Groves, Molina-Perez, Bloom & Fischbach (2019) — 콜로라도강 유역 물 계획 In Marchau et al. (Eds.), Decision Making under Deep Uncertainty (pp. 135–163). Springer. DOI: 10.1007/978-3-030-05252-27

설계: 미국 연방 개간국의 콜로라도강 유역 연구(Basin Study)와 Bloom (2015)의 후속 분석을 정리했다. 과거·고기후 기록과 기후 모델 전망에서 만든 수문 조건을 수요 시나리오 6개, 운영 시나리오 2개와 조합해 23,508개의 미래를 만들고, 개간국의 장기 계획 모델(CRSS)로 전략을 평가했다.
결과: 현재 관리 방식에서는 리스페리 지점의 장기 평균 유량이 연 15 maf(maf = 백만 에이커피트) 아래로 내려가고 평균 13 maf 미만인 8년 가뭄이 겹치면 하류 유역이 취약해졌다. 목표를 못 맞춘 미래의 비율은 현재 관리 54%, 기준 적응 전략 48%, 공격적 발동 기준 19%, 매우 공격적 16%, 모든 조치를 한꺼번에 시행 11%였다. 발동 기준이 공격적일수록 실패 미래가 줄고 비용 범위는 커졌다. 포트폴리오 A·B는 미드호 수위가 위험하게 낮은 해가 가장 적었지만 연 55억~75억 달러가 들었고, 환경 중심 포트폴리오 C는 성과가 덜했지만 비용이 연 47억 5천만~52억 5천만 달러로 좁았다.
의미와 한계: RDM이 "어느 조건에서 깨지는가"를 유량 두 숫자로 요약하고, 전략별 실패 비율과 비용을 나란히 보여 준 사례다. 저자들은 적응 전략도 가장 건조한 미래에선 과소 투자, 가장 습한 미래에선 과대 투자를 해 후회가 남는다고 적었다. 전문을 읽었다.

### Hall, Lempert, Keller, Hackbarth, Mijere & McInerney (2012) — RDM과 info-gap을 같은 문제에 Risk Analysis, 32(10), 1657–1672. DOI: 10.1111/j.1539-6924.2012.01802.x

설계: 기후 시스템의 비선형 임계 반응 가능성, 그 반응과 여러 핵심 모수에 대한 큰 불확실성, 시간에 따른 학습 가능성을 고려해 온실가스 배출 경로를 두 방법으로 평가했다.
결과: 두 방법은 불확실성을 여러 그럴듯한 미래로 표현하고 성과가 불확실성에 둔감한 전략을 찾는다는 점에서 닮았다. 분석 순서, 손실과 이익을 다루는 방식, 부정확한 확률 정보에 대한 접근이 달랐고, 권고는 비슷하지만 똑같지 않았다.
의미와 한계: 견고성 분석끼리도 결론이 갈릴 수 있음을 같은 문제로 보였다. 초록만 읽어 권고의 구체적 차이는 싣지 않는다.

### Herman, Reed, Zeff & Characklis (2015) — 견고성을 어떻게 정의하느냐가 답을 바꾼다 Journal of Water Resources Planning and Management, 141(10), 04015012. DOI: 10.1061/(ASCE)WR.1943-5452.0000509

설계: RDM·의사결정 스케일링·info-gap·다목적 RDM(MORDM)을 ① 대안 생성, ② 미래 상태 표집, ③ 견고성 측정, ④ 중요한 불확실성을 찾는 민감도 분석 네 기준으로 분류하고, 노스캐롤라이나 리서치 트라이앵글 지역 상수도 사례에 적용했다.
결과: 방법 선택에 따라 크게 다른 계획이 선택됐다. 흔히 쓰는 일부 선택과 견고성 정의는 대안 순위를 매길 때 원치 않는 결과를 낳았다. 저자들은 대안을 미리 정하지 말고 탐색하며, 지배적 불확실성은 민감도 분석으로 찾으라고 권했다.
의미와 한계: "견고한 선택"이라는 말이 방법 선택 이전에 정해지지 않음을 보였다. 한 지역 사례다. 초록만 읽었다.

### Kwakkel, Haasnoot & Walker (2016) — RDM과 적응 경로 비교 Environmental Modelling & Software, 86, 168–183. DOI: 10.1016/j.envsoft.2016.09.017

설계: 네덜란드 라인강 삼각주 하천 구간에서 착안한 가상 사례에 RDM과 DAPP를 모두 적용해 필요한 도구, 결정에 쓸 통찰, 결과 계획을 비교했다.
결과: 두 방법은 보완 관계였다. RDM은 문제가 생기는 조건을 보여 주고 맞교환을 투명하게 했다. DAPP는 시간에 따른 적응을 강조해 RDM이 찾은 취약점을 다루는 자연스러운 방법을 줬다. RDM의 분석 과정은 경로 의존적이고 끝이 열려 있어 분석자가 많은 선택을 해야 했다.
의미와 한계: RDM의 약점(분석자 재량)을 같은 진영 연구자가 짚었다. 가상 사례다. 초록만 읽었다.

### Budescu, Broomell, Lempert & Keller (2014) — 부정확한 확률 아래 도움받은 결정과 안 받은 결정 EURO Journal on Decision Processes, 2(1–2), 31–62. DOI: 10.1007/s40070-013-0023-4

설계: 실험 1은 일리노이대 학생 80명을 결정 도구 3종(없음·기댓값 계산기 Summary·확률 범위 전체의 기댓값 곡선 그래프 Display)과 정보 구매 가능 여부로 나눈 6집단에 무작위 배정했다. 참가자는 빨간 공 비율이 "30~70%"처럼 범위로만 알려진 항아리를 두고, 손실 규모가 다른 세 행동을 1~7점으로 평정하고 골랐다. 확률 범위의 폭·가운데 값·벌금 크기를 바꿨고, 세 판은 실제 돈으로 정산했다. 실험 2는 32명이 두 도구를 모두 써 본 뒤 9번 도구를 직접 고르게 했다.
결과: 도구 없는 집단은 안전한 행동을 가장 높게, 위험한 행동을 가장 낮게 평정했고, 두 도구 집단에서는 이 순위가 뒤집혔다(도구 효과 F(4,152) = 4.27, p < .05. 두 도구끼리는 차이 없음). 확률 범위가 넓고 가운데 값이 높을수록 모든 집단에서 안전한 행동 평정이 올랐다. 모호성을 줄이는 정보를 살 수 있었지만 18%의 경우에만 샀다. 실험 2에서 도구 선택의 75%가 그래프(Display)였고, 같은 문제를 두 번 풀었을 때 선택 일치는 48%(κ = 0.18)였다. 선택은 최악의 결과를 가장 낫게 하는 최대최소(maxi-min) 기준과 잘 맞았고, 모호성이 작거나 도구가 있을 때는 주관적 기댓값 모형도 잘 맞았다.
의미와 한계: 사람들이 깊은 불확실성 앞에서 비싼 값을 치르고 안전한 쪽을 고르는 경향이 있고, 결과를 확률 범위 전체에 걸쳐 보여 주는 RDM식 제시가 이 경향을 줄인다는 실험 근거다. 학생 80명·32명의 실험실 과제이고, 어떤 선택이 "옳은지"는 확률을 모르는 설정이라 정할 수 없어 결정의 질 대신 선택 패턴을 쟀다. 전문을 읽었다.

### Moallemi, Kwakkel, de Haan & Bryan (2020) — 탐색적 모델링을 인간-자연 결합 시스템으로 Global Environmental Change, 65, 102186. DOI: 10.1016/j.gloenvcha.2020.102186

설계: 인간-자연 결합 시스템 연구에서 탐색적 모델링을 쓴 사례들을 기술적 능력별로 분류한 문헌 정리.
결과: 탐색적 모델링이 불확실성과 복잡성을 다루는 방식을 분류표로 정리하고, 그 실용적 이점과 과제를 짚었다. 학제 간 연구를 통해 이해관계자 참여를 탐색적 모델링에 넣는 방법을 논의했다.
의미와 한계: 탐색적 모델링을 특정 분야 도구에서 인간-자연 결합 시스템 전반의 방법으로 정리했다. 적용 사례 수 같은 정량 정리는 초록에 없다. 초록만 읽었다.

그 밖의 문헌

Lempert, R. J. (2019). Robust Decision Making (RDM). In Marchau et al. (Eds.), Decision Making under Deep Uncertainty (pp. 23–51). Springer. https://doi.org/10.1007/978-3-030-05252-22 — RDM 개념·절차·한계 정리. 전문을 읽었다.
Marchau, V. A. W. J., Walker, W. E., Bloemen, P. J. T. M., & Popper, S. W. (2019). Introduction. In Decision Making under Deep Uncertainty (pp. 1–20). https://doi.org/10.1007/978-3-030-05252-21 — Knight의 위험/불확실성 구분, 깊은 불확실성 방법을 쓸 조건. 전문을 읽었다.
Groves, D. G., & Lempert, R. J. (2007). A new analytic method for finding policy-relevant scenarios. Global Environmental Change, 17(1), 73–85. https://doi.org/10.1016/j.gloenvcha.2006.11.006 — 대량 시뮬레이션에서 정책에 중요한 시나리오를 통계적으로 찾는 방법. 시나리오 발견의 초기 형태.
Bryant, B. P., & Lempert, R. J. (2010). Thinking inside the box: A participatory, computer-assisted approach to scenario discovery. Technological Forecasting and Social Change, 77(1), 34–49. https://doi.org/10.1016/j.techfore.2009.08.002
Kasprzyk, J. R., Nataraj, S., Reed, P. M., & Lempert, R. J. (2013). Many objective robust decision making for complex environmental systems undergoing change. Environmental Modelling & Software, 42, 55–71. https://doi.org/10.1016/j.envsoft.2012.12.007 — 후보 전략을 다목적 최적화로 찾아낸 뒤 견고성을 따지는 확장(MORDM).
Haasnoot, M., Kwakkel, J. H., Walker, W. E., & ter Maat, J. (2013). Dynamic adaptive policy pathways: A method for crafting robust decisions for a deeply uncertain world. Global Environmental Change, 23(2), 485–498. https://doi.org/10.1016/j.gloenvcha.2012.12.006 — 라인강 삼각주 장기 물 관리 적응 계획으로 시연.
McPhail, C., Maier, H. R., Kwakkel, J. H., Giuliani, M., Castelletti, A., & Westra, S. (2018). Robustness metrics: How are they calculated, when should they be used and why do they give different results? Earth's Future, 6(2), 169–191. https://doi.org/10.1002/2017EF000649 — 견고성 지표 통합 틀과 세 사례(호주 애들레이드 상수도·이탈리아 다목적 호수·라인강 가상 하천 홍수).
Brown, C., Ghile, Y., Laverty, M., & Li, K. (2012). Decision scaling: Linking bottom-up vulnerability analysis with climate projections in the water sector. Water Resources Research, 48(9). https://doi.org/10.1029/2011WR011212 — 결정 모델링·임계값 → 기후 반응 함수로 위험 기후 상태 특정 → 기후 모델 앙상블로 그 상태의 확률 추정. 초록만 읽었다.
Walker, W. E., Harremoës, P., Rotmans, J., van der Sluijs, J. P., van Asselt, M. B. A., Janssen, P., & Krayer von Krauss, M. P. (2003). Defining uncertainty: A conceptual basis for uncertainty management in model-based decision support. Integrated Assessment, 4(1), 5–17. https://doi.org/10.1076/iaij.4.1.5.16466 — 불확실성을 위치·수준·성질 세 차원으로 나누고, 완전히 결정론적인 지식에서 벗어난 모든 정도를 불확실성으로 정의했다.
Bankes, S. (1993). Exploratory modeling for policy analysis. Operations Research, 41(3), 435–449. https://doi.org/10.1287/opre.41.3.435
Ellsberg, D. (1961). Risk, ambiguity, and the Savage axioms. Quarterly Journal of Economics, 75(4), 643. https://doi.org/10.2307/1884324 — 확률이 알려진 선택지를 모호한 선택지보다 선호하는 모호성 회피를 제기한 논문. 본문은 읽지 못했고, 내용은 Budescu et al. (2014) 서론의 요약을 따랐다.
Tversky, A., & Kahneman, D. (1983). Extensional versus intuitive reasoning: The conjunction fallacy in probability judgment. Psychological Review, 90(4), 293–315. https://doi.org/10.1037/0033-295X.90.4.293

비판·한계

재현성

결정 방법론이라 실험 재현의 대상이 아니다. 대신 "같은 문제에 다른 방법·지표를 쓰면 같은 답이 나오는가"를 본 연구들이 재현성 역할을 한다. RDM과 info-gap은 비슷하지만 똑같지 않은 권고를 냈고 [Hall et al. 2012], 견고성 정의와 방법 선택에 따라 크게 다른 상수도 계획이 골라졌으며 [Herman et al. 2015], 지표마다 순위가 달라지는 이유는 세 사례에서 확인됐다 [McPhail et al. 2018]. RDM을 쓴 결정이 실제로 더 나은 결과를 냈는지를 대조한 평가는 드물고, 방법 제안자도 평가 연구가 훨씬 더 필요하다고 적었다 [Lempert 2019]. 실험실 근거로는 확률 범위 전체의 기댓값을 보여 주는 도구가 안전한 행동 쪽 치우침을 줄였다는 80명 실험이 있다 [Budescu et al. 2014]. 결과의 질을 잰 것은 아니다.

대표 반론

"분석자 재량이 결과를 정한다": RDM 과정은 경로 의존적이고 끝이 열려 있으며, 분석자가 해야 할 많은 선택에 방법이 직접 지침을 주지 않는다 [Kwakkel et al. 2016]. 어떤 불확실 요인을 어느 범위까지 넣느냐, 어떤 견고성 지표를 쓰느냐가 답을 바꾼다 [Herman et al. 2015; McPhail et al. 2018]. RDM 쪽 응답은 이 선택을 숨기지 않고 이해관계자와 함께 정하는 "분석과 함께하는 숙의"다 [Lempert 2019]. McPhail et al. (2018)은 결정자의 맥락·위험 회피·선호에 맞춰 지표를 고르는 틀을 냈다.
"확률을 버리면 정보를 버린다": 기후 예측 앙상블 같은 정보가 있으면 취약 상태에 확률을 붙이는 편이 낫다는 쪽이 의사결정 스케일링이다 [Brown et al. 2012]. RDM도 확률을 완전히 버리지 않고, 취약 시나리오의 가능성에 따라 전략 성과가 어떻게 달라지는지 보여 주거나 여러 분포의 집합을 쓴다 [Lempert 2019].
"비싸고 느리다": 시스템 모델을 만드는 비용 때문에 많은 결정자가 쓰지 못한다. 제안자 쪽도 이를 인정하고 빠른 모델링("RDM-lite") 연구를 과제로 들었다 [Lempert 2019].
"견고성만 좇으면 기회를 놓친다": 콜로라도강 사례에서 발동 기준을 공격적으로 잡을수록 실패 미래는 48%에서 16%까지 줄었지만 비용 범위는 커졌다 [Groves et al. 2019]. 견고성과 비용의 맞교환은 분석이 드러낼 뿐, 어느 점을 고를지는 가치 판단으로 남는다.

쓰면 안 되는 상황

확률을 합의할 수 있는 반복 결정. 보험 요율이나 재고 관리처럼 불확실성이 잘 특성화돼 있거나 선택지가 적으면 예측 후 행동 방식보다 나은 점이 적다 [Marchau 2019].
되돌릴 수 있는 작은 선택. 기대값 계산이 더 싸고 알맞다.
시스템 모델을 만들 수 없는데 RDM이라는 이름만 붙일 때. 대량 실행과 시나리오 발견이 빠지면 정성 시나리오 기획과 다를 바 없다.
미래 범위를 분석자 혼자 좁게 잡을 때. 좁은 범위에서 견고해 보이는 전략은 실제로 취약할 수 있다.
개인 일상 판단. 무거운 절차 대신 "이 선택은 어떤 미래에서 망가지나"라는 질문만 가져다 쓴다.