시스템 사고 (Systems Thinking)

처음 실린 날 2026-05-31 · 마지막으로 고친 날 2026-09-27

다른 이름: 시스템적 사고 · 시스템스 씽킹 · Systems Thinking

한 줄 정의

문제를 개인·사건 단위보다 상호작용하는 구성요소들의 패턴으로 보는 접근. 선형 인과 (A→B) 대신 피드백 루프·지연·구조를 분석. 이 카드는 그중 시스템 다이내믹스 계열(Forrester 1961 Industrial Dynamics → Meadows 2008 Thinking in Systems)을 따른다. 시스템 사고의 뿌리에는 일반체계이론·사이버네틱스도 있다 [Arnold & Wade 2015].

일상 한 줄

자녀 따돌림·회사 야근·가족 갈등 — 한 사람을 비난해서 풀리지 않는 문제는 거의 시스템 문제. 구조·피드백·인센티브를 봐야 풀린다.

흔한 장면

자녀 따돌림: 가해자 한 명 처벌 ≠ 해결. 학급 안에서 따돌림을 돕는 아이·부추기는 아이·방어하는 아이·모른 척하는 아이까지 역할이 나뉜다 [Salmivalli et al. 1996]. 교사 대응·부모 네트워크·SNS 확산도 같은 시스템에 들어간다.
회사 야근 문화: 야근하는 사람 비난 ≠ 해결. 업무 분배·승진 평가·리더 행동·고객 대응 구조가 시스템.
가족 정치 갈등: 한 명이 잘못 ≠ 원인. 정보 환경 (뉴스 소비)·세대 정체성·반복 대화 패턴이 시스템.
층간 소음: 위층 가해자 한 명 ≠ 전체. 건물 구조·관리비 정책·이웃 네트워크가 시스템.
건강 정보 광신: 부모 한 명 ≠ 원인. 동네 네트워크·의료 정보 격차·세대 미디어 소비가 시스템.

왜 효과 있나 (메커니즘)

아래는 시스템 사고가 보려는 구조의 원리다. 시스템 사고 훈련이 실제 결정의 결과를 바꾸는지는 근거가 얇다 — 확인된 것은 수업 뒤 재고-흐름 과제 성적이 오른 정도다 [Sterman 2010]. 자세한 내용은 아래 비판·한계.

지렛점(leverage point) [Meadows 1999 Leverage Points: Places to Intervene in a System] — 시스템에는 작은 개입으로 큰 변화를 낼 수 있는 지점이 있다. 정보 흐름·규칙·목표 쪽이 그런 지점이다. 다만 Meadows는 사람들이 이런 지점을 알아도 흔히 반대 방향으로 민다고 경고했다.
피드백 루프(feedback loop) — 강화 루프 (R, 가속) vs 균형 루프 (B, 안정화). 야근 강화 루프 = 야근 → 인정 → 야근 ↑. 야근 균형 루프 = 야근 → 건강 악화 → 야근 ↓.
지연 (delay) — 개입 효과가 즉시 안 나타남. 지연을 무시하면 과잉 교정이 일어나고 값이 출렁인다(진동). 맥주 게임 실험에서 참가자들은 자기 주문이 공급망을 거쳐 되돌아오는 피드백에 둔감했고, 재고가 최적에서 체계적으로 벗어났다 [Sterman 1989].
창발(emergence) — 개별 구성요소 분석으로 안 보이는 패턴이 시스템 수준에서 발생. 따돌림은 가해자 한 명의 성격 분석으로 안 보임.

빠져나오는 법 / 적용 단계

1. 사건보다 패턴 보기: "이번 한 번" 대신 "최근 6개월·1년 반복 패턴". — 근거 수준: 경험칙(직접 검증 연구 없음) 2. stakeholder map: 문제 주변의 모든 행위자 + 그들의 인센티브 + 상호작용 그림으로. — 근거 수준: 경험칙(직접 검증 연구 없음) 3. feedback loop 식별: 무엇이 강화 / 무엇이 균형. R·B 표시. — 근거 수준: 경험칙(고리 표시 습관 자체를 시험한 연구 없음. 반 학기 수업이 재고-흐름 오답을 거의 절반으로 줄였다는 전후 비교는 있다 [Sterman 2010]) 4. leverage point 찾기: Meadows 12 leverage points (낮은 효과 → 높은 효과: 숫자·상수 < 버퍼 < 재고·흐름의 물리 구조 < 지연 < 균형 피드백의 강도 < 강화 피드백의 이득 < 정보 흐름 < 규칙 < 자기 조직화 < 목표 < 패러다임 < 패러다임을 넘어서는 힘. 위 표 참조). — 근거 수준: 개념 틀 [Meadows 1999] (저자 스스로 잠정적이라 했고, 순위를 실험으로 비교한 연구 없음) 5. 지연 인식: 개입 → 결과까지 시간. 지연 무시 = over-correction. — 근거: 실험 [Sterman 1989] (이미 주문했지만 아직 도착하지 않은 물량을 무시한 참가자들이 과잉 주문했다. 지연을 의식시키는 개입의 효과는 이 카드에서 미확인) 6. 비난 전에 구조 점검: 문제 행동이 그 자리의 평가·보상 구조에 맞춘 반응일 수 있다고 가설로 두고 확인한다(모든 경우에 맞는 규칙은 아니다). 구조를 바꿀 수 있는지부터 본다. — 근거 수준: 경험칙(직접 검증 연구 없음)

함께 쓰기 좋은 도구

2차 사고 — 개입의 2차·3차 효과 시뮬레이션
second-order future-self — 시스템 변화의 장기 효과
survivorship bias — 성공한 시스템만 보고 일반화 위험
regression to mean — 시스템 변동성 인식

통념이 무너지는 순간

### "문제 일으킨 사람만 바꾸면 해결" ⚠ 흔한 말: "그 사람 빼면 끝." ✓ 학술: Meadows (1999)는 사람을 바꾸는 것을 효과가 낮은 개입으로 분류했다. 새 사람이 예전 시스템에 그대로 끼워지는 한 그렇고, 예외는 시스템의 목표를 바꿀 권한이 있는 맨 위 자리다. 예: 야근하던 직원을 내보내도 평가·보상 구조가 그대로면 다른 직원이 그 자리를 채울 수 있다(설명용 예시 — 이 사례를 직접 검증한 연구는 없다).

### "복잡한 문제는 복잡한 해결책이 필요" ⚠ 흔한 말: "큰 문제는 큰 개입." ✓ 학술: Meadows (1999) — 지렛점을 찾으면 규칙 한 줄, 정보 흐름 한 채널 같은 작은 개입으로 구조를 바꿀 수 있다. 반대로 사람들이 가장 많이 손대는 숫자(예산·목표치)는 효과가 가장 작은 쪽에 있다. Meadows는 지렛점이 직관에 반해서, 사람들이 알아도 반대 방향으로 밀기 쉽다고 경고했다.

### "선형 인과 (A→B)로 충분하다" ⚠ 흔한 말: "원인 찾으면 해결." ✓ 학술: 시스템 문제는 다중 원인 + 피드백 + 지연. Forrester (1971)는 사회 시스템이 직관과 반대로 움직인다(counterintuitive)고 정리했다. 선의의 정책이 문제를 키우는 의도하지 않은 결과가 흔하다 [Forrester 1971].

### "데이터 많으면 시스템 이해된다" ⚠ 흔한 말: "측정하면 안다." ✓ 학술: Forrester (1961) — 데이터는 사건 수준. 구조 (피드백·지연·인센티브)는 데이터에서 직접 안 보임. 데이터 + 시스템 모델 결합 필요.

1차 출처

Forrester, Jay (1961). Industrial Dynamics. MIT Press. — 시스템 다이내믹스 정립.
Meadows, Donella (1999). Leverage Points: Places to Intervene in a System. Sustainability Institute.
Meadows, Donella (2008). Thinking in Systems: A Primer. Chelsea Green.
Senge, Peter (1990). The Fifth Discipline: The Art and Practice of the Learning Organization. Doubleday. — 조직 응용.
Sterman, J. D. (2002). All models are wrong: Reflections on becoming a systems scientist. System Dynamics Review, 18(4), 501-531. DOI: 10.1002/sdr.261
Sterman, John (2000). Business Dynamics: Systems Thinking and Modeling for a Complex World. Irwin/McGraw-Hill. — 표준 교과서.
Forrester, J. W. (1971). Counterintuitive behavior of social systems. Theory and Decision, 2(2), 109-140. DOI: 10.1007/BF00148991
Checkland, Peter (1981). Systems Thinking, Systems Practice. Wiley. — 소프트 시스템 방법론.

이 카드의 시스템 사고는 시스템 다이내믹스 계열(Forrester·Meadows·Sterman)을 따른다. 일반체계이론·사이버네틱스·소프트 시스템 계열까지 합친 넓은 정의는 Arnold & Wade (2015)가 정리했다.

원문 핵심 인용

"Leverage points are not intuitive. Or if they are, we intuitively use them backward, systematically worsening whatever problems we are trying to solve." — Meadows (1999), Leverage Points: Places to Intervene in a System, Sustainability Institute.

"Parameters are the points of least leverage on my list of interventions." — Meadows (1999), 같은 글 12번 항목.

원문 대조: 2026-09-27, Sustainability Institute 판 PDF(donellameadows.org 배포본).

"A system is more than the sum of its parts. It may exhibit adaptive, dynamic, goal-seeking, self-preserving, and sometimes evolutionary behavior." — Meadows (2008), p. 12. (원문 대조 못 함 — 2차 출처 기반)

핵심 정의·메커니즘

원전 정의

시스템 사고(이 카드의 뜻): 문제를 재고(stock, 쌓여 있는 양)·흐름(flow, 들고 나는 양)·피드백 루프·지연·비선형으로 그려 보는 방법. Sterman (2002)은 복잡한 시스템을 이해하려면 이 개념들을 익혀야 하고, 이 개념들은 직관에 크게 어긋나 잘 이해되지 않는다고 정리했다. 형식 모델과 시뮬레이션으로 자기 머릿속 모델을 시험하라고 권한다 [Sterman 2002].
지렛점(leverage point): "복잡한 시스템(기업·경제·몸·도시·생태계) 안에서 한 곳을 조금 바꾸면 모든 것이 크게 바뀌는 자리" [Meadows 1999].
넓은 정의: 일반체계이론·사이버네틱스 등 여러 계열의 정의를 모아 하나로 합치려는 시도가 있다. Arnold & Wade (2015)는 문헌 검토로 정의 요소를 뽑아 새 정의를 제안했고, 이 정의가 아직 교육 현장에서 합의되지 않았다고 밝혔다 [Arnold & Wade 2015].

Meadows 12 지렛점 (효과 낮음 → 높음, 원문 "in increasing order of effectiveness"):

| 순위 | 개입 지점 | 예 | |---|---|---| | 12 | 숫자·상수 | 보조금·세금·기준치 | | 11 | 버퍼 크기 | 흐름에 비한 완충 재고 | | 10 | 재고·흐름의 물리 구조 | 교통망·인구 연령 구조 | | 9 | 지연의 길이 | 시스템 변화 속도에 비한 지연 | | 8 | 균형(음의) 피드백의 강도 | | | 7 | 강화(양의) 피드백의 이득 | | | 6 | 정보 흐름의 구조 | 누가 어떤 정보를 볼 수 있나 | | 5 | 규칙 | 인센티브·처벌·제약 | | 4 | 구조를 스스로 바꾸는 힘(자기 조직화) | | | 3 | 시스템의 목표 | | | 2 | 패러다임(사고방식) | | | 1 | 패러다임을 넘어서는 힘 | |

Meadows 자신이 이 목록을 "잠정적이고 순서가 미끄럽다(tentative, order is slithery)", "모든 항목에 예외가 있다"고 적었다. 실험으로 검증된 순위는 없다 [Meadows 1999].

작동 기제

1. 재고는 흐름의 누적인데, 사람은 재고가 흐름 모양을 따라간다고 본다. 재고는 유입이 유출보다 클 때만 는다. 많은 사람이 "출력이 입력과 같은 모양으로 움직인다"고 보는 상관 휴리스틱(correlation heuristic)을 쓴다 [Cronin, Gonzalez & Sterman 2009]. 소리 내어 생각하기 실험에서 참가자들은 "유입과 유출 차이가 가장 큰 때"를 말로 짚으며 이 휴리스틱을 그대로 드러냈다 [Korzilius et al. 2014]. 2. 자기 결정이 환경을 거쳐 되돌아오는 것을 놓친다. 여러 행위자·피드백·비선형·지연이 있는 모의 재고 유통 시스템(맥주 게임)에서 참가자의 결정은 최적에서 체계적으로 벗어났다. 기준점-조정(anchoring and adjustment) 재고 관리 규칙이 행동을 잘 설명했고, 참가자들은 자기 결정이 환경에 주는 피드백에 둔감했다 [Sterman 1989]. 3. 개인의 작은 오류가 구조를 거쳐 전체의 출렁임이 된다. 같은 실험에서 개인 결정과 시스템 구조의 상호작용이 최적과 다른 집계 동학을 만들었다 [Sterman 1989]. 4. 선의의 개입이 문제를 키운다(정책 저항). Sterman (2002)은 "우리는 지속되는 문제를 풀지 못하고 있고, 오히려 그 문제를 만들고 있다"는 인식에서 시스템 다이내믹스가 출발한다고 썼다. Meadows는 지렛점을 알아도 사람들이 흔히 "거꾸로" 민다고 적었다 [Sterman 2002; Meadows 1999].

언제 강해지고 언제 약해지나

흐름 모양이 복잡할수록 오류가 는다: 그래프형 백화점 과제(흐름 그래프를 보고 재고를 그림)에서 흐름이 일정한 과제는 오답 21%, 흐름이 비선형인 과제는 오답 64%였다(2007년 MIT 반) [Sterman 2010]. 8개 조건 중 가장 쉬운 조건 오답 16.7%, 가장 어려운 조건 80.6% [Cronin, Gonzalez & Sterman 2009].
자료 형식: 선 그래프·막대그래프·표·글로 바꿔도 재고 질문 정답률은 나아지지 않았다(그래프 61%·48% vs 그래프 없음 51%·44%) [Cronin, Gonzalez & Sterman 2009]. 반대로 좌표·그래프를 빼고 문제를 말로만 내자 과반이 맞혔다는 실험도 있다(N=107) [Fischer, Degen & Funke 2015].
동기와 피드백: 일찍 끝내고 갈 수 있게 해 동기를 높여도 첫 시도 정답률은 16%·13%로 통제군(19%·22%)과 차이가 없었다. 틀렸다는 피드백을 반복해 주자 천천히 올라 81%·84%에서 멈췄다 [Cronin, Gonzalez & Sterman 2009].
먼저 계산을 시켜 보기(프라이밍): 일정한 유입·유출로 재고를 직접 세어 보게 한 뒤에도 그 과제를 틀린 사람은 본 과제 정답률이 0%·6%, 맞힌 사람은 53%·68%였다 [Cronin, Gonzalez & Sterman 2009].
수학 지식: 중국과 미국의 서로 다른 두 표본에서 일반 수학 지식이 높은 사람일수록 재고-흐름 과제를 더 정확히 풀었다. 틀린 사람 대부분은 상관 휴리스틱을 썼는데, 이 휴리스틱을 쓰는지 여부는 수학 지식과 관련이 없었다 [Qi & Gonzalez 2015].
분야 경험: 의대생은 의학 맥락의 재고-흐름 문제에서 비의대 학부생보다 낫지 않았고, 의학 교육 기간·나이와 성적 사이에 상관이 없었다 [Brunstein, Gonzalez & Kanter 2010].
수업: 반 학기 시스템 다이내믹스 수업 뒤 오답률이 전년도 같은 수업 첫날 반보다 거의 절반으로 줄었다 [Sterman 2010]. 수업 전 재고-흐름 성적은 수업 뒤 성적을 약하게만 예측했다(결과 절의 로지스틱 회귀에서는 유의하지 않았고, 논의 절은 "경계선 수준으로만 유의"라고 적었다). 인구학 변수 중에는 성별 효과만 일관되게 나왔다 [Sterman 2010].

어떻게 재나

욕조 과제·시스템 사고 검사지: 욕조 그림과 물 유입·유출 그래프를 주고 물 높이의 궤적을 그리게 한다. 피드백·지연·재고-흐름 개념별 짧은 과제 묶음이다 [Booth Sweeney & Sterman 2000].
고전 백화점 과제: 30분간 분당 입장·퇴장 인원 그래프를 보고 네 질문에 답한다 — 가장 많이 들어온 때, 가장 많이 나간 때, 안에 가장 많은 때, 가장 적은 때. ±1분 안이면 정답 [Sterman 2010].
그래프형 백화점 과제: 8가지 흐름 패턴 중 하나를 무작위로 받고, 눈금 없는 빈 그래프에 재고 궤적을 그린다. 정성적 정오와 함께 "그린 궤적이 유입·순유입과 상관 +1(또는 −1)인가"를 코딩해 상관 휴리스틱을 센다 [Cronin, Gonzalez & Sterman 2009; Sterman 2010].
맥주 게임: 여러 단계 공급망의 한 자리를 맡아 매 주기 주문량을 정한다. 주문 기록을 기준점-조정 규칙에 계량적으로 맞춰 오지각을 추정한다 [Sterman 1989].
개인차 척도: 자기보고식 시스템 사고 척도(Systems Thinking Scale). 두 연구에서 지능·인지 복잡성과 겹쳤지만 그것만으로 설명되지 않는 분산이 남았다 [Randle & Stroink 2018].

헷갈리는 개념과의 차이

| 개념 | 핵심 | 시스템 사고(시스템 다이내믹스 계열)와의 차이 | |---|---|---| | 2차 사고 | 한 선택의 다음 결과, 그다음 결과를 차례로 따라간다 | 결과의 사슬을 한 방향으로 따라간다. 시스템 사고는 결과가 원인으로 되돌아오는 고리와 쌓임(재고)·지연을 그림에 넣는다 | | 복잡계·복잡 적응 시스템 | 많은 행위자의 상호작용에서 전체 패턴이 생겨나고, 행위자와 구조가 함께 바뀐다 [Levin 1998] | 시스템 다이내믹스는 비교적 고정된 재고-흐름 구조를 두고 시뮬레이션한다 | | 일반체계이론·사이버네틱스 | 분야를 가로지르는 체계의 공통 원리, 제어와 통신 | 시스템 사고의 뿌리 가운데 하나. Arnold & Wade (2015)는 이런 여러 계열을 하나의 정의로 묶으려 했다 | | 소프트 시스템 방법론 | 목적이 사람마다 다른 문제를 참여자의 관점 비교로 다룬다 [Checkland 1981] | 정량 모델보다 관점 정리에 무게를 둔다 |

주요 후속 연구·메타분석

### Sterman (1989) — 맥주 게임: 개인 결정이 구조를 거쳐 전체를 흔든다 Management Science, 35(3), 321-339. DOI: 10.1287/mnsc.35.3.321

설계: 참가자가 여러 행위자·피드백·비선형·지연이 들어 있는 모의 재고 유통 시스템(맥주 유통 게임)을 운영했다. 참가자의 주문 결정을 기준점-조정(anchoring and adjustment) 재고 관리 규칙으로 계량 추정했다.
결과: 개인 결정과 모의 기업 구조의 상호작용이 최적에서 체계적으로 벗어난 집계 동학을 만들었다. 기준점-조정 규칙이 참가자 행동을 잘 설명했고, 추정 결과는 여러 "피드백 오지각"을 보여 줬다. 참가자들은 자기 결정이 환경에 되돌아오는 피드백에 둔감했다. 수치로는 분석한 11판(44명)의 팀 비용이 컴퓨터로 구한 기준 비용의 평균 10배였고, 손님 주문이 주 4상자에서 8상자로 한 번 오를 때 공장 주문은 평균 최고 32상자로 치솟았다(증폭 700%). 이미 주문했지만 아직 받지 못한 물량을 계산에 넣은 정도는 평균 0.34였고, 3분의 2 넘게 넣은 사람은 5명(11%)이었다. 추정 규칙의 설명력은 평균 R² 71%였다.
의미와 한계: 개인 수준의 인지 편향이 조직·경제 수준의 출렁임을 만든다는 것을 실험으로 연결한 대표 연구다. 저자는 결과가 얼마나 일반화되는지를 따로 논의했다. (전문 읽음)

### Cronin, Gonzalez & Sterman (2009) — 고학력 성인도 쌓임을 모른다: 상관 휴리스틱 Organizational Behavior and Human Decision Processes, 108(1), 116-130. DOI: 10.1016/j.obhdp.2008.03.003

설계: MIT 시스템 다이내믹스 대학원 수업 첫날 학생 173명에게 백화점 과제를 준 기준 조건과, 다섯 실험을 이어 붙였다: 자료 형식(선·막대·표·글, N=264), 이야기 맥락, 동기·피드백(n=37·32), 프라이밍(N=37·37), 그래프형 과제 8조건(N=282).
결과: 기준 조건에서 가장 많이 들어온 때·나간 때는 96%·95%가 맞혔지만, 안에 가장 많은 때·가장 적은 때는 44%·31%만 맞혔다. 29%는 순유입이 가장 큰 때를 "가장 많은 때"로, 30%는 순유출이 가장 큰 때를 "가장 적은 때"로 골랐다. 형식을 바꿔도, 동기를 높여도 나아지지 않았다. 그래프형 과제는 전체 오답 46.1%, 오답 가운데 70.8%가 흐름 모양을 그대로 따라 그렸다.
의미와 한계: 재고-흐름 실패가 그래프 해석·맥락 지식·동기·계산 능력의 문제로 설명되지 않는 추론 오류라고 저자들은 결론 냈다. 표본 대부분이 고학력 대학생·대학원생이다. (전문 기준)

### Sterman (2010) — 반 학기 수업 뒤 오답이 절반 가까이 줄었다 System Dynamics Review, 26(4), 316-334. DOI: 10.1002/sdr.447

설계: MIT 슬론 입문 시스템 다이내믹스 수업(2008년 가을). 첫날 고전 백화점 과제로 사전 검사(N=255), 9번째 수업에서 그래프형 백화점 과제로 사후 검사(N=167). 사후 결과는 전년도 같은 수업 첫날 학생(Cronin 등 2009 자료)과 비교했다. 수업에서 재고-흐름만 다룬 회차는 두 번이었다.
결과: 사전 검사 재고 질문 정답 51%·38%(전년도 반과 통계적 차이 없음). 사후 오답률 25% vs 전년도 46%(p < 6×10⁻⁶). 오답 가운데 흐름 모양을 따라 그린 비율 71% → 51%(p = .024), 전체 중 상관 휴리스틱 오답 32.6% → 12.7%. 가장 어려운 비선형 과제군도 64% → 41%로 줄었다. 사전 재고 질문 성적은 사후 성공을 약하게만 예측했다(결과 절: 유의하지 않음, 논의 절: 경계선 수준).
의미와 한계: 짧은 형식 교육이 쌓임 이해를 높일 수 있다는 첫 사전-사후 증거다. 무작위 배정이 없고 비교군은 다른 해의 학생이다. 저자는 MIT 대학원생이 매우 선발된 집단이라 일반인에게 옮기기 어렵고, 짧은 워크숍은 효과가 없을 가능성이 크다고 적었다. 이 연구 이전의 교육 효과 연구는 수가 적고 결과가 엇갈렸다(효과 없음·사후 성적 하락 포함). (전문 기준 — 2009 학회 발표본 P1113)

### Fischer, Degen & Funke (2015) — 말로 내면 과반이 맞힌다 Simulation & Gaming, 46(3-4), 255-269. DOI: 10.1177/1046878114565058

설계: 참가자 107명이 여러 재고-흐름 문제를 풀었다. 제시 형식을 말(verbal)과 그래프로 실험적으로 바꾸고, 그래프 자체에 대한 기본 이해와 재고·유입·유출을 말로 또는 그래프로 만들어 내는 능력을 따로 쟀다.
결과: 재고-흐름 실패의 일부는 이전 연구가 쓴 제시 형식 때문이었다. 그래프를 만드는 방식에 대한 기본 오해가 이전 결과를 설명할 수 있었다. 문제를 말로 제시하자 참가자 과반이 정답에 도달했다.
의미와 한계: Cronin 등(2009)이 "형식을 바꿔도 안 된다"고 한 결론과 맞선다. 쌓임 개념을 모르는 것보다 좌표·그래프 읽기가 걸림돌일 수 있다. 과제 난이도·표본이 달라 두 연구를 바로 비교하기는 어렵다. (초록 기준)

### Brunstein, Gonzalez & Kanter (2010) — 분야 경험은 쌓임 이해를 돕지 않았다 System Dynamics Review, 26(4), 347-354. DOI: 10.1002/sdr.448

설계: 의대생과 의학 교육을 받지 않은 학부생에게 의학 맥락과 일반 맥락의 재고-흐름 문제를 풀게 했다.
결과: 의대생은 일부 문제(일반 맥락 문제 포함)에서만 학부생보다 나았고, 의학 경험이 필요한 문제에서는 똑같이 못했다. 의학 교육 기간·나이와 재고-흐름 성적 사이에 상관이 없었다.
의미와 한계: "그 분야를 잘 알면 시스템도 잘 본다"는 기대를 약하게 만든다. 표본 크기·효과크기는 초록에 없다. (초록 기준)

### Tosun, Ormancı & İlkörücü (2025) — 과학교육 시스템 사고 수업의 메타분석 Dokuz Eylül Üniversitesi Buca Eğitim Fakültesi Dergisi, (64), 2476-2505. DOI: 10.53444/deubefd.1631789

설계: Web of Science·SCOPUS·ERIC·Science Direct에서 "Systems Thinking" 양적·혼합 연구 31편을 찾아 기준에 맞는 12편을 남겼다. 26개 변수의 Cohen 효과크기와 95% 신뢰구간을 계산했다.
결과: 이질성 검정 Q = 1.784(p = 1.000), I² = 0%로 고정효과 모형을 썼고, 전체 효과크기는 0.47(중간 수준)이었다.
의미와 한계: 시스템 사고 수업이 과학교육 학업 성과를 높인다는 요약 수치다. 연구 12편의 소규모 메타분석이고, 결과 변수는 학업 성과다. 실제 조직·생활 결정의 질을 바꾸는지 비교한 연구는 이번 작업에서 찾지 못했다. (초록 기준)

그 밖의 문헌

Booth Sweeney, L., & Sterman, J. D. (2000). Bathtub dynamics: Initial results of a systems thinking inventory. System Dynamics Review, 16(4), 249-286. DOI: 10.1002/sdr.198 — 피드백·지연·재고-흐름을 재는 짧은 과제 묶음. 명문 경영대학원생도 재고-흐름·지연 이해가 낮았고, 성적은 학력·나이·국적과 체계적 관련이 없었다(초록). 가장 쉬운 욕조 과제 정답률 83%(Sterman 2009 학회 발표본 각주).
Sterman, J. D. (1989). Misperceptions of feedback in dynamic decision making. Organizational Behavior and Human Decision Processes, 43(3), 301-335. DOI: 10.1016/0749-5978(89)90041-1.
Sterman, J. D. (2002). All models are wrong: Reflections on becoming a systems scientist. System Dynamics Review, 18(4), 501-531. DOI: 10.1002/sdr.261 — 피드백·재고-흐름·지연·비선형은 직관에 어긋나지만 가르칠 수 있고, 형식 모델로 멘탈 모델을 시험해야 하며, 모든 모델이 틀렸다는 겸손이 필요하다고 정리.
Korzilius, H., Raaijmakers, S., Rouwette, E., & Vennix, J. (2014). Thinking aloud while solving a stock-flow task: Surfacing the correlation heuristic and other reasoning patterns. Systems Research and Behavioral Science, 31(2), 268-279. DOI: 10.1002/sres.2196 — 소리 내어 생각하기로 상관 휴리스틱이 실제 말로 나타남을 확인. 다른 오답 추론 패턴도 발견.
Qi, L., & Gonzalez, C. (2015). Mathematical knowledge is related to understanding stocks and flows: Results from two nations. System Dynamics Review, 31(3), 97-114. DOI: 10.1002/sdr.1539 — 중국·미국 두 연구. 일반 수학 지식이 높을수록 재고-흐름 과제 정확도가 높았지만, 상관 휴리스틱 사용 여부는 수학 지식과 무관했다. (초록 기준)
Randle, J. M., & Stroink, M. L. (2018). The development and initial validation of the Paradigm of Systems Thinking. Systems Research and Behavioral Science, 35(6), 645-657. DOI: 10.1002/sres.2508 — 자기보고식 시스템 사고 척도 개발.
Nordhaus, W. D. (1973). World Dynamics: Measurement without data. The Economic Journal, 83(332), 1156-1183. DOI: 10.2307/2230846 — Forrester 세계 모델에 대한 경제학자의 비판(원문 접근 못 함, 서지만 확인).
Salmivalli, C., Lagerspetz, K., Björkqvist, K., Österman, K., & Kaukiainen, A. (1996). Bullying as a group process: Participant roles and their relations to social status within the group. Aggressive Behavior, 22(1), 1-15. DOI: 10.1002/(SICI)1098-2337(1996)22:1<1::AID-AB13.0.CO;2-T — 따돌림을 여러 참여 역할의 집단 과정으로 측정.
Levin, S. A. (1998). Ecosystems and the biosphere as complex adaptive systems. Ecosystems, 1(5), 431-436. DOI: 10.1007/s100219900037.
Arnold, R. D., & Wade, J. P. (2015). A definition of systems thinking: A systems approach. Procedia Computer Science, 44, 669-678. DOI: 10.1016/j.procs.2015.03.050 — 문헌 검토로 정의 요소를 뽑아 통합 정의를 제안하고, 시스템 원형(archetype) 셋에 대어 시험.

비판·한계

재현성

재고-흐름 실패는 여러 표본에서 반복됐다: MIT 경영대학원생 [Booth Sweeney & Sterman 2000], 같은 수업 다른 해 학생 173명·255명 — 두 해의 결과가 통계적으로 다르지 않았다 [Cronin, Gonzalez & Sterman 2009; Sterman 2010], 의대생과 학부생 [Brunstein, Gonzalez & Kanter 2010]. Sterman (2010)은 여러 다른 학생 집단에서도 재현됐다고 정리했다.
교육 효과는 덜 단단하다: Sterman (2010) 이전 연구 중 긍정 결과는 같은 문제를 두 번 풀게 하거나 무작위 배정이 없는 설계였고, 한 실험은 수업 뒤 성적이 오히려 떨어졌고 다른 실험은 변화가 없었다 [Sterman 2010]. 과학교육 메타분석은 효과크기 0.47을 냈지만 연구 12편이다 [Tosun, Ormancı & İlkörücü 2025].
미해결 질문: 시스템 사고 훈련이 실제 조직·생활 결정의 결과를 바꾸는지 무작위로 비교한 연구는 이번 작업에서 찾지 못했다.

대표 반론

"데이터 없는 모델" 비판: 경제학자 Nordhaus (1973)는 Forrester의 세계 모델을 「World Dynamics: Measurement without data」라는 제목의 논문으로 비판했다(원문 접근 못 함 — 서지와 제목만 확인) [Nordhaus 1973]. 시스템 다이내믹스 쪽에서 Sterman (2002)은 "모든 모델은 틀렸다"를 전제로, 모델의 한계에 대한 겸손과 과학적 검증 습관을 시스템 사고의 조건으로 꼽았다 [Sterman 2002].
재고-흐름 실패는 추론 오류인가, 형식 문제인가: Cronin 등(2009)은 그래프·표·글 어느 형식에서도, 동기를 높여도 성적이 오르지 않아 쌓임 원리 자체를 모르는 것이라고 봤다 [Cronin, Gonzalez & Sterman 2009]. Fischer 등(2015)은 좌표·그래프를 빼고 말로 내자 과반이 맞혔다며 이전 결과의 일부가 형식 탓이라고 반박했다 [Fischer, Degen & Funke 2015].
지렛점 목록의 근거: Meadows 자신이 목록을 "잠정적"이라 하고 항목마다 예외가 있다고 적었다. 순위를 실험으로 비교한 연구는 찾지 못했다 [Meadows 1999].
소프트 시스템 비판: 사람·조직 문제는 목적 자체가 사람마다 달라 정량 모델만으로 다룰 수 없다는 입장에서 소프트 시스템 방법론이 나왔다 [Checkland 1981].
개인 책임 회피 위험: "시스템 탓"이 개인 책임 회피로 쓰일 수 있다. 따돌림 연구도 역할 분포와 함께 가해 행동 자체를 측정한다 [Salmivalli et al. 1996].

쓰면 안 되는 상황

즉시 멈춰야 하는 위험: 폭력·안전 위협은 개인을 먼저 멈춘다. 구조 분석은 그다음이다.
인과 루프 그림만으로 수치를 말할 때: 그림은 쌓임·지연의 크기를 알려 주지 않고, 고학력자도 흐름에서 재고를 잘못 읽는다 [Cronin, Gonzalez & Sterman 2009]. 수치 결론은 데이터로 추정한 모델이 있을 때만 낸다.
지렛점 순서를 정량 근거로 쓸 때: 목록은 생각을 넓히는 도구다 [Meadows 1999].
짧은 워크숍 한 번으로 "시스템적으로 생각하게 됐다"고 볼 때: 효과가 확인된 것은 선발된 대학원생의 반 학기 수업이고, 저자도 짧은 워크숍은 효과가 없을 가능성이 크다고 적었다 [Sterman 2010].