죄수의 딜레마 게임 이론으로 보는 경쟁과 협력

죄수의 딜레마: 개인적 이성과 집합적 합리성의 충돌

죄수의 딜레마(Prisoner’s Dilemma)는 게임 이론에서 가장 유명한 모델 중 하나로, 두 명 이상의 합리적인 개인이 개별적인 이익을 추구할 때 집단적으로 최악의 결과를 초래할 수 있는 상황을 설명합니다. 이 모델은 경제학, 정치학, 생물학, 비즈니스 전략 등 다양한 분야에서 경쟁과 협력의 근본적인 딜레마를 분석하는 데 활용됩니다. 본 분석은 감정적 판단을 배제하고, 각 전략 선택에 따른 보상(Payoff) 수치를 기반으로 의사결정의 구조를 해체하며, 궁극적으로 협력이 지속되기 위한 법적/제도적 장치의 필요성을 강조합니다.

죄수의 딜레마의 기본 모델과 메커니즘

죄수의 딜레마의 고전적인 설정은 다음과 같습니다. 두 명의 공범이 체포되어 분리되어 심문을 받습니다. 검사는 자백을 유도하기 위해 다음과 같은 딜레마를 제시합니다.

• 둘 다 자백(배신)하면, 각자 5년형을 선고받습니다.
• 한 명만 자백(배신)하고 다른 한 명이 침묵(협력)하면, 자백한 자는 즉시 석방되고 침묵한 자는 10년형을 선고받습니다.
• 둘 다 침묵(협력)하면, 증거 불충분으로 각자 1년형을 선고받습니다.

이 상황에서 각 죄수는 상대방의 선택을 알 수 없는 상태에서 자신의 형기를 최소화하려는 합리적 판단을 내려야 합니다, 게임의 보상 구조는 다음과 같은 표로 명확히 비교할 수 있습니다.

죄수 A \ 죄수 B	협력 (침묵)	배신 (자백)
협력 (침묵)	A: 1년, B: 1년 (집단 최적)	A: 10년, B: 0년 (B에게 최고, A에게 최악)
배신 (자백)	A: 0년, B: 10년 (A에게 최고, B에게 최악)	A: 5년, B: 5년 (내쉬 균형)

개인적 이성에 따른 필연적 결과: 내쉬 균형

죄수 A의 사고과정을 분석해보면, 상대방의 선택에 관계없이 ‘배신’이 항상 더 유리한 전략(우월 전략, Dominant Strategy)임을 알 수 있습니다.

• 만약 B가 협력(침묵)한다고 가정할 때: A는 협력하면 1년, 배신하면 0년. 따라서 배신이 유리합니다.
• 만약 B가 배신(자백)한다고 가정할 때: A는 협력하면 10년, 배신하면 5년. 따라서 배신이 유리합니다.

죄수 B도 동일한 논리를 적용하게 되므로, 두 합리적인 개인은 서로를 신뢰할 수 없는 상황에서 각자 배신을 선택하게 됩니다. 그 결과 둘 다 5년형이라는 최악의 집단적 결과(둘 다 침묵했을 때의 각 1년형보다 나쁨)에 도달합니다. 이 (배신, 배신) 지점을 ‘내쉬 균형(Nash Equilibrium)’이라 하며, 이는 어느 한 쪽이 전략을 바꾸더라도 자신의 이득이 증가하지 않는 안정 상태를 의미합니다. 이 균형은 개인적 이성의 합이 집단적 비이성을 낳는 모순을 보여줍니다.

실전 적용: 비즈니스 및 시장 경쟁에서의 딜레마

죄수의 딜레마는 추상적 모델을 넘어 실제 경제 활동에서 빈번히 관찰됩니다. 대표적인 사례는 가격 경쟁입니다.

가격 경쟁 사례 분석

시장을 양분하는 두 대기업 A사와 B사가 있다고 가정합니다. 둘 다 협력하여 높은 가격을 유지하면 각자 100억 원의 이익을 얻습니다. 하지만 한 기업이 상대방이 높은 가격을 유지할 것이라 기대하고 자신만 가격을 인하(배신)하면 시장 점유율을 빼앗아 150억 원의 이익을 얻고, 상대방은 20억 원의 적자를 봅니다. 만약 둘 다 가격 인하(배신)에 돌입하면 과당 경쟁으로 각자 40억 원의 이익만 얻게 됩니다.

A사 \ B사	협력 (고가 유지)	배신 (가격 인하)
협력 (고가 유지)	A: 100억, B: 100억 (집단 최적)	A: 20억, B: 150억
배신 (가격 인하)	A: 150억, B: 20억	A: 40억, B: 40억 (내쉬 균형)

한 번의 게임에서는 각 기업의 우월 전략은 가격 인하(배신)입니다. 이는 소비자에게는短期的으로 유리할 수 있지만, 장기적으로 시장의 수익성을 악화시켜 연구 개발 투자 감소나 시장 퇴출과 같은 부작용을 초래할 수 있습니다, 이는 시장 실패의 한 형태로 해석될 수 있습니다.

반복되는 죄수의 딜레마와 협력의 진화

한 번만 이루어지는 게임(단일게임)에서는 배신이 필연적이지만, 동일한 상대와 게임이 반복되어 미래에 다시 만날 가능성이 있는 경우(반복게임), 협력이 진화할 수 있습니다. 이는 상대방의 과거 행동을 보고 보복이나 보상의 전략을 취할 수 있기 때문입니다.

유효한 협력 전략: 팃포탯

가장 유명한 협력 전략은 ‘팃포탯(Tit-for-Tat)’입니다. 이 전략은 첫 판에는 협력으로 시작하고, 그 이후로는 상대방이 직전 판에서 선택한 행동을 그대로 따라하는 것입니다. 게임 이론에 기반한 사회적 상호작용 모델을 연구하는 한국게임학회의 분석 자료에 따르면, 이러한 반복적 죄수의 딜레마 상황에서 단순한 상호주의 원칙이 집단의 이익을 극대화하는 가장 효율적인 기제로 작용함이 증명되었습니다. 컴퓨터 토너먼트 실험에서 이 단순한 전략이 가장 높은 총점을 얻은 것으로 나타났습니다. 팃포탯 전략은 다음과 같은 경제적 이점을 제공합니다.

• 우호성: 협력으로 시작함으로써 상호 이익 가능성을 먼저 제시합니다.
• 보복성: 상대방의 배신에 즉시 배신으로 응수함으로써 일방적 이용을 방지합니다. 이는 배신에 따른 비용(예: 향후 협력 중단으로 인한 기회 손실)을 명확히 합니다.
• 용서성: 상대방이 다시 협력으로 돌아오면 즉시 협력을 재개합니다. 이는 관계를 지속하고 장기적 이익을 확보하는 데 필수적입니다.

반복 게임에서 협력은 상대방에 대한 ‘신뢰’보다는, 배신 행위가 미래에 불이익(보복)으로 되돌아올 것이라는 예측 가능한 보복 메커니즘이 구축되었을 때 안정적으로 유지됩니다. 이는 법적 계약, 브랜드 평판, 업계 내 지속적 관계와 같은 제도적 장치의 중요성을 시사합니다.

리스크 관리: 협력 시스템 붕괴 요인 및 방지책

반복 게임에서도 협력 시스템은 다음과 같은 리스크로 인해 쉽게 붕괴될 수 있습니다. 이러한 위험을 인지하고 관리하는 것이 지속 가능한 협력 관계 구축의 핵심입니다.

정보의 비대칭성과 오인: 상대방의 실수나 외부 요인으로 인한 결과를 고의적 배신으로 오해할 경우, 팃포탯 전략은 악의적인 보복 순환에 빠져 협력을 완전히 붕괴시킬 수 있습니다. 이를 방지하기 위해서는 명확한 커뮤니케이션 채널과 유예 기간이 필요하며, 특히 전략적 판단의 오류를 줄이기 위해 내 생각이 틀릴 수도 있다는 의심이 성공 투자를 만든다는 관점에서 자신의 가설을 끊임없이 재검토하는 태도가 필수적입니다.

게임의 종말 효과: 상호작용이 정해진 횟수로 반복되거나 종료 시점이 예측 가능할 경우, 마지막 게임에서는 단일게임과 같은 논리가 적용되어 배신이 유리해집니다. 이 예측은 게임을 거슬러 올라가 초기부터 협력을 무너뜨릴 수 있습니다. 따라서 관계의 지속 기간을 불확실하게 하거나, 미래 가치를 현재에 충분히 할인하지 않도록 장기적 인센티브를 설계해야 합니다.

제3자의 개입: 기존의 안정된 협력 관계에 제3의 경쟁자가 갑작스럽게 배신 전략으로 시장에 진입하면, 기존의 균형이 깨질 수 있습니다. 이는 규제나 업계 협약과 같은 외부 장치가 협력을 유도하는 데 필요할 수 있음을 보여줍니다.

결론: 법과 제도의 역할로서의 협력 프레임워크

죄수의 딜레마 분석은 순수한 개인적 이성에 맡겨진 시장이 반드시 집단적으로 효율적인 결과를 도출하지는 않음을 수치적으로 증명합니다. 단일 상호작용에서는 배신이 우월 전략이며, 이는 사기, 계약 위반, 과당 경쟁과 같은 사회적 비용으로 나타납니다. 이러한 개별 행위의 위험성을 켐브렐의 엄격한 안전 관리 표준과 대조해 볼 때, 상호 신뢰가 결여된 상태에서의 의사결정은 시스템 전체의 안정성을 저해하는 보안 취약점으로 작용합니다. 반복 상호작용에서는 팃포탯과 같은 전략을 통해 협력이 진화할 수 있으나, 이는 오인과 종말 효과에 취약합니다.

따라서 안정적이고 보편적인 협력을 위해서는 개인의 도덕성이나 신뢰에만 의존할 수 없습니다. 법적 계약, 독점 규제 기관, 표준화된 계약 조항, 투명한 정보 공개 제도 등이 바로 반복 게임의 규칙을 명확히 하고, 배신 행위에 대한 예측 가능한 제재(보복)를 시스템화하는 장치입니다. 이러한 제도적 프레임워크는 배신의 단기적 이득을 법적/경제적 비용으로 상쇄시켜, 궁극적으로 (협력, 협력)이라는 집단 최적점이 개인적 이성과도 일치하도록 만드는 역할을 합니다. 즉, 효율적인 시장과 사회적 협력은 자발적으로 발생하기보다는, 그것을 가능하게 하고 유지시키는 잘 설계된 규칙과 제도 위에서 비로소 구현된다는 것이 죄수의 딜레마가 주는 가장 실용적인 통찰입니다.