본문 바로가기
정보/IT 상식

베이즈 추론(Bayesian Inference) : 확률을 통한 의사결정

by 윤윤프로젝트 2024. 9. 20.
반응형

  베이즈 추론은 확률론을 바탕으로 불확실성을 다루고, 새로운 증거를 통해 가설의 가능성을 업데이트하는 기법입니다. 이는 특히 분류 문제와 같은 의사결정 과정에서 불확실성을 반영해야 할 때 유용합니다.

 

1. 베이즈 정리(Bayes’ Theorem)

  베이즈 정리는 다음과 같이 표현됩니다.

$$ P(H|E) = \frac{P(E|H)P(H)}{P(E)} $$

  여기서

  • $ P(H|E) $는 사후 확률(Posterior Probability)로, 새로운 증거 E가 주어졌을 때 가설 H가 참일 확률을 의미합니다.
  • $ P(E|H) $는 우도(Likelihood)로, 가설 H가 참일 때 증거 E가 발생할 확률을 나타냅니다.
  • $ P(H) $는 사전 확률(Prior Probability)로, 증거가 주어지기 전 가설 H가 참일 확률입니다.
  • $ P(E) $는 정규화 상수(Normalizing Constant)로, 모든 가능한 가설에 대한 증거 E의 총 확률을 나타냅니다.

 

2. 베이즈 추론의 예시 : 물고기 분류

  베이즈 추론을 이용해 연어(Salmon)농어(Sea Bass)를 분류하는 예시를 들어보겠습니다.

  • 상태 변수 w :  $ w_1 $ 농어, $ w_2 $는 연어.
  • 사전 확률 $ P(w_1) $과 $ P(w_2)$ : 특정 물고기가 농어일 확률과 연어일 확률을 사전 지식으로 제공합니다.
  • 우도 $ P(x|w_j) $ : 물고기의 밝기와 같은 특성 x가 주어졌을 때, 그 물고기가 농어 또는 연어일 확률입니다.

  베이즈 정리를 적용하면, 특정 물고기가 연어일 확률을 다음과 같이 계산할 수 있습니다.

$$ P(w_2|x) = \frac{P(x|w_2)P(w_2)}{P(x)} $$

  여기서 $ P(x) $는 모든 클래스에 대한 확률의 총합입니다.

 

3. 의사결정 규칙

  베이즈 추론을 통해 우리는 최소 오류 확률을 달성하는 의사결정 규칙을 설정할 수 있습니다. 예를 들어, $ P(w_1|x) $가 $ P(w_2|x) $보다 크면 해당 물고기는 농어로 분류되고, 그렇지 않으면 연어로 분류됩니다.

$$ P(w_1|x) > P(w_2|x) \Rightarrow \text{농어로 분류} $$

 

4. 최대우도 추정과 최대사후확률 추정

  • 최대우도 추정(Maximum Likelihood, ML) : 주어진 데이터에서 파라미터를 추정할 때, 데이터가 가장 많이 발생할 확률을 갖는 파라미터 값을 선택합니다. 이는 사전 확률을 고려하지 않고, 데이터 자체에만 기반한 추정입니다.
  • 최대사후확률 추정(Maximum A Posteriori, MAP) : 사전 확률을 포함하여 파라미터를 추정하는 방법입니다. 베이즈 정리를 기반으로 데이터와 사전 지식을 함께 고려해 최적의 파라미터 값을 찾아냅니다.

 

5. 나이브 베이즈 분류기

  나이브 베이즈 분류기는 모든 입력 특성이 서로 독립이라는 가정하에, 베이즈 정리를 기반으로 분류를 수행하는 알고리즘입니다. 이 가정 덕분에 계산이 단순해지며, 특히 대규모 데이터셋에서 효과적입니다.

$$ P(w_i|x_1, x_2, ..., x_n) \propto P(w_i) \prod_{j=1}^{n} $$

  각 입력 특성 $ x_j $가 독립적이므로, 우도 $ P(x_1, x_2, ..., x_n | w_i) $를 독립적인 우도들의 곱으로 표현할 수 있습니다.

 

마치며

  이렇게 베이즈 추론의 기본 개념과 응용에 대해 설명드렸습니다. 베이즈 추론은 확률론적 모델링과 의사결정에서 중요한 역할을 하며, 특히 불확실성을 다루는 문제에서 매우 유용합니다. 궁금한 점이나 더 알고 싶은 내용이 있으면 언제든지 질문해주세요! 😊

반응형