결함 원인별 발생 확률에 따른 평균 정보량 계산

한 자동차 제조사에서 최근 출시한 자율주행차의 기능 이상 사례를 분석한 결과, 결함의 주요 원인이 다음과 같이 분류되었다:

 

1) 센서 오류(Sensor failure): 발생 확률 0.6

2) AI 판단 오류(Algorithm failure): 발생 확률 0.3

3) 기계적 결함(Mechanical issue): 발생 확률 0.1

 

이 결함 원인에 대해 기대할 수 있는 평균 정보량은 얼마인가?

풀이

 

 평균 정보량은 확률 분포에서 얻을 수 있는 평균적인 정보의 양이다. 예측난이도, 데이터 압축, 리스크 분석, AI 의사결정 등에 지표로 사용되며, 비트 단위로 표현한다. 평균 정보량이 높다는 것은 모르는 것이 많다는 것으로, 추가 정보 수집 및 리스크 관리를 강화해야 한다. 반대로 정보량이 낮을수록 불확실성이 적고 안정적인 상황이 된다.

예를 들어 동전을 던져 앞, 뒤가 나올 확률은 0.5로 평균 정보량은 1bit다. 주사위를 던지기는 1~6의 숫자가 나올 확률이 동일하다고 가정하면, 평균 정보량은 2.58 bits가 된다.

 

주어진 결함 원인들의 발생 확률을 바탕으로 기대할 수 있는 평균 정보량(엔트로피)은 다음과 같이 계산한다.

 

▶ I(x) = -log₂P(x)
사건 x의 발생 확률이 P(x) 일 때, 그 사건으로부터 얻는 정보의 양은 log₂의 역수에 비례함.

 

▶ H(X) = -Σ P(xᵢ) · log₂ P(xᵢ)

어떤 확률분포에서 기대할 수 있는 평균 정보량

여기서, X는 확률변수, xᵢ는 가능한 사건들

 

1) A : 결함 원인이 센서 오류일 확률 = P(Sensor) = 0.6 = xᵢ

2) B : 결함 원인이 AI 판단 오류일 확률 = P(Algorithm) = 0.3 =xᵢ

3) C : 결함 원인이 기계적 결함일 확률 = P(Mechanical) = 0.1 = xᵢ

 

1) log2 (0.6) ≈ −0.736

2) log2 (0.3) ≈ −1.737

3) log2 (0.1) ≈ −3.322

 

★ H(X)≈−[0.6*(−0.736)+0.3*(−1.737)+0.1*(−3.322)]=−[−0.4416−0.5211−0.3322]=1.295 bits

 

 발생 확률이 균등할수록 정보량은 증가한다, 즉 결과를 예측하기 어렵고 불확실성이 높아진다는 뜻으로 정보이론에서는 불확실성이 높을수록 정보량(엔트로피)이 크다고 본다.