mutual information 예제

가중치를 w (x , y) {displaystyle w(x, y)}” 각 변수 값 공동 발생 확률에 배치, p (x , y) {displaystyle p(x, y)} 이를 통해 특정 확률은 다른 확률보다 더 많거나 적은 의미를 지니고 있어 관련 전체론적 또는 Prägnanz 요인의 정량화를 허용할 수 있습니다. 위의 예에서 w (1 , 1) {displaystyle w (1,1)} , w (2 , 2) {표시 스타일 w (2,2)} 및 w (3 , 3) {displaystyle w (3,3)}}에 대해 더 큰 상대 가중치를 사용하면 {관계 {(1 , 1) 및 2 , 2 , 3) 3) } {디스플레이 스타일 {{(1,1),(2,2),(2,2),(3,3)}} 관계에 대해 {(1, 3)} , (2 , 1, 3) 및 , {디스플레이 스타일 {{(1,3, 2) } {(1,3),2,1),2,1),(2,2)}}와 같은 패턴 인식의 경우에 바람직할 수 있다. 이 가중치가 있는 상호 정보는 일부 입력에 대해 음수 값을 취하는 것으로 알려진 가중 KL-발산의 한 형태이며[17] 가중된 상호 정보도 음수 값을 취하는 예가 있습니다. [18] 상호 정보는 따라서 변수 (X, ) 또는 (Y)를 관찰한 후 (X)를 추측하는 데 필요한 예/아니오 질문 수의 예상 감소에 대한 불확실성의 감소입니다. 연속 변수: 연속 변수를 추측하는 데 무한한 수의 질문이 필요하지만 (Y)를 관찰한 후와 비교하기 전에 (X)를 추측하는 데 걸리는 예/아니요 질문 수의 차이는 유한할 수 있으며 상호 정보입니다. 이산 변수에서 연속 변수로 갈 때 문제가 발생할 수 있지만 (무한대를 빼는 것은 항상 위험합니다), 실제로는 거의 하지 않습니다. (회색, 1990)을 참조하십시오. 상호 정보의 정규화된 변형은 제약 조건의 계수에 의해 제공되며,[12] 불확실성 계수[13] 또는 숙련도:[14] 때로는 세 번째로 조건화된 두 개의 임의 변수의 상호 정보를 표현하는 것이 유용하다. 상호 정보는 하나의 임의 변수가 다른 변수에 대해 알려주는 양을 측정하는 많은 수량 중 하나입니다. 이는 (일반적으로) 비트 단위가 있는 차원없는 수량이며, 다른 변수에 대한 지식을 주어진 하나의 임의 변수에 대한 불확실성의 감소로 생각할 수 있습니다.

높은 상호 정보는 불확실성의 큰 감소를 나타냅니다; 낮은 상호 정보는 작은 감소를 나타냅니다. 두 임의 변수 간의 상호 정보는 0이면 변수가 독립적입니다. 그 분포의 샘플을 기반으로 공동 분포의 상호 정보의 베이지안 추정을 수행하는 방법을 잘 이해된다. 이 작업을 수행하는 첫 번째 작업은 상호 정보 외에 다른 많은 정보 이론 적 속성의 베이지안 추정을 수행하는 방법을 보여 주었다 [2]. 후속 연구원은 [3] 및 확장 [4] 이 분석을 다시 파생. [5]를 참조하여 상호 정보의 추정에 특별히 맞춘 사전에 근거한 최근 논문을 참조하십시오. 상호 정보는 X {displaystyle X}와 Y {displaystyle Y}의 공동 분포에 표현된 고유 의존도의 척도이다. 독립성 가정하에 X {디스플레이 스타일 X}와 Y {displaystyle Y}의 공동 분포입니다.

Share Button
Posted in Uncategorized.