问题描述：设X1X2X3……Xn构成马尔科夫链，即设
p(x1,x2,……，xn)=p(x1)p(x2|x1)……p(xn|xn-1)
试将I（X1;X2,……，Xn)简化到最简单形式。
解：由互信息的链式法则和熵的链式法则，得
I(X1;X2,……,Xn)=H(Xn,Xn-1,Xn-2,……,X2)-H(Xn,Xn-1,Xn-2,……X2|X1)
=-
=
=I(X2;X1)+I(X3;X1|X2)+……+I(Xn;X1|X2,X3,……,Xn-1)
因为H(Xi|Xi-1,Xi-2,……,X2)-H(Xi|Xi-1,Xi-2,……X2,X1)
=-……
-（-……）
所以当i=2时，
I(X1:X2)=H(X2)-H(X2|X1)
=-+
=-+
=
==I(X1;X2)
因为当n>=i>=3时,X1X2X3……Xn构成马尔科夫链,则应有
p(xi|xi-1,……,x1)=p(xi|xi-1)，p(xi|xi-1,……,x2)=p(xi|xi-1)，（3<=i且i<=n）
所以i>=3时，有
H(Xi|Xi-1,Xi-2,……,X2)-H(Xi|Xi-1,Xi-2,……X2,X1)
=-……
-（-……）
=-……
-（-……）
=-……
-（-……）
=0=I(Xi;X1|X2,X3,……,Xi-1)
所以
I(X1;X2,……,Xn)=I(X1;X2)+I(X3;X1|X2)+……+I(Xn;X1|X2,X3,……,Xn-1)
=I(X1;X2)+0+……+0
=I(X1;X2)
所以综合上述，I(X1;X2,X3,……,Xn)=I(X1;X2).
| 留言与评论（共有 0 条评论） “” |
