如果两个符号的二次扩展信源不太明白，不妨看看这篇~
设有一个信源，它产生
0
,
1
0,1
0,1 序列的消息。它在任意时间而且以前发生过什么符号，均按
P
(
0
)
=
0.4
,
P
(
1
)
=
0.6
P(0)=0.4,P(1)=0.6
P(0)=0.4,P(1)=0.6 的概率发出符号。 (1) 试问这个信源是否平稳的？ (2) 试计算
H
(
X
2
)
,
H
(
X
3
/
X
1
X
2
)
H(X^2),H(X_3/X_1X_2)
H(X2),H(X3/X1X2) 及
lim
N
→
∞
H
N
(
X
)
\displaystyle \lim_{N\rightarrow\infty}H_N(\pmb{X})
N→∞limHN(XXX)； (3) 试计算
H
(
X
4
)
H(X^4)
H(X4) 并写出
X
4
X^4
X4 信源中可能有的所有符号。解： (1) 根据题意，此信源在任何时刻发出的符号概率都是相同的，均按
P
(
0
)
=
0.4
,
P
(
1
)
=
0.6
P(0)=0.4,P(1)=0.6
P(0)=0.4,P(1)=0.6 ，即信源发出符号的概率分布与时间平移无关，而且信源发出的序列之间也是彼此无依赖的。所以这信源是平稳信源，而且是离散无记忆信源。 (2) 此离散无记忆信源为
[
X
P
(
x
)
]
=
[
0
1
0.4
0.6
]
\left[ \begin{matrix} X \\ P(x) \end{matrix} \right] = \left[ \begin{matrix} 0 &1 \\ 0.4&0.6 \end{matrix} \right]
[XP(x)]=[00.410.6] 可计算得
H
(
X
)
=
−
(
0.4
l
o
g
0.4
+
0.6
l
o
g
0.6
)
=
0.971
比
特
/
符
号
H(X)=-(0.4log0.4+0.6log0.6)=0.971\quad 比特/符号
H(X)=−(0.4log0.4+0.6log0.6)=0.971比特/符号 因为信源是平稳无记忆信源，信源输出序列之间无依赖，所以
H
(
X
2
)
=
2
H
(
X
)
≈
1.94
比
特
/
两
个
符
号
H
(
X
3
/
X
1
X
2
)
=
H
(
X
3
)
=
H
(
X
)
≈
0.971
比
特
/
符
号
lim
N
→
∞
H
N
(
X
)
=
lim
N
→
∞
1
N
H
(
X
1
X
2
⋯
X
N
)
=
lim
N
→
∞
1
N
⋅
N
⋅
H
(
X
)
=
H
(
X
)
≈
0.971
比
特
/
符
号
H(X^2)=2H(X)\approx1.94\quad 比特/两个符号\\ H(X_3/X_1X_2)=H(X_3)=H(X)\approx0.971\quad比特/符号\\ \begin{aligned} \lim_{N\rightarrow\infty}H_N(\pmb{X})=&\lim_{N\rightarrow\infty}\frac{1}{N}H(X_1X_2\cdots X_N)\\ =&\lim_{N\rightarrow\infty}\frac{1}{N}\cdot N\cdot H(X)\\ =&H(X)\approx0.971\quad 比特/符号 \end{aligned}
H(X2)=2H(X)≈1.94比特/两个符号H(X3/X1X2)=H(X3)=H(X)≈0.971比特/符号N→∞limHN(XXX)===N→∞limN1H(X1X2⋯XN)N→∞limN1⋅N⋅H(X)H(X)≈0.971比特/符号 (3)
H
(
X
4
)
=
4
H
(
X
)
≈
3.88
比
特
/
四
个
符
号
H(X^4)=4H(X)\approx3.88\quad 比特/四个符号\\
H(X4)=4H(X)≈3.88比特/四个符号
X
4
X^4
X4 信源中可能的所有符号是四位二进制排序，即有
16
16
16 种符号
0000
0001
0010
0011
0100
0101
0110
0111
1000
1001
1010
1011
1100
1101
1110
1111
\begin{matrix} 0000 & 0001 & 0010 & 0011\\ 0100&0101&0110&0111\\ 1000&1001&1010&1011\\ 1100&1101&1110&1111 \end{matrix}
0000010010001100000101011001110100100110101011100011011110111111
