例 10.1 いま、情報源アルファベット X = {A,B,C,D,E} について,
各シンボルの出現確率が下表のように与えられているとする.
ABCD DE
Px(x) 0.3 0.09 0.4 0.01 0.2
このとき, シャノン-ファノ符号を構成するプロセスを表 10.1 に示す.
この符号の平均符号語長は LsF = 2.43 [bit] である. この情報源のエン
トロピーは H(X) = 1.89 [bit] であるから,符号語長に無駄があること
がわかる.実際,この場合 に対する符号語長は4にしても差し支え
ない.