世界大百科事典（旧版）内のシャノン情報量の言及
【情報量】より
…そこで，
を確率P＝(p1,p2,……,pM)で1からMまでの文字が出現する情報源の〈シャノンShannon情報量〉または〈エントロピー〉と呼んでいる。この量はハートリー情報量以下であることは簡単に示せ，どのように符号を工夫しても平均符号語長をシャノン情報量よりは小さくできない。この意味で，シャノン情報量は情報源のもつ情報の本質的な部分の大きさを表現していると考えられる。…
※「シャノン情報量」について言及している用語解説の一部を掲載しています。
出典｜株式会社平凡社「世界大百科事典（旧版）」