エントロピー[情報量]（読み）エントロピー[じょうほうりょう]（英語表記）entropy

ブリタニカ国際大百科事典 小項目事典

エントロピー[情報量]
エントロピー[じょうほうりょう]
entropy

1948年にクロード・E.シャノンが情報量を定義したときに導入した，平均情報量をはかる尺度。単位は「ビット／文字」で表される。シャノンによれば，情報源は独立かつ一定の分布をもつ確率過程とみなされ，情報源のエントロピーは，情報源から発生する通報の生起確率の対数の期待値で定義される。この定義によれば，おのおのの通報が発生する確率が等しいときエントロピーは最大となる。すなわち，どの通報がくるか予想がつきにくいほどエントロピーは大きいということになる。シャノンの定義は，熱力学で用いられるエントロピーと，比例定数を除いて一致するが，負号がつくので，負エントロピー negentropyとも呼ばれる。この概念は，データ通信，暗号化，コーディング理論などの分野で威力を発揮する。（→情報理論）

出典　ブリタニカ国際大百科事典 小項目事典