エントロピー[情報量](読み)エントロピー[じょうほうりょう](英語表記)entropy

翻訳|entropy

ブリタニカ国際大百科事典 小項目事典 「エントロピー[情報量]」の意味・わかりやすい解説

エントロピー[情報量]
エントロピー[じょうほうりょう]
entropy

1948年にクロード・E.シャノン情報量定義したときに導入した,平均情報量をはかる尺度単位は「ビット/文字」で表される。シャノンによれば,情報源は独立かつ一定の分布をもつ確率過程とみなされ,情報源のエントロピーは,情報源から発生する通報の生起確率対数期待値で定義される。この定義によれば,おのおのの通報が発生する確率が等しいときエントロピーは最大となる。すなわち,どの通報がくるか予想がつきにくいほどエントロピーは大きいということになる。シャノンの定義は,熱力学で用いられるエントロピーと,比例定数を除いて一致するが,負号がつくので,負エントロピー negentropyとも呼ばれる。この概念は,データ通信暗号化コーディング理論などの分野で威力を発揮する。(→情報理論

出典 ブリタニカ国際大百科事典 小項目事典ブリタニカ国際大百科事典 小項目事典について 情報

今日のキーワード

青天の霹靂

《陸游「九月四日鶏未鳴起作」から。晴れ渡った空に突然起こる雷の意》急に起きる変動・大事件。また、突然うけた衝撃。[補説]「晴天の霹靂」と書くのは誤り。[類語]突発的・発作的・反射的・突然・ひょっこり・...

青天の霹靂の用語解説を読む

コトバンク for iPhone

コトバンク for Android