エントロピー(情報)（読み）エントロピー

百科事典マイペディア

エントロピー(情報)【エントロピー】

シャノンが導入した〈あいまいさ〉を表す情報量の尺度。ある情報が与えられ，それを解釈するとき，可能な答えが確率的に等しい重さでN通りあり，どれが正しい答えかわからない場合，その答えを確定させるに必要な情報量はlog₂N＝Sビットで評価される。したがって確定する以前には情報を受信する側ではSビットの不足があったわけである。この場合，受信前は後に比べてSビットだけエントロピーが多かったという。ゆえにエントロピーの増減は〈あいまいさ〉や〈乱雑度〉の増減を意味する。確率的な考え方や数学的な取扱いからみて，熱力学のエントロピーと密接な関係がある。
→関連項目熱力学の法則

出典　株式会社平凡社