エントロピー entropy

ブリタニカ国際大百科事典 小項目事典

エントロピー
entropy

熱力学系の状態量の1つで，ギリシア語のトロペ (変化) から R.クラウジウスが命名した。クラウジウスの定理によると，可逆変化において系が得る換算熱量の総和は過程の始めと終りの状態だけで定まり，途中の経路に依存しない。このことから，適当な状態O を基準に定め，系を状態O から任意の状態Z まで可逆変化させたときに系が得る換算熱量の総和を，状態Z において系がもつエントロピーと定義する。エントロピーが状態量であることは，熱量が状態量でないことと比べて著しい特徴であり，エントロピーが熱力学で重用される理由もここにある。可逆変化では，系が得る換算熱量の総和は，その過程による系のエントロピーの増加に等しいが，不可逆変化では，前者は必ず後者より小さい。このことから，外との間にまったく熱の出入りのない系 (断熱系) に対して，エントロピーの増加 ds については，ds≧0 ( ds＝0 は可逆変化のときだけ) となる。したがって，断熱系が不可逆変化をする場合は必ずエントロピーが増大し，可逆変化をする場合だけエントロピーが変らず，エントロピーが減少することは決してない。これをエントロピー増大の原理というが，熱力学第二法則の1つの表現と考えてよい。エントロピーの統計力学的な意味づけは，L.ボルツマンによって与えられた。ある巨視的状態について可能な微視的状態の数を W とすると，その巨視的状態のエントロピー S は，S＝k log W ( k はボルツマン定数) となる (→ボルツマンの原理 ) 。言い換えると，微視的状態の数が多いほど S は大きくなり，エントロピーは不規則さを示す目安となる。この考えを借用して，情報理論においても，雑音による通信の乱れは不規則さの増加と考え，エントロピーという術語を使う。

出典　ブリタニカ国際大百科事典 小項目事典

知恵蔵

エントロピー

内なる多様さの目安。系全体が、ある状態(巨視状態)をとるとき、系内粒子の状態のとり方(微視状態)がどれほど多くありうるかを意味する。多様さが許される巨視状態ほど実現の確率が高いため、孤立系では増える一方(熱力学第2法則)。一般に無秩序へ向かう傾向は、この法則で理解できる。机の上が乱雑になるのは実感例。湯と水を混ぜたぬるま湯が湯と水に戻らないように不可逆だ。情報理論では不確定さを表す量として使われ、情報が失われると増える。

(尾関章 朝日新聞記者 ／ 2007年)

出典　(株)朝日新聞出版発行「知恵蔵」

デジタル大辞泉

エントロピー（entropy）

《変化の意のギリシャ語tropēから》
１ 熱力学において物質の状態を表す量の一。等温可逆的な変化で、ある物質系が熱量を吸収したとき、エントロピーの増加は吸収熱量を温度で割った値に等しい。熱的に外部から孤立した系では、内部変化はつねにエントロピーが増す方向に起こる。1865年クラウジウスが導入。系の秩序に関連する度合いで、エントロピーが高くなることは乱雑さが増すことを示す。
２ 情報理論で、ある情報が得られる確率をもとに、情報がどれだけ欠如しているかの状態を示す量。情報の不確定さの度合い。

出典　小学館

栄養・生化学辞典

エントロピー

　物質または場からなる系の状態量の一つ．系の内部運動の複雑さの指標となる．

出典　朝倉書店

世界大百科事典 第２版

エントロピー【entropy】

エントロピーとは，そもそも複雑さの度合を表すための熱力学的概念であり，複雑さまたはでたらめさが増すほどエントロピーは大きくなる。
［複雑さの表現としてのエントロピー］
　理想気体が，温度一定の下で，非常にゆっくりと(すなわち準静的に)膨張してその体積がもとの体積の2倍になった状態を考えてみよう。どちらも同じ温度で平衡状態になっているが，これら二つの状態は，明らかに熱力学的に違った状態である。2倍の体積の状態のほうが熱的により乱れた状態であるといえる。

出典　株式会社平凡社

大辞林 第三版

エントロピー【entropy】

① 系の乱雑さ・無秩序さ・不規則さの度合を表す量で、物質や熱の出入りのない系ではエントロピーは減少せず、不可逆変化をするときには、常に増大する。一九世紀中頃、ドイツの物理学者クラウジウスが熱力学的量の一つとして導入した。

② 情報理論で、情報の不確かさの度合を表す量。

出典　三省堂

日本大百科全書(ニッポニカ)

エントロピー
えんとろぴー
entropy

熱現象に特有な不可逆性（非可逆性ともいう）を数量的に表現するために導入された量。エントロピーという名はクラウジウスが1865年に与えた。絶対温度Tの物体が熱量Qを受けたとき、物体のエントロピーはQ/Tだけ増し、熱量Q'を放出するときエントロピーはQ'/Tだけ減少すると定める。物体が熱平衡状態にあるということは、温度や圧力や体積が指定できるということであるが、一つの熱平衡状態Aから別の熱平衡状態Bへ変わったときの物体のエントロピー変化は、AからBへきわめてゆっくり変化させていく過程を考えて、その途中で出入する熱量をそのときどきの温度で割ったものの代数和として計算する。変化が「ゆっくり」でないと、場所によって不均一を生じ物体の温度が定められないからである。［小出昭一郎］

熱伝導によるエントロピーの増加

不可逆変化の代表的なものは熱伝導で、高温物体と低温物体を接触させれば熱はひとりでに前者から後者に流れ、温度が一様になると変化がやんで熱平衡になるが、逆はおこらない。いま、2物体が隔離されて異なる温度にある状態をA、接触後に到達する熱平衡状態をBとする。変化A→Bを「ゆっくり」行うため、両物体を隔離したまま少しずつ熱を高温物体から低温物体へ移す。しだいになくなるにしても、とにかく温度差は存在するから、途中でqだけの熱を移すときに高温物体の失うエントロピーq/T₁よりも低温物体のもらうエントロピーq/T₂のほうが大きい。したがってこの操作を繰り返してA→Bにしたとき、両物体のもつエントロピーの合計は増加していることになる。［小出昭一郎］

気体の自由膨張によるエントロピー増加

器を二つに仕切って、その一方に気体を入れ、他方を真空にしておく（状態A）。仕切り板を急に引き抜くと気体は器全体に広がる（状態B）。このとき気体の体積は2倍になるが、外部と仕事のやりとりはないので気体のもつエネルギーは不変で、温度もほとんど変化しない。これを自由膨張という。ところで、この変化に際してのエントロピー変化を計算するために、変化A→Bを「ゆっくり」行う必要がある。仕切り板を徐々に後退させればよいが、そうすると気体は仕切り板を押して仕事をするのでエネルギーを失い温度が下がる。そこで自由膨張と同じ結果Bにするには、仕切り板を後退させながら絶えず少しずつ加熱しなければならない。加熱をすればエントロピーが増すから、B状態の気体はA状態よりもよけいにエントロピーをもつことになる。これが自由膨張におけるエントロピー変化を示すことになる（図A）。［小出昭一郎］

不可逆変化とエントロピーの増大

これらの例が示すエントロピーの増加は、どんな不可逆変化の場合でも一般的におこると考えられるのでエントロピー増大の原理といわれる。熱平衡状態は、ある系の内部のエントロピーがもっとも大きくなった状態をさす（エントロピー極大の原理）。いまみた例を一般化すれば、熱エネルギーや気体分子が一方に局在した状態Aから、拡散して全体に一様に広がった状態Bへ向かうのが、不可逆変化の向きである。固体や液体の気化（蒸発）の場合も同様で、気体になることで分子の運動範囲は著しく広がる。このとき増すエントロピーは気化熱によって与えられる。固体が液体になるときには、融解熱を融解点の絶対温度で割った量だけエントロピーは増大するが、これは、固体の結晶をつくっているときには、つり合いの位置に束縛されていた分子が、もっと広い範囲にさまよい出て不規則に動き回るようになることと関連している。
　この融解という現象を簡単化したモデルで調べるために、図Bのような碁盤状のものを考え、石を(a)のように規則正しく並べた状態が固体の結晶を表すとし、(b)のように25の升目のどこにでもかってに置いてよい不規則な状態が液体を表すとしよう。順列・組合せの考え方を適用すれば、固体の状態では並べ方は1通りしかないが、液体のときには25から13を選ぶ組合せの数だけの並べ方が存在する。つまり、固体という規則的な秩序のある状態から液体という無秩序状態に変わると、「場合の数」が急増する。きちんと整頓(せいとん)した状態というのは、可能な多くの場合のうちのごく限られた特殊の場合にすぎないからである。［小出昭一郎］

エントロピーのミクロな定義

このようなことから、エントロピーのミクロな意味が推察できる。巨視的にみて静止している液体も、微視的にみれば異なるいろいろな状態の一つからほかへとめまぐるしく移り変わっている運動状態にある。つまり、マクロにみて一つの状態も、その裏にミクロの莫大(ばくだい)な数（Wとする）の異なる状態が隠れている。このWの数え方はむずかしく、図Bは極度に簡単化した場合である。正しくは、分子の速度を考えに入れ、量子力学を適用する必要がある。とにかくこうしてWを決めた場合に、これをそのマクロな状態の熱力学的重率という。このWの自然対数をとり、それにボルツマン定数kを掛けたものklog_eWが、そのマクロの状態におけるエントロピーに等しいことが証明されている。そうすると、エントロピーが増えるということは、Wが小さい状態から大きい状態へ変わるということである。図Aで変化A→Bによって気体の体積が2倍になるとき、分子の速度分布は変わらないので、位置に関する可能性だけが増す。1個の分子ごとにそれは2倍になるから、分子がN個あれば全体で2^N倍になる。つまりA→Bという変化でWは2^N倍になるのである。したがって、エントロピーはklog_e2^N＝Nklog_e2だけ増すことになる。なお、エントロピーの概念のミクロな意味を明確化するのに多大の貢献をしたボルツマンの墓はオーストリアのウィーンにあるが、そこには、エントロピーSをミクロに定義する式S＝klogWが刻んである。［小出昭一郎］

混合のエントロピー

水とアルコールを混ぜたとすると、水の分子もアルコールの分子も混合前よりは広い範囲を動き回ることになるので、エントロピーは増加する。このとき増加するエントロピーを混合のエントロピーという。［小出昭一郎］

熱機関の効率とエントロピー

熱を仕事や電力に変える熱機関や発電機では、作業物質として使う気体などに熱を加えて高温高圧で膨張させ、大きな仕事を取り出す。そのあと作業物質を元に戻すために圧力を下げるので冷却が必要になる。この過程で、高温の熱源（たとえば原子炉を考え、その温度をT₁とする）が作業物質に与える熱量をQとすると、エネルギー保存則により、これから外部にする仕事W'を引いた残りQ－W'（これをQ'とする）が廃熱として冷却水など（温度をT₂とする）に放出される。このとき、熱源や冷却水まで含めた全系のエントロピーは、増えることはあっても減ることはないから、冷却水の得たエントロピーQ'/T₂のほうが、熱源の失ったエントロピーQ/T₁より大きいはずである。その差は、熱の移動や蒸気の膨張などのときに増えたエントロピーであり、これをまったくなくすることは実際上不可能である。そうすると

から容易に

という関係が得られる。W'/Qは、加えた熱のうち、仕事や電力として使えるものの割合で効率とよばれる。この式から、熱を仕事に変えるときの効率には、熱源と冷却系の温度で決まる上限が存在することがわかる。T₂をなるべく小さくすればよさそうにみえるが、低温をつくるためには別のエネルギー源、たとえば電力などが必要であり、T₁を高くすることも耐熱材料などの関係で限界がある。［小出昭一郎］

熱の利用とエントロピー

仕事を熱に変えるのは容易だが、逆は容易ではない。熱を仕事に変えるには効率に限界があるし、廃熱が不可避である。効率の式が示すように、熱は温度差がないと仕事に転換できない。温度差をつくりだすには仕事が必要である。したがって、温度差を利用せず、熱が拡散していくのを放置することは、省エネルギーの観点からは非常にもったいないことといえる。物質もエネルギーも不生不滅である（無から有を生じることはない）から、生産活動といっても、つくっているのはエントロピーだけといえる。煤煙(ばいえん)を吐き出したり汚物を川へ流せば、拡散や混合でエントロピーが増える。その意味でエントロピーはごみのように好ましくない。公害や環境問題はエントロピー増加と深く関連している。なるべくエントロピーを増やさないよう、エネルギーをむだな廃熱にしないように気をつけることが必要となる。地球は太陽から平均して1平方メートル当り222ワットのエネルギーをエントロピーとともに受け取っている。また、赤外線放射の形でほぼ同量のエネルギーを、受け取ったときより多量のエントロピーといっしょに、宇宙空間へ放出している。太陽光を集めて高温をつくりだせば、エントロピーを低く抑えられ、温度差を利用して仕事が取り出せる。これが太陽エネルギーの利用である。生命体をその系のなかだけでみるならば、生物は、エントロピー増大の原理に逆らっているようにみえる。つまり、食物を摂取して体内に秩序を取り入れることによって、体内のエントロピーを減少させている。しかし、生物は活動でできる余分のエントロピーを排泄物(はいせつぶつ)に含ませて外界に捨てることで、その微妙な秩序（生命）を保ち続けていると考えることができる。地球でも生体でも、外部から遮断された閉じた系ならエントロピーが増す一方であるが、いま述べたような開いた系としてエントロピーを捨てることで秩序を保っていると考えられる。［小出昭一郎］

情報とエントロピー

文字や記号を一定の秩序で配列すれば情報が伝わるが、無秩序な配列では情報が失われる。エントロピーは秩序の度合いに関連した量なので、情報理論でも使われる。ただし単位の桁(けた)がまったく違うし、熱のやりとりとも直接の関係はない。［小出昭一郎］
『小出昭一郎著『物理学One Point 1　エントロピー』（1979・共立出版）　▽小出昭一郎・安孫子誠也著『エントロピーとは何だろうか』（1985・岩波書店）　▽堀淳一著『エントロピーとは何か』（1986・講談社・ブルーバックス）　▽小野周著『エントロピーのすべて』（1987・丸善）　▽小島和夫著『エネルギーとエントロピーの法則――化学工学の立場から』（1997・培風館）　▽石鍋孝夫著『熱学から熱力学へ――エントロピーを中心に』（1997・サイエンティスト社）　▽渡辺啓著『エントロピーから化学ポテンシャルまで』（1997・裳華房）　▽鈴木英雄・伊藤悦朗著『生体情報とエントロピー――生体情報伝達機構の論理の解明をめざして』（2000・培風館）　▽パリティ編集委員会編、杉本大一郎著『いまさらエントロピー？』（2002・丸善）　▽マーティン・ゴールドスタイン他著、米沢富美子・森弘之訳『冷蔵庫と宇宙――エントロピーから見た科学の地平』（2003・東京電機大学出版局）　▽青木統夫著『非線形解析3　測度・エントロピー・フラクタル』（2004・共立出版）　▽西野友年著『ゼロから学ぶエントロピー』（2004・講談社）　▽朝永振一郎著『物理学とは何だろうか　下巻』（岩波新書）』

[参照項目] | H定理 | クラウジウス | 統計力学 | 熱伝導 | 熱平衡 | 不可逆変化 | ボルツマン定数

気体の自由膨張〔図A〕

固体と液体のモデル〔図B〕

出典　小学館　日本大百科全書(ニッポニカ)

図書館情報学用語辞典

エントロピー

シャノン（Claude Elwood Shannon 1916-2001）が提示した情報量の表現方法で，情報理論の基礎をなす．K種類の文字があり，それぞれの文字の生起確率が p₁, p₂, …, p_i，…, p_Kであるとき，1文字あたりの情報量Hを

と定義した．熱力学のエントロピーと同じ形をしているので情報源のエントロピーといい，熱力学では乱雑さを表現しているのに対し，情報では不確実さを表している．情報理論では，原則として対数の底に2をとるので，その単位はビットになる．

[参照項目] | 情報量 | 情報理論

出典　図書館情報学用語辞典 第4版

世界大百科事典内のエントロピーの言及

【温度】より

…理想的な熱機関とは可逆的に働く熱機関で，カルノーサイクルに代表される。上で絶対温度の比を定義した関係はQ₁/T₁＝Q₂/T₂と書きなおされ，可逆過程でエントロピーS＝Q/Tが保存されることを表している。絶対温度はエントロピーという重要な量の導入を可能にしたのである。…

【可逆変化】より

…一般に，摩擦による熱の発生など仕事が熱に変わる過程は典型的な不可逆過程であり，一方，熱の発生を伴わない電磁気現象は可逆過程である。　絶対温度Tの物質系の可逆変化で，熱の吸収を⊿Qとすれば，この系のエントロピーの増大⊿Sは⊿S＝⊿Q/Tで与えられる。不可逆変化では⊿S＞⊿Q/Tの不等式を満たす。…

【情報】より

…これだと，確率が小さいほど情報量が大きいという心理的事実と合うのである。この定義によれば－符号あたりの平均情報量Hはとなり，熱力学でいうエントロピーと同じ形をしているので〈エントロピー〉と呼ばれる。ただし熱力学の場合と異なり負号がついているので〈負エントロピー(ネゲントロピーnegentropy)〉ということもある。…

【情報量】より

…そこで，log₂Mを，M個の文字からなるアルファベットをもつ情報源のハートリーHartley情報量と呼んでいる。
[エントロピー]
　もし，1からMまでの文字が出現する確率p₁,p₂,……,p_Mが知られており(すなわち，どの文字がどの程度によく出やすいかなどの情報をもっている場合)，各文字を(先ほどのように8ビットと制限せず)長さの異なるビット列に対応させても構わないとすれば，各文字に対応したビット列(符号語)の長さの平均値を，以下にできることが示される。これは，もちろん，多くの文字を対応した符号語の連なりとして仕立てた長いビット列が与えられたとき，符号語と符号語の切れ目を識別できるような(分節可能な)対応関係が保証されているという条件のもとでの話である。…

【数理統計学】より

…しかし，彼の理論では分布の関数形はわかっていて，パラメーターのみが未知とする立場をとっている。ところが尤度関数の意味を問いなおせば，情報量，あるいはエントロピーの概念が重要な役割を果たしていることに思いあたる。これから1973年に赤池弘次(1927‐　)によって提唱された情報量基準AICの概念を理解する手がかりが得られよう。…

【データ圧縮】より

…このときどこまで圧縮が可能かという問題に対し，C.E.シャノンによる情報理論はデータを発生する情報源を確率モデルとして定式化し，圧縮後の1文字当りの平均ビット長の下限を与える形で限界を示した。その下限値は無歪み圧縮の場合はエントロピーと呼ばれる。歪みありの圧縮の場合はレート･歪み理論と呼ばれる理論体系が構築されている。…

【熱】より

…　力学的エネルギーに加えて電磁気的エネルギー，化学的エネルギーそして熱エネルギーと，すべての種類の現象にかかわるエネルギー(19世紀後半になるまでは“力”と呼ばれていた)が，相互に変換され，しかもあらゆる過程で保存される量であるというエネルギー保存則は，19世紀後半になってR.マイヤー，ジュール，H.ヘルムホルツら多くの人々の貢献により広く認識されるようになった。しかし熱がエネルギーであるというだけでは不十分であって，温度およびエントロピーとの関係も含めて古典物理学の枠内で熱の概念が確立されたのは，R.クラウジウス，ヘルムホルツ，ケルビン(W.トムソン)らによって熱力学の体系が作られるのをまたなければならなかった。さらに，20世紀にかけてJ.C.マクスウェル，L.ボルツマン，J.W.ギブズらによって気体運動論，そして統計力学が形成され，物質を構成する原子･分子の力学から熱現象を理解することが可能となった。…

【符号化】より

…ふつう符号化により得られる形態は記号列であるが，それらの全体を〈符号〉といい，本来の形態に戻し，情報を復元･再現することを〈復号〉という。データ圧縮，誤り訂正符号化，暗号化は，そろって，情報を量として扱う学問体系〈情報理論〉の主要なテーマであるが，データ圧縮が情報源に適合する符号化として，真正の情報量(エントロピー)の近くまでデータ長を削減するのに対し，誤り訂正符号化は通信路に適合する符号化として，情報量としては余分なデータ長を追加する。ここでは，後者の誤り訂正符号化について述べる。…

※「エントロピー」について言及している用語解説の一部を掲載しています。

出典｜株式会社平凡社