最小二乗法(読み)さいしょうにじょうほう(英語表記)least square method

改訂新版 世界大百科事典 「最小二乗法」の意味・わかりやすい解説

最小二乗法 (さいしょうにじょうほう)
least square method

19世紀の初め,C.F.ガウスが天体の運動理論を展開するにあたって,多くの観測結果にもっともよく一致するよう軌道を決定するために開拓された方法で,応用範囲も広く,誤差論と一対をなしている。

 ある未知量を測定するのに,十分注意を払っても偶発的な誤差を免れない。最小二乗法はこのような誤差を含む多くの測定値から真の値を有効に推定する統計的手法で,正規分布ガウス分布)に基礎をおいている。ガウスの理論はこの分布の特徴づけから始まる。誤差を連続量とみて,その確率密度をφ(x)としよう。誤差がxxdxdxは微小区間)との間にある確率はφ(xdxで表される。未知量pを測定してMが得られたとすれば,誤差はMpでその確率密度はφ(Mp)である。いまn個の同様な観測による測定値M1M2,……,Mnが得られ,しかもすべての観測は独立な結果を生ずるものと仮定すれば,積φ(M1p)φ(M2p)……φ(Mnp)=Ωは,すべてこれらの値が同時に得られる可能性,あるいは確率を表している。ここで関数φは対称(φ(-x)=φ(x))で滑らかとしておくのは自然で,でなければならない。本質的な仮定として,観測値の算術平均pのもっともよい推定値を与えるものとしよう。すなわちpMのときΩが最大になると仮定する。特別な場合として,M2M3=……=MnM1nNならMM1-(n-1)Nである。ΩpMで極値をとるためlogφ(x)=ψx)とおくと,ψ′M1p)+ψ′M2p)+……+ψ′Mnp)はpMで0になることを用いてψ′((n-1)N)=-(n-1)ψ(-N)が出て,nNが任意でよいことから,定数となることが導かれる。すなわちとなる。全区間で積分して1となるため結局正規分布の密度関数に到達する。観測の精密さは標準偏差の逆数h=σ⁻1,あるいはそれに比例する量で表される。

 一般に未知量p1p2,……,pνの関数V1V2,……Vnがあって,それらの関数の観測値がそれぞれM1M2,……,Mnであったとする。もし,これらの観測が同じ精密さで行われたと仮定すれば,上記のφと記号v1M1V1v2M2V2,……,vnMnVnを用いて,未知量p1p2,……,pν最確値を最大にするもの,すなわちv12v22+……+vn2を最小にするものとして定められる。もし各観測の精密さがh1h2,……,hnで異なる場合には,h12v12h22v22+……+hn2vn2を最小にするものを求めることになる。

 例えば未知量がただ一つのpで,関数a1pb1a2pb2,……,anpbnの値M1M2,……,Mnが同じ精密さで観測されたとすれば,pの最確値はMiの補正値miMibiを用い,(m1a1p2+(m2a2p2+……+(mnanp2を最小にするpの値,すなわち,で与えられる。

 次の例は未知量は複数個,例えばp1p2p3p4と4個あるが,関数V1V2,……はやはりそれら未知量の一次関数の場合である。viMiVi=-miaip1bip2cip3dip4i=1,2,……)としよう。Wv12v22+……とおき,これを最小にすることを考える。

およびとおく。このときα1>0であることに注意する。またW1p1を含まないことはからわかる。次に,およびとおく。W2p1p2も含まない。またβ2>0である。同様に,

そして最後に,

に至る。このW4は定数cでなければならない。したがって,

である。ところで(p1p2p3p4)に対する確率密度は,

 exp(-W/2σ2)に比例している。p1が不確定のままなら残りの量の確率密度は,すなわち

 exp(-W1/2σ2)に比例する。p2変量として扱えば(p3p4)に対しては

 exp(-W2/2σ2

を考え,最後にp3も変量としてp4に対する確率密度は

 exp(-W3/2σ2)に比例するとしてよい。よって未知量が一つの場合に帰着され,p4の最確値,

 -\(\frac{λ4}{δ4}\)

が得られる。あとは逐次p3p2,そしてp1の最確値を決めていくことになる。Viが一次関数と限らない一般の場合にも同様な手法が考えられている。
誤差
執筆者:

出典 株式会社平凡社「改訂新版 世界大百科事典」改訂新版 世界大百科事典について 情報

日本大百科全書(ニッポニカ) 「最小二乗法」の意味・わかりやすい解説

最小二乗法
さいしょうじじょうほう

二乗和を最小にする方法。もっとも簡単な例は、x1, x2,……, xnが与えられたとき

を最小にするようにθを定める問題で、この場合には

のときf(θ)が最小になる。

 次の例は回帰直線である。二つの変量X、Yについての測定結果を
  (x1, y2), (x1, y2),……, (xn, yn)
とするとき、xy平面上の直線y=mx+bに含まれる定数m、bを、二乗和

が最小になるように定めると、YのXに関する回帰直線が得られる。これも二乗和を最小にする方法である。

 次に連立一次方程式

を考えよう。方程式の数Nが未知数の数nより大きいとき、一般にはこの連立一次方程式は解をもたない。このような場合も含めて

と置いて、二乗和

を最小にするようにx1, x2,……, xnを定める方法が最小二乗法である。連立一次方程式(*)が解をもつこととfの最小値が0であることとは同等である。f(x1,……, xn)を最小にするx1, x2,……, xnは、次の連立一次方程式

を解いて求められる。この方程式(**)を正規方程式という。

 最小二乗法は統計学において母数を推定する場合にも用いられる。X1, X2,……, Xnは独立な確率変数で、各Xiの平均値が未知の母数θ12,……,θkを含むものとする。

 E(Xi)=i12,……,θk) i=1,……, n(X1, X2,……, Xn)の実現値(x1, x2,……, xn)が与えられたとき、二乗和

を最小にするようなθ12,……,θkの値1,2,……,kをθ12,……,θkの推定値とするのである。

[古屋 茂]

出典 小学館 日本大百科全書(ニッポニカ)日本大百科全書(ニッポニカ)について 情報 | 凡例

ブリタニカ国際大百科事典 小項目事典 「最小二乗法」の意味・わかりやすい解説

最小二乗法
さいしょうじじょうほう
method of least squares

誤差を伴う測定値の処理法の1つで,ある量の最も確かな測定値とか,測定値を基にして2つ以上の諸量の間に成り立つ関係式 (実験式) を求めるのに用いられる。ある量 x について n 回の測定を行なって xi を得た場合,各測定値の重みを wi として,w1(x1a)2w2(x2a)2+…+wn(xna)2 を最小とする a を求めて x の最も確からしい値とする。またある関係にあると考えられる2つの量 xy を測定して,互いに対応するそれぞれの測定値 (x1y1) ,(x2y2) ,などが xy 平面で直線 yabx のまわりにある場合,(y1abx1)2+(y2abx2)2+…+(ynabxn)2 を最小にする a および b の値を求める。

出典 ブリタニカ国際大百科事典 小項目事典ブリタニカ国際大百科事典 小項目事典について 情報

百科事典マイペディア 「最小二乗法」の意味・わかりやすい解説

最小二乗法【さいしょうにじょうほう】

多くの測定値から最も確からしい値を求める一方法。両者の差の2乗の和が最小になるよう推定値を定める。これによりn個の測定値から得られる最も確からしい値はそれらの相加平均(測定値の精度に差があれば重みつき平均)となる。一般には測定値から適当な2乗和をつくりそれを最小にする。量の間の関係式(実験式)を推定するのにも使う。
→関連項目ルジャンドル

出典 株式会社平凡社百科事典マイペディアについて 情報

ASCII.jpデジタル用語辞典 「最小二乗法」の解説

最小二乗法

予測値に基づくy=ax+bの直線上の値と、実際の値との差の2乗和が最小となるような回帰直線を求める方法。ある誤差をともなうような2つの変量x、yがあるとき、回帰直線をy=ax+bとすると、b=Σ(xの偏差)(yの偏差)/Σ(xの偏差)2、a=yの平均-b(xの平均)になる。

出典 ASCII.jpデジタル用語辞典ASCII.jpデジタル用語辞典について 情報

栄養・生化学辞典 「最小二乗法」の解説

最小二乗法

 二つの因子間に関数関係がある場合,すべての実測値と理論値の差の二乗を最小にするように関数関係を仮定すること.

出典 朝倉書店栄養・生化学辞典について 情報

世界大百科事典(旧版)内の最小二乗法の言及

【統計的推定】より

… は,各xiと期待値μの偏差平方和, s=(x1-μ)2+……+(xn-μ)2を最小にするμの値に等しい。これはもっと複雑な問題で,xiの期待値が未知パラメーターμ1,……,μpの線形結合li1μ1+……+lipμpで表されているときに偏差平方和,を最小にするような推定方式(最小二乗法)の特別な場合に当たる。最小二乗法による推定量は一般にxiが等分散,無相関のとき線形最良推定量であることが示される。…

※「最小二乗法」について言及している用語解説の一部を掲載しています。

出典|株式会社平凡社「世界大百科事典(旧版)」

今日のキーワード

青天の霹靂

《陸游「九月四日鶏未鳴起作」から。晴れ渡った空に突然起こる雷の意》急に起きる変動・大事件。また、突然うけた衝撃。[補説]「晴天の霹靂」と書くのは誤り。[類語]突発的・発作的・反射的・突然・ひょっこり・...

青天の霹靂の用語解説を読む

コトバンク for iPhone

コトバンク for Android