改訂新版 世界大百科事典 「最小二乗法」の意味・わかりやすい解説
最小二乗法 (さいしょうにじょうほう)
least square method
19世紀の初め,C.F.ガウスが天体の運動理論を展開するにあたって,多くの観測結果にもっともよく一致するよう軌道を決定するために開拓された方法で,応用範囲も広く,誤差論と一対をなしている。
ある未知量を測定するのに,十分注意を払っても偶発的な誤差を免れない。最小二乗法はこのような誤差を含む多くの測定値から真の値を有効に推定する統計的手法で,正規分布(ガウス分布)に基礎をおいている。ガウスの理論はこの分布の特徴づけから始まる。誤差を連続量とみて,その確率密度をφ(x)としよう。誤差がxとx+dx(dxは微小区間)との間にある確率はφ(x)dxで表される。未知量pを測定してMが得られたとすれば,誤差はM-pでその確率密度はφ(M-p)である。いまn個の同様な観測による測定値M1,M2,……,Mnが得られ,しかもすべての観測は独立な結果を生ずるものと仮定すれば,積φ(M1-p)φ(M2-p)……φ(Mn-p)=Ωは,すべてこれらの値が同時に得られる可能性,あるいは確率を表している。ここで関数φは対称(φ(-x)=φ(x))で滑らかとしておくのは自然で,でなければならない。本質的な仮定として,観測値の算術平均,がpのもっともよい推定値を与えるものとしよう。すなわちp= のときΩが最大になると仮定する。特別な場合として,M2=M3=……=Mn=M1-nNなら =M1-(n-1)Nである。Ωはp= で極値をとるためlogφ(x)=ψ(x)とおくと,ψ′(M1-p)+ψ′(M2-p)+……+ψ′(Mn-p)はp= で0になることを用いてψ′((n-1)N)=-(n-1)ψ(-N)が出て,n,Nが任意でよいことから,は定数となることが導かれる。すなわちとなる。全区間で積分して1となるため結局正規分布の密度関数,に到達する。観測の精密さは標準偏差の逆数h=σ⁻1,あるいはそれに比例する量で表される。
一般に未知量p1,p2,……,pνの関数V1,V2,……Vnがあって,それらの関数の観測値がそれぞれM1,M2,……,Mnであったとする。もし,これらの観測が同じ精密さで行われたと仮定すれば,上記のφと記号v1=M1-V1,v2=M2-V2,……,vn=Mn-Vnを用いて,未知量p1,p2,……,pνの最確値はを最大にするもの,すなわちv12+v22+……+vn2を最小にするものとして定められる。もし各観測の精密さがh1,h2,……,hnで異なる場合には,h12v12+h22v22+……+hn2vn2を最小にするものを求めることになる。
例えば未知量がただ一つのpで,関数a1p+b1,a2p+b2,……,anp+bnの値M1,M2,……,Mnが同じ精密さで観測されたとすれば,pの最確値はMiの補正値mi=Mi-biを用い,(m1-a1p)2+(m2-a2p)2+……+(mn-anp)2を最小にするpの値,すなわち,で与えられる。
次の例は未知量は複数個,例えばp1,p2,p3,p4と4個あるが,関数V1,V2,……はやはりそれら未知量の一次関数の場合である。vi=Mi-Vi=-mi+aip1+bip2+cip3+dip4(i=1,2,……)としよう。W=v12+v22+……とおき,これを最小にすることを考える。
およびとおく。このときα1>0であることに注意する。またW1はp1を含まないことはからわかる。次に,およびとおく。W2はp1もp2も含まない。またβ2>0である。同様に,
そして最後に,
に至る。このW4は定数cでなければならない。したがって,
である。ところで(p1,p2,p3,p4)に対する確率密度は,
exp(-W/2σ2)に比例している。p1が不確定のままなら残りの量の確率密度は,すなわち
exp(-W1/2σ2)に比例する。p2も変量として扱えば(p3,p4)に対しては
exp(-W2/2σ2)
を考え,最後にp3も変量としてp4に対する確率密度は
exp(-W3/2σ2)に比例するとしてよい。よって未知量が一つの場合に帰着され,p4の最確値,
-\(\frac{λ4}{δ4}\)
が得られる。あとは逐次p3,p2,そしてp1の最確値を決めていくことになる。Viが一次関数と限らない一般の場合にも同様な手法が考えられている。
→誤差
執筆者:飛田 武幸
出典 株式会社平凡社「改訂新版 世界大百科事典」改訂新版 世界大百科事典について 情報