最小二乗法（読み）さいしょうじじょうほう（その他表記）least square method

精選版 日本国語大辞典

さいしょう‐じじょうほうサイセウジジョウハフ【最小二乗法・最小自乗法】

1. 〘 名詞 〙 測定結果を処理する方法の一つ。ある量を同じ精度でｎ回測定してｘ₁、ｘ₂…ｘ_nという値を得たとき、最も確からしい値ｍはを最小にするものであるという考え方に基づく方法。これによれば、ｍの値は、各測定値の相加平均に一致する。また、このような考え方を基礎とする測定結果の処理方法の俗称。〔数学ニ用ヰル辞ノ英和対訳字書（1889）〕

出典　精選版 日本国語大辞典

改訂新版　世界大百科事典

最小二乗法 (さいしょうにじょうほう)
least square method

19世紀の初め，C.F.ガウスが天体の運動理論を展開するにあたって，多くの観測結果にもっともよく一致するよう軌道を決定するために開拓された方法で，応用範囲も広く，誤差論と一対をなしている。

　ある未知量を測定するのに，十分注意を払っても偶発的な誤差を免れない。最小二乗法はこのような誤差を含む多くの測定値から真の値を有効に推定する統計的手法で，正規分布（ガウス分布）に基礎をおいている。ガウスの理論はこの分布の特徴づけから始まる。誤差を連続量とみて，その確率密度をφ（x）としよう。誤差がxとx＋dx（dxは微小区間）との間にある確率はφ（x）dxで表される。未知量pを測定してMが得られたとすれば，誤差はM－pでその確率密度はφ（M－p）である。いまn個の同様な観測による測定値M₁，M₂，……，M_nが得られ，しかもすべての観測は独立な結果を生ずるものと仮定すれば，積φ（M₁－p）φ（M₂－p）……φ（M_n－p）＝Ωは，すべてこれらの値が同時に得られる可能性，あるいは確率を表している。ここで関数φは対称（φ（－x）＝φ（x））で滑らかとしておくのは自然で，でなければならない。本質的な仮定として，観測値の算術平均，がpのもっともよい推定値を与えるものとしよう。すなわちp＝MのときΩが最大になると仮定する。特別な場合として，M₂＝M₃＝……＝M_n＝M₁－nNならM＝M₁－（n－1）Nである。Ωはp＝Mで極値をとるためlogφ（x）＝ψ（x）とおくと，ψ′（M₁－p）＋ψ′（M₂－p）＋……＋ψ′（M_n－p）はp＝Mで0になることを用いてψ′（（n－1）N）＝－（n－1）ψ（－N）が出て，n，Nが任意でよいことから，は定数となることが導かれる。すなわちとなる。全区間で積分して1となるため結局正規分布の密度関数，に到達する。観測の精密さは標準偏差の逆数h＝σ⁻¹，あるいはそれに比例する量で表される。

　一般に未知量p₁，p₂，……，p_νの関数V₁，V₂，……V_nがあって，それらの関数の観測値がそれぞれM₁，M₂，……，M_nであったとする。もし，これらの観測が同じ精密さで行われたと仮定すれば，上記のφと記号v₁＝M₁－V₁，v₂＝M₂－V₂，……，v_n＝M_n－V_nを用いて，未知量p₁，p₂，……，p_νの最確値はを最大にするもの，すなわちv₁²＋v₂²＋……＋v_n²を最小にするものとして定められる。もし各観測の精密さがh₁，h₂，……，h_nで異なる場合には，h₁²v₁²＋h₂²v₂²＋……＋h_n²v_n²を最小にするものを求めることになる。

　例えば未知量がただ一つのpで，関数a₁p＋b₁，a₂p＋b₂，……，a_np＋b_nの値M₁，M₂，……，M_nが同じ精密さで観測されたとすれば，pの最確値はM_iの補正値m_i＝M_i－b_iを用い，（m₁－a₁p）²＋（m₂－a₂p）²＋……＋（m_n－a_np）²を最小にするpの値，すなわち，で与えられる。

　次の例は未知量は複数個，例えばp₁，p₂，p₃，p₄と4個あるが，関数V₁，V₂，……はやはりそれら未知量の一次関数の場合である。v_i＝M_i－V_i＝－m_i＋a_ip₁＋b_ip₂＋c_ip₃＋d_ip₄（i＝1，2，……）としよう。W＝v₁²＋v₂²＋……とおき，これを最小にすることを考える。

およびとおく。このときα₁＞0であることに注意する。またW₁はp₁を含まないことはからわかる。次に，およびとおく。W₂はp₁もp₂も含まない。またβ₂＞0である。同様に，

そして最後に，

に至る。このW₄は定数cでなければならない。したがって，

である。ところで（p₁，p₂，p₃，p₄）に対する確率密度は，

　exp（－W/2σ²）に比例している。p₁が不確定のままなら残りの量の確率密度は，すなわち

　exp（－W₁/2σ²）に比例する。p₂も変量として扱えば（p₃，p₄）に対しては

　exp（－W₂/2σ²）

を考え，最後にp₃も変量としてp₄に対する確率密度は

　exp（－W₃/2σ²）に比例するとしてよい。よって未知量が一つの場合に帰着され，p₄の最確値，

　－\(\frac{λ4}{δ4}\)

が得られる。あとは逐次p₃，p₂，そしてp₁の最確値を決めていくことになる。V_iが一次関数と限らない一般の場合にも同様な手法が考えられている。
→誤差
執筆者：飛田 武幸

出典　株式会社平凡社「改訂新版　世界大百科事典」

日本大百科全書(ニッポニカ)

最小二乗法
さいしょうじじょうほう

二乗和を最小にする方法。もっとも簡単な例は、x₁, x₂,……, x_nが与えられたとき

を最小にするようにθを定める問題で、この場合には

のときf(θ)が最小になる。

　次の例は回帰直線である。二つの変量X、Yについての測定結果を
　　(x₁, y₂), (x₁, y₂),……, (x_n, y_n)
とするとき、xy平面上の直線y＝mx＋bに含まれる定数m、bを、二乗和

が最小になるように定めると、YのXに関する回帰直線が得られる。これも二乗和を最小にする方法である。

　次に連立一次方程式

を考えよう。方程式の数Nが未知数の数nより大きいとき、一般にはこの連立一次方程式は解をもたない。このような場合も含めて

と置いて、二乗和

を最小にするようにx₁, x₂,……, x_nを定める方法が最小二乗法である。連立一次方程式（*）が解をもつこととfの最小値が0であることとは同等である。f(x₁,……, x_n)を最小にするx₁, x₂,……, x_nは、次の連立一次方程式

を解いて求められる。この方程式（**）を正規方程式という。

　最小二乗法は統計学において母数を推定する場合にも用いられる。X₁, X₂,……, X_nは独立な確率変数で、各X_iの平均値が未知の母数θ₁,θ₂,……,θ_kを含むものとする。

　E(X_i)＝_i(θ₁,θ₂,……,θ_k) i＝1,……, n(X₁, X₂,……, X_n)の実現値(x₁, x₂,……, x_n)が与えられたとき、二乗和

を最小にするようなθ₁,θ₂,……,θ_kの値₁,₂,……,_kをθ₁,θ₂,……,θ_kの推定値とするのである。

［古屋　茂］

[参照項目] | 回帰直線 | 推定

出典　小学館　日本大百科全書(ニッポニカ)

最新 地学事典

さいしょうにじょうほう
最小二乗法

method of least squares

観測値のデータ処理の一方法。観測値とパラメーターの間にある関数関係を利用してパラメーターを求めようとする際，観測値に誤差があるため精密な値が決定できない。さらに通常は誤差を考慮して未知のパラメーターの数以上に観測を繰り返すので，この点からも一義的には決定できない。そこで観測値にある補正を加えた値が正しい値になると考え観測方程式（observation equation）を立て，この補正の二乗和が最小となるという条件のもとに正規方程式（normal equation）を導きパラメーターの値を推定する。通常は，観測の誤差は正規分布するとして観測の重みも考えて処理する。この場合の誤差処理の数学モデルをガウス－マルコフ・モデル（Gauss-Markov model）という。誤差の分布法則が近似的にしかわからないときのパラメーター推定をベイジャン推定（Baysian estimation）という。　y＝f（x₁, x₂,……，x_n）のように関数関係が少なくとも近似的にわかっているときi（＞n）個の測定を行ってyの実測値を得たときには

なる二乗誤差Eを最小にする条件（式fの係数など）を求める。結晶構造精密化においては，構造因子の観測値および計算値をF_oおよびF_c，スケール因子をk, i番目のパラメーターをp_i, 荷重をw_hとすると，R≡Σ_hw_h（｜F_o｜_h－k｜F_c｜_h）²を最小にする値を通常求める。正規方程式をM・X＝Δとし，パラメーターの数をnとするとMはn×nのマトリックスで，そのij成分は　M_ij＝Σ_h｛w_h・∂（kF_c）/∂P_i・∂（kF_c）/∂P_j｝となり，XはΔP_iを成分とするベクトル，ΔはΣ_h｛w_h（F_o－kF_c）・∂（kF_c）/∂P_i｝を成分とするベクトルである。

執筆者：丸茂 文幸・藤井 陽一郎

出典　平凡社「最新 地学事典」

ブリタニカ国際大百科事典 小項目事典

最小二乗法
さいしょうじじょうほう
method of least squares

誤差を伴う測定値の処理法の1つで，ある量の最も確かな測定値とか，測定値を基にして2つ以上の諸量の間に成り立つ関係式 (実験式) を求めるのに用いられる。ある量 x について n 回の測定を行なって x_i を得た場合，各測定値の重みを w_i として，w₁(x₁－a)²＋w₂(x₂－a)²＋…＋w_n(x_n－a)² を最小とする a を求めて x の最も確からしい値とする。またある関係にあると考えられる2つの量 x と y を測定して，互いに対応するそれぞれの測定値 (x₁，y₁) ，(x₂，y₂) ，などが xy 平面で直線 y＝a＋bx のまわりにある場合，(y₁－a－bx₁)²＋(y₂－a－bx₂)²＋…＋(y_n－a－bx_n)² を最小にする a および b の値を求める。

出典　ブリタニカ国際大百科事典 小項目事典

百科事典マイペディア

最小二乗法【さいしょうにじょうほう】

多くの測定値から最も確からしい値を求める一方法。両者の差の２乗の和が最小になるよう推定値を定める。これによりn個の測定値から得られる最も確からしい値はそれらの相加平均（測定値の精度に差があれば重みつき平均）となる。一般には測定値から適当な２乗和をつくりそれを最小にする。量の間の関係式（実験式）を推定するのにも使う。
→関連項目ルジャンドル

出典　株式会社平凡社

栄養・生化学辞典

最小二乗法

　二つの因子間に関数関係がある場合，すべての実測値と理論値の差の二乗を最小にするように関数関係を仮定すること．

出典　朝倉書店

世界大百科事典（旧版）内の最小二乗法の言及

【統計的推定】より

…　は，各x_iと期待値μの偏差平方和，　s＝(x₁－μ)²＋……＋(x_n－μ)²を最小にするμの値に等しい。これはもっと複雑な問題で，x_iの期待値が未知パラメーターμ₁，……，μ_pの線形結合l_i1μ₁＋……＋l_ipμ_pで表されているときに偏差平方和，を最小にするような推定方式(最小二乗法)の特別な場合に当たる。最小二乗法による推定量は一般にx_iが等分散，無相関のとき線形最良推定量であることが示される。…

※「最小二乗法」について言及している用語解説の一部を掲載しています。

出典｜株式会社平凡社「世界大百科事典（旧版）」