最小二乗法（読み）さいしょうじじょうほう（英語表記）least square method

精選版 日本国語大辞典

さいしょう‐じじょうほうサイセウジジョウハフ【最小二乗法・最小自乗法】

1. 〘 名詞 〙 測定結果を処理する方法の一つ。ある量を同じ精度でｎ回測定してｘ₁、ｘ₂…ｘ_nという値を得たとき、最も確からしい値ｍはを最小にするものであるという考え方に基づく方法。これによれば、ｍの値は、各測定値の相加平均に一致する。また、このような考え方を基礎とする測定結果の処理方法の俗称。〔数学ニ用ヰル辞ノ英和対訳字書（1889）〕

出典　精選版 日本国語大辞典

改訂新版　世界大百科事典

最小二乗法 (さいしょうにじょうほう)
least square method

19世紀の初め，C.F.ガウスが天体の運動理論を展開するにあたって，多くの観測結果にもっともよく一致するよう軌道を決定するために開拓された方法で，応用範囲も広く，誤差論と一対をなしている。

　ある未知量を測定するのに，十分注意を払っても偶発的な誤差を免れない。最小二乗法はこのような誤差を含む多くの測定値から真の値を有効に推定する統計的手法で，正規分布（ガウス分布）に基礎をおいている。ガウスの理論はこの分布の特徴づけから始まる。誤差を連続量とみて，その確率密度をφ（x）としよう。誤差がxとx＋dx（dxは微小区間）との間にある確率はφ（x）dxで表される。未知量pを測定してMが得られたとすれば，誤差はM－pでその確率密度はφ（M－p）である。いまn個の同様な観測による測定値M₁，M₂，……，M_nが得られ，しかもすべての観測は独立な結果を生ずるものと仮定すれば，積φ（M₁－p）φ（M₂－p）……φ（M_n－p）＝Ωは，すべてこれらの値が同時に得られる可能性，あるいは確率を表している。ここで関数φは対称（φ（－x）＝φ（x））で滑らかとしておくのは自然で，でなければならない。本質的な仮定として，観測値の算術平均，がpのもっともよい推定値を与えるものとしよう。すなわちp＝MのときΩが最大になると仮定する。特別な場合として，M₂＝M₃＝……＝M_n＝M₁－nNならM＝M₁－（n－1）Nである。Ωはp＝Mで極値をとるためlogφ（x）＝ψ（x）とおくと，ψ′（M₁－p）＋ψ′（M₂－p）＋……＋ψ′（M_n－p）はp＝Mで0になることを用いてψ′（（n－1）N）＝－（n－1）ψ（－N）が出て，n，Nが任意でよいことから，は定数となることが導かれる。すなわちとなる。全区間で積分して1となるため結局正規分布の密度関数，に到達する。観測の精密さは標準偏差の逆数h＝σ⁻¹，あるいはそれに比例する量で表される。

　一般に未知量p₁，p₂，……，p_νの関数V₁，V₂，……V_nがあって，それらの関数の観測値がそれぞれM₁，M₂，……，M_nであったとする。もし，これらの観測が同じ精密さで行われたと仮定すれば，上記のφと記号v₁＝M₁－V₁，v₂＝M₂－V₂，……，v_n＝M_n－V_nを用いて，未知量p₁，p₂，……，p_νの最確値はを最大にするもの，すなわちv₁²＋v₂²＋……＋v_n²を最小にするものとして定められる。もし各観測の精密さがh₁，h₂，……，h_nで異なる場合には，h₁²v₁²＋h₂²v₂²＋……＋h_n²v_n²を最小にするものを求めることになる。

　例えば未知量がただ一つのpで，関数a₁p＋b₁，a₂p＋b₂，……，a_np＋b_nの値M₁，M₂，……，M_nが同じ精密さで観測されたとすれば，pの最確値はM_iの補正値m_i＝M_i－b_iを用い，（m₁－a₁p）²＋（m₂－a₂p）²＋……＋（m_n－a_np）²を最小にするpの値，すなわち，で与えられる。

　次の例は未知量は複数個，例えばp₁，p₂，p₃，p₄と4個あるが，関数V₁，V₂，……はやはりそれら未知量の一次関数の場合である。v_i＝M_i－V_i＝－m_i＋a_ip₁＋b_ip₂＋c_ip₃＋d_ip₄（i＝1，2，……）としよう。W＝v₁²＋v₂²＋……とおき，これを最小にすることを考える。

およびとおく。このときα₁＞0であることに注意する。またW₁はp₁を含まないことはからわかる。次に，およびとおく。W₂はp₁もp₂も含まない。またβ₂＞0である。同様に，

そして最後に，

に至る。このW₄は定数cでなければならない。したがって，

である。ところで（p₁，p₂，p₃，p₄）に対する確率密度は，

　exp（－W/2σ²）に比例している。p₁が不確定のままなら残りの量の確率密度は，すなわち

　exp（－W₁/2σ²）に比例する。p₂も変量として扱えば（p₃，p₄）に対しては

　exp（－W₂/2σ²）

を考え，最後にp₃も変量としてp₄に対する確率密度は

　exp（－W₃/2σ²）に比例するとしてよい。よって未知量が一つの場合に帰着され，p₄の最確値，

　－\(\frac{λ4}{δ4}\)

が得られる。あとは逐次p₃，p₂，そしてp₁の最確値を決めていくことになる。V_iが一次関数と限らない一般の場合にも同様な手法が考えられている。
→誤差
執筆者：飛田 武幸

出典　株式会社平凡社「改訂新版　世界大百科事典」

日本大百科全書(ニッポニカ)

最小二乗法
さいしょうじじょうほう

二乗和を最小にする方法。もっとも簡単な例は、x₁, x₂,……, x_nが与えられたとき

を最小にするようにθを定める問題で、この場合には

のときf(θ)が最小になる。

　次の例は回帰直線である。二つの変量X、Yについての測定結果を
　　(x₁, y₂), (x₁, y₂),……, (x_n, y_n)
とするとき、xy平面上の直線y＝mx＋bに含まれる定数m、bを、二乗和

が最小になるように定めると、YのXに関する回帰直線が得られる。これも二乗和を最小にする方法である。

　次に連立一次方程式

を考えよう。方程式の数Nが未知数の数nより大きいとき、一般にはこの連立一次方程式は解をもたない。このような場合も含めて

と置いて、二乗和

を最小にするようにx₁, x₂,……, x_nを定める方法が最小二乗法である。連立一次方程式（*）が解をもつこととfの最小値が0であることとは同等である。f(x₁,……, x_n)を最小にするx₁, x₂,……, x_nは、次の連立一次方程式

を解いて求められる。この方程式（**）を正規方程式という。

　最小二乗法は統計学において母数を推定する場合にも用いられる。X₁, X₂,……, X_nは独立な確率変数で、各X_iの平均値が未知の母数θ₁,θ₂,……,θ_kを含むものとする。

　E(X_i)＝_i(θ₁,θ₂,……,θ_k) i＝1,……, n(X₁, X₂,……, X_n)の実現値(x₁, x₂,……, x_n)が与えられたとき、二乗和

を最小にするようなθ₁,θ₂,……,θ_kの値₁,₂,……,_kをθ₁,θ₂,……,θ_kの推定値とするのである。

［古屋　茂］

[参照項目] | 回帰直線 | 推定

出典　小学館　日本大百科全書(ニッポニカ)

ブリタニカ国際大百科事典 小項目事典

最小二乗法
さいしょうじじょうほう
method of least squares

誤差を伴う測定値の処理法の1つで，ある量の最も確かな測定値とか，測定値を基にして2つ以上の諸量の間に成り立つ関係式 (実験式) を求めるのに用いられる。ある量 x について n 回の測定を行なって x_i を得た場合，各測定値の重みを w_i として，w₁(x₁－a)²＋w₂(x₂－a)²＋…＋w_n(x_n－a)² を最小とする a を求めて x の最も確からしい値とする。またある関係にあると考えられる2つの量 x と y を測定して，互いに対応するそれぞれの測定値 (x₁，y₁) ，(x₂，y₂) ，などが xy 平面で直線 y＝a＋bx のまわりにある場合，(y₁－a－bx₁)²＋(y₂－a－bx₂)²＋…＋(y_n－a－bx_n)² を最小にする a および b の値を求める。

出典　ブリタニカ国際大百科事典 小項目事典

百科事典マイペディア

最小二乗法【さいしょうにじょうほう】

多くの測定値から最も確からしい値を求める一方法。両者の差の２乗の和が最小になるよう推定値を定める。これによりn個の測定値から得られる最も確からしい値はそれらの相加平均（測定値の精度に差があれば重みつき平均）となる。一般には測定値から適当な２乗和をつくりそれを最小にする。量の間の関係式（実験式）を推定するのにも使う。
→関連項目ルジャンドル

出典　株式会社平凡社

ASCII.jpデジタル用語辞典

最小二乗法

予測値に基づくy=ax+bの直線上の値と、実際の値との差の2乗和が最小となるような回帰直線を求める方法。ある誤差をともなうような2つの変量x、yがあるとき、回帰直線をy=ax+bとすると、b=Σ（xの偏差）（yの偏差）/Σ（xの偏差）2、a=yの平均-b（xの平均）になる。

出典　ASCII.jpデジタル用語辞典

栄養・生化学辞典

最小二乗法

　二つの因子間に関数関係がある場合，すべての実測値と理論値の差の二乗を最小にするように関数関係を仮定すること．

出典　朝倉書店

世界大百科事典（旧版）内の最小二乗法の言及

【統計的推定】より

…　は，各x_iと期待値μの偏差平方和，　s＝(x₁－μ)²＋……＋(x_n－μ)²を最小にするμの値に等しい。これはもっと複雑な問題で，x_iの期待値が未知パラメーターμ₁，……，μ_pの線形結合l_i1μ₁＋……＋l_ipμ_pで表されているときに偏差平方和，を最小にするような推定方式(最小二乗法)の特別な場合に当たる。最小二乗法による推定量は一般にx_iが等分散，無相関のとき線形最良推定量であることが示される。…

※「最小二乗法」について言及している用語解説の一部を掲載しています。

出典｜株式会社平凡社「世界大百科事典（旧版）」