回归分析是一种统计方法,用来模拟一个依赖变量和一个或多个独立变量之间的关系。最小方程估计器是一种估算线性回归模型参数的常用技术。此条解释如何在回归问题上得出和应用最小方程估计器。

最小方块估算器的衍生

最小方程估计的目标是找到参数值,以最小化观测值和预测值之间的方程差异之和。鉴于一个有观测值((x i,y i))的数据集,该模型表示为:

(y i=β 0 +β 1 x i + varepsiron i) ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇

其中(β 0)和(β 1)是估算的参数,(varepsilon i)是错误术语。平方残基(RSS)的总和是:

(RSS=sum i=1 ⁇ n(y i - β 0 - β 1 x i)^2) ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇

最小化 RSS 的(β 0)和(β 1)涉及采取衍生物并将其设定为零。

(帽子{β ⁇ 1=frac{sumi ⁇ i ⁇ 1 ⁇ n (x i - bar{i ⁇ i ⁇ i ⁇ i ⁇ i ⁇ i ⁇ i ⁇ i ⁇ i ⁇ i ⁇ i ⁇ i ⁇ i ⁇ i ⁇ i ⁇ i ⁇ i ⁇ i ⁇ i ⁇ i ⁇ i ⁇ i ⁇ i ⁇ i ⁇ i ⁇ i ⁇ i ⁇ i ⁇ i ⁇ 2 ⁇ ))

(帽子{β ⁇ 0=bar{y} - 帽子{β ⁇ 1 bar{x}) ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇

应用最小方块估计器

一旦计算出估计值,它们就可以用来预测新的数据点。给定值( hat{y}) 的预测值是:

(帽子{y}=帽子{β ⁇ 0 + 帽子{β ⁇ 1 ×) ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇

这些估算器在包括经济学,工程学和社会科学在内的各个领域中,对理解关系和预测结果很有用.

要点摘要

  • 最小方块法可以将方块残基的总和最小化.
  • 估计器是通过解析正常方程而得到的.
  • 预测是使用估计参数作出的。
  • 最小方块的估算值在线性回归分析中是根本性的.