线性回归

从 y=kx+b 开始

从前 $x$ 表示自变量，$y$ 叫做因变量，它表示的是 $x$ 与 $y$ 之间的关系如何。

例如 $2=1 \times 1+0$。在这里 $x$、$y$、$k$、$b$ 都是实数。

然而现在任务的方向变了。我们想要找到最好的 $k$ 和 $b$，使得它能够表示所有的 $x$ 与 $y$ 并且效果最好。于是换一种表达方法：

$y  ={\theta_0}+{\theta_1}x$

我们不想关注 $x$ 与 $y$ 是怎么变化了，想把重点放在$\theta$上，于是有这样一种表达：

$y_{\theta}  ={\theta_0}+{\theta_1}x$

这样就可以表达了。

如果有 $x$有两维呢，也就是 $\mathbf{x}= \begin{pmatrix} x_1 \\ x_2 \end{pmatrix}$ ，那么自然$\theta$就是三维，也就是说：

$y_{\theta}  ={\theta_0}+{\theta_1}x_1+{\theta_2}x_2$

在这里，$\theta = \begin{pmatrix} \theta_0 \\ \theta_1 \\ \theta_2 \end{pmatrix}$

因此，$y_\theta$就可以表示为：

$y_\theta=\theta\cdot \begin{pmatrix}1\\ \mathbf{x} \\ \end{pmatrix}$

也就是说：

$y_\theta=\begin{pmatrix} \theta_0 \\ \theta_1 \\ \theta_2 \end{pmatrix}\cdot \begin{pmatrix} 1\\ x_1 \\ x_2 \end{pmatrix}$

有一些非常讨厌的写法，例如$\sum_{i=0}^{n} \theta_i x_i$或者是$\mathbf{\theta}^T \mathbf{x}$，因为$x_0$根本没有定义，即使它们在数学上是等价的。 因此，你不能先约定$x$是二维向量，然后又说$\theta_0$对应$x_0$。

不妨令$\mathbf{x}=\begin{pmatrix} 1\\ \mathbf{x} \end{pmatrix}$

现在，我们来约定一下最终的写法：

$y=\mathbf{\theta}^T \mathbf{x}$

y 有一些误差

我们采集了一些自变量 $\mathbf{x}$ 与目标 $y$ ，例如第一个$\mathbf{x}$ 与第一个 $y$ ，第二个$\mathbf{x}$ 与第二个 $y$ ，该怎么表示这些$\mathbf{x}$ 与 $y$ 呢？

最垃圾的教科书会想当然这样写：$\mathbf{x}_1 \quad \mathbf{x}_2 \quad y_1 \quad y_2$。理由很简单：$\mathbf{x}_1 \quad \mathbf{x}_2 \quad y_1 \quad y_2$都没被定义过，用下标表示不同的样本是很常见的方法啊，直接用就好了。然而下标这个方法在上一节表示的是向量的分量啊！ 一般垃圾的教科书会这样写：$\mathbf{x}^1 \quad \mathbf{x}^2 \quad y^1 \quad y^2$，发现和幂函数冲突了，于是美滋滋加个括号就给读者端上来：$\mathbf{x}^{(1)} \quad \mathbf{x}^{(2)} \quad y^{(1)} \quad y^{(2)}$。

在这里，用$Y$表示多个$y$从左到右一列一列排好，用$X$表示多个$\mathbf{x}$从左到右一列一列排好，原来的公式也成立：

$Y=\mathbf{\theta}^T X$

至于单个样本的情况，就用

$y=\mathbf{\theta}^T \mathbf{x}$

来表示就好了。

然后我们发现，对于每个样本，实际上不可能真正测量到线性相关的关系，而是存在一定的误差$\epsilon$，也就是说，

$y=\mathbf{\theta}^T \mathbf{x} +\epsilon$

这太麻烦了！来一点假设吧。假设 随机误差相互独立服从正态分布，也就是说$\epsilon \sim \mathcal{N}(0,\sigma^2)$，也就是说：

$p(\epsilon) = \frac{1}{\sqrt{2\pi\sigma}} \exp \left( -\frac{\epsilon^2}{2\sigma^2} \right)$

可以得到：

$p(y|\mathbf{x}, \mathbf{\theta}) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp \left( -\frac{(y - \mathbf{\theta}^T \mathbf{x})^2}{2\sigma^2} \right)$

其中$p(y|\mathbf{x})$表示输入$\mathbf{x}$得到$y$的概率，$p(\theta)$表示$\theta$的概率，正是我们想要的。

现在来考虑关于$\theta$的似然函数：

$\mathcal{L}(\mathbf{\theta}) = \prod_{(\mathbf{x}, y) \in (X,Y)} \left[ \frac{1}{\sqrt{2\pi\sigma^2}} \exp \left( -\frac{(y - \mathbf{\theta}^T \mathbf{x})^2}{2\sigma^2} \right) \right]$

顺理成章取对数：

$\mathcal{L L}(\mathbf{\theta}) = \sum_{(\mathbf{x}, y) \in (X,Y)} \ln \left[ \frac{1}{\sqrt{2\pi\sigma^2}} \exp \left( -\frac{(y - \mathbf{\theta}^T \mathbf{x})^2}{2\sigma^2} \right) \right]$

从而得到：

$\mathcal{L L}(\mathbf{\theta}) = \sum_{(\mathbf{x}, y) \in (X,Y)} \left[ -\frac{1}{2} \ln(2\pi\sigma^2) - \frac{(y - \mathbf{\theta}^T \mathbf{x})^2}{2\sigma^2} \right]$

观察图中的公式，为了最大化似然函数$\mathcal{L L}(\mathbf{\theta})$，得到损失函数$J(\mathbf{\theta})$平方误差和(SSE)：

$J(\mathbf{\theta}) = \frac{1}{2} \sum_{(\mathbf{x}, y) \in (X,Y)} \left( \mathbf{\theta}^T \mathbf{x} - y \right)^2$