Softmax Regression 可以看做是 LR 算法在多分类上的推广，即类标签 y 的取值大于或者等于 2。

假设数据样本集为$\left\{\left(X^{(1)}, y^{(1)}\right),\left(X^{(2)}, y^{(2)}\right),\left(X^{(3)}, y^{(3)}\right), \ldots,\left(X^{(m)}, y^{(m)}\right)\right\}$

对于 SR 算法, 其输入特征为: $X^{(i)} \in \mathbb{R}^{n+1},$ 类别标记为: $y^{(i)} \in\{0,1,2, \ldots, k\},$ 假设函数为每一个样本估计 其所属类别的概率 $P(y=j \mid X),$ 具体的假设函数为：

$$h_{\theta}\left(X^{(i)}\right)=\left[\begin{array}{c}P\left(y^{(i)}=1 \mid X^{(i)} ; \theta\right) \\P\left(y^{(i)}=2 \mid X^{(i)} ; \theta\right) \\\ldots \\P\left(y^{(i)}=k \mid X^{(i)} ; \theta\right)\end{array}\right]=\frac{1}{\sum_{j=1}^{k} e^{\theta^{T} X^{(i)}}}\left[\begin{array}{c}e^{\theta_{1}^{T} X^{(i)}} \\e^{\theta_{2}^{T} X^{(i)}} \\\ldots \\e^{\theta_{k}^{T} X^{(i)}}\end{array}\right]$$

其中，$\theta_i \in \mathbb{R}^{n+1}$，则对于每一个样本估计其所属的类别的概率为

$$P\left(y^{(i)}=j \mid X^{(i)} ; \theta\right)=\frac{e^{\theta_{j}^{T} X^{(i)}}}{\sum_{l=1}^{k} e^{\theta_{l}^{T} X^{(i)}}}$$ more >>

一、线性可分SVM——硬间隔

1.1 超平面与间隔

给定训练集$D={(x_1,y_1 ),(x_2,y_2 ),…,(x_m,y_m )} ,y_i∈{-1,+1}$，分类学习的最基本的任务就是在样本空间中寻找一个划分超平面，将不同类别的样本划分开来，但是这样的超平面有很多，选择哪个最好呢？直观上来看，越接近两类样本分隔界的样本，越容易产生分类错误，而位于两类样本“正中间”的划分超平面受影响最小，泛化能力更强。

在样本空间中，划分的超平面可通过如下线性方程表示：

$$w_1 x_1+w_2 x_2+w_3 x_3+⋯+w_d x_d+b=0$$

即：

$$\left[\begin{array}{lllll} w_{1} & w_{2} & w_{3} & \ldots & w_{d} \end{array}\right] \cdot\left[\begin{array}{l} x_{1} \\ x_{2} \\ x_{3} \\ \ldots \\ x_{d} \end{array}\right]+b=0$$

转换向量表示即为：

$$\boldsymbol{w}^{T} \boldsymbol{x}+b=0$$

其中$\mathbf{w}=\left(\mathrm{w}_{1} ; \mathrm{w}_{2} ; \ldots ; \mathrm{w}_{\mathrm{d}}\right)$为法向量,决定了超平面的方向;$b$为位移项，决定了超平面与原点之间的距离。则样本空间中任一点x到超平面(w,b)的距离可表示为：

$$\begin{equation} r=\frac{\left|\boldsymbol{w}^{T} x+b\right|}{|| \boldsymbol{w}||} \tag{1.1} \end{equation}$$ more >>

反向传播算法

第一层是输入层，包含两个神经元i1、i2，和截距项b1；第二层是隐含层，包含两个神经元h1、h2和截距项b2，第三层是输出o1、o2，每条线上标的wi是层与层之间连接的权重，激活函数默认为sigmoid函数。

more >>

一、过拟合问题

指的是我们设计的模型过度拟合训练集$J(\theta)=\frac{1}{2 m} \sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right)^{2} \approx 0$，导致它在训练集上表现很好，但是在测试集上却表现很差，无法泛化到新的样本中，难以对新样本进行预测。

那么如何预防过拟合？

减少特征的数量

• 人工选择哪些特征应该保留，那些应该舍弃；
• 模型选择算法（Model selection algorithm）；

正则化

• 保留所有的特征，但减小参数$(\theta_j)$的幅值；
• 当数据有很多特性时，每个特性都对预测y有一点贡献；

more >>

一、什么是决策树？

假如某公司想招聘机器学习的算法工程师，则可能会首先判断是否发表过顶会论文，如果发表过，可能会考虑录用。倘若没有，则继续判断是否为研究生，若是研究生，就看他研究生期间有没有做过有关机器学习的项目，若有，可能会考虑录用，若没有，则再进行考察。若不是研究生，则判断他的$GPA$是否年级前十…

每次的判断都相当于一次决策，每次决策逐渐累积构成了一棵树，即为决策树。而决策树学习目的就是为了产生一颗泛化能力强，即处理未见数据强的决策树。

more >>

广义线性模型

对于线性回归而言，模型可以简写为：

$$\begin{equation} y=w^Tx+b \ \ or \ \ y=θ^Tx(更常用，下面统一用该式子表示) \tag{1} \end{equation}$$

假设我们的模型的输出是在指数尺度上的变化，我们可以简单的将输出的对数作为线性模型逼近的目标，将线性模型映射到指数变化上，即：

$$\begin{equation} ln\, y=w^Tx+b \ \ or \ \ ln\, y=θ^Tx\tag{2} \end{equation}$$

这就是“对数线性回归”(log-linear regression)，如上图中的红线映射到黑色的指数线，这就是广义线性模型的思想。更一般的考虑单调可微函数g(·)，令：

$$\begin{equation} y=g(w^Tx+b) \ \ or \ \ y=g(θ^Tx) \tag{3} \end{equation}$$

这就得到了“广义线性模型”，虽然在形式上还是线性回归，但实质上是对输入空间的非线性变化，使得函数具有非线性的属性。

more >>

线性回归

线性回归是在假设特征满足线性关系，根据给定的训练数据训练一个线性模型，并用此模型进行预测。即使用一条函数曲线使其训练数据很好的拟合已知函数，并很好的预测未知数据。回归问题按照输入变量的个数可以分为一元回归和多元回归。

一、 单变量线性回归

线性回归是在假设特征满足线性关系，根据给定的训练数据训练一个线性模型，并用此模型进行预测。即使用一条函数曲线使其训练数据很好的拟合已知函数，并很好的预测未知数据。回归问题按照输入变量的个数可以分为一元回归和多元回归。

对于一元线性回归，函数用可以用一个公式来表示，即假设$x$和$h_{\theta}(x)$之间存在这样的关系：

$$\begin{equation} h_{\theta}(x) = \theta_0 + \theta_1 x \tag{1} \end{equation}$$

$h_{\theta}(x)$即我们预测的数值，该值与实际数值之间的差异，即为误差：

$$\begin{equation} error=|y- h_{\theta}(x)| \tag{2} \end{equation}$$

由于求绝对值过于繁琐，我们将其视为误差平方和，并对齐求均值，即代价（损失）函数：

$$\begin{equation} J\left(\theta_0,\theta_1\right) = \frac{1}{2m}\sum_{i=1}^{m}\left(h_{\theta}(x^{(i)}) - y^{(i)}\right)^{2}=\frac{1}{2m}\sum_{i=1}^{m}\left(\theta_0 + \theta_1x_i-y^{(i)}\right)^{2} \tag{3} \end{equation}$$

我们的目的就是使得预测值尽可能地接近实际值，即误差越小越好。即找到一组$(\theta_0,\theta_1)$，使得误差平方和最小。

Hypothesis：$h_{\theta}(x) = \theta_0 + \theta_1 x$

Parameters：$\theta_0,\theta_1$

Cost Function：$J(\theta_0,\theta_1) = \frac{1}{2m}\sum_{i=1}^{m}\left(h_{\theta}(x^{(i)}) - y^{(i)}\right)^{2}$

Goal：$\underset{\theta_{0}, \theta_{1}}{\operatorname{minimize}} J\left(\theta_{0}, \theta_{1}\right)$

more >>