逻辑回归(Logistic Regression)

什么是逻辑回归? 首先,什么是逻辑回归呢? 当你看到这个名字的时候,你可能会被他误导,认为他是做回归的,实际上,他是一个分类模型。只不过他是在线性回归的基础上进行了扩展,使其可以进行分类了而已。 同样的,逻辑回归的与线性回归一样,也是以线性函数为基础的;而与线性回归不同的是,逻辑回归在线性函数的基础上添加了一个非线性函数,如sigmoid函数,使其可以进行分类。 逻辑回归的原理 关于逻辑回归的原理

- 阅读全文 -

线性回归(Linear Regression)

线性回归, 最简单的机器学习算法, 当你看完这篇文章, 你就会发现, 线性回归是多么的简单. 首先, 什么是线性回归. 简单的说, 就是在坐标系中有很多点, 线性回归的目的就是找到一条线使得这些点都在这条直线上或者直线的周围, 这就是线性回归(Linear Regression). 是不是有画面感了? 那么我们上图片: 那么接下来, 就让我们来看看具体的线性回归吧 首先, 我们以二维数据为例

- 阅读全文 -

随机梯度下降和小批量梯度下降详解

所谓随机梯度下降, 顾名思义, 就是随机选取数据来做随机梯度下降. 普通梯度下降 普通的梯度下降的计算公式为: \omega = \omega - \lambda\frac{\partial J}{\omega} 其中, J为损失函数, 而\omega就是我们需要求的参数, \lambda为步长, 也就是我们所说的学习率. 也就是说, 梯度下降法其实就是将相应的参数按照梯度下降的方向前进一点点

- 阅读全文 -

各种梯度下降及其特点

全量梯度下降/批梯度下降(BGD, Batch Gradient Descent) 就是正常的梯度下降 \omega = \omega-\lambda\frac{\partial J}{\partial\omega} 特点 每次更新都会朝着正确的方向进行, 最后收敛于极值点, 凸函数收敛于全局极值点, 非凸函数可能会收敛于局部极值点 缺点: 学习时间长, 消耗内存大 随机梯度下降(SGD,

- 阅读全文 -

各种激活函数, 图像, 导数及其特点

sigmoid f(z)=\frac1{1+e^{-z}} 其图像如下: 特点 能够将输入的连续实值变换为0到1之间的输出 缺点 在深度神经网络中梯度反向传播是容易造成梯度爆炸和梯度消失 sigmoid导数 f'(z) = \frac{e^{-z}}{(1+e^{-z})^2} = \frac1{1+e^{-z}} - \frac1{(1+e^{-z})^2} 其导数图像如下: t

- 阅读全文 -