决策树(Decision Tree)

决策树 决策树是一种常见的机器学习算法. 所谓决策树,其实就是通过某种方法选择特征的筛选顺序,然后对每一个特征进行分分支,也就相当于将每个特征都做成if-else语句. 简单的说,决策树就是多个if-else组合在一起,只是哪一个特征先进行if-else由我们的判定方法决定,而常见的判定方法有: 信息增益, 增益率, 基尼指数 在我们使用代码实现决策树的时候,其实就是一个递归过程.下面请看西瓜书的

- 阅读全文 -

最大似然估计(极大似然估计)

概率与似然 对于最大似然估计我们使用最简单的抛硬币问题来进行讲解 概率 当我们抛一枚硬币的时候,就可以去猜测抛硬币的各种情况的可能性,这个可能性就称为概率 一枚质地均匀的硬币,在不考虑其他情况下是符合二项分布的,即正面和翻面的概率都是0.5,那么我们抛10次硬币5次正面在上面的概率为: P(5次正面朝上)=C^5_{10}0.5^5(1-0.5)^5=0.24609375\approx0.2

- 阅读全文 -

最小二乘法机器算法实现

简介 最小二乘法就是用过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便的求得未知的数据。 一元线性回归下的最小二乘法 下面来讲解一下最小二乘法(以二维数据为例) 首先,我们得到一组数据(x_1,y_1), (x_2,y_2)...(x_n,y_n),我们的预测函数 f(x_i)=\omega x_i+b,也就是预测值\hat y_i, 那么我们的误差的平方和为: \sum_{i

- 阅读全文 -