目录

逻辑回归算法

sigmoid函数

梯度上升法

基础代码

回归梯度上升优化算法

画出决策线

随机梯度上升算法

从疝气病症预测病马死亡率

准备数据

测试算法

逻辑回归算法

用直线拟合的过程称为回归。根据现有数据对分类边界线建立回归公式,以此进行分类的过程即逻辑回归过程。

优点:计算代价不高,易于理解和实现。

缺点:容易欠拟合,分类精度可能不高。

适用数据类型:数值型和标称型

一般过程:

1.收集数据

2.准备数据:需要距离计算,因此要求数据类型为数值型,结构化数据格式则最佳。

3.分析数据:任意方法

4.训练算法:大部分时间用于训练,训练的目的是为了找到最佳的分类回归系数

5.测试算法:一旦训练完成,分类将会很快

6.使用算法:首先,需要将数据转换为对应的结构化数值,然后基于训练好的回归系数对这些数值进行简单的回归计算,判定它们属于哪个类别,最后做其他分析工作

sigmoid函数

逻辑回归首先将数据性质转换为0-1的函数,一般用到的是sigmoid函数:

 Sigmoid函数的图像:

 Sigmoid函数连续,光滑,严格单调,是一个非常良好的阈值函数,因此是二分类的概率常用的函数。当x趋近负无穷时,y趋近于0;趋近于正无穷时,y趋近于1;x=0时,y=0.5。一般来说,在x=6,-6前后,y值不再发生变化。

梯度上升法

梯度上升法基于的思想是:要找到某函数的最大值,最好的方法是沿着该函数的梯度方向探寻。如果梯度记为V,则函数f (x,y)的梯度由下式表示:  

这个梯度意味着要沿x的方向移动 沿y的方向移动 。其中,函数f(x,y)必须要在待计算的点上有定义并且可微。一个具体的函数例子见图5-2。

精彩文章

评论可见,请评论后查看内容,谢谢!!!评论后请刷新页面。

大家都在找:

机器学习:机器学习定义

学习:国开学习网

逻辑回归:逻辑回归树