【CS229-1】机器学习的动机与应用

本内容整理自《斯坦福大学公开课:机器学习》,讲师为Andrew Ng。这份课程也算是这个领域的启蒙课程了。

自学机器学习(Machine Learning)的计划其实从2016年夏天就开始了,反反复复断断续续的拖着,到了这个节骨眼上实在是拖不下去了,所以一边是在这里整理知识点,一边是监督自己一直把这个公开课的内容学下去。

课程在线资源:http://cs229.stanford.edu


一、定义

1.1959. Arthur Samuel

在不直接针对问题进行编程的情况下,赋予计算机学习能力的一个研究领域。

例:西洋棋(实际上是国际跳棋)程序:计算机和自己下棋。

2.1998. Tom Mitchell

一个计算机程序,给它一个任务T(Task)和一个性能测量方法P(Performance)。如果在经验E(Experience)的影响下,P对T的结果得到了改进,那么就说该程序从E中学习。

以上面的西洋棋程序为例:

E-程序不断和自己下棋的经历

T-下棋

P-他和人类棋手对弈的表现

二、机器学习的种类

1.监督学习(Supervised Learning)

例1 房屋价格(P)与面积(S)

提供一组“正确答案”的数据,让程序通过学习来预测任意面积S所对应的价格P。

img

可能是线性的,也可能是对数型的,或者是其他更复杂的数学模型。

这种问题属于回归问题,本质上是预测一段连续的曲线。

例2 肿瘤大小与乳腺癌

当提供单一属性「肿瘤大小」时,是否发病的预测相对困难;

img

但是在我们加入“年龄”这一因素后,即可将离散的数据进行明显分类了。

img

图中圆圈代表良性肿瘤,叉号代表恶性肿瘤,横纵坐标分别为肿瘤的大小和该病人的年龄。

这种问题属于分类(classification)问题,本质上是离散的。

2.学习理论(Learning Theory)

我们常问的有:多少数据?多少精度?

例:一个读取信封上手写邮编的程序。

在经过机器学习达到什么程度时,我们能够保证它有99.9%的准确率?

这将在后面的课程中介绍。

3.无监督学习(Unsupervised Learning)

例1:给出一组(没有正确答案的)数据,从这些数据中找出有趣的结构。

img

如上图所示的聚类问题(Clustering),即是无监督学习的一个典型例子。

例2:数字图像处理中的应用

img

将像素点进行聚类,从而判断集群。

例3:鸡尾酒聚会问题(Cocktail Party Problem)

在一个喧闹的聚会上,将人声和环境音完全分离。

4.加强学习(Reinforcement Learning)

例:狗的训练

当狗作出一些好事时,你会给它一些奖励(如好吃的东西),反之,你会给它一些惩罚(如一顿鞭打),这样,狗就会慢慢的去多做好的事情来获得更多的奖励

「回报函数」概念:如何去定义一个积极的回报是问题的核心。


End.

假装有打赏功能