机器学习-machine learning
机器学习的数学基础
- 线性代数(Linear Algebra)
- 解析几何(Analytic Geometry)
- 矩阵分解(Matrix Decomposition)
- 向量微积分(Vector Calculus)
- 概率与分布(Probability and Distributions)
- 连续优化(Continuous Optimization)
第一节课
采用学习算法尝试模拟人类大脑的学习方式
基础——知道算法及其数学含义、如何用他们解决问题
机器学习——是从AI即人工智能发展出来的一个领域
网页搜索、相片标记、反垃圾邮件
使机器学会如何去做(有些部分编程无法实现)
第二节课
机器学习的定义(初阶)
让程序学会跳棋
机器学习定义(进阶)
E——程序与真人下几万次棋
T——玩跳棋
P(性能度量)——与新对手玩跳棋时赢的概率
课上习题理解
我的答案:A
正确答案:A
个人理解:T是任务,是最终的一个目的;E是经验,是一个过程;P是性能度量,统计正确与否的概率比例。
我们的系统在任务T上的性能,在得到经验E之后会提高性能度量P,也就是积累的经验越多,获胜的概率越大。
各种不同类型的学习算法中,最主要的两类是监督学习和无监督学习,还有强化学习和推荐系统等
第三节课
监督学习
例子一(要求会讲述)
例子二
例子二(进阶)
课上习题
我的答案:C
正确答案:C
个人理解:回归问题通过几个真实存在的值,根据趋势来预测;分类问题是分不同,有区分,判别
第四节课
无监督学习
这里提到了一个算法——聚类算法
应用例子就是谷歌新闻链接在此
谷歌新闻就是将数十万条新闻组成一个个新闻专题
去搜索成千上万条新闻,然后自动地将他们分蔟(分类)有关同一主题的新闻被显示在一起。
无监督学习或聚类算法
实现代码
下载Octave点击此处开始进行下载具体方法看心情出教程
我的答案:B
正确答案:B
第五节课
第一个学习算法:线性回归
回归是指我们预测一个具体的数值输出,也就是价格。
另一种最常见的监督学习问题被称为分类问题,用它来预测离散值输出。
第六节课
代价函数——弄清楚如何把最有可能的直线与我们的数据相拟合
如何选择O0和O1?
代价函数(平方误差函数、平方误差代价函数)cost function
第七节课
课程主要内容:通过例子直观理解代价函数是用来做什么的,以及为什么我们要使用它
假设函数和代价函数
第八节课(知识缺失、暂时跳过)
课前准备:熟悉等高线图等等高图像
第九节课
将代价函J最小化的梯度下降法
梯度下降——最小化任意函数
一直在寻找最佳下山方向,即从什么方向将会最快下山,直到收敛至全局最低点
局部最优解
数学原理
- a:=b赋值
- a = b 真假判定
- a(希腊字母阿尔法),被称为学习率的数字,它是用来控制梯度下降时,我们卖出多大的步子
- 梯度下降法的细节:先计算右边的部分,然后同时更新O0和O1
同步更新很重要
第十节课
梯度算法的是做什么的以及梯度下降算法的更新过程有什么意义
此处将a看作系数,系数越大,O1的变换程度越大
下面的例子就是在解释,如果O1已经处在一个局部最优点,下一步梯度下降该怎么办?
第十一节课
梯度下降算法(+)线性回归模型(=)平方差代价函数
下面是线性回归的代价函数(弓状函数(凸函数))
Batch梯度下降法
第十二节课到十七节课复习线性代数知识(略)
第十八节课
第十九节课
在学习了多元多变量的线性回归假设的形势下,本节课主要学习如何设定改假设的参数,如何使用梯度下降法来处理多元线性回归。
第二十节课
第二十一节课
学习率a
第二十二节课
与选择特征想法密切相关的一个概念被称为多项式回归。
知道了可以自由选择使用什么特征,通过设计不同的特征,能够用更复杂的函数拟合数据。
第二十三节课
正规方程
第二十四节课