视频教程

这节课学习和复习了强化学习算法，然后学习了一些POMDPs(部分可观察马氏决策过程)的知识，完全可观察MDP的知识，接下来介绍了策略搜索算法（其中包括两种算法：Reinforced和Pegasus）。最后，介绍了与这门课程相关的一些课程，并给学生提出一些希望。

简介：首先谈了一点强化学习算法，然后引入调试强化学习算法，之后介绍Kalman滤波器 微分动态规划,卡尔曼滤波与LQR控制结合的一种算法（LQG控制算法，线性二次高斯），并比较了高斯分布和卡尔曼滤波的效率问题。

本讲主要讲，控制NVP算法，谈到非线性动力学系统，之后谈论在动力系统的模型，然后又谈论线性二次型调节控制（linear quadratic regulation control），之后导出一些处理情况的函数。还包含线性模型的建立，非线性模型的线性化的知识。

本节继续介绍马氏决策过程（MDP），以及解决状态MDP的算法，然后主要详细介绍了拟合值迭代算法（fitted value iteration）和近似政策迭代（approximate policy iteration）这两种算法，并通过具体的例子和求解的方式来说明这两种算法。

本课主要介绍了监督学习、然后引出强化学习的知识，用“使直升机飞翔”的例子阐述强化学习。介绍了马氏决策过程（MDP），由此引出来的两个解决最优策略和最优回报的算法，最后重点介绍了“值迭代”和“策略迭代算法”的实施，以及比较了它们的优缺点。

介绍了主成分分析PCA，及举出利用PCA找出相似文档的例子，然后讲了SVD（奇异值分析）。介绍了无监督算法和因子分析。然后介绍ICA（独立成分分析算法），和CDF（累积分布函数），并复习了高斯分布的知识。最后举了几个应用ICA的例子。

本讲继续上一讲的内容，详细地介绍了因子分析问题对应的EM算法的步骤推导过程，并重点提出了其中应该注意的问题。之后介绍了主成分分析（PCA）的算法原理和主要应用。该算法是一种常用的降低数据维度的算法。

本讲对混合高斯模型在EM算法下的结论进行了推导，并且介绍了EM算法在混合贝叶斯模型中的应用。最后介绍了因子分析算法。该算法可以进行高维数据下样本数目较少的情况下的模型拟合。

本讲开始介绍无监督学习的内容。首先介绍了k-means聚类算法；之后介绍了混合高斯模型，它是最大期望算法（EM）的一种特例；之后引入了Jesen不等式，之后利用Jesen不等式引出了EM算法的一般形式。

本讲先介绍了贝叶斯统计和规范化；之后简单介绍了在线学习的概念；之后介绍了机器学习算法设计中的问题诊断技巧；之后介绍了两种分析技巧：误差分析与销蚀分析；最后介绍了两种应用机器学习算法的方式与适用场景。

本讲首先介绍了VC维的概念——该概念能够将关于ERM一般误差的界的结论推广到无限假设类的情形；之后介绍了模型选择问题——具体介绍了交叉验证方法以及几种变形；最后介绍了特征选择问题——具体介绍了两类方法：封装特征选择和过滤特征选择。

本讲主要介绍了模型选择中的一种常见现象——偏差方差权衡。为了解释该概念，首先介绍了两个重要的引理——联合界引理和Hoeffding不等式，之后定义了两个重要的概念——训练误差和一般误差，并提出了一种简化的机器学习算法模型——经验风险最小化（ERM）。最后基于这些概念对ERM结果的理论上界进行了证明，并基于上界分析对偏差方差权衡进行了解释。好的，欢迎回来。我今天想开始新的一章。我们今天要讲的是学习理论。在之前，我记得是八讲，你们已经学习了许多学习算法，使得，你们现在已经了解到了一些人工智能领域中最强大的机器学习的工具。你们现在已经能够理论联系实际，将那些强大的学习算法应用到各种问题上，实际上，我希望你们可以马上开始着手于你们的项目。

本讲首先介绍了核的概念——它在SVM以及许多学习算法中都有重要的应用，之后介绍了l1 norm软间隔SVM——它是一种SVM的变化形式，可以处理非线性可分隔的数据，最后介绍了SMO算法——一种高效的可以解决SVM优化问题的算法。

本课首先提出了原始的优化问题：最优间隔分类器问题，之后介绍了对偶问题的概念和KKT条件，之后基于原始优化问题的对偶问题的分析，介绍了SVM算法。课程的最后对SVM算法进行了评价，以引出下节课对核方法的介绍。

本课首先介绍了两种朴素贝叶斯算法的事件模型，之后介绍了神经网络算法，并在最后介绍了两个重要的概念：函数间隔和几何间隔，基于这两个概念提出了一个线性分类算法：最大间隔分类器算法。该算法用于引出一个非常重要的非线性分类算法：支持向量机。

本课首先介绍了一类新的学习算法——生成学习算法，并详 细地介绍了该算法的一个例子：高斯判别分析；之后对生成学习算法与之前的判别学习算法进行了对比；最后介绍了一个适合对文本进行分类的算法——朴素贝叶斯算法，并结合该算法介绍了一种常用的平滑技术——Laplace平滑。

本课首先介绍了牛顿方法，可以代替梯度上升算法用来计算 函数的最大值；之后以高斯分布和伯努利分布为例介绍了指 数分布函数族；最后以指数分布函数族为基础，引出了广义 线性模型，可以通过指定概率分布直接推导出模型。

欠拟合与过拟合的概念，参数化及非参数化算法概念，局部加权回归，对于线性模型的概率解释，Logistic回归，感知器。

监督学习应用——自主推导，ALVINN系统，线性回归，梯度下降，组梯度下降，随机梯度下降，标准方程推导。

机器学习的动机与应用、Logistic类、机器学习的定义、监督学习概观、学习理论概述、非监督学习概述、强化学习概述。