课程优势

点我咨询困惑

学习大纲

  • Week1

    【视频课】第1章 统计学习方法概论
    理解“本章概要”的5点内容
    理解模型过拟合产生的原因以及造成的影响
    理解机器学习的评价标准:模型的泛化能力
    熟悉极大似然估计和贝叶斯估计基本思想和求解方法

    【视频课】第2章 感知机
    掌握感知机的模型形式、损失函数及对应的优化问题
    掌握随机梯度下降算法原理
    理解感知机模型中随机梯度算法的收敛性

    【视频课】第3章 k近邻
    掌握k近邻算法的原理
    理解k近邻算法三要素及模型对应的损失函数
    掌握k近邻算法在分类问题上的求解过程

    作业:
    【推导】推导正态分布均值的极大似然估计和贝叶斯估计
    【思考题】思考感知机模型的假设空间?模型复杂度体现在哪里?
    【代码复现】自编程/调用sklearn实现一个感知机算例
    【思考题】思考k近邻算法的模型复杂度体现在哪里?什么情况下会造成过拟合?
    【代码复现】自编程/调用sklearn实现一个k近邻算法算例

    作业视频讲解:
    极大似然估计和贝叶斯估计作业
    感知机算例自编程和sklearn实现

  • Week2

    【视频课】第4章 朴素贝叶斯法
    理解朴素贝叶斯模型的模型假设
    理解后验概率最大化与期望损失最小化的关系
    掌握极大似然估计的求解过程
    掌握贝叶斯估计的求解过程

    【视频课】第5章 决策树
    理解信息增益、基尼系数的含义和计算方法
    掌握ID3算法
    了解决策树剪枝的目的和剪枝准则
    掌握CART生成算法

    作业:
    【代码复现】自编程/调用sklearn实现朴素贝叶斯算法
    【证明题】证明CART剪枝算法中,当α确定的情况下,存在唯一的最小子树Ta使得损失函数Cα(T)最小。
    【代码复现】调用sklearn实现决策树算例,有余力者进行自编程实现

    作业视频讲解:
    K近邻算法自编程和sklearn实现
    朴素贝叶斯自编程和sklearn实现

  • Week3

    【视频课】第6章 逻辑斯谛回归与最大熵模型
    掌握二项逻辑斯谛和多项逻辑斯谛模型的模型形式和似然函数
    掌握二项逻辑斯谛求解中的梯度下降法
    理解最大熵模型的思想,了解拉格朗日对偶性
    理解最大熵模型中的改进的迭代尺度算法

    【视频课】第7章 支持向量机
    理解线性可分支持向量机硬间隔最大化的思想、对应的优化问题、对偶问题和相应算法
    理解硬间隔最大化解的存在唯一性
    理解线性支持向量机软间隔最大化的思想、对应的优化问题、对偶问题和相应算法
    了解核函数在非线性支持向量机中的应用和对应的算法
    了解序列最小最优化算法的基本思想

    作业:
    【代码复现】自编程/调用sklearn实现逻辑斯缔回归模型,尝试改变参数,选择不同算法
    【代码复现】手算/自编程/调用sklearn完成习题7.2,求线性可分支持向量机的最大间隔分离超平面和分类决策函数

    作业视频讲解:
    决策树自编程和sklearn实现
    逻辑斯蒂回归自编程和sklearn实现



  • Week4

    【视频课】第8章 提升方法
    掌握AdaBoost算法的求解过程
    理解AdaBoost算法的训练误差
    理解AdaBoost算法是前向分步算法的一个特例
    掌握回归问题的提升树算法

    【视频课】第9章 EM算法及推广
    通过例题9.1掌握EM算法E步和M步的求解过程
    了解EM算法求解如何用从最大化观测数据似然函数导出
    掌握高斯混合模型如何用EM算法估计参数

    作业:
    【代码复现】自编程/调用sklearn对提升方法例题8.1进行实现
    【代码复现】自编程求解两分量高斯混合模型的参数

    作业视频讲解:
    支持向量机算例自编程和sklearn实现
    提升方法算例的自编程和sklearn实现


  • Week5

    【视频课】第10章 隐马尔科夫模型
    了解隐马尔科夫模型的三要素和三个基本问题
    通过例题10.2,掌握隐马尔可夫模型概率计算中的向前算法
    理解隐马尔科夫模型参数的非监督学习算法
    通过例题10.3,理解维特比算法

    【视频课】第11章 条件随机场
    理解概率无向图
    通过例题11.1和例题11.2,掌握线性链条件随机场模型参数形式和矩阵形式
    掌握条件概率和期望的前向-后向算法
    掌握改进的迭代尺度法和拟牛顿法优化的目标函数
    通过例题11.3,掌握预测的维特比算法

    作业:
    【代码复现】自编程实现隐马尔可夫模型的前向、后向和维特比算法
    【代码复现】自编程实现条件随机场习题11.4

    作业视频讲解:
    用EM算法自编程估计两分量高斯混合模型的参数
    自编程实现隐马尔可夫模型的前向、后向和维特比算法
    自编程实现条件随机场习题11.4


  • Week6

    【视频课】第13章 无监督学习概论
    理解无监督学习基本原理
    理解机器学习三要素
    熟悉无监督学习方法

    【视频课】第14章 聚类方法
    理解聚类的基本概念:相似度或距离、类或簇、类与类之间的距离
    掌握层次聚类方法
    掌握k均值聚类的模型、策略、算法和算法特性

    【视频课】第15章 奇异值分解
    掌握奇异值分解的定义与性质
    掌握奇异值分解的计算步骤
    熟悉奇异值分解与矩阵近似

    作业:
    【推导】推导由类与簇的第一个定义得出其他三个定义
    【思考题】思考k均值聚类与高斯混合模型加EM算法的异同点?
    【代码复现】自编程实现一个k均值聚类案例
    【思考题】思考矩阵的奇异值分解与对称矩阵的对角化的异同点?
    【代码复现】自编程矩阵的奇异值分解

    作业视频讲解:
    几类典型的聚类分析方法(系统聚类法、重心法等)
    k均值聚类案例的自编程实现
    证明任何一个秩为1的矩阵可写成两个向量的外积形式


  • Week7

    【视频课】第16章 主成分分析
    理解总体主成分分析的定义与性质
    掌握求解总体主成分的基本定理与运用
    理解样本主成分分析的定义与性质
    掌握相关矩阵的特征值分解算法
    掌握数据矩阵的奇异值分解算法

    【视频课】第17章 潜在语义分析
    理解单向量空间与话题向量空间
    掌握潜在语义分析算法-矩阵奇异值分解算法
    掌握非负定矩阵分解算法
    了解非负定矩阵分解的形式

    作业:
    【代码复现】自编程实现主成分分析案例
    【证明题】证明样本协方差矩阵S是总体协方差矩阵的无偏估计
    【代码复现】自编程实现潜在语义分析的奇异值分解法和非负定矩阵分解法

    作业视频讲解:
    潜在语义分析自编程实现
    主成分分析自编程实现


  • Week8

    【视频课】第18章 概率潜在语义分析
    了解概率潜在语义分析模型的基本想法
    掌握概率潜在语义分析模型的生成模型、共线模型
    掌握概率潜在语义分析模型的参数和几何解释
    掌握概率潜在语义分析运用生成模型学习的EM算法

    【视频课】第19章 马尔科夫链蒙特卡罗法
    理解蒙特卡罗法的随机抽样、数学期望估计和积分计算步骤
    理解马尔科夫链的基本定义、离散状态与连续状态、基本性质
    熟悉马尔科夫链蒙特卡罗法的基本想法和实现步骤
    掌握Metropolis-Hastings算法基本原理与单分量Metropolis-Hastings算法
    熟悉吉布斯抽样基本原理与算法并进行抽样计算

    作业:
    【证明题】证明如果马尔科夫链是不可约的,且有一个状态是非周期的,则其他所有状态也是非周期的。
    【代码复现】自编程实现马尔科夫链,尝试改变参数,选择不同状态转移矩阵
    【代码复现】自编程实现习题18.3潜在语义分析

    作业视频讲解:
    概率潜在语义分析自编程实现
    马尔科夫链自编程实现
    证明可逆马尔科夫链一定是不可约的

  • Week9

    【视频课】第20章 潜在狄利克雷分配
    理解狄利克雷分布的定义与共轭先验
    掌握潜在狄利克雷分配模型的基本定义、概率图模型
    理解潜在狄利克雷分配模型中随机变量序列的可交换性
    熟悉LDA吉布斯抽样算法的基本想法、主要部分和后处理
    理解LDA的变分推理过程
    掌握LDA的变分EM算法的基本结构与推导步骤

    作业:
    【思考题】LDA的吉布斯抽样算法、变分EM算法中利用到狄利克雷分布的部分是哪些?
    【证明题】推导狄利克雷分布数学期望公式
    【代码复现】自编程针对17.2.2文本案例,使用LDA模型进行话题分析

    作业视频讲解:
    LDA模型话题分析自编程实现
    LDA的吉布斯抽样算法的变分EM算法的Python实现

  • Week10

    【视频课】第21章 PageRank算法
    理解有向图和随机游走模型的基本想法
    理解PageRank的基本定义和一般定义
    掌握PageRank的计算-迭代算法、幂法和代数算法

    【视频课】第22章 无监督学习方法总结
    熟悉各无监督学习方法的关系和特点
    熟悉基础机器学习方法
    熟悉话题模型之间的关系和特点

    作业:
    【证明题】假设方阵A是随机矩阵,即其每个元素非负,每列元素之和为1,证明A的k次方仍是随机矩阵,其中k是自然数
    【代码复现】自编程/调用Python验证习题21.2,以不同的初始分布向量进行迭代,仍得到同样的极限向量R
    【证明题】PageRank 一般定义中的马尔科夫链具有平稳分布

    作业视频讲解:
    证明随机矩阵的最大特征值为1
    PageRank算法自编程和Python实现

pc17-1.jpg0-pc2.jpg






pc17 拷贝.jpg





pc18 拷贝.jpg


西瓜书3-2.jpg





01.jpg





西瓜书4-1.jpg







统计学4-2.jpg




统计学5-1.jpg







pc17.jpg







统计学5-2.jpg