课程优势

点我咨询困惑

学习大纲

  • 第一周

    花书第一章——第四章(掌握数学基础)
    【视频课】矩阵的对角化分解,以及一般矩阵的svd分解,以及应用
    【视频课】PCA算法推导
    【视频课】逆矩阵以及伪逆举证,线性回归,最小二乘估计,最小范数估计
    【视频课】极大似然估计,误差的高斯分布与最小二乘估计的等价性
    【视频课】最优化,无约束,有约束,拉格朗日乘子的意义,kkt松弛条件
    作业:
    【代码】参考Notebook,温习线性代数
    【总结】列出花书前四章必须要掌握的十个知识点,附带上自己的学习心得【思考题】一元线性回归的基本假设有哪些?

  • 第二周

    花书5.1-5.4,花书5.5-5.7.1
    【视频课】机器学习算法基本概念,
    【视频课】回归与分类任务,欠拟合过拟合,模型选取交叉验证
    【视频课】极大似然估计,贝叶斯估计
    作业:
    【拓展】了解bias-variance tradeoff
    【习题】根据图示判断算法建模情况
    【推导】通过梯度下降算法最小化负对数似然求解逻辑回归
    【思考题】交叉验证的基本流程是什么?最大似然估计与贝叶斯估计的区别有哪些?

  • 第三周

    花书5.7.2-5.7.3章
    【视频课】监督学习:逻辑回归,SVM,LDA,决策树
    【视频课】非监督学习:PCA,kmeans
    【视频课】梯度下降,随机梯度下降
    作业:
    【推导】硬间隔支持向量机推导
    【思考题】举几个例子说明不同聚类方法的应用场景。
    【习题】比较随机梯度下降与批梯度下降

  • 第四周

    花书第6章
    【视频课】前馈神经网络的基本概念,XOR
    【视频课】基于梯度的学习,代价函数(MSE,CE),以及输出单元,求导
    【视频课】神经网络的隐层,各种非线性变换,以及求导
    【视频课】前向传播与反向传播算法,以及参数更新
    作业:
    【思考题】为什么在神经网络中加入非线性是必须的?
    【推导】完成softmax输出单元cross-entropy损失函数的梯度推导。
    【习题】写出下列每个激活函数的表达式及其导数
    【实战】完成⼀个反向传播实例

  • 第五周

    花书第7、8章
    视频课(第七章):
    1.参数正则化
    2.数据集增强,噪声鲁棒性
    3.半监督,多任务
    4.提前终止,参数共享,稀疏矩阵
    5.dropout
    6.数据增强,simu
    7.bagging
    视频课(第八章):
    1.局部极小,病态,梯度悬崖,梯度爆炸与消失
    2.moment & NAG
    3.自适应学习率,adagrad,adam
    4.二阶方法,牛顿,拟牛顿,共轭梯度
    5.batch norm
    6.监督预训练
    作业:
    【习题】⽤公式说明为何L2正则化⼜常被称作“weight decay”
    【思考题】为什么在神经⽹络中,dropout可以起到正则化的作⽤?
    【思考题】什么时候适合⽤Adam?RMSProp?SGD?

  • 第六周

    花书第9章
    【视频课】卷积神经网络
    【视频课】局部感知权值共享
    经典论文带读
    【视频课】CNN用于句分类--第一篇真正意义上的神经网络用于文本分类之作 《Convolutional Neural Networks for Sentence Classification》论文讲解
    【视频课】ResNet网络结构《Deep Residual Learning for Image Recognition》论文讲解
    作业:
    【思考题】卷积操作的本质特性包括稀疏交互和参数共享,具体解释这两种特性及其作用。
    【思考题】关于最大池化层,选出给出的选择正确项。
    【习题】完成卷积神经网络的经典习题

  • 第七、八周

    花书第10章
    【视频课】具有时序性的任务,时间依赖性
    【视频课】RNN与双向RNN的结构,前向与反向算法,梯度爆炸与梯度消失
    【视频课】LSTM与biLSTM的结构,前向与反向算法
    【视频课】GRU与biGRU的结构,前向与反向算法
    【视频课】讲解和分享实际案例
    作业:
    【作图】画出图10.13c的展开图
    【作图】可以完成给定任务的RNN计算图
    【推导】参考博客,了解随时间反向传播在LSTM中的推导

  • 第九周

    实际工作中的一些经验以及前沿技术介绍与分享
    【视频课】多GPU并行计算
    【视频课】模型的压缩与加速
    【视频课】知识蒸馏
    作业:
    【总结】观看深度学习最新进展视频,总结几条你认为深度学习最有潜力的发展方向
    【期末复盘】复盘所学到的知识,构建自己的机器学习和深度学习知识框架