NeuralNetworkAndDeepLearning

神经网络与深度学习

前言

学科地位：

主讲教师	学分配额	学科类别
宋歌	3	自发课

成绩组成：

小组作业	个人大作业
40%	60%

教材情况：

课程名称	选用教材	版次	作者	出版社	ISBN号
神经网络与深度学习	《神经网络与深度学习》	1	邱锡鹏	机械工业出版社	978-7-111-64968-7

学习资源：

• 课程官网：https://nndl.github.io/

为什么要学这门课？

还记得 NJU 的 jyy 老师在上 OS 时说过的一句话，“我们现在学习的微积分是 300 年前的人类智慧结晶，何不再学学 50 年前的人类智慧结晶呢？”印象深刻。当一切都可以用层层嵌套的简单函数模拟时，人类社会必将发生翻天覆地的变化！

会收获什么？

如何学习特征？如何优化调参？为什么要这样做？背后的原理是什么？

概述

绪论

表示学习是什么？与传统的特征工程目的一致，为了得到数据中的更好的特征。不同的是，特征工程中的策略都是可控的方式，而表示学习就是利用深度学习从数据中学习高层的有效特征。

深度学习是什么？我们知道机器学习就是在手动处理完特征后，构建对应的模型 预测输出。而深度学习就是将机器学习的手动特征工程也用模型进行 表示学习 来学习出有效特征，然后继续构建模型 预测输出。如下图所示：

为什么会有深度学习？最简单的一点就是，很多特征我们根本没法定义一种表示规则来表示特征，比如说对于图像，怎么定义复杂的图像的特征呢？比如说对于音频，又怎么定义复杂的音频的特征呢？没办法，我们直接学特征！

神经网络是什么？就是万千模型中的一种，仅此而已。

为什么用神经网络进行深度学习？有了上面对深度学习定义的理解，可以发现其中最具有挑战性的特点就是，模型怎么知道什么才是好特征？什么是不好的特征？神经网络可以很好的解决这个问题。通过由浅到深层层神经元的特征提取，越深的神经元就可以学习更高语义的特征。说的高大上一点就是，神经网络可以很好的解决深度学习中的「贡献度分配」问题。

机器学习概述

数据 $\to$ 模型 $\to$ 学习准则 $\to$ 优化算法

线性模型

线性回归、线性分类。

学习准则：交叉熵损失。

优化算法：梯度下降。

有监督学习

基础神经网络模型

前馈神经网络

卷积神经网络

循环神经网络

记忆与注意力机制

网络优化与正则化

无监督学习

概率图模型

深度生成模型

强化学习

深度强化学习

个人大作业

1. 背景介绍：做好国内外研究现状的调研。
2. 项目理解：深入对模型与代码的理解。
3. 充分实验：对比实验、验证实验（消融实验）、参数实验（验证模型对不同的参数的敏感性）。
4. 项目总结。