深度学习

神经网络​

神经网络是一类由层构建的模型。常用的神经网络类型包括卷积神经网络和循环神经网络。​

架构 神经网络架构相关的术语如下图所示：​

​

​

记 ​为网络的第 ​层，​为该层的第 ​个隐藏单元，我们有：​​

其中我们记 ​、​、​分别为权重、偏置和输出。​

激活函数 激活函数用于隐藏单元的末端，为模型引入非线性复杂性。以下是最常见的几种：​

​

​ Sigmoid​ ​	​ Tanh​ ​	​ ReLU​ ​	​ Leaky ReLU​ ​
​ ​ ​ ​	​ ​ ​ ​	​ ​ ​ ​	​ ​ ，其中 ​ ​ ​
​ ​ ​ ​	​ ​ ​ ​	​ ​ ​ ​	​ ​ ​ ​

​

交叉熵损失 在神经网络的背景下，交叉熵损失 ​被广泛使用，定义如下：​

​​

学习率 学习率通常记为 ​，有时也记为 ​，表示权重更新的速度。它可以是固定的，也可以是自适应变化的。目前最流行的方法称为 Adam，它是一种自适应调整学习率的方法。​

反向传播 反向传播是一种通过考虑实际输出和期望输出来更新神经网络中权重的方法。关于权重 ​的导数使用链式法则计算，形式如下：​

​​

因此，权重的更新如下：​​

更新权重 在神经网络中，权重的更新如下：​

•

步骤 1： 取一批训练数据。​

•

步骤 2： 执行前向传播以获得相应的损失。​

•

步骤 3： 反向传播损失以获得梯度。​

•

步骤 4： 使用梯度更新网络的权重。​

Dropout Dropout 是一种旨在通过丢弃神经网络中的单元来防止对训练数据过拟合的技术。在实践中，神经元以概率 ​被丢弃，或以概率 ​被保留。​

​

卷积神经网络​

卷积层要求 记 ​为输入体积大小，​为卷积层神经元的大小，​为零填充量，则适合给定体积的神经元数量 ​满足：​​

批量归一化 它是一个超参数 ​的步骤，用于归一化批次 ​。记 ​为我们想要校正到该批次的均值和方差，其操作如下：​​

它通常在完全连接层/卷积层之后、非线性层之前进行，旨在允许更高的学习率并减少对初始化的强依赖。​

​

循环神经网络​

门控类型 以下是在典型循环神经网络中遇到的不同类型的门：​

​

​ 输入门​ ​	​ 遗忘门​ ​	​ 门​ ​	​ 输出门​ ​
​ 是否写入单元？​ ​	​ 是否擦除单元？​ ​	​ 向单元写入多少？​ ​	​ 揭示单元多少？​ ​

​

LSTM 长短期记忆（LSTM）网络是一种 RNN 模型，通过添加“遗忘”门来避免梯度消失问题。​

​

如需更详细地了解上述概念，请查看深度学习速查表！​

​

​

强化学习与控制​

强化学习的目标是让智能体学习如何在环境中演化。​

定义​

马尔可夫决策过程 马尔可夫决策过程（MDP）是一个 5 元组 ​，其中：​

•

​

S

是状态集​

•

​是动作集​

•

​是对于 ​和 ​的状态转移概率​

•

​是折扣因子​

•

​或 ​是算法想要最大化的奖励函数​

策略 策略 ​是一个函数 ​，将状态映射到动作。​

备注： 如果给定状态 ​，我们采取动作 ​，则称我们执行了给定策略 ​。​

价值函数 对于给定的策略 ​和给定的状态 ​，我们定义价值函数 ​如下：​

​​

贝尔曼方程 最优贝尔曼方程刻画了最优策略 ​的价值函数 ​：​

​​

​

备注： 我们注意到，给定状态 ​的最优策略 ​满足：​​

​

值迭代算法 值迭代算法分为两步：​

1）初始化价值：​​

2）基于之前的值迭代价值：​

​​

最大似然估计 状态转移概率的最大似然估计如下：​

​​

​

Q 学习​

Q 学习是一种无模型的 ​

Q

估计，其操作如下：​

​

Q(s,a)←Q(s,a)+α[R(s,a,s′)+γa′max​Q(s′,a′)−Q(s,a)]

​