# 反向传播（Back Propagate, BP）神经网络
反向传播（误差反向传播）是常用于前馈神经网络中以实现各层参数（主要是每个节点的入弧的权$W$(Omega)和节点本身的偏置值$b$）机器学习的一种算法。
其实质是利用特殊节点，用链式求导法则优化的一种梯度下降算法。原始的梯度下降需要将每一个参数的梯度（导数）单独计算，而反向传播利用链式求导法则实现了简化
> 梯度下降法基础知识（上图的$\alpha$或下图的$\eta$为学习率）：
> 
## 优化措施
### 动量（Momentum）矫正
给梯度下降方向添加一个另外的偏向力，以避免梯度下降法陷入一个不靠谱的局部极小值
## SoftMax
常用于分类任务，可以使其中较大的项取得更大的值，并保证所有输出分量加和为1
### 使用优化的目标函数（损失函数/代价函数）
https://blog.csdn.net/weixin_36811328/article/details/83451096
交叉熵（Cross Entropy）：
### 随机梯度下降法（SGD）
### drop-out训练机制
### 自编码器
分层将训练样本本身训练至网络的每一层中，以此来避免纯粹随机初始化网络参数时出现的梯度下降法取到过于不靠谱的极小值的问题。
## 其他优化技术
- 模拟退火
- Bagging
- 遗传算法
![]()