Skip to content

Commit 30845e1

Browse files
committed
Fix bad math alignment
1 parent df0ceb8 commit 30845e1

File tree

1 file changed

+7
-4
lines changed

1 file changed

+7
-4
lines changed

docs/zh/week06/06-3.md

Lines changed: 7 additions & 4 deletions
Original file line numberDiff line numberDiff line change
@@ -171,9 +171,9 @@ Yann在图示的网络神经之间添加了一些特殊图形,用来表示从
171171

172172

173173

174-
## [基于时间的反向传播算法(Back Propagation through time)](https://www.youtube.com/watch?v=8cAffg2jaT0&t=855s)
174+
## [基于时间的反向传播算法(Back Propagation through time)](https://www.youtube.com/watch?v=8cAffg2jaT0&t=855s)
175175

176-
### <!--Model architecture-->
176+
### <!--Model architecture-->
177177

178178
### 模型架构
179179

@@ -189,6 +189,7 @@ Yann在图示的网络神经之间添加了一些特殊图形,用来表示从
189189
<!--Hidden representations are stated as-->
190190

191191
隐藏层表达式为:
192+
192193
$$
193194
\begin{aligned}
194195
\begin{cases}
@@ -206,6 +207,7 @@ $$
206207
<!--The first equation indicates a non-linear function applied on a rotation of a stack version of input where the previous configuration of the hidden layer is appended. At the beginning, $h[0]$ is set 0. To simplify the equation, $W_h$ can be written as two separate matrices, $\left[ W_{hx}\ W_{hh}\right]$, thus sometimes the transformation can be stated as-->
207208

208209
$h[t]$是一个非线性函数,将堆叠形式的输入进行旋转操作,其中加入了前一步的隐藏层。$h[0]$初始值设为1。$W_h$可简化为两个不同的矩阵$\left[ W_{hx}\ W_{hh}\right]$,变换后的公式可以写成
210+
209211
$$
210212
W_{hx}\cdot x[t]+W_{hh}\cdot h[t-1]
211213
$$
@@ -233,6 +235,7 @@ $y[t]$由最后一步的旋转计算得出,之后我们可以用链式法则
233235
<!--If BPTT period $T$ is set to 3, the first input $x[1:T]$ and output $y[1:T]$ for RNN is determined as-->
234236

235237
如果将BPTT的周期$T$设为3, 那么第一组RNN的输入$x[1:T]$和输出$y[1:T]$为:
238+
236239
$$
237240
\begin{aligned}
238241
x[1:T] &= \begin{bmatrix}
@@ -261,7 +264,7 @@ $$
261264

262265
## 梯度消失与梯度爆炸(Vanishing and Exploding Gradient)
263266

264-
### <!--Problem-->
267+
### <!--Problem-->
265268

266269
### 问题
267270

@@ -278,7 +281,7 @@ $$
278281

279282
在经典RNN中,梯度会通过所有可能的箭头来传播。这有很大的几率会使梯度爆炸或者消失。例如,梯度在时刻1的时候非常大(图中白色圆点)。当进行一个旋转后,梯度在时刻3收缩,即消失。
280283

281-
### <!--Solution-->
284+
### <!--Solution-->
282285

283286
### 解决办法
284287

0 commit comments

Comments
 (0)