跳到正文

交互式教学 / 演示 03

让网络沿时间展开。

输入一段序列,观察循环隐藏状态如何传递,并尝试预测下一时刻。

准备实验
训练轮次0
训练损失0.00000
验证损失0.00000
目标值 xt0.000
模型预测 x̂t0.000
预测误差 x̂t − xt0.000
SEQUENCE

完整序列 · 逐步预测

真实序列下一步预测验证区间

每一步以 xt−1 与历史状态预测 xt;验证区间位于训练序列之后。改变参数或时序会重新初始化模型。

UNROLL THROUGH TIME

循环单元展开

HIDDEN STATE

这一时刻的隐藏状态

xt−1 = ;ht−1 = []ht = []x̂t = ;目标 xt = ht = tanh( Wxhxt−1 + Whhht−1 + bh )x̂t = Whyht + by

同一组权重在每个时间步重复使用;当前任务以均方误差预测序列下一点。

LEARNING CURVE

误差随训练变化

训练验证

每一轮将预测误差沿时间反向传播,更新输入、循环和输出权重。

FROM OBSERVATION TO UNDERSTANDING

沿着时间,看见循环网络的记忆

实验使用一维模拟地学序列,集中观察:过去的信息怎样进入当前状态,当前状态怎样影响下一步预测。

01 · 输入窗口

读入一段序列

从真实序列中取连续时间窗口。网络逐点读入数值,尝试从历史变化中预测下一个点。

02 · 状态传递

更新循环状态

每一步都合并当前输入与上一时刻隐藏状态,经 tanh 更新 ht。各步共享同一组循环权重。

03 · 误差反馈

沿时间反向传播

单步训练会走完一个训练轮次。模型计算所有窗口的预测误差,再按反向时间顺序累积梯度。