读入一段序列
从真实序列中取连续时间窗口。网络逐点读入数值,尝试从历史变化中预测下一个点。
交互式教学 / 演示 03
输入一段序列,观察循环隐藏状态如何传递,并尝试预测下一时刻。
每一步以 xt−1 与历史状态预测 xt;验证区间位于训练序列之后。改变参数或时序会重新初始化模型。
]ht = []x̂t = ;目标 xt = ht = tanh( Wxhxt−1 + Whhht−1 + bh )x̂t = Whyht + by同一组权重在每个时间步重复使用;当前任务以均方误差预测序列下一点。
每一轮将预测误差沿时间反向传播,更新输入、循环和输出权重。
实验使用一维模拟地学序列,集中观察:过去的信息怎样进入当前状态,当前状态怎样影响下一步预测。
从真实序列中取连续时间窗口。网络逐点读入数值,尝试从历史变化中预测下一个点。
每一步都合并当前输入与上一时刻隐藏状态,经 tanh 更新 ht。各步共享同一组循环权重。
单步训练会走完一个训练轮次。模型计算所有窗口的预测误差,再按反向时间顺序累积梯度。