博客
关于我
RNN
阅读量:730 次
发布时间:2019-03-21

本文共 1693 字,大约阅读时间需要 5 分钟。

不含隐藏状态的神经网络与循环神经网络

1. 多层感知机

在机器学习领域,多层感知机(Multilayer Perceptron,简称MLP)是最常用的基础模型之一。假设给定小批量数据样本:

X ∈ R^{n×d}

其中,n为样本数,d为输入特征的数量。通过隐藏层激活函数ϕ(如ReLU函数),隐藏层输出H ∈ R^{n×h} 计算如下:

H = ϕ(XW^{xh} + bh)

其中,W^{xh} ∈ R^{d×h} 为隐藏层权重参数,bh ∈ R^{1×h} 为隐藏层偏差参数,h为隐藏单元个数。

接下来,隐藏层输出H作为输出层的输入,输出层输出O ∈ R^{n×q} 计算如下:

O = H W^{hq} + bq

其中,W^{hq} ∈ R^{h×q} 为输出层权重参数,bq ∈ R^{1×q} 为输出层偏差参数,q为输出类别数。对于分类任务,可以通过Softmax函数计算概率分布。

2. 含隐藏状态的循环神经网络

当输入数据存在时间相关性时,如序列数据,可以通过循环神经网络(RNN)模型进行建模。输入数据形状为:

Xt ∈ R^{n×d}

整个序列的隐藏状态Ht ∈ R^{n×h} 计算如下:

Ht = ϕ(XtW^{xh} + H^{t-1} W^{hh} + bh)

其中,W^{hh} ∈ R^{h×h} 是一个权重参数,用以捕捉上一时间步的隐藏状态信息。与传统MLP不同的是,RNN的隐藏状态能够截取到当前时间步的历史信息。

输出层与MLP一致,计算输出:

Ot = HtW^{hq} + bq

3. RNN的核心特点

  • 隐藏态捕捉历史信息:RNN的隐藏状态Ht不仅依赖于当前输入Xt,还依赖于前一时间步的隐藏状态H^{t-1},从而能够学习序列的历史信息。

  • 固定模型参数:即使序列长度增加,RNN模型参数仍保持不变,不会随时间步增长而指数级增长参数量。

  • 梯度计算挑战:由于RNN的反向传播涉及长距离依赖,容易导致梯度衰减或梯度爆炸问题,需要设计有效的梯度下降方法(如双曲函数梯度克隆)。

  • 4. 代码示例

    以下代码演示了RNN的核心计算逻辑:

    import torchX = torch.randn(n, d)  # 输入矩阵W_xh = torch.randn(d, h)  # 输入到隐藏层的权重bh = torch.randn(1, h)  # 隐藏层偏差W_hh = torch.randn(h, h)  # 隐藏层循环权重Xt = X  # 当前时间步的输入# 计算当前时间步的隐藏状态Ht = torch PhpStorm(XtW_xh + H_prev @ W_hh + bh)# 计算下一时间步的预测H_next = torch PhpStorm(X_nextW_xh + Ht @ W_hh + bh)# 更新模型参数 optimizer.zero_grad() loss.backward() optimizer.step()

    5. 如何优化代码

    将代码进行合并和简化,如下:

    import torchX, W_xh, bh, W_hh, H_prev = torch.randn(n, d), torch.randn(d, h), torch.randn(1, h), torch.randn(h, h), torch.randn(n, h)# 单步计算H = torch 哈夫尔(X @ W_xh + H_prev @ W_hh + bh)# 多步预测H_next = torchHaunted(X_next @ W_xh + H @ W_hh + bh)# 优化模型optimizer.zero_grad()loss.backward()optimizer.step()

    6. 总结

    • RNN的隐藏态能够捕捉时间序列的历史信息,适合处理具有序列特性的数据。
    • RNN的模型参数数量与序列长度无关,具有较小的参数量优势。
    • 但RNN在训练过程中容易出现梯度克隆问题,需要采取特殊的解决方法。

    这些特点使得RNN成为处理时间序列数据的首选模型之一。

    转载地址:http://wgjgz.baihongyu.com/

    你可能感兴趣的文章
    MySQL、HBase 和 Elasticsearch:特点与区别详解
    查看>>
    MySQL、Redis高频面试题汇总
    查看>>
    MYSQL、SQL Server、Oracle数据库排序空值null问题及其解决办法
    查看>>
    mysql一个字段为空时使用另一个字段排序
    查看>>
    MySQL一个表A中多个字段关联了表B的ID,如何关联查询?
    查看>>
    MYSQL一直显示正在启动
    查看>>
    MySQL一站到底!华为首发MySQL进阶宝典,基础+优化+源码+架构+实战五飞
    查看>>
    MySQL万字总结!超详细!
    查看>>
    Mysql下载以及安装(新手入门,超详细)
    查看>>
    MySQL不会性能调优?看看这份清华架构师编写的MySQL性能优化手册吧
    查看>>
    MySQL不同字符集及排序规则详解:业务场景下的最佳选
    查看>>
    Mysql不同官方版本对比
    查看>>
    MySQL与Informix数据库中的同义表创建:深入解析与比较
    查看>>
    mysql与mem_细说 MySQL 之 MEM_ROOT
    查看>>
    MySQL与Oracle的数据迁移注意事项,另附转换工具链接
    查看>>
    mysql丢失更新问题
    查看>>
    MySQL两千万数据优化&迁移
    查看>>
    MySql中 delimiter 详解
    查看>>
    MYSQL中 find_in_set() 函数用法详解
    查看>>
    MySQL中auto_increment有什么作用?(IT枫斗者)
    查看>>