当前位置: 首页 > news >正文

78.循环神经网络(RNN)

1. 潜变量自回归模型

在这里插入图片描述

2. 循环神经网络

在这里插入图片描述

计算损失是比较ot和xt之间来计算损失,但是xt是用来更新ht,使得其挪到下一个单元。

用一个额外的whh来存时序信息。

3. 使用循环神经网络的语言模型

在这里插入图片描述

4. 困惑度(perplexity)

在这里插入图片描述

5. 梯度剪裁

在这里插入图片描述
g表示所有层的梯度放到一起。

6. 更多的应用RNNs

在这里插入图片描述

7. 总结

  • 循环神经网络的输出取决于当下输入和前一时间时间的隐变量
  • 应用到语言模型中时,循环神经网络根据当前词预测下一时刻词
  • 通常使用困惑度来衡量语言模型的好坏

相关文章:

  • 温江 网站建设/包括哪些内容
  • 服务器安装完面板怎么做网站/seo运营招聘
  • 网站统计功能设计/seo分析师招聘
  • 门户网站工作总结/seo全网优化指南
  • html5软件/上海关键词优化的技巧
  • 做网站刷QQ会员网站/外贸网站推广与优化
  • 2023新生个人训练赛第08场解题报告
  • 【青训营】Go的并发编程
  • Okhttp3框架中的那些坑点记录
  • leetCode周赛-328
  • 算法设计与分析课程
  • RT-Thread系列--启动过程
  • 【Java寒假打卡】Java基础-网络编程UDP和TCP
  • Camera | 2.MIPI、CSI基础
  • Linux c编程之gdb
  • java基础学习 day34(StringBuilder,链式编程)
  • 支持数位板的远程软件,实现远程使用 Wacom 数位板
  • ASP.NET Core+Element+SQL Server开发校园图书管理系统(一)