技术应用

六种方法解决LSTM循环神经网络中的超长序列问题

发布时间:2017-06-27 00:00:00 来源:Jason Brownlee 责任编辑:wenwei

【导读】长短期记忆(LSTM)循环神经网络可以学习和记忆长段序列的输入。如果你的问题对于每个输入都有一个输出(如时间序列预测和文本翻译任务),那么 LSTM 可以运行得很好。但 LSTM 在面临超长输入序列——单个或少量输出的情形时就会遇到困难了。这种问题通常被称为序列标记,或序列分类。
 
其中的一些例子包括:
 
包含数千个单词的文本内容情绪分类(自然语言处理)。
 
分类数千个时间步长的脑电图数据(医疗领域)。
 
分类数千个 DNA 碱基对的编码/非编码基因序列(基因信息学)。
当使用循环神经网络(如 LSTM)时,这些所谓的序列分类任务需要特殊处理。在这篇文章中,你将发现 6 种处理长序列的方法。
 
1. 原封不动
 
原封不动地训练/输入,这或许会导致训练时间大大增长。另外,尝试在很长的序列里进行反向传播可能会导致梯度消失,反过来会削弱模型的可靠性。在大型 LSTM 模型中,步长通常会被限制在 250-500 之间。
 
2. 截断序列
 
处理非常长的序列时,最直观的方式就是截断它们。这可以通过在开始或结束输入序列时选择性地删除一些时间步来完成。这种方式通过失去部分数据的代价来让序列缩短到可以控制的长度,而风险也显而易见:部分对于准确预测有利的数据可能会在这个过程中丢失。
 
3. 总结序列
 
在某些领域中,我们可以尝试总结输入序列的内容。例如,在输入序列为文字的时候,我们可以删除所有低于指定字频的文字。我们也可以仅保留整个训练数据集中超过某个指定值的文字。总结可以使得系统专注于相关性最高的问题,同时缩短了输入序列的长度。
 
4. 随机取样
 
相对更不系统的总结序列方式就是随机取样了。我们可以在序列中随机选择时间步长并删除它们,从而将序列缩短至指定长度。我们也可以指定总长的选择随机连续子序列,从而兼顾重叠或非重叠内容。
 
在缺乏系统缩短序列长度的方式时,这种方法可以奏效。这种方法也可以用于数据扩充,创造很多可能不同的输入序列。当可用的数据有限时,这种方法可以提升模型的鲁棒性。
 
5. 时间截断的反向传播
 
除基于整个序列更新模型的方法之外,我们还可以在最后的数个时间步中估计梯度。这种方法被称为「时间截断的反向传播(TBPTT)」。它可以显著加速循环神经网络(如 LSTM)长序列学习的过程。
 
这将允许所有输入并执行的序列向前传递,但仅有最后数十或数百时间步会被估计梯度,并用于权重更新。一些最新的 LSTM 应用允许我们指定用于更新的时间步数,分离出一部分输入序列以供使用。例如:
 
Theano 中的「truncate_gradient」参数:deeplearning
 
6. 使用编码器-解码器架构
 
六种方法解决LSTM循环神经网络中的超长序列问题
 
你可以使用自编码器来让长序列表示为新长度,然后解码网络将编码表示解释为所需输出。这可以是让无监督自编码器成为序列上的预处理传递者,或近期用于神经语言翻译的编码器-解码器 LSTM 网络。
 
当然,目前机器学习系统从超长序列中学习或许仍然非常困难,但通过复杂的架构和以上一种或几种方法的结合,我们是可以找到办法解决这些问题的。
 
其他疯狂的想法
 
这里还有一些未被充分验证过的想法可供参考。
 
将输入序列拆分为多个固定长度的子序列,并构建一种模型,将每个子序列作为单独的特征(例如并行输入序列)进行训练。
 
双向 LSTM,其中每个 LSTM 单元对的一部分处理输入序列的一半,在输出至层外时组合。这种方法可以将序列分为两块或多块处理。
 
我们还可以探索序列感知编码方法、投影法甚至哈希算法来将时间步的数量减少到指定长度。
 
 
 
 
 
 
 
推荐阅读:


笔记本电脑的LVDS图形切换
智能手机键盘控制器的一种实现方法
高性能射频调制器促成多载波通信发送器设计
被动元件持续缺货 原因何在?
数字接收机中高性能ADC和射频器件的动态性能要求
 
 
 
要采购编码器么,点这里了解一下价格!

为您推荐

大联大世平携手安森美:从电网到 GPU,AI 数据中心高效能电源架构方案解析 业界新闻

大联大世平携手安森美:从电网到 GPU,AI 数据中心高效能电源架构方案解析

AI 算力爆发带动服务器功率持续走高,机柜功率从 250kW 向 1MW、2MW 升级,电源系统已经成为制约 AI 数据中心规模化落地的核心瓶颈。近期大联大世平集团联合安森美(onsemi)举办线上技术研讨会,围绕 AI 数据中心电源供应新世代主题,分享从电网到 GPU 的全链路高效电源架构,详解 800VDC 直流供电、SST 技术、碳化硅功率器件、BBU 后备方案等技术路线,同时测算电源效率提升带来的规模化节能收益,梳理全球数据中心布局、头部厂商落地节奏与当前技术落地限制,为 AI 服务器电源设计工程师提供方案参考。

能源电路 电源管理 EMC安规 GPU onsemi(安森美)

CRA 合规驱动嵌入式安全升级|意法半导体落地 Security by Design 筑牢芯片信任根基 技术应用

CRA 合规驱动嵌入式安全升级|意法半导体落地 Security by Design 筑牢芯片信任根基

随着互联设备普及与欧盟《网络弹性法案》(CRA)落地,嵌入式产品安全已经从附加功能变成硬性要求。意法半导体 MDRF 安全平台总监 Jacques Fournier 分享 ST“安全始于设计(Security by Design)” 战略:把安全前置到产品定义阶段,依托 IDM 垂直整合能力,打通软硬件安全、密码技术、漏洞评估全链条;同时提前布局后量子密码 PQC,正视 AI 带来的攻防双面变化,通过跨部门安全协作机制,把安全能力转化为客户产品的信任基石。

ST(意法半导体)

灵巧手市场高速增长,NXP i.MX RT1180 助力大联大世平推出可落地机器人末端执行方案 业界新闻

灵巧手市场高速增长,NXP i.MX RT1180 助力大联大世平推出可落地机器人末端执行方案

机器人行业重心正从展台演示转向工业、服务场景工程化落地,灵巧手作为机器人末端核心执行单元迎来爆发增长。近期大联大世平联合恩智浦(NXP)举办线上研讨会,恩智浦分享机器人分层架构、TSN 确定性通信方案以及 i.MX RT1180 在关节与灵巧手实时控制上的技术优势;大联大世平则解读灵巧手市场数据、主流驱动路线,并推出基于 NXP 芯片、搭载压力感知、支持 ROS2 与 EtherCAT 的完整灵巧手参考方案,依托分销技术服务与生态协同,帮助客户缩短研发周期,推动人形机器人、工业机器人规模化落地。

通信广电 NXP(恩智浦)

打通终端接入链路|紫光展锐 T8300、T7300 助力 Entel D2C 卫星通信生态落地智利 业界新闻

打通终端接入链路|紫光展锐 T8300、T7300 助力 Entel D2C 卫星通信生态落地智利

手机直连卫星 D2C 是补齐地面通信盲区的关键技术。紫光展锐与智利头部电信运营商 Entel 完成 D2C 现场测试,搭载 T8300(5G)、T7300(LTE)两大平台,在真实卫星与地面混合网络环境下,验证卫星建链、消息收发、天地切换等核心能力。Entel 已认可本次测试成果,将其作为终端厂商接入当地 D2C 服务的技术参考文档,有效降低品牌厂商的适配难度与验证成本,加速智利地区手机直连卫星终端生态规模化。

通信广电 测试测量 紫光展锐

艾迈斯欧司朗斩获荣耀旗舰能力建设奖,光学传感技术、质量与交付能力获认可 业界新闻

艾迈斯欧司朗斩获荣耀旗舰能力建设奖,光学传感技术、质量与交付能力获认可

智能旗舰终端对光学传感性能、品质稳定性与供应链交付提出严苛标准。数字光电技术厂商艾迈斯欧司朗近期荣获荣耀 “旗舰能力建设奖”,该奖项是对其光学传感技术、全流程质量管理体系以及稳定交付能力的认可。艾迈斯欧司朗为荣耀提供环境光、接近传感、dToF 测距等多款传感产品,依托全球研发制造与本地化快速响应机制,支撑旗舰机型量产迭代。未来双方将持续协同,以光学传感方案升级智能终端用户体验。

传感技术

特别推荐

更多

行业动态

更多

技术应用

更多

选型替代

更多

产品信息

更多

热门搜索

更多

欢迎登录

没有账号,

账号注册

注册成功!

3S后自动为你跳转登陆