TCN是指时间卷积网络,一种新型的可以用来解决时间序列预测的算法。
该算法于2016年由Lea等人首先提出,当时他们在做视频动作分割的研究,一般而言此常规过程包括两个步骤:首先,使用(通常)对时空信息进行编码的CNN来计算低级特征,其次,将这些低级特征输入到使用(通常是)捕获高级时域信息的分类器中)RNN。这种方法的主要缺点是需要两个单独的模型。
TCN提供了一种统一的方法来分层捕获所有两个级别的信息。
自从TCN提出后引起了巨大反响,有人认为:时间卷积网络(TCN)将取代RNN成为NLP或者时序预测领域的王者。
DataScienceCentral 的编辑主任William Vorhies给出的原因如下:
RNN耗时太长,由于网络一次只读取、解析输入文本中的一个单词(或字符),深度神经网络必须等前一个单词处理完,才能进行下一个单词的处理。这意味着 RNN 不能像 CNN 那样进行大规模并行处理;并且TCN的实际结果也要优于RNN算法。
编码器-解码器框架如下图所示,TCN可以采用一系列任意长度并将其输出为相同长度。在使用一维完全卷积网络体系结构的情况下,使用因果卷积。一个关键特征是,时间t的输出仅与t之前发生的元素卷积。
随着Yan等人(2020)最近发表的有关TCN用于天气预报任务的研究成果,有关TCN的讨论甚至登上了《自然》杂志。在他们的工作中,使用TCN和LSTM进行了对比实验。结果之一是,除其他方法外,TCN在使用时序数据的预测任务中表现出色。
经典TCN的应用和扩展如下:
改善交通预测
拼车和在线导航服务可以改善交通预测并改变道路上的生活方式。更少的交通拥堵,更少的污染,安全和快速的驾驶只是通过更好的交通预测可以实现的基本问题的几个例子。由于这是实时数据驱动的问题,因此有必要利用即将到来的流量的累积数据。
为此,Dai等人(2020)最近提出了一种混合时空图卷积网络(H-STGCN)。一总体思路是利用分段-线-流-密度关系,并将即将来临的交通量转换为等效的行进时间。他们在这项工作中使用的最有趣的方法之一是图卷积以捕获空间依赖性。复合邻接矩阵捕获流量近似的固有特征。在以下架构中,提出了四个模块来描述整个预测过程。
声音事件定位和检测
声事件定位和探测领域(SELD)继续增长,了解环境在自主导航中扮演着关键的角色。Guirguis等人(2020)最近提出了一种新的声音事件SELD-TCN体系结构。他们声称,该框架比当时最先进的技术领先且训练时间更短。
在他们的SELDnet(结构如下)中,一个采样为44.1 kHz的多通道音频记录,通过应用短时傅里叶变换,提取出频谱的相位和幅度,并将其堆叠为单独的输入特征。然后连接卷积块和循环块(双向GRU),再连接全连接块。SELDnet的输出是声音事件检测(SED)和到达方向(DOA)。
为了超越它,他们提出了SELD-TCN:
由于扩展的卷积使网络能够处理各种输入,因此可能需要更深入的网络(在反向传播过程中,网络会受到不稳定的梯度影响)。他们通过采用WaveNet (Dario等人2017)架构来克服这一挑战。他们表明SELD任务不需要循环层,并成功检测到活动声音事件的开始和结束时间。
概率预测
Chen等人(2020)设计的一种新颖框架可以用于估计概率密度。时间序列预测改进了许多业务决策场景(例如,资源管理)。概率预测可以从历史数据中提取信息,将未来事件的不确定性降到最低。当预测任务是预测数以百万计的相关数据系列时(就像在零售业务中一样),它需要大量的劳动力和计算资源来进行参数估计。为了解决这些难题,他们提出了一种基于CNN的密度估计和预测框架。他们的框架可以学习到序列之间的潜在相关性。他们工作中的新奇之处在于他们提出的深层TCN,正如在他们的架构中所呈现的:
编码器-解码器模块解决方案可能有助于设计实际的大规模应用。
本文试图探究的问题: 什么是RNN?为什么RNN会出现梯度爆炸/梯度消失问题?什么是LSTM?LSTM是如何保证梯度可以正常传递的?本文是笔者学习过程中对博客的笔记,原作者在评论里说欢迎翻译为…
交通预见未来(40): 基于深度胶囊网络和嵌套LSTM的短时交通速度预测 1、文章信息《Forecasting Transportation Network Speed Using Deep Capsule Networks With Nested LSTM Models》。 北…
原文:https://www.cnblogs.com/cx2016/p/13649814.html
3 条评论
TCN和WaveNet的区别到底在哪里,感觉主要思想都是差不多的。感觉主要是对于时间维度加入了因果和膨胀卷积,并在层间加入了残差连接。