本次阅读的论文是《Learning Graph Structures With Transformer for Multivariate Time-Series Anomaly Detection in IoT》，主要目的是了解图结构在异常检测当中的应用。

摘要

IoT系统会产生大量的多变量时间序列数据。异常检测对此非常重要。但是和此前研读的论文不同的是，物联网是一个整体系统，我们不能孤立地考虑其中的时间序列数据，需要考虑传感器之间复杂的拓扑关系和非线性关系（需要对此建模）。

本文介绍GTA，用于多变量时间序列异常检测，包括：自动学习一个图结构、图卷积、使用基于转换器的架构对时间依赖性建模。

一. 简介

IoT系统传感器很多，多个传感器形成多个指标，因此形成多变量时间序列。整体状态的检测更为重要。多个传感器的数据以复杂的拓扑逻辑和非线性方式相关。

现实的问题是：传感器依赖关系不可见，获取成本极高，可否自己建立？

现有的方法分为两条线：基于重建的模型（R-model）和基于预测的模型（F-model）。

图卷积网络（GCNs），图形神经网络（图形节点通过结构传播信息），对传感器的拓扑关系进行建模。

大多数现有的基于图的方法：通过测量传感器嵌入之间的余弦相似度学习图结构，并将最前K个节点定义为源节点连接，然后用graph attention convolution捕捉信息传播过程。

对此提出问题：

（1）传感器之间的点乘（余弦相似度）导致时间和空间的复杂性。

（2）空间距离紧密不代表拓扑结构强关联。

对此，提出了GTA（异常检测的图形学习与转化器）。通过基于Gumbel-Softmax采样技巧的连接学习策略，从学习涉及实体内所有传感器的全局双定向图结构的角度设计。

可以在训练过程中自动发现隐藏的关联。

二. 相关工作

A. 单变量时间序列异常检测

传统的框架：估计&检测，。估计值与实际值的差异，也是我最早理解的方法。

B. 多变量时间序列异常检测

利用多个变量之间的关联性来提高异常检测的准确性。

三. 问题陈述

考虑的是一个实体内，由多个传感器检测数据构成的多变量（还没有到跨实体的层次）。

他们认为正常数据和异常数据高度不平衡，因此只在正常数据上建模（继承基于预测的策略）。基于窗口大小为n的历史数据，预测x(t)。

每个测试时间点有一个异常分数，由此决定是否异常。

定义与图有关的基本概念：

有向图的定义G（V, E）和之前一样，点代表传感器。

节点的领域，就是和节点相邻的点。

四. 方法论

物联网系统中，传感器系统有复杂的拓扑关系。此前的方法应用不同的距离计量方法衡量节点的关系，选最接近的K个作为邻居。

现在，设计一个有向图结构的LP，自动学习节点间的关系矩阵。LP的核心被命名为Gumbel-Softmax。

被发现的隐藏关联随后被送入图卷积层。