摘要
理解神经动力学的空间和时间特征之间的相互作用有助于我们理解人脑中的信息处理。图神经网络（GNN）为解释复杂脑网络中观察到的图结构信号提供了新的可能性。在我们的研究中，我们比较了不同的时空GNN结构，并研究了它们对fMRI研究中获得的神经活动分布建模的能力。我们评估了MRI研究中各种场景下GNN模型的性能，并将其与当前常用于定向功能连通性分析的VAR模型进行了比较。我们表明，通过学习解剖基底上的局部功能交互，基于GNN的方法能够稳健地扩展到大型网络研究，即使可用数据稀少。通过将解剖连接性作为信息传播的物理基础，这种GNN还提供了直接连接分析的多模式视角，为研究大脑网络中的时空动力学提供了新的可能性。
引入
通过fMRI(时间上分辨大脑中不同空间位置的活动模式) $\to$ FC、DTI(估计大脑结构和静息态) $\to$ SC 等概念，大脑区域间时空关系可以用图模型表示，在机器学习领域越发受到关注。
大脑网络中的节点可以与神经元池（群体）的暂时神经元活动等变量相关联，这类网络中的边反应了神经元群体相互作用强度。他们21年的研究提出可以使用称为时空图神经网络（spatiotemporal graph neural network ，STGNN）的GNN变体来处理这些表现为非欧几何的复杂信号。STGNN可以允许同时建模这种图形结构信号中的空间和时间依赖性，从而提供将DTI与fMRI数据相结合的新可能性。
卷积运算扩展到图模型后与递归神经网络结合，能检测信号中的顺序关系，这种组合在 diffusion convolution recurrent neural network(DCRNN)中提出。但ENN处理长序列有很多问题（梯度爆炸和梯度消失），这也是将空间图卷积和标准一维时间卷积相结合的动机。引入了 被称为 WaveNets（WNs）的方法，采用堆叠的时间卷积，提供长时记忆。
做了什么？
- 比较不同的STGNN架构，评估它们复制脑网络中观察到的功能活动分布的有效性
- 研究不同方法来模拟大脑区域之间的信息交换，首先用结构连通性作为大脑区域间信息传播的基础。
- 评估了使用解剖网络的连接组嵌入（CEs）来表征节点关系的有效性。18年一项研究表明，解剖网络中节点的嵌入可以固有地捕获该网络中不同结构连接节点之间的高阶拓扑关系。
- 将没有预定义的空间布局纳入GNN模型，试图通过模型训练期间通过基于梯度下降的优化来学习空间结构。证明，通过基于结构连通性对STGNN中区域之间的功能信息交换进行建模，我们可以显著提高预测未来神经信号的准确性。
- 将STGNN预测模型的性能与格兰杰因果分析中最常用的VAR预测模型进行比较，并在各种网络大小和数据集大小上测试其准确性。（即使大脑网络变得非常复杂，并且只有有限的数据可用于拟合模型。这表明STGNN方法在各种MRI研究场景中都是稳健的，因此也适用于较小受试者队列的分析，如罕见神经疾病患者的研究）
概念
- functional connectivity （FC，功能连接）: 用不同脑区记录得到的信号（如磁共振BOLD信号，EEG、MEG信号等），计算得出反映不同脑区关系强弱的某种指标。最简单的关系指标应该就是皮尔森相关系数。
- structural connectivtiy (SC，结构连接) : 大脑神经元或脑区之间解剖学上的连接，如神经元之间轴突或突触连接，皮层和皮层下核团之间的神经纤维束连接等。
- effective connectivtiy (有效连接): 有向边，指的是一种因果影响，具有方向性。A神经元或脑区与B神经元或脑区之间存在解剖学连接，但只能由A向B发送指令，这种连接就具有方向性，属于有效连接。
利用不同脑区记录得到的信号计算功能连接时，如果使用的方法不是如皮尔森相关系数之类无向的指标，而是基于格兰杰因果关系（Granger Causality）的因果指标，那么得到的功能连接也属于有效连接。
- diffusion tensor imaging （DTI，弥散张量成像）:
- connectome embeddings 连接组嵌入（CEs）：
- Granger causality (格兰杰因果) : 如果一个事件A将导致另一个事件B，那么A应先于B，并且事件A的发生应包含关于事件B发生的信息。神经影像学的背景下，通过测试添加有关区域活动的活动的信息是否改善了区域B中的活动的预测。
- vector autoregression （VAR，自回归向量）：
- regions of interest (ROIs)：
模型
字符解释
-
所有数据 $\mathbf{X} = (\mathbf{x}^{(1)},\dots,\mathbf{x}^{(T)}) \in \mathbb{R}^{N\times T}$
-
图信号 $\mathbf{x}^{(t)}\in \mathbb{R}^N$ , $N$个不同脑区在时间步 $t$ 时测量的BOLD信号
-
对于单个元体素（meta-voxel），时间序列T个时间点，表示一个ROI的激活过程，即 BOLD特征矩阵(相关图信号矩阵)： $$\mathcal{X}{::m} \equiv \mathbf{X}^{(m)} = (\mathbf{x}1^{(m)}\dots \mathbf{x}T^{(m)}) = \begin{pmatrix} x{11}^{(m)} & \cdots & x{1T}^{(m)} \ \vdots & x{nt}^{(m)} &\vdots \ x_{N1}^{(m)} & \cdots & x_{NT}^{(m)}\ \end{pmatrix} $$
- 列 $\mathbf{x}_t^{(m)}$ 描述的在时间点t所有ROIs的活动
- $\mathcal{X}_{::m}$ 中 :: 含义等同python对矩阵的切片操作，同样还有关于时间和节点的切片
更通常的讲，节点不止仅有一个特征 $m$ , 比如输入的BOLD信号，$M$-维特征向量 $\mathcal{X}_{nt:}\in \mathbb{R}^M$ ，此时完整的特征张量为 $\mathcal{X} \in \mathbb{R}^{N \times T\times M}$ 。
-
令 $N$ 个 ROIs 表示为图 $\mathcal{G} = (\mathcal{V,E},\mathbf{A}_W)$ 分别是代表点、边、含权重的邻接矩阵($\mathbf{A}_W \in \mathbb{R}^{N\times N}$)
-
$\mathbf{A}{SC}$ 获得自 DTI 数据的 SC ； $\mathbf{A}{CE}$ 表示使用 CE 捕捉的 SC 中的高阶拓扑特征 ； $\mathbf{A}_{Adap}$ 是GNN模型中的可自适应学习的参数，用来代表空间关系。
目的是从输入的序列 $T_p （t=1,\dots,T_p）$ 预测未来状态的神经活动，GNN 模型得到一个预测 $T_f$ 的函数 $h(·)$，表示如下
$$ [x^{(1)},\dotsb,x^{(T_p)};\mathcal{G}] \mathop{\to}\limits^{h(·)} [x^{(T_p)},\dotsb,x^{(T_p+T_f)}]$$
Spatial Dependencies
Diffusion convolution
认为图中信息流是由状态转移矩阵 $\mathbf{T=D^{-1}A}_W$ 建模的随机游走过程，$\mathbf{D}=diag(\mathbf{A}_W\mathbf{1})$ 是节点度对角矩阵
Temporal Dependencies
Recurrent neural network
WaveNets
$$$$