DyMRL：面向知识图谱多模态事件预测的动态多空间表征学习

基本信息

一句话摘要

针对传统事件预测方法局限于静态多模态融合或单模态单一平坦空间的问题，华中科技大学团队提出 DyMRL 模型：将欧氏（联想思维）、双曲（高阶树状抽象）与复数（关系逻辑推理）空间的消息传递机制深度融合至多层关系图神经网络中，并配合以全局初始矩阵为第三方的对称式对偶融合-演化注意力机制，实现了对时序多模态历史知识的高精度获取与动态权重分配，在四大重构基准上显著大幅超越所有最先进基线。

研究对象

• 研究对象：多模态时序知识图谱（Multimodal Temporal Knowledge Graphs, MTKGs）中的未来事件预测（Future Event Forecasting），形式化为给定历史 $k$ 个时间窗口内的时序多模态子图序列 $\{\mathcal{G}_\tau \mid t-k+1 \le \tau \le t\}$，外推预测未来时刻 $t+1$ 发生的未知事件 $(s, r, ?, t+1)$ 或 $(?, r, o, t+1)$。
• 核心问题：
  1. 知识获取层面（Knowledge Acquisition Level）：如何捕获不同模态尤其是动态结构模态的时效敏感深层拓扑？现有动态学习方法通常局限于单一平坦空间（如纯欧氏空间）或跨异构空间的浅层成对平移（Pairwise Translations），无法刻画实体交互中高阶抽象的树状层级（Hierarchical Patterns）与复杂的有向关系逻辑（对称、反对称、逆向与复合）；
  2. 知识融合层面（Knowledge Fusion Level）：如何捕捉随时间演化的多模态融合特征？传统的静态协同注意力（Static Co-attention）将不同模态独立作为注意力分配者与学习者，忽略了不同模态以及不同历史时间戳对未知未来事件贡献度随时间动态衰减与演化的非均衡特性。
• 研究情境/范围：跨越全球政治危机监测（ICEWS 2014, 2005-2015, 2018）与全球社会行为媒体事件库（GDELT），时间跨度从 1 个月、1 年到连续 11 年，时间粒度覆盖 15 分钟高频时序与 24 小时日常时序，事件规模达到数十万至数百万级。

研究方法

方法概述

• 方法类型：非欧几何与多元流形嵌入 + 多层关系图卷积神经网络 + 对称式对偶 Transformer 注意力机制。
• 总体思路： 借鉴人类认知心理学中的“多元智能理论”（Multiple Intelligences Paradigm），将动态结构模态的演化对齐为联想思维、高阶抽象和逻辑推理三大能力，将动态视觉与文本模态对齐为感官与语言认知：
  1. 动态结构模态获取：针对中心实体的关系邻域，在欧氏空间聚合语义链、在庞加莱/双曲流形利用可学习负曲率与等距旋转反射聚合高阶树状层级、在复数空间利用哈达玛积捕捉有向逻辑；通过加性注意力将三者统一映射至多层 GNN 开展深层拓扑传播，并利用循环神经网络（RNN）更新时序状态；
  2. 动态辅助模态获取：调用预训练视觉（VGG-19）与语言（BERT）模型，对每个时间戳实体的多幅图像与时效性文本进行特征提取、池化与 L2 归一化投影，并通过并行更新模块保持时序连续性；
  3. 对偶融合-演化注意力：引入全局可学习初始化矩阵 $\mathbf{E}_{init}$ 作为非偏向的“第三方注意力分配者（Assigner）”，在融合阶段分配同一时间戳各模态权重，在演化阶段聚合跨时间戳的历史记忆；
  4. 曲率自适应解码推理：在黎曼负曲率流形下计算莫比乌斯加法位移与庞加莱测地线距离，输出实体候选排序得分。
• 为什么用这种方法： 现实世界多模态时序图谱中的实体关系具有显著的几何异质性：链状因果链适合欧氏空间，概念泛化与组织上下级服从树状层级、在双曲流形中具有指数级体积容纳优势，而对称/反转/传递逻辑在复数球壳中具有天然的正交保距性。三空间互补结合多层 GNN，不仅比单空间更具表现力，且彻底突破了以往浅层平移模型的几何表达瓶颈。

方法分析

• 分析单位：多模态时序事实四元组 $(s, r, o, t)$、时序快照子图 $\mathcal{G}_t$ 与实体时序图谱拓扑。

• 关键变量/概念：

  • 自变量：历史 $k$ 步结构四元组、实体历史图像集合 $\mathcal{V}_t$、实体时序文本描述 $\mathcal{L}_t$；
  • 因变量：未来时刻 $t+1$ 候选对象实体的概率得分分布 $\mathcal{S} \in \mathbb{R}^N$；
  • 核心参数：关系特异性双曲负曲率 $c_r$、李群旋转反射参数 $\{\Phi_{r,i}, \Theta_{r,i}\}$、第三方注意力分配矩阵 $\mathbf{E}_{init}$。

• 识别/推断逻辑： 通过比较真实发生事件与所有负例候选实体的预测距离，利用时间感知过滤（Time-Aware Filtered Setting）屏蔽在时刻 $t+1$ 实际发生冲突的其他真实事件，以交叉熵反向传播联合优化多空间映射投影与注意力参数。

• 具体步骤：

  1. 输入与初始化：输入历史 $k$ 个时序快照，初始化欧氏实体矩阵 $\mathbf{E}_{init} \in \mathbb{R}^{N \times d}$ 与关系矩阵 $\mathbf{R} \in \mathbb{R}^{R \times d}$；
  2. 多空间消息生成与融合：针对实体 $o$ 的关系邻域 $\mathcal{N}_r^o$，分别计算欧氏、双曲、复数消息并经前馈网络加权求和，得到组合消息 $\text{msg}^{\mathbb{R},\mathbb{B},\mathbb{C}}_{s,r}$；
  3. 深层 GNN 拓扑传播：通过 $L$ 层图卷积融合自环与邻域多空间特征，经过 ReLU 激活输出该时间戳的实体结构表征；
  4. 多模态辅助特征并行提取：VGG-19 与 BERT 分别输出图像和文本表征，经 L2 范数归一化与线性投影至 $d$ 维，并经 RNN 更新；
  5. 对偶融合-演化处理：首先在各时间戳内部通过 MHA 融合结构、视觉与文本特征得到 $\mathbf{E}_t$；随后跨时间戳通过 MHA 聚合过去 $k$ 步的 $\{\mathbf{E}_{t-k+1}, \dots, \mathbf{E}_t\}$ 得到统一多模态时序矩阵 $\mathbf{E}$；
  6. 自适应双曲解码：计算双曲流形测地线距离平方并结合偏置得到评分，执行多标签交叉熵损失训练。

• 核心公式/指标 1：用于生成局部链状联想思维特性的欧氏结构消息（Equation 1，Page 4）：

$$\text{msg}_{s,r}^\mathbb{R} = \mathbf{s}_\mathbb{R} + \mathbf{r}_\mathbb{R}$$

• 公式拆解 1：

  • 这条公式表示什么：在欧氏空间中模拟 TransE 的向量平移假设，刻画关系主体 $s$ 到客体 $o$ 之间的局部直接语义链条；
  • 其中关键符号分别代表什么：$\mathbf{s}_\mathbb{R} \in \mathbb{R}^d$ 和 $\mathbf{r}_\mathbb{R} \in \mathbb{R}^d$ 分别为头实体与关系在欧氏空间中的嵌入；
  • 这条公式对应方法中的哪一步：对应动态结构模态获取的第一步（局部邻域链式联想消息构造）。

• 核心公式/指标 2：用于捕获跨邻域高阶树状抽象层级的双曲几何消息（Equation 2 & Appendix Equations 1, 2, 5，Page 4, 10）：

$$\text{msg}_{s,r}^\mathbb{B} = \log_{c_r}\Big( \mathbf{H}_r(\mathbf{s}_\mathbb{B}) \oplus_{c_r} \mathbf{r}_\mathbb{B} \Big)$$

其中双曲等距映射与旋转反射组合 $\mathbf{H}_r$ 定义为：

$$\mathbf{H}_r(\mathbf{e}_\mathbb{B}) = \exp_{c_r}\Big( f(\boldsymbol{\lambda}^\top \log_{c_r}(\mathbf{e}_\mathbb{B}^{Ref})) \log_{c_r}(\mathbf{e}_\mathbb{B}^{Ref}) + f(\boldsymbol{\lambda}^\top \log_{c_r}(\mathbf{e}_\mathbb{B}^{Rot})) \log_{c_r}(\mathbf{e}_\mathbb{B}^{Rot}) \Big)$$

莫比乌斯加法定义为：

$$\mathbf{e}_\mathbb{B} \oplus_{c_r} \mathbf{e}'_\mathbb{B} = \frac{(1 + 2c_r \langle \mathbf{e}_\mathbb{B}, \mathbf{e}'_\mathbb{B} \rangle + c_r \|\mathbf{e}'_\mathbb{B}\|^2)\mathbf{e}_\mathbb{B} + (1 - c_r \|\mathbf{e}_\mathbb{B}\|^2)\mathbf{e}'_\mathbb{B}}{1 + 2c_r \langle \mathbf{e}_\mathbb{B}, \mathbf{e}'_\mathbb{B} \rangle + c_r^2 \|\mathbf{e}_\mathbb{B}\|^2 \|\mathbf{e}'_\mathbb{B}\|^2}$$

• 公式拆解 2：

  • 这条公式表示什么：利用具有常负曲率 $-c_r$ 的庞加莱球（Poincaré Ball）流形，在保持度规等距（Isometry）的前提下模拟树状拓扑的高阶抽象传播；
  • 其中关键符号分别代表什么：$c_r$ 是关系特异的可学习负曲率，$\mathbf{H}_r(\cdot)$ 是结合李代数块对角反射矩阵 $\text{Ref}(\Phi_r)$ 与旋转矩阵 $\text{Rot}(\Theta_r)$ 的自适应变换，$\oplus_{c_r}$ 为莫比乌斯向量加法，$\log_{c_r}(\cdot)$ 为将双曲点投回欧氏切空间的对数映射；
  • 这条公式对应方法中的哪一步：对应动态结构模态获取中高阶抽象层级感知消息的构造。

• 核心公式/指标 3：用于严格保留图谱四类有向关系逻辑（对称、反对称、逆向、复合）的复数几何消息（Equation 3 & Appendix Equation 8, Proof 1，Page 4, 10）：

$$\text{msg}_{s,r}^\mathbb{C} = \text{real}(\mathbf{s}_\mathbb{C} \circ \mathbf{r}_\mathbb{C})$$

其复数哈达玛积展开为：

$$\mathbf{e}_\mathbb{C} \circ \mathbf{e}'_\mathbb{C} = (\mathbf{e}_\mathbb{R}^{real} * \mathbf{e}'^{real}_\mathbb{R} - \mathbf{e}_\mathbb{R}^{imag} * \mathbf{e}'^{imag}_\mathbb{R}) + i(\mathbf{e}_\mathbb{R}^{real} * \mathbf{e}'^{imag}_\mathbb{R} + \mathbf{e}_\mathbb{R}^{imag} * \mathbf{e}'^{real}_\mathbb{R})$$

• 公式拆解 3：

  • 这条公式表示什么：在复数球壳空间中利用哈达玛乘积的代数正交性与相位旋转，严格推导并保留知识图谱中四大基本关系逻辑：Symmetry ($r \circ r = 1$), Asymmetry ($r \circ r \neq 1$), Inversion ($r_1 = r_2^{-1}$), Composition ($r_1 = r_2 \circ r_3$)；
  • 其中关键符号分别代表什么：$\mathbf{s}_\mathbb{C}, \mathbf{r}_\mathbb{C} \in \mathbb{C}^d \equiv \mathbb{R}^{2d}$ 分别包含实部与虚部向量，$\text{real}(\cdot)$ 取其实部作为输出；
  • 这条公式对应方法中的哪一步：对应动态结构模态中逻辑推理智能消息的生成。

• 核心公式/指标 4：多层 GNN 几何深度拓扑传播公式（Equation 5，Page 5）：

$$\mathbf{o}^{l+1} = \psi\Bigg( \sum_{r \in \mathcal{R}} \sum_{s \in \mathcal{N}_r^o} \frac{1}{|\mathcal{N}_r^o|} \mathbf{W}_r^l \text{msg}_{s,r,l}^{\mathbb{R},\mathbb{B},\mathbb{C}} + \mathbf{W}_0^l \mathbf{o}^l \Bigg)$$

• 公式拆解 4：

  • 这条公式表示什么：将欧氏、双曲、复数经注意力加权后的综合消息，通过关系归一化系数与自环参数进行深层非线性图卷积传播；
  • 其中关键符号分别代表什么：$\mathbf{o}^l$ 为实体 $o$ 在第 $l$ 层的嵌入向量，$\mathbf{W}_r^l$ 为关系变换矩阵，$\mathbf{W}_0^l$ 为自环变换权重，$\psi(\cdot)$ 为 ReLU 激活函数；
  • 这条公式对应方法中的哪一步：实现从浅层几何平移向深层图结构表征的跃迁。

• 核心公式/指标 5：基于第三方初始化分配者的对偶融合-演化注意力（Equations 10, 12，Page 5）：

$$\mathbf{E}_t^{MHA} = \psi\left( \frac{\mathbf{W}_q \mathbf{E}_{init} (\mathbf{W}_k [\mathbf{E}_t^S; \mathbf{E}_t^V; \mathbf{E}_t^L])^\top}{\sqrt{d_k}} \right) \mathbf{W}_v [\mathbf{E}_t^S; \mathbf{E}_t^V; \mathbf{E}_t^L]$$ $$\mathbf{E} = \text{FFN}\Big(\text{MHA}\big(\mathbf{E}_{init}, [\mathbf{E}_{t-k+1}; \dots; \mathbf{E}_{t-1}; \mathbf{E}_t]\big)\Big)$$

• 公式拆解 5：

  • 这条公式表示什么：首先在时间戳 $t$ 将结构、视觉和语言矩阵横向拼接作为 Key 和 Value，由独立的 $\mathbf{E}_{init}$ 充当 Query 给出各模态注意力权重；随后再次以 $\mathbf{E}_{init}$ 为 Query，纵向对过去 $k$ 个时间戳的多模态表征进行时序注意力加权；
  • 其中关键符号分别代表什么：$\mathbf{E}_{init} \in \mathbb{R}^{N \times d}$ 是全局初始化实体矩阵，充当无历史偏见的客观仲裁者（Attention Assigner），$[\cdot;\cdot]$ 表示拼接操作；
  • 这条公式对应方法中的哪一步：完成多模态信息的动态均衡融合与时序演化聚合。

• 方法优势：

  1. 多元几何互补融合：首次在时序多模态图谱中打破单一空间限制，将欧氏的局部联想、双曲的高阶树状层级和复数的逻辑闭包有机融合；
  2. 克服浅层几何瓶颈：通过 GNN 开展多层图卷积，彻底超越了以往仅依赖成对几何距离优化的平移模型；
  3. 第三方注意力消除偏差：摆脱了传统模态间互注意力（Co-attention）中某模态自我主导的偏见，由全局初始矩阵客观分配跨模态与跨时间权重；
  4. 全图并行推理高效：相比基于规则事件逐步搜索的模型（如 CognTKE），DyMRL 具备图神经网络的高并行性，推理速度提升近两个数量级。

• 方法局限： 双曲流形与复数空间在切空间与流形间的映射（指数/对数映射、莫比乌斯运算）计算开销随实体规模增大而增加；预训练视觉与语言模型的特征抽取依赖外部离线骨干网络，未实现端到端梯度回传更新。

数据来源

• 数据类型：多模态时序知识图谱基准（结构化事件四元组 + 实体多张真实图像 + 实体时序文本传记）。
• 样本来源：
  • GDELT-IMG-TXT：源自全球事件、语言与语气数据库（GDELT），记录社会与人类行为时序；
  • ICE14-IMG-TXT / ICE0515-IMG-TXT / ICE18-IMG-TXT：源自综合危机预警系统（ICEWS），记录跨国政治军事事件；
  • 多模态扩展：使用实体名称结合有效时间窗口，从 Google Images 爬取每个实体多达 10 张时序图像，并结合维基百科及事件描述构建带有明确时间锚点的文本。
• 时间范围：
  • GDELT: 2018年1月1日 – 2018年1月31日（15分钟级微观时序）；
  • ICE14: 2014年1月1日 – 2014年12月31日（24小时级日频时序）；
  • ICE0515: 2005年1月1日 – 2015年12月31日（长达 11 年宏观跨度）；
  • ICE18: 2018年1月1日 – 2018年10月31日（24小时级日频时序）。
• 样本量/案例数：
  • GDELT: 7,691 实体, 240 关系, 59,196 图像, 2,751 时间戳, 超过 227 万总事件事实；
  • ICE14: 7,128 实体, 230 关系, 46,089 图像, 365 时间戳, 超过 9 万事件事实；
  • ICE0515: 10,488 实体, 251 关系, 70,001 图像, 4,017 时间戳, 超过 46 万事件事实；
  • ICE18: 23,033 实体, 256 关系, 111,624 图像, 304 时间戳, 超过 46 万事件事实。
• 数据局限： 图像数据由 Google 检索爬取，部分冷门政治实体在特定历史时间点可能缺乏准确图像或存在一定噪声标注。

研究结论

• 主要发现 1：DyMRL 在所有多模态时序图谱未来事件预测基准上全面大幅刷新当前最先进水平（SOTA）。在时间感知过滤评估协议下，DyMRL 相比当前最强的动态单模态（如 ReTIN, RETIA, CognTKE）和静态多模态（如 DySarl, IMF）基线均取得统计学显著优势（p < 0.05）。
• 原文引用 1：

“To the best of our knowledge, DyMRL is the first dynamic multimodal approach for multimodal event forecasting in KGs, performing significantly better than all baselines… Extensive experiments demonstrate that DyMRL significantly outperforms state-of-the-art static multimodal and dynamic unimodal forecasting baselines.” (Page 2, 7)

• 主要发现 2：双曲高阶抽象层级在多空间几何中起决定性核心支撑作用。消融实验显示，如果移除双曲消息模块，GDELT 数据集上的预测 MRR 会发生灾难性暴跌（从 79.34% 暴跌至 56.99%，下降超过 22 个百分点），这一衰减幅度远超去除欧氏消息（降至 67.67%）或复数消息（降至 72.02%），印证了双曲几何对时序知识图谱中复杂树状层级关系的强大容纳能力。
• 原文引用 2：

“Among the three integrated geometries across multimodal events, the hyperbolic space provides the most effective support for future forecasting by capturing inter-neighborhood hierarchical (high-order abstracting) features. In intra-neighborhood features, chain-like (associative thinking) patterns have a greater impact than spherical (logical reasoning) patterns. This is also consistent with the ablation results shown in Table 3.” (Page 8)

• 主要发现 3：多层 GNN 拓扑传播将浅层平移跃升为深层结构，是模型性能的根本保障。若去除多层消息传播（仅保留单步浅层平移消息），GDELT 数据集的预测性能跌落最为剧烈（MRR 从 79.34% 骤降至 31.36%），表明仅仅依靠两两嵌入的几何距离无法捕获多模态图谱复杂的深层依赖。
• 原文引用 3：

“We observe a notable performance drop in DyMRL (w/o Multilayer msg propagation), as retaining only the multispace message resembles previous translation-based pairwise methods, which can capture only shallow yet not deep structural modality features.” (Page 7–8)

• 主要发现 4：第三方初始分配者（Attention Assigner）与对偶注意力机制极大超越了传统互注意力机制。若移除注意力分配者（退化为传统双向注意力），MRR 在各数据集上全面大跌（在 GDELT 上从 79.34% 跌落至 45.46%，在 ICE0515 上从 75.83% 跌落至 44.89%），证实由外部初始矩阵作为无偏仲裁者在时序多模态融合中具有决定性意义。
• 原文引用 4：

“DyMRL (w/o Attention assigner) directly degenerates into prior coattention-based knowledge fusion methods. Since it only captures the interplay between modalities/timestamps while overlooking their dynamic impacts on future unknown events, its performance is significantly inferior to the full DyMRL model.” (Page 8)

• 主要发现 5：在时空维度上，时间近邻性与结构模态权重占据主导地位。热力图分析显示，越靠近未来预测时刻的历史时间窗口对预测结果贡献度越高；而在同一时间戳下，结构模态的预测价值始终高于文本模态，文本模态又高于视觉模态。
• 原文引用 5：

“From the y-axis view, for any modality, short-term historical timestamps closer to the future multimodal events provide higher forecast value. From the x-axis view, at any timestamp, the structural modality provides greater forecast value than the linguistic modality, which in turn surpasses the visual modality.” (Page 8)

我的判断

• 最有启发的点： 将认知心理学的“多元智能范式”巧妙转化为微分几何中不同流形空间（欧氏平坦空间、双曲负曲率流形、复数酉空间）的几何归纳偏置。它不仅在概念上赋予不同空间以人类认知功能（联想、抽象、推理），在数学上也严格证明了各空间对特定拓扑图元（链、树、环与反转逻辑）的最优表达性质。
• 可借鉴的方法：
  1. 第三方注意力分配器架构：在跨模态、跨时序注意力机制中，引入静态/初始无偏矩阵充当 Query，把所有待融合实体作为 Key/Value，有效防止了强模态（如结构模态）压制弱模态的“注意力塌陷”；
  2. 多空间消息传递与 GNN 的无缝集成：将非欧度规映射后通过加性门控注意力重新拉回切空间进行图卷积聚合，兼顾了几何表现力与图神经网络的高效并行计算。
• 可继续追问的问题：
  1. 当前视觉与语言特征使用的是冻结的离线模型（VGG与BERT），若换成现代原生多模态大模型（如 CLIP、Qwen-VL）的端到端特征，几何融合模块的效果是否会有进一步跃升？
  2. 能否将动态多空间表征推广至连续时间的微分方程（如神经常微分方程 Neural ODE），实现不依赖离散时间步窗口划分的任意时间点事件预测？
• 与我的研究关联： 本文是“树模型知识图谱”研究脉络中将树状/层级双曲几何应用于时序知识图谱与多模态动态融合的代表作。它与本专题中强调树结构静态约束（如 HASTEN 的偏序光锥）形成鲜明互补，展示了双曲空间在高阶动态外推推理中的强大威力。