非全模态同步：面向鲁棒多模态知识图谱补全的动态Dropout与双向融合

基本信息

一句话摘要

针对传统多模态知识图谱补全因全模态盲目同步训练导致的模态过度依赖与异构噪声竞争难题，本文提出 MDBGF 框架，通过随训练轮次递增的动态概率模态 Dropout 强制模型学习缺失模态下的互补表征，并辅以全模态下的双向门控交互调制机制与自适应混合负采样（AHNS），在显著降低显存开销的同时全面刷新了三大基准数据集的补全精度。

研究对象

• 研究对象：多模态知识图谱补全（Multi-modal Knowledge Graph Completion, MKGC），旨在给定多模态知识图谱 $\mathcal{MKG} = \{\mathcal{E}, \mathcal{R}, \mathcal{T}, \mathcal{M}\}$（其中 $\mathcal{E}$ 为实体集，$\mathcal{R}$ 为关系集，$\mathcal{T} = \{(h, r, t)\}$ 为三元组集合，$\mathcal{M} = \{\mathcal{V}, \mathcal{D}\}$ 为视觉与文本模态集），推断给定查询 $(h, r, ?)$ 或 $(?, r, t)$ 中缺失的目标实体。
• 核心问题：现有 MKGC 模型普遍假定全模态数据是天然互补且无害的，始终在全模态完备状态下同步端到端训练。这种做法存在两大严重缺陷：
  1. 模态依赖与过度倾斜（Modality Dependence）：模型往往过度依赖信息密度高或梯度主导的单一模态（如长文本或显著视觉），从而钝化了对拓扑结构先验及其他潜在互补信号的深度挖掘；
  2. 异构噪声引起的模态竞争（Modality Competition under Heterogeneous Noise）：不同模态的特征噪声分布各异（如实体图像经常存在不相关背景或抓取偏差），盲目拼接会导致噪声模态污染清洁模态，反而在部分指标上表现不如纯文本或纯结构图谱；
  3. 现有负采样的高昂开销与边界模糊：基于生成对抗网络或对比学习的负采样消耗极端显存（通常高达 40GB–53GB），且静态采样比例无法兼顾初期的样本多样性与后期的硬边界鉴别力。
• 研究情境/范围：跨越三个主流多模态知识图谱基准 DB15K、MKG-W 与 MKG-Y，在多模态完备及缺失（Scenario-Deficient）推理情境下系统评估 MRR、Hit@1、Hit@3 与 Hit@10 指标及显存算力资源。

研究方法

方法概述

• 方法类型：实证算法研究、多模态图谱表示学习与鲁棒优化。
• 总体思路：
  1. 特征编码与频度过滤：实体结构三元组使用随机初始化的可学习嵌入 $e_{str}$，视觉与文本分别通过 BEiT 与 BERT 分词编码，并采用基于频度的过滤剔除冗余令牌，映射为连续嵌入 $e_{vis}$ 与 $e_{txt}$；
  2. 动态概率模态 Dropout（MD）：设计按训练轮次渐进增加的丢弃概率调度函数 $P_{drop}$。每个 epoch 判定是否激活丢弃；一旦激活，在始终保留结构模态 $e_{str}$ 的前提下，等概率随机丢弃视觉或文本模态之一（Case 2），强迫网络学会仅凭“结构+文本”或“结构+视觉”进行鲁棒推理；
  3. 双向门控融合（BGF）：在未激活 Dropout（全模态呈现，Case 1）的场景下，提取文本与视觉模态在特征维度上的全局平均池化向量，通过交叉拼接送入两个相互独立的门控网络，计算出相互调制的门控加权系数 $G_{v \to t}$ 与 $G_{t \to v}$，实现多模态特征的深层互惠调制；
  4. Transformer 序列编码与 TuckER 张量打分：在序列前端拼接特殊标记 $[ENT]$，送入 Transformer 编码器获得实体统一表征，结合关系嵌入输入 TuckER 三线性张量积函数计算候选实体评分；
  5. 自适应比例混合负采样（AHNS）：设计按训练轮次渐进增加的高分负例比例 $P_{neg}$，在早期以批内随机负例保证多样性，后期逐步过渡到以模型打分最高的高难度负例（Hard Negatives）为主，联合优化交叉熵目标函数。
• 为什么用这种方法：动态模态 Dropout 在不破坏全局信息的前提下打破了模型对特定输入通道的共线性依赖；双向门控有效压制了视觉背景杂音对文本语义的侵蚀；AHNS 采样策略相较于对抗生成或繁杂对比学习，以极低的显存开销（无需常驻庞大负例库）实现了极具针对性的边界决策训练。

方法分析

• 分析单位：知识图谱中的实体-关系三元组 $(h, r, t)$ 及其多模态属性集合。
• 关键变量/概念：
  • 动态模态丢弃概率 $P_{drop} \in [0, \alpha]$；
  • 视觉与文本全局均值池化向量 $e_{vis\_avg}$ 与 $e_{txt\_avg}$；
  • 双向门控权重矩阵 $G_{v \to t}$ 与 $G_{t \to v}$；
  • 自适应难负例采样比例 $P_{neg} \in [0, \beta]$；
  • TuckER 核心交互张量 $\mathcal{W}$。
• 识别/推断逻辑：将实体链接预测转化为张量打分与多分类交叉熵排序。通过在训练过程中人为切断某单一模态的数据供给，迫使编码器寻找多模态间的正交补充信号；双向门控机制使清洁模态能够对噪声模态的通道增益进行下调，从而在全模态并存时压制竞争性噪声。
• 具体步骤：
  1. 计算当前 epoch 对应的模态丢弃概率 $P_{drop}$；
  2. 若触发丢弃，在 $e_{vis}$ 与 $e_{txt}$ 中随机将一个置为全零向量，保留 $e_{str}$；
  3. 若未触发丢弃，通过公式 (3)–(10) 计算 $G_{v \to t}$ 与 $G_{t \to v}$ 并对特征进行逐元素调制；
  4. 将组合向量加上 $[ENT]$ 标记输入 Transformer 提取实体全局嵌入；
  5. 利用 TuckER 打分函数计算三元组得分并根据 AHNS 动态比例混合选取随机与高分负样本；
  6. 联合反向传播 $\mathcal{L}_{MKGC} + \lambda \mathcal{L}_{AHNS}$ 更新参数。

核心公式与拆解

核心公式/指标 1：动态概率模态 Dropout 调度（Dynamic Modality Dropout Schedule）

用于根据训练进程动态平滑控制模态缺失的发生概率：

$$P_{drop} = \min\left(\alpha, \frac{epoch}{N_{epoch}} \times \alpha\right)$$

• 公式拆解 1：
  • 表示内容：模态丢弃概率 $P_{drop}$ 随当前训练轮次 $epoch$ 与总轮次 $N_{epoch}$ 的比值呈线性递增，并受上限超参数 $\alpha$ 约束。
  • 关键符号：$epoch$ 为当前训练轮数；$N_{epoch}$ 为总轮数；$\alpha$ 为允许的最大模态丢弃概率。
  • 对应方法步骤：训练循环的前置控制步。在训练初期（$P_{drop}$ 极低），全模态完备，模型充分学习各模态的基础表征；随着训练深入，$P_{drop}$ 逐渐逼近 $\alpha$，频繁触发单侧模态丢弃（文本或视觉置 0，结构三元组先验始终保留），促使模型摆脱模态偏置依赖，构建缺失条件下的鲁棒链接推理能力。

核心公式/指标 2：双向门控交叉特征调制（Bidirectional Gated Fusion）

用于在全模态并存时实现视觉与文本模态的全局感知与相互增益调谐：

$$X_{v \to t} = \{e_{vis\_avg}, e_{txt\_avg}\}, \quad G_{v \to t} = \mathrm{Sigmoid}(W_{v \to t} \cdot X_{v \to t} + b_{v \to t})$$ $$X_{t \to v} = \{e_{txt\_avg}, e_{vis\_avg}\}, \quad G_{t \to v} = \mathrm{Sigmoid}(W_{t \to v} \cdot X_{t \to v} + b_{t \to v})$$ $$e'_{vis} = e_{vis} \cdot G_{v \to t}, \quad e'_{txt} = e_{txt} \cdot G_{t \to v}$$

• 公式拆解 2：
  • 表示内容：首先计算各模态特征维度的平均池化向量 $e_{vis\_avg}$ 与 $e_{txt\_avg}$；将二者跨通道拼接后输入两组独立的线性全连接层，通过 Sigmoid 输出各维度的加权门控值 $G \in (0, 1)$，最后逐元素乘回各自的原始模态特征。
  • 关键符号：$W_{v \to t}, W_{t \to v}$ 与 $b_{v \to t}, b_{t \to v}$ 为可学习的门控网络权重与偏置；$e'_{vis}, e'_{txt}$ 为经过相互校验与调制后的高质量多模态特征。
  • 对应方法步骤：全模态场景（Case 1）下的表征交互步。当某图像包含与文本严重脱节的背景噪声时，文本模态驱动的门控 $G_{t \to v}$ 会自适应下调噪声维度的权重，遏制模态竞争。

核心公式/指标 3：TuckER 三线性张量评分机制（TuckER Scoring Function）

用于高效建模实体与关系在多模态嵌入空间中的复杂三维几何交互：

$$\mathcal{S}(h, r, t) = \mathcal{W} \times_1 h \times_2 r \times_3 t$$

• 公式拆解 3：
  • 表示内容：三元组 $(h, r, t)$ 的置信度评分通过可学习核心张量 $\mathcal{W}$ 与头实体表征 $h$、关系向量 $r$、尾实体表征 $t$ 在三个模态轴向上的连续张量积（Tensor Product）计算得出。
  • 关键符号：$\mathcal{W} \in \mathbb{R}^{d_e \times d_r \times d_e}$ 为核心参数张量；$\times_i$ 代表沿着张量的第 $i$ 维度进行矩阵/向量乘积运算。
  • 对应方法步骤：最终实体预测与排序阶段的核心打分准则，其表达能力兼顾了双线性模型的轻量性与全三线性模型的几何自由度。

核心公式/指标 4：自适应比例混合负采样比例（AHNS Dynamic Proportion）

用于自适应控制难负例与随机负例在批次中的混合配比：

$$P_{neg} = \min\left(\beta, \frac{epoch}{N_{epoch}} \times \beta\right)$$ $$N_{hard} = N_{neg} \times P_{neg}, \quad N_{random} = N_{neg} - N_{hard}$$

• 公式拆解 4：

  • 表示内容：难负例（模型当前打分最高的假阳性实体）的采样配比 $P_{neg}$ 随训练轮次逐步提升至上限 $\beta$；从负例总配额 $N_{neg}$ 中分配出 $N_{hard}$ 个高分难负例与 $N_{random}$ 个批内随机负例。
  • 关键符号：$\beta$ 为预设的最大难负例采样比例；$N_{neg}$ 为每个批次的总负样本量。
  • 对应方法步骤：负采样优化阶段。训练初期保持较高的 $N_{random}$ 确保全空间探索多样性，训练后期重点强化 $N_{hard}$ 促使模型在决策边界处进行高精度微细微辨识。

• 方法优势：

  1. 架构精简优雅，无需构建昂贵复杂的跨模态交互矩阵或联合扩散过程；
  2. 显存开销极小（约 21GB），相较于动辄 40GB+ 的对比采样与对抗采样 baseline，在单卡 A800 上即可高效稳定运行；
  3. 彻底克服了模态缺失情境下的断崖式崩溃，在不完整测试数据下性能仅有轻微抖动。

• 方法局限：

  1. 当前 Dropout 调度器采用朴素的线性增长，尚未针对不同模态的内在置信度差异实现全自动动态步长调节；
  2. 模态仅覆盖了文本、图像与图结构，尚未拓展至数值、音频或时间序列等多源异构图谱。

数据来源

• 数据类型：多模态知识图谱（包含三元组链接、实体英文/多语言文本摘要与实体对齐图片）。
• 样本来源：
  1. MKG-W（Wikidata 子集，Xu et al., 2022）；
  2. MKG-Y（YAGO 子集，Xu et al., 2022）；
  3. DB15K（DBpedia 子集，Liu et al., 2019）。
• 时间范围：经典多模态知识图谱基准，评估协议为标准过滤排名（Filtered Ranking）。
• 样本量/案例数：DB15K 包含 14,780 个实体与 99 种关系；MKG-W 包含 15,000 个实体与 12 种关系；MKG-Y 包含 15,000 个实体与 16 种关系。
• 数据局限：现实世界中实体关联图像存在部分缺失与分辨率较低的问题。

研究结论

• 主要发现 1：MDBGF 在三大基准上全面超越现存所有单模态与多模态补全基线，建立全新 SOTA；在 MKG-W 数据集上表现最为突出，相较于先前最强方法实现了 MRR 提升 7.22%（由 37.40% 提升至 40.10%）、Hit@1 提升 6.70%（由 31.32% 提升至 33.42%）。
• 原文引用 1：

“Overall, our MDBGF consistently outperforms both uni-modal KGC methods and recent MKGC baselines on all three datasets, achieving new state-of-the-art performance. On MKG-W, MDBGF yields the largest gains, improving over the best prior result by 7.22% in MRR and 6.70% in H@1. On DB15K and MKG-Y, MDBGF also outperforms strong baselines on most metrics, further validating the effectiveness of our method.” (Page 6–7)

• 主要发现 2：盲目引入全模态并不总能带来正向收益（模态竞争与干扰）；在未加控制的基线模型上，加入视觉模态反而导致部分评估指标下降，而动态模态 Dropout 能有效抑制过量冗余视觉特征对图谱推理的毒害。
• 原文引用 2：

“Inference results under different modality combinations show that adding visual modality to structural and textual modalities degrades some metrics, and performance drops further when key modalities (e.g., structural) are removed. As discussed in Appendix C, redundant visual features can interfere with other modalities. This motivates our MD module, which probabilistically discards text or visual modality to mitigate noise from excessive useless features.” (Page 9)

• 主要发现 3：动态模态 Dropout 机制展现出卓越的模型无关通用性，即插即用集成到现有最强基线（如 MyGO 与 AdaMF）中均能带来立竿见影的性能提升。
• 原文引用 3：

“We adopt recent MyGO and AdaMF as backbone models. The upper parts of the bars indicate the performance gains brought by MD, which demonstrate the generality of MD and its strong performance within the MDBGF framework. The results further confirm the generalization of our dynamic, probability-based modality dropout mechanism for MKGC…” (Page 7–8)

• 主要发现 4：在模态缺失情境下的推理鲁棒性极高；在模拟测试集模态随机遮蔽的极端退化场景下，MDBGF 的各项指标仅比全模态数据微跌 1–2 个百分点（MRR 仅由 40.10 下降至 38.19），展现了极强的泛化鲁棒性。
• 原文引用 4：

“Although no official benchmarks are available, our model still performs well under the constructed missing inference setting, with only a 1–2 point performance drop compared to the full data. This validates the effectiveness of MD under various inference conditions.” (Page 9)

我的判断

• 最有启发的点：
  1. 打破“全模态迷信”：在多模态机器学习领域，人们直觉上总认为把所有模态数据一股脑塞进网络是最优解；本文从实证上证明这种做法会诱发严重的“偷懒偏置”和噪声干扰；以结构三元组为底座，渐进随机遮蔽辅助模态，不仅强迫网络挖掘互补线索，还能天然防御推理期的模态缺失；
  2. 轻量高效的工程落地范式：相较于动辄耗费 50GB 显存的对抗生成式负采样方案，AHNS 依靠动态配比混合仅需 21GB 显存便超越了前者，体现了算法设计的四两拨千斤。
• 可借鉴的方法：
  • 基于训练进程的渐进式难负例挖掘调度（Curriculum Hard Negative Sampling）：在知识图谱表征、对比检索或实体对齐训练中，初期保留全局随机性、后期加大边界难负例惩罚的策略可以无缝迁移至各类知识抽取与拓扑对齐任务。
• 可继续追问的问题：
  • 目前 Dropout 仅在辅助模态之间二选一，如果图谱中存在三项或以上的多模态属性（如点云、音频、时序拓扑），Dropout 策略应如何进行动态组合博弈？
• 与我的研究关联：
  • 本文为“树模型知识图谱”在面对跨模态知识补全、属性缺失与长尾实体对齐时提供了强有力的鲁棒性训练理论基础。