基于通用正交参数化的知识图谱嵌入泛化 (UOP)

基本信息

一句话摘要

针对知识图谱嵌入中关系正交变换长期割裂为“高维欧氏扩展（无法保真树形层级）”与“低维双曲建模（同质受限且无法刻画环状拓扑）”的痛点，本文提出基于广义豪斯霍尔德反射的通用正交参数化框架 GoldE，在理论上完全覆盖任意维度的欧氏、椭圆与双曲正交李群，并在混合曲率积流形上实现了对对称/反称/复合逻辑规则与环状/树状异质拓扑的统一建模。

研究对象

• 研究对象：由实体集合 $\mathcal{V}$、关系集合 $\mathcal{R}$ 和事实三元组 $\mathcal{F} = \{(h, r, t)\} \subseteq \mathcal{V} \times \mathcal{R} \times \mathcal{V}$ 构成的多关系知识图谱（Knowledge Graph）。
• 核心问题：知识图谱兼具复杂的代数逻辑规律（如对称性 Symmetry、反对称性 Antisymmetry、逆关系 Inversion、复合关系 Composition）和强烈的拓扑异质性（Topological Heterogeneity——部分子图高度呈环状 Cyclicity，另一些概念体系高度呈树状层级 Hierarchy）。现有正交变换模型无法兼顾：
  1. 维度派（Dimension Branch）：如 RotatE (2D)、Rotate3D (3D)、QuatE (4D)、HousE ($k$D) 将维度推向任意高维，但全部禁锢在平坦欧氏空间，无法有效表征具有指数扩张体积的层级树；
  2. 几何派（Geometry Branch）：如 RefH、RotH、AttH 引入双曲空间保距变换，但受限于复杂的双曲三角计算，只能在 2 维 Givens 旋转下操作，且单一常曲率双曲空间无法有效拟合环状实体群。
• 研究情境/范围：标准通用知识图谱链接预测（Link Prediction），覆盖以 WordNet 层级树为核心的 WN18RR、以密集关系环网为主的 FB15k-237 以及超大规模的 YAGO3-10，兼测标准维度与 32 维极限低维设置。

研究方法

方法概述

• 方法类型：微分几何流形理论 + 经典李群代数参数化 + 理论定理证明与大规模实证对比。
• 总体思路：
  1. 广义豪斯霍尔德基元设计：在赋予非退化二次型内积 $\langle \mathbf{x}, \mathbf{y} \rangle_{\mathbf{w}} = \mathbf{x}^\top \operatorname{diag}(\mathbf{w}) \mathbf{y}$ 的通用空间中，导出广义反射变换算子 $\mathbf{H}(\mathbf{u}, \mathbf{w})$；
  2. 万能正交映射定理（Theorem 3.1）：严格证明由 $k$ 个初等反射矩阵相乘构成的映射 $\operatorname{Orth}(\mathbf{U}, \mathbf{w}) = \prod_{c=1}^k \mathbf{H}(\mathbf{u}_c, \mathbf{w})$ 能够完整覆盖 $k$ 维广义正交群 $\mathcal{O}_{\mathbf{w}}(k)$，无任何自由度丢失；
  3. 椭圆几何特化与尺度自适应：令 $\mathbf{w} := \mathbf{p}_r > 0$，将关系建模为 $k$ 维椭球上的保距变换，等价于欧氏正交变换外加关系自适应尺度缩放，极大强化了环状与复合逻辑建模能力；
  4. 双曲保号正群参数化：令 $\mathbf{w} := \mathbf{q} = (-1, 1, \dots, 1)^\top$，针对 Lorentz 双曲面上反射可能穿越上下叶导致测地距离失效的问题，利用极分解（Polar Decomposition）将正保号子群 $\mathcal{O}_{\mathbf{q}}^+(k)$ 参数化为欧氏正交矩阵与双曲洛伦兹助推（Boost）矩阵的积；
  5. 椭圆-双曲积流形统一（Product Manifold）：构建非恒定曲率积流形 $\mathcal{D}^k = \prod \mathcal{P}^{k_P} \times \prod \mathcal{Q}^{k_Q}$，以极轻量参数实现关系在多几何空间下的分块正交演化。
• 为什么用这种方法：Householder 反射是正交群中最基础、计算最纯粹的满秩生成元；通过泛化内积度量张量，将原本割裂的欧氏旋转、双曲 Lorentz 变换统合在统一的代数框架下，不仅理论自洽，而且避免了双曲空间繁琐的流形外积近似。

方法分析

• 分析单位：三元组 $(h, r, t)$ 中的实体向量与关系矩阵参数。
• 关键变量/概念：
  • 二次型加权向量 $\mathbf{w} \in \mathbb{R}^k$（无零元素）；
  • 广义豪斯霍尔德矩阵：$\mathbf{H}(\mathbf{u}, \mathbf{w}) = \mathbf{I} - 2 \frac{\mathbf{u} \mathbf{u}^\top \operatorname{diag}(\mathbf{w})}{\mathbf{u}^\top \operatorname{diag}(\mathbf{w}) \mathbf{u}}$；
  • 椭圆马氏距离打分函数：$s_r(h, t) = -\sqrt{(\mathbf{e}'_{h,r} - \mathbf{e}_{t,r})^\top \operatorname{diag}(\mathbf{p}_r)(\mathbf{e}'_{h,r} - \mathbf{e}_{t,r})}$；
  • 双曲双曲面保号参数化矩阵 $\operatorname{Orth}_Q(\mathbf{U}, \mathbf{b})$ 与测地距离打分函数 $s_r(h, t) = -\sqrt{\beta_r} \operatorname{arcosh}\left( -\frac{\langle \mathbf{e}'_{h,r}, \mathbf{e}_{t,r} \rangle_{\mathbf{q}}}{\beta_r} \right)$；
  • 积流形加权打分：$s_r(h, t) = -\sum_{i=1}^m d_{\mathcal{X}_i}^l(\mathbf{e}'^{(i)}_{h,r}, \mathbf{e}^{(i)}_{t,r})$。
• 识别/推断逻辑：
  • 若图谱局部呈强树状层级，关系在双曲子空间 $\mathcal{Q}$ 的曲率 $\beta_r$ 与双曲助推向量 $\mathbf{b}_r$ 会主导沿双曲光锥轴向的位移，保持指数级子节点容量而不挤压失真；
  • 若图谱局部呈强环状或对称关联，关系在椭圆子空间 $\mathcal{P}$ 的主轴权重 $\mathbf{p}_r$ 与周期反射会主导状态循环，完美捕捉封闭群轨道。
• 具体步骤：
  1. 实体初始向量定义在平坦空间；
  2. 针对三元组 $(h, r, t)$，分别通过椭圆映射与双曲指数映射 $g_{\beta_r}$ 投影至对应流形；
  3. 利用关系参数矩阵计算分块广义豪斯霍尔德变换，对头实体向量进行刚体旋转与助推；
  4. 计算变换后的头实体与尾实体在积流形下的距离累加和；
  5. 采用自对抗负采样交叉熵损失函数（Self-Adversarial Negative Sampling Loss）端到端更新。

---

• 核心公式/指标 1：广义二次型豪斯霍尔德反射矩阵 (Generalized Householder Matrix)

$$\mathbf{H}(\mathbf{u}, \mathbf{w}) = \mathbf{I} - \frac{2 \mathbf{u} \mathbf{u}^\top \operatorname{diag}(\mathbf{w})}{\mathbf{u}^\top \operatorname{diag}(\mathbf{w}) \mathbf{u}}$$ $$\operatorname{Orth}(\mathbf{U}, \mathbf{w}) = \prod_{c=1}^k \mathbf{H}(\mathbf{u}_c, \mathbf{w})$$

• 公式拆解 1：
  • 这条公式表示什么：在配备加权度规矩阵 $\operatorname{diag}(\mathbf{w})$ 的空间中，将任意向量关于以 $\mathbf{u}$ 为法向量的超平面做刚体镜面反射，并将 $k$ 个初等反射连乘生成该度规下任意合法的李群正交变换矩阵。
  • 其中关键符号分别代表什么：$\mathbf{w} \in \mathbb{R}^k$ 决定空间几何（全 1 为欧氏球面，全正数为椭球面，首位为 -1 余位为 1 为双曲面）；$\mathbf{u}_c$ 为可训练的法向量；$\operatorname{Orth}(\mathbf{U}, \mathbf{w}) \in \mathcal{O}_{\mathbf{w}}(k)$ 保持二次型内积严格守恒：$\mathbf{G}^\top \operatorname{diag}(\mathbf{w}) \mathbf{G} = \operatorname{diag}(\mathbf{w})$。
  • 这条公式对应方法中的哪一步：全框架最核心的几何映射算子生成基石。

---

• 核心公式/指标 2：双曲正定保号子群分解参数化 (Positive Hyperbolic Orthogonal Parameterization)

$$\mathbf{G}_r = \operatorname{Orth}_Q(\mathbf{U}_r, \mathbf{b}_r) = \begin{bmatrix} 1 & \mathbf{0}^\top \\ \mathbf{0} & \prod_{i=1}^{k-1} \mathbf{H}(\mathbf{U}_r[i], \mathbf{1}) \end{bmatrix} \begin{bmatrix} \sqrt{\|\mathbf{b}_r\|^2 + 1} & \mathbf{b}_r^\top \\ \mathbf{b}_r & \sqrt{\mathbf{I} + \mathbf{b}_r \mathbf{b}_r^\top} \end{bmatrix}$$

• 公式拆解 2：
  • 这条公式表示什么：为了防止高维双曲反射把实体向量打入时空镜像下叶（导致负时空坐标，摧毁双曲测地线距离计算），利用极分解定理将任意保持上叶正号的双曲正交变换 $\mathcal{O}_{\mathbf{q}}^+(k)$ 严格因式分解为一个 $(k-1)$ 维欧氏空间旋转矩阵与一个双曲洛伦兹助推（Boost）矩阵的乘积。
  • 其中关键符号分别代表什么：$\mathbf{U}_r \in \mathbb{R}^{(k-1) \times (k-1)}$ 参数化空间切面刚体旋转，$\mathbf{b}_r \in \mathbb{R}^{k-1}$ 参数化双曲曲面上的纯位移助推。
  • 这条公式对应方法中的哪一步：双曲层级子空间中关系变换的严格闭式表达。

---

• 方法优势：
  1. 理论完全完备：彻底突破了此前双曲模型局限于 2 维 Givens 旋转的技术掣肘，是首个能对任意高维双曲正交李群实现满自由度参数化的框架；
  2. 计算复杂度大幅优化：虽然表面涉及矩阵乘法，但由于豪斯霍尔德变换的低秩更新本质，所有矩阵-向量乘法均可化简为纯向量点积操作，单样本推理时间从 $O(k^3)$ 锐减至 $O(k^2)$；
  3. 拓扑自适应：通过积流形同时赋予模型捕捉环网与多级树形结构的自由度，兼具两家之长。
• 方法局限：
  1. 积流形中椭圆分量与双曲分量的维度配比 $(m_P, k_P, m_Q, k_Q)$ 仍需通过先验网格搜索确定；
  2. 针对超多关系（例如数千种复杂物理关系）知识图谱，关系矩阵参数总量随关系数线性增长。

数据来源

• 数据类型：公认的标准知识图谱链接预测评测基准。
• 样本来源：
  • WN18RR：从 WordNet 抽取过滤，包含 40,943 个实体、11 种关系，86,835 条训练三元组；本质是一棵深度的英文概念语义上位词树，层级性极强；
  • FB15k-237：从 Freebase 抽取，包含 14,541 个实体、237 种关系，272,115 条训练三元组；消除了逆关系冗余，富含大量封闭环与密集关系网；
  • YAGO3-10：抽取自维基百科的多语言实体大图，包含 123,182 个实体、37 种关系，超 100 万条三元组。
• 时间范围：论文发表于 2024 年 ICML。
• 样本量/案例数：跨越 1.4 万至 12.3 万实体规模，从单一树结构到复合网格异质拓扑。
• 数据局限：均为标准静态静态三元组，不包含时序时间戳与超关系（Hyper-relational）键值对元属性。

研究结论

• 主要发现 1：GoldE 在三大权威评测集上击败包括 HousE、RotH、AttH、ReflectE 在内的所有基线，确立了链接预测新的绝对 SOTA。
• 原文引用 1：

“Compared to HousE, the most relevant baseline that represents relations as k-dimensional Euclidean Householder rotations, GoldE achieves an average absolute gain of 2.5% in MRR, and even surpasses its projection-enhanced variant (i.e., HousE-pro) with 1.3% absolute improvement in MRR. Moreover, GoldE also outperforms existing hyperbolic orthogonal models (i.e., RefH, RotH and AttH) by a clear margin.” (Page 7, Section 4.2)

• 主要发现 2：消融实验验证了双曲流形对树形层级、椭圆流形对闭环的精确定位作用。
• 原文引用 2：

“As we expected, hyperbolic parameterization performs better on the two datasets (i.e., WN18RR and YAGO3-10) dominated by hierarchies, while the elliptic counterpart excels on the dataset (i.e., FB15k-237) dominated by cycles… By combining multiple P and Q, our GoldE can naturally preserve both cyclical and hierarchical structures, thereby achieving the optimal performance on all the three datasets.” (Page 7, Section 4.3)

• 主要发现 3：细粒度逐关系测试显示，GoldE 在 WordNet 全部 11 个关系类型上均斩获第一，在严格层级关系（hypernym、instance hypernym）和强对称关系上取得双重爆发。
• 原文引用 3：

“Compared to the hyperbolic model RotH and the Euclidean model HousE, our GoldE achieves the best performance on all 11 relation types. Specifically, GoldE not only obtains significant improvements on hierarchical relations (e.g., hypernym and instance hypernym), but also performs well on symmetric relations.” (Page 8, Section 4.4)

• 主要发现 4：在 32 维超低维极端受限场景下，GoldE 的表征能力远超所有竞品（WN18RR MRR 达 0.482，而 RotH 为 0.472，RotatE 仅 0.387）。
• 原文引用 4：

“We observe that GoldE consistently surpasses the baselines by a clear margin across all datasets, confirming the higher-quality representations learned by our universal orthogonal parameterization.” (Page 8, Section 4.5)

我的判断

• 最有启发的点：彻底理清了“平移（Translation）”与“正交变换（Orthogonal Transformation）”的数学边界。TransE 的 $\mathbf{h} + \mathbf{r} \approx \mathbf{t}$ 本质上是欧氏空间的平移矢量；而 RotatE/HousE/GoldE 证明，将关系视为高维流形上的李群正交变换算子，能够同时严格保内积（保距），并优雅地通过群论运算（乘法不可易性、正负行列式、周期性）无损实现对称、反对称、复合及层次偏序推理。
• 可借鉴的方法：利用广义豪斯霍尔德基元加极分解构造正定保号李群的技巧。在后续设计任何图神经网络或多模态双曲对齐模型时，如果需要施加高维非欧曲率约束，都可以直接复用这套参数化闭式公式，规避数值爆炸。
• 可继续追问的问题：当前方法主要面向封闭集合链接预测；若与前文的动态分类树生长（如 TaxoExpan、SPARROW）结合，能否直接利用 GoldE 的椭圆-双曲混合李群作为节点在连续流形中的挂载匹配能量函数？
• 与我的研究关联：本论文是“树模型知识图谱”专题在“多关系嵌入几何理论”维度上的技术巅峰。它与 2013 年奠基的 TransE（欧氏平移）、2019 年的 HGCN（双曲图卷积）以及 2020 年的 AttH/RotH 构成了知识图谱几何表示演进的主动脉。