DELE：面向知识库补全的演绎式EL++描述逻辑嵌入

基本信息

一句话摘要

针对传统 $\mathcal{EL}^{++}$ 描述逻辑几何嵌入模型仅针对单一存在量化公理采样负例导致模型欠约束、以及随机负采样将大量逻辑蕴含真命题误判为负样本的根本缺陷，本文提出 DELE 框架，构建覆盖所有正规化范式的几何负损失函数体系，并设计基于 ELK 的快速近似演绎闭包算法在训练与评测中彻底过滤逻辑真假，构建出真正保真且兼顾归纳补全能力的神经符号几何模型。

研究对象

• 研究对象：基于轻量级描述逻辑 $\mathcal{EL}^{++}$ 的本体知识库补全（Knowledge Base / Ontology Completion）。输入为经过结构正规化（Normalized）的本体公理集合 $\mathcal{T}$（包含 TBox 概念包含公理、ABox 断言以及 RBox 关系角色包含），将概念映射为 $\mathbb{R}^n$ 中的凸几何体（如 $n$ 维开球或轴对齐超矩形盒），旨在推断知识库中未显式断言的包含关系（Subsumption）与关系三元组。
• 核心问题：现有最先进的几何本体嵌入模型（如 ELEmbeddings、ELBE、Box2EL）在数学与逻辑层面存在两大致命缺陷：
  1. 负采样范式的不对称与欠约束（Negative Loss Asymmetry）：先前的模型普遍仅为 $A \sqsubseteq \exists r. B$（GCI2）这一类公理采样随机负例，对简单的概念包含 $A \sqsubseteq B$（GCI0）、概念交集包含 $A \sqcap B \sqsubseteq E$（GCI1）以及不可满足性公理（BOT 矛盾）完全不做负例采样；这导致优化目标严重失衡，模型往往通过粗暴让所有超球或几何盒在多维空间中互相包裹重叠来最小化正样本损失，使得大量不可证明的伪公理在几何模型中全部“意外成真”，极易发生几何塌陷；
  2. 将逻辑蕴含事实误当作负例的“假负例污染”（Entailment Contamination in Negatives）：经典方法通过随机替换概念来生成负样本；但在具备严密演绎闭包（Deductive Closure）的本体中，随机替换生成的公理极可能是本体逻辑蕴含的真理（例如在 $A \sqcap B \sqsubseteq E$ 且 $F \sqsubseteq B$ 时，随机替换 $E$ 为 $A$ 或 $B$ 得到的 $A \sqcap B \sqsubseteq A$ 属于必然成立的逻辑永真式，假负例率高达 75%）；强迫模型推远真命题会导致表示崩溃；
  3. 评估指标对“演绎推理”与“归纳预测”的混淆：若不利用演绎闭包进行过滤，评测时模型优先预测出的逻辑必然真理会被知识图谱式的纯链路命中指标判定为负例，导致评估严重失真。
• 研究情境/范围：跨越生物信息学生物网络（Gene Ontology 基因本体、STRING 蛋白质相互作用网络 PPI 及蛋白质功能预测）、食品领域概念阶元（Food Ontology）以及大型医学解剖本体（GALEN），全面评估 Hits@n、过滤均值排名（FMR）以及受试者工作特征曲线下面积（AUC ROC）。

研究方法

方法概述

• 方法类型：神经符号计算（Neurosymbolic AI）、描述逻辑自动化推理与几何表征学习。
• 总体思路：
  1. $\mathcal{EL}^{++}$ 规范化公理体系形式化：通过引入辅助中间概念，将任意复杂的 $\mathcal{EL}^{++}$ 知识库等价转化为由七种正规范式（GCI0: $A \sqsubseteq B$、GCI1: $A \sqcap B \sqsubseteq E$、GCI2: $A \sqsubseteq \exists r. B$、GCI3: $\exists r. A \sqsubseteq B$ 及三类带 $\bot$ 的矛盾公理）构成的有限保守扩张理论；
  2. 全正规范式几何负损失架构构建：全面补齐原有方法缺失的负损失项，针对超球模型（ELEmbeddings）、超矩形盒模型（ELBE）和双盒角色模型（Box2EL）分别推导出使两类几何体分离、迫使交集脱离目标盒、以及保障概念非空的铰链（Hinge）负损失函数；
  3. 基于 ELK 的快速近似演绎闭包生成算法（Algorithm 1 & 2）：利用高度优化的经典描述逻辑推理机 ELK 预先计算出传递闭包下的全部概念包含公理；随后根据公理语法结构规则，多项式时间内推导出覆盖所有七种正规范式的近似演绎闭包 $\mathcal{T}^\vdash$；
  4. 训练期演绎过滤机制（Deductive Filtering）：在每次批量采样负例公理时，实时检索预计算的演绎闭包；若候选负例属于本体逻辑蕴含的必然真理，则立即剔除，彻底根治假负例污染；
  5. 演绎分离式公平评估协议：在测试阶段，将测试集中的预测目标与训练集及演绎闭包进行分层对齐，分离出“显式断言重现”、“逻辑蕴含还原”与“纯新颖归纳假说”三个测试维度。
• 为什么用这种方法：将离线符号推理机（ELK）的极速逻辑推导与神经网络在连续空间的泛化能力分工协作；全范式负损失杜绝了几何盒的过度膨胀与塌陷；演绎过滤保护了逻辑公理系统的自洽性，使得几何空间中的点面包含关系成为真正意义上的逻辑模型（Model）。

方法分析

• 分析单位：描述逻辑概念名称 $A, B, E \in \mathcal{C}$、关系角色 $r, s \in \mathcal{R}$ 及其构成的公理形式。
• 关键变量/概念：
  • 规范化公理集 $\mathcal{T}$ 与有限演绎闭包 $\mathcal{T}^\vdash$；
  • 超球中心 $f_\eta(A)$ 与半径 $r_\eta(A)$，超矩形盒中心 $e_c(A)$ 与偏移半宽 $e_o(A)$；
  • 角色平移向量 $f_\eta(r_0)$ 与双盒头尾投影；
  • 全范式正负联合损失 $\mathcal{L}_{total} = \sum (\ell_{GCI} + \ell_{\not\sqsubseteq})$。
• 识别/推断逻辑：将本体逻辑解释（Interpretation $\mathcal{I} = (\Delta^\mathcal{I}, \cdot^\mathcal{I})$）具象化为多维空间中的几何包含关系。当公理损失函数优化至 0 时，向量空间中的几何排布即成为该描述逻辑理论的一个严格合式模型（Model）。全范式负损失强迫无包含关系的概念在几何上产生间隙，演绎闭包过滤则确保这道间隙不会错误地划在具有隐式逻辑链条的概念之间。
• 具体步骤：
  1. 使用 jcel/ELK 对原始 OWL 知识库进行结构正规化与概念展开；
  2. 运行 Algorithm 1 和 Algorithm 2，推导并生成涵盖 GCI0–GCI3 及 BOT 的离线近似演绎闭包哈希表；
  3. 初始化几何嵌入（球或盒）；
  4. 训练批次中，为正样本公理通过概念扰动生成负例，比对演绎哈希表执行过滤剔除；
  5. 计算公式 (1)–(18) 对应的正负损失并联合 Adam 优化器更新几何参数；
  6. 在测试集上计算各候选概念几何评分，过滤已知真理后评估排名。

核心公式与拆解

核心公式/指标 1：超球模型的概念包含全范式负损失（ELEmbeddings Negative Losses）

用于防止两类不具备包含关系的概念在空间中过度重叠：

$$\text{loss}_{A \not\sqsubseteq B}(a, b) = \max\left(0, r_\eta(a) + r_\eta(b) - \|f_\eta(a) - f_\eta(b)\| + \gamma\right) + \left| \|f_\eta(a)\| - 1 \right| + \left| \|f_\eta(b)\| - 1 \right|$$ $$\text{loss}_{A \sqcap B \not\sqsubseteq E}(a, b, e) = \max\left(0, -r_\eta(a) - r_\eta(b) + \|f_\eta(a) - f_\eta(b)\| - \gamma\right) + \max\left(0, r_\eta(a) - \|f_\eta(a) - f_\eta(e)\| + \gamma\right) + \dots$$

• 公式拆解 1：
  • 表示内容：第一式表示当 $A \not\sqsubseteq B$ 时，通过铰链损失迫使球 $A$ 与球 $B$ 的球心距离大于两球半径之和加上裕度 $\gamma$，并引入将球心正则化至单位球面的正则项；第二式表示当 $A \sqcap B \not\sqsubseteq E$ 时，首先要求球 $A$ 与球 $B$ 必须有非空重叠交集，其次迫使目标球 $E$ 的球心远离该交集区域。
  • 关键符号：$f_\eta(\cdot)$ 为球心坐标向量；$r_\eta(\cdot)$ 为球半径；$\gamma$ 为分离间距超参数。
  • 对应方法步骤：ELEmbeddings 模型的负样本约束，彻底修正了先前只约束 GCI2 导致的全局松散与塌陷。

核心公式/指标 2：超矩形盒模型的概念相交与非空负损失（ELBE Negative Losses）

利用盒在轴对齐交集上的代数闭包性质构建负损失：

$$\text{loss}_{A \not\sqsubseteq B}(a, b) = \left\| \max\left(\mathbf{0}, -|e_c(a) - e_c(b)| + e_o(a) + e_o(b) + \text{margin}\right) \right\|$$ $$\text{loss}_{A \sqcap B \not\sqsubseteq \bot}(a, b) = \max\left(0, \varepsilon - \|e_o(\text{new})\|\right)$$

• 公式拆解 2：
  • 表示内容：第一式通过惩罚负距离，强制盒 $A$ 与盒 $B$ 在至少一个坐标轴向上的重叠投影小于 0；第二式针对不矛盾的概念对（$A \sqcap B \not\sqsubseteq \bot$），强制其相交产生的全新几何盒的半宽偏移向量 $e_o(\text{new})$ 的范数不低于正数门限 $\varepsilon$，杜绝概念交集被压缩为空集。
  • 关键符号：$e_c$ 为盒中心向量；$e_o$ 为盒从中心向各维度的延伸偏移向量；$e_o(\text{new})$ 为交集盒的实际偏移。
  • 对应方法步骤：ELBE 模型的正规负向约束步，使多维连续几何空间严谨映射一阶描述逻辑的合取语义。

核心公式/指标 3：演绎闭包推导规则（Deductive Closure Inference Rules, Algorithm 1 & 2）

用于在常数级时间内由原子包含扩展出全范式逻辑蕴含集：

$$\frac{A \sqcap B \sqsubseteq E \quad A' \sqsubseteq A \quad B' \sqsubseteq B \quad E \sqsubseteq E'}{A' \sqcap B' \sqsubseteq E'}$$ $$\frac{A \sqsubseteq \exists r. B \quad A' \sqsubseteq A \quad B \sqsubseteq B' \quad r \sqsubseteq r'}{A' \sqsubseteq \exists r'. B'}$$

• 公式拆解 3：
  • 表示内容：横线上方为已由推理机证明为真的前置公理（其中粗体公理来自 ELK 预先计算的传递闭包，平体公理为原始断言）；横线下方为经结构推理直接生成的后置蕴含公理。
  • 关键符号：$A', B'$ 为子类；$E'$ 为超类；$r'$ 为超关系（Super-role）。
  • 对应方法步骤：离线演绎闭包生成核心算法。通过将逻辑演绎规则限制在有限正规范式内部，将无限逻辑闭包转化为在有限签名上的极速查找表，避免了在神经网络训练循环中反复调用外部推理机的巨大瓶颈。

核心公式/指标 4：全目标联合损失函数（Overall DELE Objective）

联合所有正样本公理与全范式负样本损失的端到端优化目标：

$$\mathcal{L} = \sum_{\tau \in \text{GCIs}} \ell_\tau(\mathcal{T}) + \sum_{\tau \in \text{GCIs}} \ell_{\not\tau}(\mathcal{T}_{neg})$$

• 公式拆解 4：

  • 表示内容：总损失函数严谨涵盖全部七种正规范式的正公理损失 $\ell_\tau$ 与经过演绎闭包纯化后的负公理损失 $\ell_{\not\tau}$。
  • 关键符号：$\text{GCIs} = \{GCI0, GCI1, GCI2, GCI3, GCI0\text{-}BOT, GCI1\text{-}BOT, GCI3\text{-}BOT\}$；$\mathcal{T}_{neg}$ 为通过负采样并经 $\mathcal{T}^\vdash$ 过滤后的真负样本集合。
  • 对应方法步骤：模型反向传播更新的总体目标，达成了数理语义上的完全约束平衡。

• 方法优势：

  1. 真正实现神经符号无缝融合：利用确定性推理机过滤假负例，彻底消除了统计学习对严格逻辑的盲目破坏；
  2. 消除几何塌陷：全范式负损失为所有类型的逻辑关系建立了排斥场，构建的模型在数学上更接近严谨的合式模型（Sound Model）；
  3. 评测更公允：首创剥离演绎必然真理后的归纳补全评估机制，避免了传统 KGC 评估指标对本体结构的误伤。

• 方法局限：

  1. 仅适用于正规化后的 $\mathcal{EL}^{++}$ 描述逻辑，对于包含全称量词（$\forall$）、补集否定（$\neg$）或逆关系的更复杂描述逻辑（如 $\mathcal{ALC}$ 或 $\mathcal{SROIQ}$），几何闭包与演绎规则将变得极度复杂；
  2. Algorithm 1 和 2 虽为多项式时间，但在包含数十万概念的超巨型生物医学本体（如完整版 SNOMED CT）上，正规化后的公理展开量依然会消耗数 GB 的哈希表内存。

数据来源

• 数据类型：标准化描述逻辑本体（OWL 2 EL 文档）、生物分子相互作用网络与食品知识图谱。
• 样本来源：
  1. Gene Ontology (GO) & STRING (PPI/Function)：包含生物学术语体系、酵母菌蛋白质相互作用网络（90:5:5 划分）与蛋白质功能注释，公理形式主要为 GCI2（存在量化）；
  2. Food Ontology：包含食品成分、分类与营养关系的深层复杂本体，包含大量 GCI0、GCI1 概念包含公理；
  3. GALEN Ontology：经典的临床医学与解剖学复杂本体，包含密集的层级结构与概念包含网络。
• 时间范围：经典生物医学与本体工程基准，遵循 2026 年最新神经符号评估协议。
• 样本量/案例数：Food Ontology 训练集包含数万条正规公理；PPI 覆盖酵母全基因组蛋白对；GALEN 包含上万个医学专业概念；所有测试集均使用 jcel 严格剥离数据泄露并应用演绎闭包二次纯化。
• 数据局限：GALEN 本体中缺乏显式的类不相交（Disjointness）公理，导致部分模型在负损失极度严格时对非相交概念的几何分离边界缺乏强先验。

研究结论

• 主要发现 1：在仅具备单侧负损失的经典几何模型中，存在大量因欠约束导致的虚假预测；引入全范式负损失后，ELBE 与 Box2EL 在 Food Ontology 和 GALEN 本体上的概念包含预测指标（Hits@n）取得全面提升（例如在 GALEN 上三大模型在全负损失下的 Hits@10 均显著跑赢原始配置），有效防止了几何盒在多维空间中的无序塌陷与重叠。
• 原文引用 1：

“As for the results on GALEN ontology, we find that in case of all three models Hits@n metrics are improved when all negative losses are applied… indicating that in this particular case negative losses encourage models to predict more new axioms. Mean rank results are similarly better for ELEmbeddings and Box2EL models… Generally, for the task of PPI prediction, additional negative sampling improves performance.” (Page 13)

• 主要发现 2：实证揭示了随机负采样中令人震惊的“真命题假负例”现象；在简单本体示例中，无过滤的随机负例有高达 75% 的概率直接选中逻辑必然成立的真公理；在 Food Ontology 上人为控制负例中掺杂蕴含公理比例的消融实验（Figure 3）清晰表明：负例中蕴含公理的占比越高，模型的 Hits@n 与 AUC 越呈现灾难性暴跌，而经过 DELE 演绎过滤后模型精度迅速恢复至巅峰。
• 原文引用 2：

“Since the knowledge base makes the axioms $A \sqcap B \sqsubseteq A$, $A \sqcap B \sqsubseteq B$, and $A \sqcap B \sqsubseteq E$ true, in 75% of cases we will sample a negative for this axiom that is actually true in each model… We find that reducing the number of entailed axioms from the negatives has an effect to improve performance and the effect increases the more axioms would be chosen from the entailed ones (see Figure 3).” (Page 8–9, Page 14)

• 主要发现 3：二维可视化实验（Figure 1 & Figure 2）直观证明：全范式负损失成功迫使不相交的蛋白质功能几何体在空间中清晰分离（而在原始模型中完全重叠）；演绎过滤机制则成功保留了具有传递依赖的蛋白质与功能包含几何体（Figure 2b），完美解决了无过滤模型（Figure 2a）错误推远真实从属关系的几何畸变。
• 原文引用 3：

“Figure 1 shows the embedding generated with the original ELEmbeddings model. Since there are no axioms of type GCI2 represented within the knowledge base, the model learns without any negative examples and demonstrates poor performance compared to the model with incorporated negative losses for all normal forms… Figure 2 shows the constructed models with and without negatives filtering. We observe that the model with filtered negatives provides faithful representation of GCI3 axiom… as opposed to its counterpart with random negatives.” (Page 12–14)

• 主要发现 4：区分“逻辑蕴含还原”与“纯新颖归纳补全”展现了不同模型的内在偏好；引入全负损失与过滤后的模型表现出优先将演绎闭包内的必然真理排在最前列、随后再给出高置信度新颖假说的良性行为，证实了其作为“合式几何模型”在数理逻辑与归纳学习上的双重有效性。
• 原文引用 4：

“Losses for all normal forms and negatives filtering during training aid ELBE and Box2EL to construct model-generated embeddings which first predict logically inferred knowledge and then non-entailed axioms of type GCI2 or GCI0… The results indicate that models with all types of valid negatives in most cases explicitly construct models.” (Page 15)

我的判断

• 最有启发的点：
  1. 神经符号结合绝不是简单把图谱拼进 Prompt：本文展示了真正的深度神经符号结合范式——用离散推理机守护逻辑闭包的“真理底线”，用连续空间几何流形承载“相似度泛化”，二者在损失函数与负采样管道中严丝合缝地互相咬合；
  2. 警惕“假负例暗箭”：在知识图谱表征学习中，绝大多数研究者习惯于随意随机替换实体来造负样本；本文狠狠敲响了警钟——越是具备丰富拓扑与本体层级的知识库，随机负样本里潜伏的“被隐式证明为真的命题”就越多，如果不做闭包过滤，模型一直在被有毒的梯度信号自相残杀。
• 可借鉴的方法：
  • 基于快速逻辑推理机（如 ELK）的训练负采样过滤器：在任何涉及知识图谱补全、概念插入或层次关系预测的任务中，训练前先跑一遍传递闭包/等价类推理并存为轻量 Bloom Filter，阻断一切与先验逻辑冲突的伪负例。
• 可继续追问的问题：
  • 本文主要探讨了球与盒；若将概念嵌入至双曲空间（Poincaré 球或双曲锥）或超复数四元数空间中，其对应的负损失正规范式应如何构建？
• 与我的研究关联：
  • 本文为“树模型知识图谱”在处理形式化描述逻辑公理、概念包含（Subsumption）验证以及杜绝负采样逻辑污染方面提供了极其纯正严密的理论标杆。