继续创作，加速生长！这是我参加「日新计划 10 月更文应战」的第18天，点击检查活动概况
简介
Hello！
十分感谢您阅览海轰的文章，倘若文中有过错的当地，欢迎您指出～
ଘ(੭ᵕ)੭
昵称：海轰
标签：程序猿｜C++选手｜学生
简介：因C语言结识编程，随后转入核算机专业，获得过国家奖学金，有幸在比赛中拿过一些国奖、省奖…已保研
学习经历：扎实根底 + 多做笔记 + 多敲代码 + 多考虑 + 学好英语！
唯有努力
【每日一读】每天浅读一篇论文，了解专业前沿常识，培养阅览习气（阅览记载 仅供参考）
论文简介
原文链接：www.sciencedirect.com/science/art…
期刊：Neurocomputing （CCF-C类）
年度：2022年4月6日（宣布日期）
Abstract
常识图（KGs）嵌入近年来得到了广泛的研讨。可是，对无处不在的超联系 KG 的了解较少。大多数现有的超联系 KG 嵌入办法将 n 元现实分化为更小的元组，然后损坏了 n 元现实的结构。此外，这些模型总是遭到低表达性和高杂乱性的困扰。
在这项作业中，为了处理不行分化性问题，咱们将 n 元现实标明为超边，坚持现实的完整性并坚持首要三元组所起的重要作用。
为了处理表达性和杂乱性问题，咱们提出了 HYPER2，咱们将双曲线 Poincar 嵌入从二进制数据推行到恣意数量数据，而且咱们规划了一个信息聚合模块来捕获三元组表里实体之间的交互。
很多试验标明 HYPER2 优于其平移和深度类似物，在相对较少的维度上大幅提高了 MRR 和其他指标。此外，咱们研讨了文字的副作用，并在理论上和试验上将 HYPER2 的核算杂乱度与几个功能最佳的基线进行了比较。 HYPER 2 比同类产品快得多。
1. Introduction
大规模常识图谱的出现，如 Freebase [1]、Wikidata [2] 和谷歌的常识图谱 [3] 为从引荐系统 [4]、语义搜索 [5] 到问答 [ 6]和自然语言了解[7]。 KG 一般标明为（头实体、联系、尾实体）办法的一组三元组，其间一个联系链接一个实体对。虽然包括丰厚的信息，KGs 依然面临着不完整的问题。据咱们所知，Freebase 中 71% 的人没有出生地特点 [8]。链接猜测使命，旨在根据现有链接猜测图中实体之间的新链接，处理了这个问题 [9]。现已规划了多种具有代表性的链接猜测技术 [10-12] 来处理根据三元组的 KG。而在过去的十年里，咱们见证了这一领域的可喜发展。可是，当很多精力投入到二元现实（即三元组）时，咱们很少重视触及两个以上实体的普遍存在的 n 元现实。例如，award_nomination 联系一般触及一个奖赏机构、一个接收者、一个奖项和一个作品。几个扮演者也能够一起出现在一场扮演中。现实上，在 Freebase 中，超过 1/3 的实体参加 n 元现实 [13]。这些具有更多常识的更高数量的现实更挨近自然语言。超联系 KG 中的链接猜测为许多下流 NLP 应用程序提供了极好的潜力 [14]。
为了处理更具应战性的 n 元现实而不将它们分化为三元组，m-TransH [13] 首次提出了根据 TransH 的平移间隔模型。 RAE [15] 进一步将多层感知器带入 m-TransH，增量作业带来不断进步。但受限于翻译性质，表现力较弱，还有很大的改善空间。
深度模型最近在 n 元链接猜测中越来越受欢迎，就像它们在许多其他使命中盛行一样。 NaLP [16] 优于 m-TransH 和 RAE，但如图 1(c) 所示，它将一个 n 元现实分化为几个键值对，而且需求为单个现实屡次核算相关性。 HINGE [17] 的作者主张主三元组保存 n 元现实的首要结构和语义信息。试验标明，Hinge 大大优于 NaLP，验证了初级三元组的重要性。但如图 1(b) 所示，HINGE 将 n 元现实视为首要二元现实和一组 3 元元组的组合。最近的作业 [18] 证明晰一些 n 元现实是不行分化的。以病历联系为例，医师会记载患者吃药后的反响。在临床实践中，患者的反响与他服用的药物密切相关，将反响与药物分开是不合理的。虽然这些深度模型带来了明显的功能改善，但这些深度模型中的 n 元现实被分化为小元组。此外，深度模型总是维持相对较高的核算杂乱度。
HSimplE [19] 和 HyPE [19] 是卷积模型，但它们只能处理 2 元到 6 元数据。根据张量分化的模型 GETD [20] 也仅适用于单元数据。此外，这三个模型没有清晰区别三元组表里的实体，疏忽了主三元组的重要性。在这项作业中，咱们将一个 n 元现实标明为一个全体超边，如图 1（a）所示，坚持现实的完整性并坚持首要三元组在 n 元现实中所起的重要作用。
最近，二进制链接猜测使命的发展标明**，双曲线庞加莱模型显示出优于其对应物的优越性和较低的杂乱性[21]。咱们进一步了解到，庞加莱球拿手用层次结构标明常识，以完成双曲空间边界上间隔的指数增长。如图2所示，庞加莱球包括丰厚的几许结构，在标明杂乱的图结构数据方面具有很强的表现力。相同值得注意的是，双曲庞加莱嵌入办法在处理杂乱性问题方面具有优势，因为与现有的深度模型比较，它触及的矩阵加法和乘法运算要少得多**。据咱们所知，它尚未在超联系 KG 中进行过研讨。
考虑到表现力和低杂乱度，咱们以为双曲庞加莱嵌入办法关于高效和有用的模型都是有希望的。在这项作业中，咱们提出了一个广义的双曲庞加莱嵌入结构，该结构适用于恣意数量的现实，称为 HYPER 2。在 HYPER2 中，一切实体首要在双曲空间上随机初始化，然后经过双曲空间和切线空间之间的向量投影以及切线空间上的信息聚合，HYPER2 捕获主三元组和隶属实体之间的交互。
HYPER2在两个具有代表性的超联系数据集上取得了优异的成绩，在WikiPeople上的HITS@1、HITS@10、MRR别离提高了34.5%、21.9%、29.1%，在JF17K上别离提高了23.1%、14.4%、18.9%，验证了有用性和优越性咱们的模型。此外，HYPER2 的核算杂乱度较低，与其类似物比较要快 49-61 倍。此外，咱们的试验验证了文字（数值、日期时刻实例或其他字符串）阻碍了嵌入学习。咱们的贡献能够总结如下：
- HYPER2 选用超联系来规避将 nary fact 分化为更小的元组，一起考虑到首要三元组在 n-ary fact 中的重要作用以及一些 n-ary fact 的不行分化性。
- 据咱们所知，咱们提出的 HYPER 2 是第一个运用双曲线 Poincar 球进行超联系 KG 的模型，HYPER2 将双曲线 Poincar 办法从二元到恣意数量现实推行，说明晰高度的灵活性
- 对两个具有代表性的超联系 KG 进行的很多试验标明，咱们在 HYPER2 中的信息聚合模块能够有用地捕获初级三元组表里的交互。 HYPER2完成了优于同类产品的功能，功能提升起伏惊人，显示出绝对优势。
- 咱们验证了 Wikipeople 数据会集文字带来的副作用。咱们在理论上和试验上将 HYPER 2 的参数巨细和核算杂乱度与之前几个表现最佳的基线进行了比较。试验标明，咱们的模型大大压倒了它的同行，表现出低杂乱性。
2. Related Work
2.1. Graph Embedding Approaches in non-Euclidean Geometry
在非欧几里得空间中嵌入图形数据的作业越来越多。 Nickel 和 Kiela 在 [22] 的 Poincar 球上的词汇数据库 WordNet 中将双曲线嵌入引进到链接猜测中，他们标明低维双曲线嵌入在泛化才能方面能够明显优于其高维欧几里得对应物和代表才能。随后，同一团队将分层数据嵌入到双曲几许的洛伦兹模型中 [23]。将双曲几许与深度学习相结合，提出了双曲神经网络 [24]、双曲注意力网络 [25] 和双曲图卷积网络 [26]。最近，人们注意到在数据中能够找到像圆形结构这样的非均匀层次结构 [27]，因而图形开始嵌入到具有不同曲率（球形、双曲线和欧几里得）分量的乘积流形上。继 Poincar GloVe [28] 之后，另一种根据多联系 Poincar 的办法 Murp [21]，选用双线性评分函数和对头尾实体的误差，在建模层次结构中显示出强壮的表达才能。在[29]中，双曲庞加莱嵌入与RotatE [30]相结合。据咱们所知，在双曲线庞加莱球上嵌入超联系 KG 尚待探究。
2.2. Binary Link Prediction
按评分函数分组，二元联系常识图谱中的链接猜测模型大致能够分为三类：平移间隔模型、神经网络模型和语义匹配模型。
平移间隔模型在联系履行平移操作后核算实体间隔。 TransE [11] 是最早的平移间隔模型，但它无法标明 1N,N-1,N-N 联系。自 TransE 以来，现已提出了各种变体，例如 TransH [31]、TransR [32]、TransMS [33] 来战胜这个问题。
跟着深度学习的昌盛，各种深度模型应运而生。 ConvKB [34]、ConvE [12] 运用卷积网络。 RSN [35]经过残差学习来学习运用常识图中的长期联系依赖。 R-GCN [36] 和 GAE [37] 将图卷积网络应用于 KG 模型。凭借各种神经网络结构，这些模型取得了优异的结果[38]。
RESCAL [10]、DistMult [39]、ComplEx [40] 和 TuckER [41] 等语义匹配模型是双线性结构。 RotatE [30] 将联系视为从头部实体到尾部实体的旋转。 QuatE [42] 将嵌入从杂乱空间扩展到超杂乱空间。 HAKE [43] 将实体映射到极坐标系以对语义层次结构建模。 Murp [21] 将实体映射到双曲空间中的庞加莱球以捕获语义层次结构。与根据神经网络的模型比较，双线性模型取得了具有竞争力的结果，但更易于解说。
2.3. Hyper-Relational Link Prediction
在更具应战性的超联系常识图谱中猜测新链接的办法大致能够分为平移间隔和根据神经网络的模型。
在平移间隔模型方面，m-TransH [13] 是第一个处理超联系 KG 的作业。 m-TransH 直接将 TransH 从二元现实扩展到 n 元现实，作为 n 元链接猜测的开创性作业，在 JF17K 数据集上的试验标明 m-TranH 超过了 TransH 一个令人愉快的起伏。 RAE [15] 进一步将多层感知器引进 m-TransH。这两个模型的翻译性质使它们无法充分表达更杂乱的 n 元联系 [44]。
NaLP、HSimplE [19]、HypE [19]、NaLP-fix [17]、HINGE 等都是深度模型。 NaLP 在 JF17K 和 WiKipeople 上的表现都优于 m-TransH 和 RAE。可是，在 NaLP 中，一个 n 元现实被撕成 n 个键值对。类似于三元分化，这种成对分化也可能极大地损坏 n 元现实的结构。 HINGE 将 n 元现实视为首要的三元组和 2 个五元组，运用卷积神经网络捕获三元组特征和五元组特征。 Hinge 的作者还提出了 NaLP 的一种变体，即 NaLP-fix，其间模型结构坚持不变，但给出了新的负采样策略。 HSimplE 和 HypE 为具有不同数量的现实规划了一组卷积核，具有灵活性。 GETD [20] 将 Tucker 扩展到 n 元情况，即 n-Tucker，并将张量环分化进一步集成到 n-Tucker 中。 GETD 不灵活，仅适用于 3 进制和 4 进制数据。此外，三元组表里的实体没有清晰区别。 STARE [45] 选用图神经网络编码器和变压器解码器，STARE 的作者提出了 WD50K 数据集。可是该模型十分耗时。 GRAN [46] 目前是最先进的模型，它运用异构网络对 n 元现实进行建模。
咱们的 HYPER 2 考虑了首要三元组的重要作用和 n 元现实的完整性。此外，运用庞加莱球的优势，HYPER2 需求的参数更少。
3. Preliminary
3.1. Basic Concepts
超联系常识图包括二元现实和 n 元现实，咱们将首要三元组表里的实体别离作为首要实体和隶属实体。超联系常识图谱中的链接猜测使命包括头/尾实体猜测、联系猜测和隶属实体猜测。咱们将在下面给出它们的界说。
界说 1（超联系常识图谱）。给定一个具有一组联系 R 和一组实体 E 的超联系 KG G，超联系 KG 中的一个现实包括一个联系和恣意数量的实体。办法上，一个现实能够写成一个 tupleF ：r; e1; e2; . . . EI； . . . ; en, 其间 r 2 R; ei 2 E.n代表参加元组F的实体数量。如果n 1/4 2； F是二元现实。如果 n > 2; F 是一个 n 元现实，r 是一个超联系，它不同于超图中包括标签和方向信息的边。咱们取r; e1; e2 作为首要三元组。初级三元组内的实体，即 e1； e2 ，被视为首要实体，逾越首要三元组的实体，即 {eiji 2 2; n; i 2 Z} 标明为隶属实体。
以詹姆斯霍纳凭借在《英勇的心》中的出色表现获得第 68 届奥斯卡金像奖最佳原创戏曲伴奏提名这句话为例。语句中隐含的现实能够写成(be_nomination_for, James Horner, the 68th Academy Awards for Best Original Dramatic Score, BraveHeart) 其间James Horner 是头部实体，第68 届奥斯卡最佳原创剧情得分是尾部实体，这两个实体都是首要实体。而BraveHeart是隶属实体，被提名为超联系。
界说 2（超联系链接猜测使命）。假定 G 是一个不完整的超联系常识图谱，超联系链接猜测使命旨在根据 G 中的已知现实揣度缺失的现实。在实践中，问题被简化为猜测部分现实的缺失实体或联系。在这项作业中，猜测部分现实r的首要实体； ?; e2; . . . ; e 我; . . . ; en 或 r; e1; ?; . . . ; EI； . . . ; en标明为头/尾实体猜测，揣度r的缺失实体； e1; e2; . . . ; ?; . . . ; en 被称为隶属实体猜测。一起猜测缺失联系?; e1; e2; . . . ; EI； . . . ; en 被命名为联系猜测。
3.2. Hyperbolic geometry of the Poincare ball
d 维庞加莱球 Pd K ;半径为 1ffiffiffiKp K > 0 的 gP 是一个实在的润滑流形 Pd K 1/4 x 2 Rd : K xk k2 < 1n o; gP 是符合欧几里得衡量 gE 的黎曼衡量，即 gE 1/4 Id。咱们有 gP 1/4 kKx 2gE，其间 kKx 1/4 2=1 xk k2 是保形系数。关于每个点 x 2 Pd K ，衡量张量 gP 界说了一个正定内积 TxPd K TxPd K ！ R; TxPd K 是在 x 处与 Pd K 相切的 d 维欧几里得空间。要将点 x 2 Pd K 投影到其对应的切线空间 TxPd K 上，存在一个对数映射 logKx ： Pd K ！ TxPd K。逆是指数映射 expKx : TxPd K ！钯钾。关于庞加莱球，它们是：
其间 v 2 TxPd K 是在 x 处与 Pd K 相切的向量； k k 标明欧几里得范数，K 标明莫比乌斯加法 [47]：
h 代表欧几里得内积。看公式，指数（对数）映射首要触及非线性双曲正切（inverse hyperbolic tangent）运算、除法、范数和莫比乌斯加法。与卷积层和全衔接网络所触及的很多核算比较，这些看似杂乱的公式实际上需求更少的时刻来核算。咱们将在第 5 节中从理论上和试验上分析几个深度模型的核算杂乱度。矩阵向量乘法也有一个莫比乌斯对应物 [24]：
在 (4) 中，点 x 2 Pd K 首要用对数映射投影到欧几里得切空间 0 2 Pd K 处，然后乘以矩阵 M 2 Rd d，最后投影回双曲空间 Pd K指数地图。咱们模型中的矩阵 M 是对角的，进一步降低了核算杂乱度。两点之间的间隔x； y 2 Pd K 由测地线长度给出。
测地线界说了位于给定外表中的两点之间的最短路径。在欧几里得空间中，测地线是衔接两个端点的线段，而关于庞加莱球，测地线如图 3 所示，测地线的长度由下式给出：
核算测地线的长度也不繁琐。跟着庞加莱球的双曲几许的引进，咱们还证明晰庞加莱球在核算杂乱性方面优于其对应物。在接下来的部分中，咱们将介绍有关咱们办法的更多细节。
4. Hyperbolic Poincare Embedding for Hyper-Relational Link Prediction
大多数图结构数据都具有固有的几许结构，超联系常识图谱也不例外。在这些几许结构中，树状的层次结构是通用的。双曲庞加莱嵌入办法，据咱们所知，它拿手于标明层次结构，而且尚未在超联系 KG 中进行研讨，有望成为一种有用且高效的多元链接猜测模型。咱们建议 HYPER2 在双曲线庞加莱球上的超联系 KG 中嵌入恣意 ariry 现实。
4.1. Affiliated Information Specific Entity Representation
Fact 在 JF17K 中是 r 的办法； e1; e2; . . . ; en，而 WikiPeople 和 WD50K 中的 fact 组织为 eh； r;等； r1;一个； . . . r 我;我; . . ..由于 HYPER2 将 n 元现实中的联系视为超联系，因而咱们只保存超联系 r。三个数据会集的现实都标明为r；嗯；等；一个； . . . ;艾; . . . a2。 HYPER2的结构如图4所示。
主三元组在 n 元现实中起着至关重要的作用，并保存了现实的首要信息。考虑到初级三元组的重要性，嗯； et 被视为首要实体，ai；我 2 2; n 2 被视为相关实体。虽然首要三元组的重要性，隶属实体中的丰厚信息是不行疏忽的。隶属实体能够使首要三元组更具体。捕获首要三元组和隶属实体之间的交互是很重要的。考虑到这一点，咱们规划了一个信息聚合器来制作隶属信息特定实体标明。
具体地说，在咱们的模型中，超联系和 n 元现实 F 中的一切实体：r;嗯；等；一个； ; a n 2 首要被初始化为 d 维向量 r；嗯；等；一个； , 一个庞加莱球 Pd K 上的 2 ，然后一切实体都投影到具有对数映射的切线欧几里得空间。为了对首要三元组和隶属实体之间的动态交互引进的有用信息进行建模，咱们将每个隶属实体 ai 的潜在向量按元素别离增加到头实体和尾实体：
随后，咱们将嵌入与相关信息衔接起来，并履行逐元素最小化操作：
咱们运用最小化操作，假定用较少相关信息判别是非的结构是一个更好的模型。咱们的目标是 1）判别一个有用的 n 元现实是实在的，只有很少的隶属信息存在。 2）在没有很多隶属信息的情况下，将无效现实判别为虚伪。以类似的办法，之前的作业 NaLP 和 HINGE 现已成功地兼并了源自神经网络的相关向量。最后，相关信息特定实体标明，即切线 h；正切 t ，用指数映射投影回双曲空间：
当 n = 2 时，即没有隶属实体参加现实，咱们的模型能够推行到二进制 Poincar 嵌入模型 Murp。在 HYPER2 中，一切实体都在双曲空间上初始化，然后投影到切线空间，在此咱们经过元素最小化和加法运算符捕获交互并聚合首要实体和隶属实体的信息。然后将那些具有聚合信息的实体投影回双曲空间。接下来，咱们将给出评价一个现实的评分函数。
4.2. Scoring Function
双线性模型的评分函数包括头部实体嵌入、联系矩阵和目标实体嵌入之间的双线性乘积。双线性模型的有用性已在 [10]41 中得到验证。可是，在双曲空间中不存在欧几里得内积的清晰替代。在 Poincar Glove [28] 的根底上，咱们用间隔函数对内积进行建模，即 hx； yi 1/4 1 2 dx; y2 xk k2 yk k2，咱们用 bh 和 bt 替代平方范数。此外，遭到 [21] 的启示，它别离对头部实体和尾部实体应用联系特定的转换，即经过对角谓词矩阵 R h 2 Rd d 到头部实体的拉伸和经过 d 维向量偏移 r 到尾部的平移实体，对现实 F 进行评分的基本评分函数能够如下给出：
在咱们的 HYPER2 中，相关实体的信息现已聚合到首要实体中，因而评分函数既能够反映首要三元组的合理性，也能够反映整个现实的合理性。取 (12) 的双曲线类比，咱们能够将 HYPER2 的评分函数界说为：
咱们用它们的莫比乌斯等价物替换欧几里得加法和矩阵向量乘法。咱们用它们的隶属信息特定办法替换了头部和尾部实体标明。 HYPER2 适用于恣意数量的现实，具有高杂乱性。在没有隶属实体的情况下，HYPER2 能够推行到 Murp [21]，保存对三元组建模的才能。
4.3. Training and Optimization
作为一种常用的数据增强办法[21,48]，咱们还引进了倒数联系r 1；等；嗯；一个； ;每个现实 F 的 2 : r; e h;等；一个； ;数据会集的 n 2。咱们经过随机损坏实体域或联系域为练习会集的每个真完成实生成 nneg 个负样本。具体来说，咱们损坏了与联系集 R 中另一个随机挑选的联系的联系。而关于实体，咱们损坏了头部实体r； e0h;等；一个； ;一个 2，尾部实体 r；嗯； e0t ;一个； ;一个 n 2 或隶属实体 r 之一；嗯；等； ; a0i; ;一个 n 2 从整个实体集 E 中随机挑选一个实体。练习模型以最小化二元交叉熵损失：
其间 N 代表练习样本的数量，ym 是指示现实是否为正的二进制标签，pm 1/4 r/F 标明猜测概率，r 是 sigmoid 函数。咱们运用黎曼随机梯度下降 (RSGD) [49] 优化模型。 RSGD 和 SGD 之间存在两个首要区别。一个是梯度的核算，黎曼梯度rRL是欧几里得梯度rEL乘以庞加莱衡量张量的倒数即rRL 1/4 1kKx 2 rEL，另一个区别在于更新进程，欧几里得更新进程为：
HYPER2 的练习进程在算法 1 中给出。
5. Experiments
6. Conclusion
常识图谱一般以三元组结构存储。因而，现有的常识图嵌入结构一般经过三元组学习实体和联系嵌入。现有模型企图防止将 n 元现实分化为三元组，但仍引进五元组分化。在这项作业中，咱们完全防止了 n 元现实的分化，坚持了现实的完整性并坚持了主三元组。咱们提出了 HYPER2，这是一种用于超联系链接猜测的有用且高效的双曲庞加莱嵌入办法，它首要将实体和联系映射到双曲庞加莱球上，然后在切线空间上聚合来自首要三元组和隶属实体的信息。在两个基准数据集（JF17K、WikiPeople 和 WD50K）上进行的很多试验证明晰 HYPER2 相关于其类似物的优越性，大大优于其平移和深度结构。此外，咱们进一步从理论上和试验上证明晰 HYPER2 在参数巨细和核算杂乱度方面具有优势。此外，咱们发现 WikiPeople 中的文字可能会阻碍学习合适的嵌入。至于未来的作业，咱们计划经过考虑实体类型和多模态数据，对超联系 KG 嵌入进行更深化的研讨。
结语
文章仅作为个人学习笔记记载，记载从0到1的一个进程
希望对您有一点点协助，如有过错欢迎小伙伴纠正
