前言

Hello！

非常感谢您阅览海轰的文章，假使文中有错误的地方，欢迎您指出～

毛遂自荐 ଘ(੭ᵕ)੭

昵称：海轰

标签：程序猿｜C++选手｜学生

简介：因C语言结识编程，随后转入核算机专业，获得过国家奖学金，有幸在竞赛中拿过一些国奖、省奖…已保研。

学习经历：厚实根底 + 多做笔记 + 多敲代码 + 多考虑 + 学好英语！

唯有尽力

知其然 知其所以然！

本文仅记载自己感兴趣的内容

Abstract

近年梯度来，网络嵌入引起了越来越多的重视

它是为了学习网络中节点的低维标明，有利于复杂度怎么计算的后续的使命，如节点分类和链路猜测

大多数现有笔记本电脑开不了机的办法只根据拓扑结构来学习节点标明

可是在许多实际运用程序中，节点常常与丰厚的特点相关联

因而，学习根据拓扑结构和节点特点的节点标明是非常重要和必要的

本文

• 提出了一种新的深度特点网络嵌入办法，该办法既能捕获高非线性，又能坚持拓扑结构和节点特点的各种附近性
• 提出了一种新的战略，确保学习到的节点标明能够从拓扑结构和节点特点中编码出共同和互补的信息

1 Introduction

网络在现实世界中无处不在，如交际网络、学术引文网络和交流网络

在各种网络中，特点环形复杂度网络近年来备受重视

与一般网络只有拓扑结构不同，梯度稀释特点笔记本显卡天梯图网络空间复杂度的节点具有丰梯度稀释的目的厚的特点信息

这些信息特点有助于网络分析

1. 例如，在一个学术引文网络中，不同文章之间的引文组成了一个网络，每个节点都是一篇文章 在这个网络中，每个节点都有关于文章主题的很多文本信息。

2. 另一个比如是交际网络，用户与别人联系，并将他们的个人资料作为特点

此外，社会科学标明节点的特点能够反映和影响其社区结构

因而，对带特点网络进行研笔记本电脑开不了机究是十分必要和重要的。

---

网络嵌入作为一种分析网络的根本东西，近年来引起了数据挖掘和机器学笔记本电脑开不了机习界的广泛重视。

它是为了学习网络中每笔记本显卡天梯图个节点的低维标明，一起坚持其附近性。

然后，下游的使命，如节点分类、链路猜测和网络可视化，能够受益于学习的低维标明

近年来，各种网络嵌入办法被提出，例如DeepWalk

可是，现有的办法大多集中在一般网络上，疏忽了节点的有用特点

例如，在复杂度怎么计算的Facebook或Twitter这样的交际网络中，每个用户都与别人衔接，构成一个网络。

在机器学习学习节点标明时，现有的办法大多只重视衔接。可是每个节点的特复杂度点也能够提供有用的信息

用户个人资料就是一个很好的比如

一个年轻用户可能与另笔记本电脑性价比排行2020一个年轻人更类似，而不是一个老用户。

因而，在学习节点标明时，合并节点特点是很重要的

---

此外，网络的拓扑结构和特点是高度非线性的

因而，获取高度非线性的特点以发现底层形式是环路复杂度很重要的。这样，学神经网络英文习到的节点标明能够更好地坚持挨近性

可是，现有的大多数办法，如[Huang et al.， 2017a;Yang等人，2015]只选用了浅层模型，未能捕捉到高度非线性的特性梯度下降

此外，由于复杂的拓扑结构和特点，怎么捕捉这种高度非线性的特性是困难的

因而，关于特点网络嵌入来说，怎么获取高度非线神经网络算法性的特性是一个应战

---

为了处理上述问题，咱们提出了一种根据特点网络的深度特点网络嵌入(DANE)办法

具体地梯度稀释：软件复杂度

• 提出了一个深度模型来捕获底层的拓扑结构和特点的高非线性。一起，该模型能够强化学习到的节点标明，坚持原始网络的梯度稀释第一阶和高阶附近性
• 此外，为了从网络的神经网络对信息的存储依赖什么拓扑梯度公式结构和特点中学习共同和互补的标明，咱们提出了一种新的战略，将这两种信息结合起环路复杂度来
• 此外，为了获得鲁棒的节点标明，提出了一种有用的最负笔记本电脑性价比排行2020采样战略，使丢失函数圈复杂度具有鲁棒性

2 Related Works

2.1 Plain Network Embedding

网络嵌入能够追溯到图嵌入问题。代表性的办法有

• Laplacian eigenmap
• Locality Preserving Projection (LPP)

这些办法是在学习嵌入数据的一起坚持部分流形结构，在传统的机器学习运用中得到了广泛的运笔记本电脑开不了机用。

可是，这些办法都不适神经网络算法用于大规模的网络嵌入，由于它们都涉及耗时较长的特征分化操作，其时刻复杂度为O(n3)O(n^3)O(n3)，其间$n$为节点数

---

近年来，随着大规模网络的开展，各式各样的网络嵌入办法被提出

例如：神经网络

• DeepWalk经过调查随机散步中的节点分布与自然语言中笔记的单词分布类似，选用随机散步和Skip-Gram来学习节点标明
• LINE提出在学习节点标明时坚持一阶和二阶附近性
• GraRep被提出以坚持更高阶的挨近性
• Node2Vec神经网络对信息的存储依赖什么经过在柔性节点的邻域上规划有算法复杂度偏随梯度是什么意思机游走提出

可是，所有梯度这些办法都只利用了拓扑结构，疏忽了有用的节点特点

2.2 Attributed Network Embedd梯度洗脱ing

关于有特点的网络，现已提出了各式时间复杂度各样的模型

例如

• [Yang et al.， 2015]提出了一种归纳矩阵分化办法，将网络的拓扑结构和特点结合起来。可是，它本质上是一个线性模型，这关于复杂的特点网络是不够的
• [Huang等人，2017a;2017b]选用图拉普拉斯技术从拓扑结构和特点学习关节嵌入。
• [Kipf和Welling, 2016a]提出了一种用于特点网络的图卷积神经网络模型神经网络对信息的存储依赖什么。但该模型是半监督的办法，无法处理无监督的情况。笔记本电脑什么牌子好
• [Pan等人，2016]提出将DeepWalk与神经网络相结合来进行网络标明。尽管如此，DeepWalk仍然是一个浅薄的模型。
• 最近，两种无监督的深度特点网络嵌入办法[Kipf和Welling, 2016b;Hamilton et al.， 2017]。可是，它们只能隐式地探究拓扑结构

因而，有必要探究一种更有用的深度特点网络嵌入办法

3 Deep Attribut梯度怎么求ed Network Embedding

3.1 Problem Definition

$G=\{E,Z\}$，一个特点网络，含有$n$个节点

• E=[Eij]∈RnnE = [E_ij] in R^{n times n}E=[Ei​j]∈Rnn，邻梯度稀释接矩阵
• Z=[Zij]∈RnmZ= [Z_{ij}] in R^{n times梯度怎么求 m}Z=[Zij​]∈Rnm，特点矩阵

---

Definit劳动复杂度ion 1. (First-Order Proximity)

给定一个复杂度怎么计算的网络$G=\{E，Z\}$

• 两个节点$i$和$j$的一阶附近度由EijE_{ij}Eij​确认
• 具体地说，较大的EijE_{ij}Eij​标明第$i$个节点和第$j$个节点之间的梯度洗脱距离越近

一阶附近度标明假如两个节点之间梯度稀释的目的存在链接，则它们是类似的。除此之外，它们是不同的。因而，它能够被视为部分挨近

---

Definition 2. (High-O笔记本电脑什么牌子好rder Proximity)

给定一梯度公式个复杂度网络$G=\{E，Z\}$

• 两个结点$i$和笔记$j$的高阶附近度由Mi⋅M_{i梯度洗脱}Mi⋅​和Mj⋅M_时间复杂度{j}Mj⋅​的类似性决议
• 其间M=E+E2+⋅⋅⋅+EtM=hat E+hat E^2++hat E^梯度下降法tM=E+E2+⋅⋅⋅+Et是高阶邻接矩阵
• Ehat EE是邻接矩阵$E$的逐行归一化得到的一步概率搬运矩阵

高阶附近度实际上标明了邻域的类似性。

具体地说，假如两个节点同享类似的邻居，则它们是类似的。除此之外，它们并不类似。

在这里，高阶挨近能够被视为大局挨近

---

Definition 3. (Semantic Proximi复杂度ty)

给定一个网络$G=\{E，Z\}$

• 两个节点$i$和$j$的语义靠近度由Zi⋅Z_{i}Zi⋅​和Zj⋅Z_{j}Zj⋅​的类似度决议

语义挨近标明假如两个节点具有类似的特点，则它们是类似的。除此之外，它们是不同的

---

特点网络嵌入是根据邻接矩阵$E$和特点矩阵$Z$学习每个节点的低维标神经网络预测明，使得学习的标明能够坚持存在于拓扑结构和节点特点中的附近性

形式上，咱们的方针神经网络算法是学习一个映射$f：\{E，Z\}\to H$，神经网络算法三大类其间H∈RndHin R^{nd}H∈Rnd是节点标明

使得$H$能够坚持一阶附近、高阶附近神经网络的基本原理和语义附近

然后，能够在学习到的$H$上履行下游使命，例如节点分类、链路猜测

3.2 Dee梯度下降p Attributed Network Embedding

从本质上讲，特点网络嵌入面对三大应战才干获得梯度怎么求杰出的嵌入作用。它们是：

• 高度非线性结构：拓扑结构和特点的底层结构是高度非线性的，因而很难捕捉梯度的几何意义到这种非线性
• 附近度坚持：特点网络中的附近度既取决于网络的拓扑结构，也取决于网络的特点，因而怎么发现和坚持附近度是一个棘手的问题。
• 拓扑结构和特点中的共同和互补信息：这两种信息为每个节点提供不同的视图，因而重要的是使学习的节点标明在这两种形式下坚持共同和互补笔记的信息。

为了处理这三个问题，咱们提出了一种新的深度特点网络嵌入办法(DANE)。该体系结构如图1所示

总体而言，有两个分支：

• 第一个分支由一个多层非线性函数组成，该函数能够捕捉高度非线性的网络结构，将输入$M$映射到低维空间
• 第二个分支是将输入$Z$映射到低维空间，以捕捉特点中的高度非线性。

Hig梯度稀释hly Non-linear Structure

为了捕捉高度非线性的结构，图1中的每个分支都是一个主动编码器

---

主动编码器是一种功能强大的无监督深度特征学习模型。

它已被广泛用于各种机器学习运用[酱等人，2016]。根本主动编码器包含三个层

1. 输入梯度下降法原理层
2. 隐笔记藏层
3. 输出层

其界说如下

人们能够经过最小化重建误差来学习模型参数：

---

为了捕捉拓扑结构和特点中的高度非线性，图1中的笔记本电脑两个分支在编码器中运用了$K$层，如下所示：

相应地，在解码器中将有$K$个层。

关于咱们的办法

• 第一个分支的输入是高阶附梯度近矩阵$M$，以捕捉拓扑结构中的非线性。
• 第二个分支的输入是特点矩阵$Z$，以捕捉特点中的神经网络引擎非线性

这里，咱们将从拓扑结构和特点中学习的标明分别标明为HMH^MHM和HZH^ZHZ

---

Proximity Preservation

为了坚持语义挨近，咱们最小化了编码器的输入$Z$和解码器的输出Zhat ZZ之间的重构丢失：

具体地说，重建丢失能够迫使笔记本神经网络梯度公式滑润地捕获数据流形，然后笔记本电脑什么牌子好能够坚持样本之间的附近性[Wang等人，2016] 因而，经过最小化重构丢失，咱们的办法能够坚持特点之间的语义挨近

相同，为了坚持高阶附近，咱们还将重构丢失最小化，如下所示：

具体地说，高阶附近度$M$标明邻域结构。

假如两个节点具有类似的邻域结构，这意味着Mi⋅M_{i}Mi⋅​和Mj⋅M_{j}Mj⋅​类似，梯度下降则经过最小化重构丢失而学习的标明Hi⋅mH^m_{i}Hi⋅m​和Hj⋅梯度公式mH^m_{j}笔记本显卡天梯图Hj⋅m​也将彼此类似

---

如前所述，咱们需要坚持捕获部分结构的一阶附近性

回想一机器学习下界说笔记1，假如两个节点之间存在边，则它们类似。

因而，为了坚持这种挨近，咱们最大限度地进行以下似然估计：

其间，pijp_{ij}pij​是第$i$个节点和第笔记本电脑开不了机$j$个节点之间的联合概率

需要留意的是，咱们应该一起坚持拓扑结构和特点的一阶附近性，这样才干得到梯度是什么意思这两种信息之间的共同成果。

关于拓扑结构，联合概率界说如下：

相同，根据特点的联合概率界说如下：

因而，经过如下最小化圈复杂度负对数似然率，咱们能够一起坚持拓扑结构和特点中劳动复杂度的一阶附近性：

---

Consistent and Complementary Representation

由于拓扑结构和特点是同一网络的双峰信息，因而咱们应该确保从它们学习的标明是共同的

另一方面，这两种信息描述了同一节点的不同环形复杂度方面，提供了互补的信息

因而，学习的陈述笔记本电脑排名前十也应该是互补的

总而言之，怎么学习共同和互补的低维标明是非常重要的

---

一种直接而简略的办法是将这两个标明HMH^MHM和HZH^ZHZ直接衔接起来作为嵌入成果

尽管这种办法能够坚持两个形式之间的互补信息，但不能确保这两神经网络算法三大类个形式之间的共同性。

另一种广泛运用的办法是强制图1中笔记本电脑排名前十的两个分笔记本电脑什么牌子好支同享相同的最高编码层，即HM=HZH^M=H^ZHM=H神经网络预测Z

尽圈复杂度管这种办法能够确保两个形式之间的共同性，但由于两个形式的最高编码层完全相同，因而会丢失来自两个形式的互补信息。

因而，怎么将拓扑结笔记本插电用好还是不插电构和特点结合起来进行特点网络嵌入是一个具有应战性的问题。

为了处理这个神经网络英文具有应战性的算法复杂度问题，咱们主张最大限度地进行以下似然估计：

其间笔记本电脑性价比排行2020，pijp_{ij}pi梯度下降法j​是两个模态之间的联合分布，其界说如下：

此外，si梯度下降法j∈{0，1}s_{ij}in{0，1}sij​∈{0，1}标明Hi⋅mH^m_{i}Hi⋅m​和Hj⋅zH^z_{j}Hj⋅z​是否来自同一节点

具体地，假如i=j，则sij=1i=j神经网络对信息的存储依赖什么，则s_{ij}=1i=j，则sij​神经网络对信息的存储依赖什么=1。否则，神经网络是什么sij=梯度是什么意思0s_{ij}=0sij​=0。

此外，Eq.(10)相当于将负对数概率最小化，如下所示：

经过最小化等式(12)

• 当Hi⋅NH^N_{机器学习i}Hi⋅N​和Hj⋅ZH^Z_{j}H神经网络算法j⋅Z​来自同一节点时，咱们能够强制它们尽可能共同
• 而当它们来自不同节点时，咱们能够将它们推开。另一方面，它们并不完全相同，因而它们能够保存软件复杂度每种通道中的互补信息。

可是，公式(十二)右侧的第二项过于严格

例如，假如根据一阶梯度下降法附近度，两个节点$i$和$j$类似，则标明Hi⋅NH^N_{i}Hi⋅N​和Hj⋅ZH^Z_{j}Hj⋅Z​也应该类似，尽管它们来笔记自不同的节点

这就是说，咱们不应该把他复杂度怎么计算的们赶开。

因而，咱们松懈等式(12)如下：

这里

• 当Hi⋅NH^N_{i}Hi⋅N​和Hj⋅ZH^Z_{j}Hj⋅Z​来自同一节点时，咱们将它们推到一起
• 而当算法复杂度两个节点没有衔接时，咱们将它们推开

因而，为了坚持附近性并学习共同圈复杂度和互补的标明，咱们联合优化了以下方针函数：

简略记忆：

L=Lf+Ls+Lh+Lc L = L_f + L_s + L_梯度洗脱h + L_cL=Lf​+Ls​+Lh​+Lc​ 经过最小化这个问题，咱们能够得到Hi⋅NH^N梯度公式_{i}Hi⋅N​和Hj⋅ZH^Z_复杂度{j}Hj⋅Z​

然后咱们将它们衔接起来作为节点的终究低维标明，这样咱们就能够保存来自拓扑结构和特点的共同和互补的信息。

3.3 Most Negative Sampling Strategy

更具体地看一下等式。(13)针对每个节点处理以下问题：

实际上，邻接矩阵$E$是非常稀少的，由于许多边没有被发现。

可是，未发现的边并不意味着笔记本电脑两个节点不类似

假如咱们推开两个潜在的类似节点，学习到的标明将变得更差

运用梯度下降办法求最优值时

• 假如两个节点$i$和$j$潜在地类似，但没有直接链接，则pijp_{ij}pij​将很大
• 然后Hj⋅MH^M_{j}Hj⋅M​将被推离Hi⋅ZH^Z_{i}Hi环路复杂度⋅Z​很远。如此一来，嵌入作用就会越来越差

为了缓梯度的几何意义解这一问题，咱们提出了一种最负采样战略来获得稳健的嵌入成果

具体地说，在每次迭代中，咱们经机器学习过P=HM(HZ)TP=H^M(H^Z)^TP=HM(HZ)T来核算HMH^MHM和HZH^ZHZ之间的类似度。

然后，关于每个节点$i$，咱们神经网络按如下方法挑选最负的样本：

根梯度下降法据该负样本，建立了方针函环路复杂度数Eq(15)成为

其间$j$是根据公式(17)进行采样的

选用这种最负抽样战略，尽可能不侵略潜在的类似节点 因而梯度是什么意思，嵌入成果将更加稳健。

采神经网络是什么样复杂度采样复杂度首要由类似度$P$的核算决议，其复杂度为O(N2)O(软件复杂度N^2)O(N2)，而Eq（13）的复杂度为O(N复杂度怎么计算的2)O(N^2)O(N2)

因而，选用咱们梯度怎么求的抽样战略不会增加太多本钱

因而，咱们提出的抽样战略是高效和梯度的几何意义有用的

4 Experiments

数据集

• Cora
• Citeseer
• PubMed
• Wiki

基线

• DeepWalk
• LINE
• GraRep
• N笔记本电脑开不了机ode2Vec
• TADW
• ANE
• 图形主动编码器(GA笔记本显卡天梯图E)
• 变化图主动编码器算法复杂度(VGA笔记本电脑E)
• SAGE

节点分神经网络算法三大类类试验成梯度的几何意义果

聚类

可视化

读后总结

这篇文章首要的思路仍是凭借主动编码器（两个）

1. 根据原图得到高邻接矩阵$M$和特点矩阵$Z$
2. 然后运用编码器分别对$M$和$Z$中的向量持续编码，得到HMH^MHM和HZH^ZHZ
3. HMH^MHM与HZH^ZHZ直接拼接在一起得到终究的节点嵌入
4. 这里运用的丢失函数由四部分组成L=Lf+Ls+Lh+LcL = L_f + L_s + L_h + L_c梯度公式L=Lf​+Ls​+Lh​+Lc​
5. 其间LfL_fLf​：神经网络的基本原理根据嵌入向量核算节点之间的一阶附近
6. LsL_sLs​：主动编码器重构$Z$的丢笔记失
7. LhL_hLh​：神经网络算法三大类主动编码器重构$M$的丢失
8. LcL_cLc​：这里有点不太懂，但大约意思是希望极点类似的更梯度的几何意义近，极点若不类似，则远离（有点中心熵的意思了）
9. 经过求解$L$的最优参数训练网络
10. 注：$M$是由邻接矩阵$E$核算得到的（高阶）

嗓子不梯度下降法太舒服，难受

结语

原文链接：dl.acm.org/doi/10.5555…

年度：2018

文章仅作为个人学习笔记记载，记载从0到1的一个过程

希望对您有一点点帮助，如有错误欢迎小伙伴指正

• 我正在参梯度的几何意义与技术社区创作者签约方案招募活动，点击链接报名投稿。