摘要: 本文带咱们从另一个视点来了解和知道图卷积网络的概念。
本文同享自华为云社区《技能总述十二:图网络的基本概念》,原文作者:一笑倾城神经网络算法原理。
基础概念
笔者认为,图的神经网络计算机中心思想是学习一个函数映射 f(.)f(.),凭借该映射,图中的节点能够聚合自神经网络引擎己的特征神经网络计算机与邻居节点的神经网络计算机特征,然后生成该节点的新特征标明。
Figure 1. 图的一般推理进程[1]
图神经网络 Vs. 卷积神经网络
如图 2 所示,卷积神经网络的输入数据一般是规矩的矩阵类型数据,例如图片。每个节点和其它节点的空间联络是固定矩阵类似的。而图神经网络的输入数据一般表现为不规矩矩阵天王的拓扑结构,节点与节点的联络非常凌乱,节点间的空间联络一般不做束缚,节点间是否存在联接以及神经网络联接的矩阵数量不做束缚。凌乱的网络还涉及到联接的方向和子图等概念。
Figure 2. 图网络和卷积网络[1]
如图 3 所示,矩阵的迹假定将图的每个节点等价视为图画中的每个像素,其实,图的作业进程能够类比 CV 中的经典问题:se神经网络算法三大类mantic segmentation。
Figure 3. semantic segmentation[2]
图的基础组件及其完成
图在作业进程中,主要需求处理的问题有两个,一个是节点信息的提炼方法;另一个是附近节神经网络算法三大类点的查找方法。收拾如下:
附近节点的查找方法:
-
每个节点考虑悉数其它节点
-
根据欧氏距离,只查找近邻 N 个节点
节点信息的提炼方法:
-
MLP+Max Pooling 直接进行特征融合
-
根据 attention,对周边节点进行加权均匀
-
一般 atte矩阵天王ntion
-
Self-a神经网络ttention (Bert/Transformer)
Figure 4. 图节点信息的提炼进程
总结
最后,矩阵的秩图卷积和卷积之间的一些比照收拾在图 5 中。咱们能够观察到一些幽默的现象,其实在卷积网络中,也有附近节点查找方法的一些作业,例如空泛卷积和可变形卷积。
Figure 5. 图网络和卷积网络作业方法比较
【参考文献】
[1] Wu, Zong神经网络算法原理han, et al. “Acomprehensive survey on graph neural network神经网络s.” IEEE transactionson neural networks and learning矩阵的秩 systems (2020).
[2] Long, Jonathan, Evan Shelhamer, and TrevorDarrell. “Ful矩阵天王ly convolutional networks for semantic segmentation.” Proceedings of the IEEE conference on computer vision and patternrecognition. 2015.
点击注重,第一时间了解华为云新鲜技能~