本文正在参加「金石计划」

作者:京东科技 尚建平

1. 现有技能

电商、金融风控领域,使用图来建模,将很多的人员和事情编织成一张巨大的图联系网络,构建图目标来辨认反常人员和集体风险行为,目前图目标现有完成方式是基于离线数据或t+1数据构建图联系网络,图目标由业务人员或需求人员依据业务需要提出详细需求由开发人员暂时开发、测验、布置、上线。

2. 现有技能的缺陷

榜首,图目标时效性差,无法实时更新图联系数据,在某些时效性强的场景下图目标不可用。

第二,创建、修正图目标流程繁琐,业务及需求人员无法单独完成,需开发人员暂时开发。

第三,图目标相关元数据没有统一管理及分类,无法检查、修正、复用、追溯。

3. 本创造技能计划

3.1 本创造所要处理的技能问题(即创造目的)

榜首,接纳实时大数据流,实时构建图联系网络,图目标可基于实时图联系数据查询。

第二,业务及需求人员对图目标可视化创建、测验、上线,无需开发人员参加。

第三,图目标相关元数据进行统一管理及分类,可灵敏检查、修正、复用、追溯。

3.2 本创造的完整技能计划

3.2.1 体系原理图、结构阐明图或流程图



一种基于实时大数据的图指标解决方案



图1-体系原理图

3.2.2 技能计划详细描绘

如图2-体系流程图所示,计划详细描绘如下:

过程1:实时图目标渠道获取用户设计图目标相关的元数据信息,包含数据源、图模型、图目标等元数据。数据源信息描绘了接入数据源类型和数据源字段信息,图模型信息描绘图联系网络的构建模型及构建数据的字段映射信息,图目标信息描绘图目标核算逻辑信息。

过程2:实时图目标渠道依据数据源信息接纳外部实时流数据。数据源主要是可构建图联系网络的人员及事情信息,包含用户登入、注册、订单买卖、风险决议计划等数据源。

过程3:实时图目标渠道将接纳的实时流数据进行清洗、转化、分流。将接纳的数据源中无效的数据及不合法数据铲除,并依据不同图模型数据要求对数据进行转化、分流。

过程4:实时图目标渠道依据图模型信息及数据字段映射信息,将实时数据流转化生成可插入图联系数据的类SQL。将人员及事情信息转化成用类SQL表明的用户、设备等节点及用户与设备节点之间相关的登入、注册等边数据。

过程5:实时图目标渠道经过对nebula图数据库各图空间执行类SQL将图联系数据插入更新至nebula图数据库。经过实时插入更新类SQL表明的节点及相关边数据,将很多的人员和事情编织成一张巨大的图联系网络,并实时更新。

过程6:实时图目标渠道接纳外部体系查询图目标成果请求及入参,查询用户可视化装备的图目标相关元数据信息。如查询用户x近30天内使用过的一切设备相关的注册金白条用户数量。

过程7:实时图目标渠道将可视化装备的图目标元数据信息转化成用类SQL表明的图目标核算逻辑。如从用户x节点查找近30天登入、注册等边相关出的一切设备,再反向查找这些设备被多少注册过金白条的用户使用过。

过程8:实时图目标渠道经过对nebula图数据库执行查询类SQL,获取图目标查询成果,依据业务情况调整图目标阈值,辨认反常人员和集体风险行为。如用户x近30天内使用过的一切设备相关的注册金白条用户数量大于5时,那么辨认出用户x是风险用户。



一种基于实时大数据的图指标解决方案



图2-体系流程图

3.3 本创造希望保护的技能创新点

本创造经过接纳实时大数据流,实时构建图联系网络,完成图目标数据实时查询。

本创造经过可视化装备维护图目标相关信息,完成图目标及相关元数据统一管理、快速布置上线。