在事务反诈骗、运营及数据剖析上,经常会涉及到模型。模型就是根据目标群体的大规模采样数据,开掘出某个实际问题或客观事物的现象本质及运转规律,利用抽象的概念剖析存在问题或危险,核算推表演减轻、防备问题或危险的对策进程,并构成一套体系化的策略或规矩集。

模型建造是一个杂乱的进程,一般需求几个或十几个专业开发人员,耗费几个月甚至大半年才干够完结一个模型建造。假如有新的数据、样本更新,就需求从头核算剖析才干完结。此外许多公司和安排并不具备独立建造模型的才能,因此会托付第三方安排协助其树立模型或许直接运用一些通用标准模型。然而不同企业安排的事务场景不同,流程标准和需求目标有差异,直接运用通用标准模型往往不尽如人意。

越来越多的企业期望从积累的海量数据中开掘出事务价值,因此开始组成自己的算法团队。一方面,避免模型建造外包时,带来的隐私数据走漏的危险;另一方面,能够构建专属事务的模型,并且能够根据事务、需求以及数据的更新及时进行更迭。

为了助力企业解决建模难、晋级更新慢、模型办理杂乱的问题,包含顶象等多家公司推出了专业模型解决方案。

以顶象Xintell智能模型渠道为例。根据相关网络和深度学习技术,结合Hadoop生态和自研组件,将杂乱的数据处理、开掘、机器学习进程标准化,供给从数据处理、特征衍生、模型构建到最终模型上线的一站式建模服务,结合拖拉拽式操作大幅下降建模门槛,提高建模工程师、数据科学家的工作功率,让运营人员和事务人员也能直接上手操作实践,协助企业经过对大数据的模型练习在反诈骗、风控、营销、客户分群等场景供给模型支撑,并能够根据时间改变进行动态晋级与优化,极大下降建模门槛。

Xintell——全生命周期的模型建设+智能数据中台

建模灵敏

支撑HiveSQL脚本、Python脚本(Jupyter Notebook)和可视化建模三种开发方法,均能够发布为调度使命并可任意进行组合,完结强壮的主动化流程。

可视化

可视化的建模方法,让不明白技术的事务人员,以拖拉拽的方法在画布上连接成流程图,不需求写代码或仅仅写少量的代码,能够以设定组件参数的方法练习出一个完整的模型。

布置快

Xintell根据企业本身的大数据渠道,支撑导入PMML格局和Python源码的任何第三方模型,能够能灵敏地与企业已有的体系对接;一键式布置方便快捷,比同类建模产品的布置速度减少80%。

可解释性强

Xintell内置自研的一整套评分卡建模组件,适用于各种对可解释性要求高的建模场景。

全生命周期的模型开发与办理渠道

在软件工程范畴,软件开产生命周期(Software Development Life Cycle,SDLC)包含了软件从开始到发布的不同阶段:需求收集、规划、软件开发、测试和质量确保、布置、维护。机器学习建模,作为软件开发的一个分支,相同遵从着这样的流程,而模型的开发仅仅是其间的一个环节。

建模人员有喜欢编程写代码的,也有喜欢可视化建模的。就供给模型开发功用而言,不同的建模渠道之间迥然不同,甚至作为一个以私有化布置方法为主的轻量级建模渠道,Xintell在某些方面的功用和其他敞开的数据科学渠道比较是缺乏的,比方不供给常见的公共数据集和预练习模型、没有能够供给学习资源和沟通的开发者社区。但Xintell的优势在于其覆盖了模型全生命周期的办理功用,在对模型工程化的支撑方面,现在是领先于其他竞品的。

Xintell——全生命周期的模型建设+智能数据中台
Python 建模

Xintell——全生命周期的模型建设+智能数据中台
“低代码”建模

所谓工程化,至少包含以下环节:布置开发好的模型,实时或守时收集数据,调用模型,然后将模型的输出成果进行展现或对接下流事务体系,并监控模型的功用、守时评价模型的效果,必要时对模型进行迭代更新。

运用Xintell渠道开发模型,能够确保整个工程化的进程是快捷、高效的。例如:支撑一键将模型布置为在线模型(可指定布置的实例个数),以API的形式对外供给模型调用服务;自带对在线模型服务的监控功用;可将整套操作流程装备为守时主动运转的调度使命。因此,Xintell不仅仅是一个模型开发渠道,更是一个模型办理渠道,其功用覆盖了建模的全生命周期。

狭义的模型办理

狭义而言,模型办理分为两个方面:办理同一个模型的多个版别;办理多个不同的模型。

前者,布置在Xintell上的在线模型,能够一键切换版别。

后者,Xintell支撑导入任意Python源代码或PMML格局的外部模型,然后进行批量猜测,或布置为在线模型供实时调用。具体的功用介绍可参阅相关文档,在此不具体打开介绍。

Xintell——全生命周期的模型建设+智能数据中台
“融合式”模型开发

广义的模型办理

广义而言,除了办理不同模型和模型的不同版别外,模型办理还包含:

数据办理

Xintell选用Hive表办理所有的数据,支撑与常见的数据库进行对接,包含但不限于Hive、Oracle、MySQL、ES、MongoDB、Kafka、Cassandra等。可发布成数据同步使命,集成到调度使命中完结守时主动运转。Xintell也支撑往Hive表中直接导入csv、txt、log等常见类型的数据文件。

各个表从不同的数据源汇总到Hive表中后,或进一步经过相关、清洗、加工,构成数据集市,供后续的建模等使命运用。

特征办理

不同的建模场景或许用到相同的事务数据,假如不进行会集办理,或许造成特征的重复加工。为了增加特征的可复用性,特别是存在数据加工人员和建模人员两个人物时,有必要对特征进行办理,辅以相关的特征阐明。在特征办理方面的功用Xintell正在不断完善。现在已有二代征信特征库,未来方案开发更多场景的特征库,并供给通用的特征办理功用。

代码办理

不同项目空间的代码彼此隔离,然后能够支撑多个项目一起开发。支撑将HiveSQL脚本和Python脚本发布版别,支撑版别回溯,然后完结代码的版别办理。在调度使命中能够调度指定版别的脚本文件。

文档和资源办理

模型的代码目录下能够创立Markdown文档,记录模型的需求规划、代码阐明等相关信息。除此之外,Xintell渠道供给了文件资源办理功用,能够视作是一个简易的FTP,建模团队成员能够上传模型相关的文件资料(如测试报告、bad case、第三方库、数据字典等),与其他成员共享。

模型运维

Xintell供给了在线模型服务的仪表盘,能够快捷地查看历史上模型的调用量和均匀耗时,及时发现模型的反常。经过将模型输出的成果和真实的标签按必定标准写入指定的表中,还能够监控模型的KS、PSI等目标,用于评价模型功用是否产生阑珊。

权限办理

这是比较容易被忽视的一点,但对于团队协作是必不可少的。通常同一个项目空间下,有项目办理员和模型开发人员两种人物,能够装备不同人物的操作权限。特别地,团队成员之间能够互相查看代码,进行code review或彼此学习;而经过加锁的功用,能够避免自己的代码或已发布的调度使命被别人误修改。

团队协作渠道

软件工程中有一个名词叫“协同开发”,相关范畴的专家们规划了各种协同开发工具,来协助软件开发团队更好、更快地进行协作和开发,最为典型的代表之一就是Git,一个代码协作和办理工具。正因为其健全的模型办理功用,Xintell也可视为一个建模团队的协同开发渠道。

一个典型的运用场景就是高校实验室。一位导师或许需求辅导多个学生编撰数人工智能范畴的论文,或是带领多个学生参与一个模型项目的开发。假如能有一套像Xintell这样的渠道,给学生供给根本的模型开发和代码办理工具,给团队供给代码、资源共享的渠道,能大大提高协同开发的功率,减轻导师辅导和办理的难度。

Xintell也是一个智能数据中台

从数据中开掘价值,只要经过练习机器学习模型这一种方法吗?显然不是。模型仅仅数据运用的一种方法而已,其他常见的需求还有制作核算报表、构建相关网络并展现、输出数据处理与剖析成果等。那么,Xintell渠道的运用也不仅仅局限于需求建模的场景。

数据报表

事务人员往往需求将过往一段时间的事务数据从各个维度进行核算剖析,然后做成报表,以便发现事务或客群的改变趋势,然后为更好地展开未来的事务供给决策依据,这就是BI。Xintell也供给了简易的报表制作的功用,比较常见的BI工具,Xintell的优势在于能够整合来着不同数据源的数据;能够完结杂乱的数据剖析与处理;以及能够经过调度使命完结守时主动生成报表。

当然,假如觉得Xintell中生成的报表不行美观、灵敏,还能够经过数据同步的方法,将处理好的数据同步到其他专业的BI工具进行可视化。

知识图谱

事物之间普遍存在着纷繁杂乱的联系的,模型利用的往往是个体的特征,无法刻画出个体之间的相关。而经过构建相关网络或图谱,从而划分团伙核算团伙目标或运用各类图算法,能够补偿这一短板。

Xintell渠道集成了图数据库ArangoDB,并封装了常见的图算法。相关网络技术常用于检测团伙诈骗危险,如代理人诈骗、信用卡套现检测、信贷申请反诈骗、营销反诈骗等场景。利用集成的图数据库,Xintell能够完结具有相相联系的数据(如团伙)的展现与查询。事实上,许多时分也有必要在图谱中展现模型猜测的成果,如能够在代理人团队中展现对代理人诈骗危险的猜测,以便进一步识别一些团队中的反常。

类似地,假如已经有或需求用其他图谱工具展现相关网络的话,能够在Xintell上完结节点表和联系表的加工,然后再同步到其他数据库中。

数据服务

Xintell支撑装备数据服务,经过”导入字段”,能够快速将Hive表的字段结构复制到数据服务中。事务方经过发起Http恳求,供给查询参数访问数据服务。

常见的运用场景包含对外部体系供给用户画像、模型猜测成果等的查询。

数据纽带

调度使命这一功用是Xintell的一大魂灵。在私有化布置的Xintell渠道上,当建模团队完结模型交付之后,客户未必会运用Xintell开发新的模型,但通常会创立新的调度使命,完结与模型并不直接相关的其他使命,比方数据集市的构建、目标的核算、报表的制作等。毫不夸大地说,调度使命或许比模型开发和办理更常用。

调度使命之所以强壮,是因为其灵敏。在Xintell渠道上,能够将数据同步、HiveSQL脚本、Python脚本和可视化建模这四类发布成使命,然后经过连线的方法,在调用使命的画布中构建为使命流,并能够进一步指定使命流的运转时间和周期,完结使命流的守时守时主动运转。

当然,想要守时守时主动执行一段脚本,并非只能依赖于Xintell渠道,但利用Xintell渠道,能够对调度使命进行快捷地办理,如开启/关闭使命、使命错峰排期、装备使命预警等。事实上,在私有化布置的Xintell渠道上,一起装备了几十个调度使命是非常常见的。

在某种意义上,能够将Xintell视为一个数据纽带,而不是仅仅是模型渠道。经过调度使命,能够完结从数据同步、数据处理、数据运用(数据核算剖析,调用模型,构建相关网络,运用图算法)、数据可视化(图谱展现、报表生成)、数据价值输出(图谱查询,在线模型服务,数据服务,同步到其他事务体系)等一整套流程,其中心就是对数据的调度,故称之为纽带,数据纽带。而Xintell的价值也不仅仅在供给模型开发和办理的工具,更在于赋能客户,协助客户更快捷地从本身的事务数据中开掘出价值,并加以充分利用,反哺于其事务。

哪些企业适合选用Xintell?

毫无疑问,需求进行建模的团队肯定是Xintell的企业和安排,因为他们需求一个模型的协同开发、办理和运维渠道。这个团队能够隶属于高校的实验室,能够隶属于某个企业甚至某个事务部门。但在笔者看来,任何一个拥有数据、期望从数据中开掘价值然后为事务助力的企业,都是Xintell的潜在客户。特别是正在经历、或有方案进行数字化转型的传统职业的企业。他们在组成自己算法团队的一起,也亟需一套Xintell渠道协助他们办理包含模型在内的数据运用,特别是在对工程化的支撑方面,Xintell是不贰的挑选。无论是组成自己的建模团队,还是期望将已有的模型进行会集办理,亦或进行其他数据运用的开发(如构建相关网络,供给图谱展现与查询),Xintell都有用武之地。

当时,收购Xintell渠道的更多的是银行等金融职业的安排,显然,Xintell的市场潜力很大,机会远远没有被开掘。因为Xintell不仅仅是一个模型开发渠道,更是一个模型办理渠道、团队协作渠道;不仅仅是一个数据服务渠道,更是一个智能数据中台。

——————

事务安全产品:免费试用