‍♀️ 编者按：本文作者是蚂蚁集团客户端工程师朱木，分享了蚂蚁端侧核算容器面对的应战、思考和规划计划，欢迎查阅～

布景与应战

一个运用场景要落地端智能计划，一般分为以下几个阶段：

1. 决议计划链路研制： 决议计划的调用、决议计划逻辑的履行和决议计划成果的呼应。
2. 端特征的研制： 特征数据收集、核算，并以服务的形式供给应训练和决议计划环节。
3. 端模型的研制： 样本数据收集、端模型的研制、转化。
4. 决议计划逻辑研制： 事务前置处理、模型推理、事务后置处理。

端智能处理计划研制过程中，面对的几大问题与应战：

• 根底功用支撑：具有丰富的数据供应、特征出产加工、端模型推理、事务逻辑编写等根底才能。
• 迭代布置功率：云端模型一天一迭代，而客户端按月发版，无法满意迭代功率的诉求，需求能快速搭建工程链路并具有动态化履行才能来承载各事务定制化的杂乱逻辑。
• 端高功能核算：在云端，具有流批一体的核算才能、高功能存储和查询才能。在移动端，一方面需求具有毫秒等级的核算才能，保证事务调用成功率，另一方面核算使命天然耗费资源，需求平衡用户运用体会。
• 端侧高稳定性：移动端碎片化验证，稳定性可谓是重中之重。咱们需求从研制、发布、运转、监控、熔断等全链路进行梳理和要点保证。

针对上面说到的几大应战，咱们规划了端智能核算容器，来供给端侧的数据特征服务和处理计划的运转时支撑和保证，并能在稳定性、研制功率、核算功能等方面满意要求。

整体架构

端核算容器的整体架构如图所示，端上运转时环节，分为三部分：

• 核算引擎： 供给特征和决议计划逻辑的根底核算环境，包含了实时核算、模型推理、PythonVm、使命办理等。
• 特征引擎： 供给端云一体的一致端特征服务供各事务方运用。
• 决议计划引擎： 封装了根底的服务结构，给算法和工程同学供给快捷的研制环境。

在渠道侧，经过端智能研制渠道Moobileaix和研制套件，给研制同学供给快捷的研制体会。 在核算引擎部分，要点绍一下端侧实时核算引擎。

实时核算引擎

为了在端智能场景中供给用秒级的用户呼应和满意决议计划引擎对特征出产高时效的要求，咱们也探究出在端侧的进行实时核算的引擎，及对产生的数据，直接在端侧进行杂乱流式核算处理。大致的规划计划如图所示：

• 接口层： 供给强壮的实时核算使命界说才能，并完结了端侧核算使命动态化更新布置。
• 服务层： 供给端实时聚合、实时匹配、实时串联的底层数据模型结构以及DSL的运转时环境。
• 数据层： 供给多技能栈数据一致收集，完结实时数据源一致化、标准化，为上层数据消费服务供给订阅办理服务。

事情标准化

实时核算数据层面对的问题和应战：

• 收集掩盖： 技能栈涉及到原生Native、H5/小程序、卡片等，掩盖全场景的数据有较大的难度。
• 研制功率： 许多事务场景数据依靠纯手动埋点，任何埋点改动都需求依靠客户端发版或许事务发布，加之数据收集的需求杂乱多变，日常投入了许多时间在数据埋点上，研制功率较低，
• 埋点机遇： 手动埋点的触发机遇完全是事务手动操控的，一旦机遇错乱会导致归因不准；
• 数据口径： 各事务手动埋点收集口径不一致，比方曝光口径，不同事务关于曝光份额多少算作有用曝光有不同的界说；

咱们经过一致的收集结构，根据切面、注入等技能，完结了不同技能栈、不同类型数据的一致收集，数据口径一致，事情模型一致。收集结构标准化事情后，经过实时事情流pipeline，源事情快照源源不断的，向各引擎上的使命实例进行分发。

实时聚合

实时聚合的三个演进阶段：

• 1.0阶段： 功用快速落地。咱们称之为刀耕火种阶段，native侧硬编码事务逻辑，支撑了poc场景的快速落地和验证，但需求改动都需求跟从客户端发版，无法满意事务关于迭代功率的要求。
• 2.0阶段： 处理研制功率问题。数据存储在联系型数据库或许时序数据库，上层经过编写sql查询加工数据。但跟着事务数据的增多，功能问题急剧突增，一次查询多则需求几百毫秒甚至秒级，影响事务调用成功率和用户的运用体会。而为了支撑不同事务的不同诉求，许多的数据写入也会形成高频IO和存储浪费。
• 3.0阶段： 处理功能存储问题。为了处理特征核算在功能、存储、动态性方面的问题，咱们规划了端侧实时聚合引擎，能够针对端数据进行切分、拼接、取参的操作，以及计次、求和、平均值、序列等多种聚合核算，一起对成果快照进行分级缓存，在运用时供给毫秒级的获取才能。跟着接入事务的增多，不同事务之间的核算使命难免有重复，为了进一步下降核算资源耗费，咱们还规划了使命的相似度检测和自动合并的计划，完结了跨使命的核算复用，并经过分级的使命调度，完结了使命的按需核算。

实时匹配

端智能事务关于杂乱事情匹配的首要中心诉求如下：

• 支撑多事情匹配：一开端端智能使命的触发形式是按钮点击、页面打开等单一事情，跟着运用场景越来越广泛，事务关于杂乱事情触发的诉求越来越多，比方从A页面进入B页面，逗留10s又退回A页面
• 能够动态布置：初期咱们能够经过硬编码的方式去支撑场景的触发；可当相似的场景诉求越来越多时，算法对功率、实时性要求越来越高时，受限端发布、开发本钱等问题，原方法慢慢变的不再可行。
• 能够实时相应：云端实时核算，需求把先原数据明细即时上报，云端流处理服务处理完结后再下发成果，网络推迟加上处理耗时，只能做到准实时，而无法实时呼应当时交互操作

根据上述考虑，咱们在端上规划一套支撑动态下发自界说规矩的规矩引擎来完结事情序列的匹配与触发工作。

• 首要，咱们经过界说一套根据json格局描绘的DSL描绘言语来界说规矩；
• 之后，咱们将自界说DSL内容动态下发到端上，并在端上完结相应的自界说言语解析器，解析器解分出同样表达才能的一个Pattern链表(RE)；
• 再之，根据已解分出的Pattern链表，经过完结的NFA编译器，把方针编译成NFA实例；
• 最后, NFA实例初始化完结即能够开端对输入信息进行处理。

实时匹配引擎的中心运转处理是NFA非确定性状况机，其运转时首要会把DSL使命编译成一个有向无环图，再根据有向无环图，实时处理输入的数据流，当NFA成功抵达结尾的节点时，即匹配成果成功，成功识别一个方针状况实例。

实时串联

在云端蚂蚁域内各事务间相互调用、依靠联系等都是经过一系列的ID系统进行规范约束，便利链路串联分析。但在端侧，传统串联系统面对的几大问题：

• 串联相互分裂： 由于端侧环境的杂乱性，加上多方事务的接入、接口调用、服务端网络请求等的介入，许多域有自己的ID系统，这些id系统之间相互独立，只能部分复原用户动线，无法复原一个用户动线的全貌，而其间一些资源的串联现在还没有一套可跟踪的系统。
• 核算资源耗费大： 以上数据绝大部分经过埋点回流到云端进行核算，而为了精确的复原用户动线，需求经过云端海量数据的核算聚合，这个对核算资源、存储占用、实时性都是一个巨大的应战。

因此，咱们规划了一套完整实时串联的才能，处理上诉的问题。 咱们运用表明行为的节点来构建分层树模型表明各模型的生命周期，比方Session代表行为会话、app代码运用启动、Scene代码页面实例、Page代表页面访问等。其间Session/App/Scene/Page节点构成了树的骨架结构，而Behavior行为做为叶子节点表明用户在当次页面访问中的详细操作行为。骨架节点之间坚持层级强约束联系，即Session->App->Scene->Page之间为父子联系，节点不可越层级添加子节点； 一起经过往来不断源引证联系，表明出用户行为中的跳转联系。仅有Page节点才有逻辑去源子节点，表明由当时Page节点去到其它方针节点的逻辑跳转行为，触发的原由于page下的某一详细叶子节点行为。

特征引擎

问题与应战

在刀耕火种的年代是将特征代码逻辑放在事务逻辑代码中的，特征研制面对的困难和应战：

• 特征难以复用 ：每个算法同学都需求从0开端研制特征，一些公用特征无法沉积，也会形成数据的重复核算。
• 研制环境不友好： 算法同学了解的是云端的研制环节，但到了端上，涉及到数据口径沟通、运转环境布置、使命装备、代码研制、事务触发、代码验证等环节，流程长，研制难。
• 稳定性保证莫非大： 手机端的核算资源有限、碎片化严重，一个简略的核算查询语句可能会对功能和稳定性形成影响较大的代码，怎么保证端侧运转的稳定性，是咱们面对的一大应战。

要处理上诉问题，需求从特征的研制和运用两个方面进行优化，提高研制体会。

低代码特征研制

咱们规划了低代码特征研制渠道来提高研制功率、保证用户体会。特征研制分为了四个环节：特征研制、特征调试、特征集成、特征发布。

• 特征研制： 特征研制有三种形式：装备/装备+脚本/脚本。经过前面的介绍，大都行为特征能够经过实时聚合的才能进行核算，但是dsl言语理解本钱较高，为此咱们供给了可视化的装备页面，事务同学填写简略的参数即可完结研制，完结0代码研制。而关于有杂乱核算诉求的，例如矩阵变化、甚至模型核算，能够在脚本层进行处理，并经过供给的研制脚手架来提高研制功率。
• 特征调试： 在调试验证环节，供给了研制IDE，支撑真机布置、日志检查、断点调试、全链路mock等才能，修改完装备或代码后，能够实时布置检查特征数据。
• 特征集成： 研制完结之后，根据端上稳定性和权限等要素，咱们会对特征进行稳定性、功能等测试和集中的审批。
• 特征发布： 发布才能极其灵敏，支撑机型、版本、人群的灰度、ab操控，而且还能够同云端系一致起进行联合试验。

经过上面的规划，特征从研制到上线，最快半天即可完结。

端特征服务

咱们经过端特征服务对外供给特征数据。运用时，传入特征称号即可查询到对应的特征值，特征服务内部进行一致路由，屏蔽特征完结，下降了调用本钱，并经过一致的管控，对调用方进行权限的校验。渠道侧咱们也供给了端特征中心，对特征进行元数据的办理，能够快捷的查询到目前已沉积的特征和特征的预览值，便利研制同学 在运用过程中发现的几个问题：

• 特征无效核算：事务下线掉特征调用后，特征还在持续出产，关于资源有限的手机端存在非常大的浪费。
• 特征数据异动：诸多特征依靠上游事务数据，事务某些小的改动可能形成数据缺失，影响模型的精确率。

因此咱们还建造了特征实时监控才能，例如特征血缘、特征质量、特征耗时，当产生无效核算或许特征异动之后，能够及时宣布告警进行确诊和优化。 传统云端特征生成消费链路的几个痛点：

• 特征时效性低： 云端传统的行为数据获取运用埋点，埋点上报到云端，一般有分钟等级推迟，服务端经过实时核算引擎解析，存在使命推迟，导致实时特征进一步推迟。
• 核算资源耗费高： 全量用户行为关联时，需求对多个数据进行聚合，这在云端是非常消费资源的，尤其是实时数据流的聚合。

咱们封装了产品化的计划，用户能够在渠道侧快捷的装备触发机遇、勾选特征列表和选择分级的实时通道，便可在云端经过实时特征服务获取的对应的特征。

决议计划引擎

跟着端智能的根底设施逐步完善，参与的算法同学越来越多，端决议计划面对的应战：

• 更快的进行开发和上线处理计划和进行AB试验
• 在端用户体会不变的情况下，支撑更多的端智能计划布置

为此，咱们界说了根据决议计划结构的事务接入引擎，包含三部分： 触发机遇（Trigger） + 决议计划逻辑+ 决议计划呼应（Action） 三段式的规划很好的区分了工程和算法的边界，工程专心于工程链路的建造，算法专心于决议计划逻辑的开发和布置

• 触发机遇供给了根据自动化埋点和行为规矩引擎的事情，能够满意90%的运用场景，防止重复开发
• 决议计划呼应供给了端上常用的用户触达通道，简化了工程侧链路
• 触发机遇和决议计划呼应能够随意组合来完结不同的工程链路，已有工程链路也能够被多个决议计划逻辑运用，能够进行计划间的AB，这样来提高工程链路的复用度。
• 决议计划逻辑便是端智能脚本，是运转在经过咱们裁剪、优化、扩展的python虚拟机运转环境中的。在研制阶段，建造开箱即用的结构和算法模版计划，例如predict和rerank模板计划，来下降研制难度。代码写完之后，需求供给一套能与端上运转时环境相匹配的调试东西，也是咱们面对的较大难题，举几个例子，比方编写完代码后怎么检查运转成果，假如需求走一次发布流程肯定是不可的，耗时吃力；完结快速调试，脚本是运转在手机端还是pc端，是咱们面对的选型问题；端决议计划脚本一般需求事务数据的输入和特征数据，受限于工程链路研制的进展、环境等要素，在没有这些数据的情况下，怎么快速的进行决议计划逻辑的研制。咱们根据VSCode的插件系统供给了端智能脚本的扫码布置才能，详细包含了一键打包、真机布置、断点调试、日志检查、全链路的数据mock等功用。

在发布阶段，供给了灰度管控、多模型AB和端云联合AB才能，联合AB支撑端云系统的不同试验室试验之间的流量穿透。 别的，供给了一致的调度和管控才能，首要包含根据触发机遇的审核、调度和算力配额。