7次KDD Cup&Kaggle冠军的经验分享：从多领域优化到AutoML框架

反馈快速，竞争激烈的算法比赛是算法从业者提升技术水平的重要方式，从若干行业核心问题抽象出的算法比赛具有很强的实际意义。本文结合笔者在ios下载7次Kaggle/KDD Cup中的冠军经验，对于多领域建模优化，AutoML技术框架，以及面对新问题如何算法的三种基本结构分析建模三个方面进行了介绍。希望能够软件复杂度让读者收获比赛中的通用高效建模方法与问题理解思路。

1 背景与简介

反馈快速、竞争算法的五个特性激烈的算法比赛是算法从业者提升技术水时间复杂度平的重要方式。从若干行业核心问题中抽象出的算法比赛题目具有很强的实际意义，而比赛的实时积分榜促算法的有穷性是指使梯度下降参加者算法的有穷性是指不断改进，以试图超越当前的最佳实践，而且获ios启动器胜方案对于工业界与学术界也有很强的推动作用，例如KDD Cup比赛产出的Field-Awa时间复杂度re Factorization Machine(FFM)算法^[1]、ImageNet比赛产出的ResNet模型^[2]在业界都有着广泛的应用。

美团到店广告质量预估团队在美团内部算法大赛M算法是什么DD Cup中获得了第一名，受大赛组委会的邀请，希望分享一些比较梯度下降算法是最常用也是最有效通用的比赛经验。本文是笔者7次Kaggle/KDD Cup冠军经验（如下图1所示）的分享，希望能帮助到更多的同学。

大家都知道，Kaggle/KDD梯度下降法原理 Cuios下载p的比赛均为国际顶级赛事，在比赛圈与工业界有着很大的影响力。具体而言，Kaggle是国际上最大的顶级数据挖掘平台，拥有全球几十万用户，通过高额奖金与分享氛围产出了大量优秀算法方案，例如Heritage Health奖金高达三百万美元。目前，Kaggle梯度下降比赛在艾滋病ios15.1值得更新吗研究、棋牌评级和交通预测等方面均取得了突出成果，得益于此，Kaggle平台后来被Google公司收购。

ACM SIGKDD （国际数据挖掘与知识软件复杂度发现大会，简称 KDD）是数据挖掘领域的国际顶级会议。KDD Cup比赛是由SIGKDD主办的数据挖时间复杂度掘研究领域梯度下降法原理的国际顶级赛事。从1997年开始，每年举办一次，是目前数据挖掘领域最具影响力的赛事。该比赛同时面向企业界和学术界，云集了世界数据挖梯度下降掘界的顶尖专家、梯度下降法学者、工程师、学生等参加，为数据挖掘从业者们提供了一个学术交流和研究成果展示的平台。

通过分析不难发现，KDD Cup算法工程师举办20年来，一复杂度分析直紧密结合工业界前沿与热点问题，演进主要分为三个阶段。第一阶段从2002年左右开始，专注于互联网的热点机器学习推荐系统方面问题，包括推荐、广告，行为预测等；第二阶段聚焦在传统行业问题，比较关注教育、环境、医疗等领域；而在第三阶段，自2019年以来，重点关注非监督问题，例如AutoML、Debiasing、强化学习等问题，这类比梯度下降算法赛的共同特点是通过以前方法难以解决现有的新问题。这三个阶段趋势也一定程度反应着当前工业界与学术界的难点与重算法导论点，无论从复杂度分析方式、方法，还是从问题维度，都呈现出从窄到宽，从标准向非标准演进的趋势。复杂度

本文会先介绍笔者的7次KDD Cup/Kaggle比赛冠军的方案与理解，问题涉及推荐、广告、交通、环境、人工智能公平性等多个领域问题。接着会介绍在以上比赛中发挥关键作用的AutoM梯度下降法L技术框架，包括自动化特征工程，自动化模型优化，自动化模型融合等，以及如何通过该技术框架系统性建模不同的问题。最后再介绍以上比赛形成的通用方法，即面对一个新问题，如何进行分析、理解、建模、与挑战解决、从而实现问题的深度优化。

本文主要面向以下两类读者，其他感兴趣的同学也欢迎了解。

• 算法比赛爱好者，希望理解国际数据挖掘顶算法的时间复杂度是指什么级比赛冠军方案的方法与逻辑，取得更好的名次。
• 工业界工程师与研究员，借鉴比赛方法，应用于实际工作，取得更优ios模拟器的结果。

2 多领域建模优化

本部分将我们将以上比赛分为三个部分进行方案介ios系统绍，第一部分为推荐系统问题；第二部分为时间序列问题，跟第一部分的重要差别在于预测的是未来的多点序列，而非推荐系统的单点预估；第三部分为自动化机器学习机器学习问题，该问题比赛输入不为单一数据ios15集，而是多问题的多数据集，并且在最终评估的b榜数据集问题也是未知的。因此，对于方案的鲁棒性要求非常高。如表1所示，后续将具体介绍七个比赛赛道的获胜方案，但会合并为五个核心解决方案进行具体的介绍。

2.1 推荐系统问题

本节主要介绍Kaggle Outbrain Ads Click Prediction和KDD Cup 2020 Debiasing比赛。二者任务都是面向用户下一次点击预估问题，但因为应用场景与背景的不同，存在着不同的挑战：前者的数据规模庞大，涉及到数亿个用户在千级别数量异构站点上的数十亿条浏览记录，对模型优劳动复杂度化、融合有着严格的要求；后者则尤为关注推荐系统复杂度怎么计算的中的偏差软件复杂度问题，要求参赛选手提出有效的解决方案，来缓解选择性偏差以及流行度偏差，从算法是什么而提高推荐系统的公平性。本节将分别介绍这两场比赛。

Kaggle Outios模拟器brain Ads Click Pios终于迎来更新redictio空间复杂度nios15：基于多层梯度下降算法级多因子的模型融合方算法复杂度案

竞赛问题与挑战：竞赛要求在Outbrain网页内容发现平台上，预估用户下一次点击网页广告，具体参考：Kaggle Outbrain比赛介绍详情^[26]。参赛选手会面对以下两个重要挑战：

• 异构性：平台提供需求方平台（DSP）广告投放服务，涉及到用户在数千个异质站点上的行为刻画。
• 超高维稀疏性：特征高维稀疏，数据规模庞大，包含了7亿个用户、20亿次浏览记录。

基于多层级算法的三种基本结构多因子的模型融合方案：针对本次赛题的挑战，我们队采用了基于多层级多因子的模型融合方案来进行建模。一方面对于异构站点行为，单一模型随机梯度下降不易于ios14.4.1更新了什么全面刻画，另一算法工程师方面，亿级别的数据规模给多模型的分别优化带来了较大的空间。由于FFM具有强大的特征交叉能力以及较强的泛化能力，能更好地处理高维稀疏特征。因此，我们选择该模型作为融合算法基模型的主模型。模型融合通过不同模型学习到有差异性的内容，从而有效挖掘用户在不同站点上的异质行为。模型融合的关键是产生并结合“好而不同”的模型^[3][4]。基于多梯度下降算法层级多因子的模型融合方案首先通过模型差异空间复杂度性、特征差异性多ios下载个角度来构造模型之间的差异性，然ios是什么意思后通过多层级以及使用基学习器的多特征因子（模型pCTR预估值、隐层表征）机器学习进行融合：

具体地，如上图3所示。第一层级的目的是构建出有差机器学习异性算法导论的单个模型，主要通过不同类型的模型在用户最近行算法的时间复杂度是指什么为、全部行为数据以及不同特征机器学习集合上分别进行训练，来产生差异性。第二层级则通过不同单个模型的组合进一步产生差异性，差异性的提升来源于两个方面，分别是模型组合方式的不同（用不同模型，根据单模型ios是什么意思特征进行打分）以及用于模型组合的特征因子的不同，这里梯度下降法原理特征因子包括模型的打分以及模型中的隐层参数。第三层级则是考虑如何将不同融合结果组合在一起。由于划分出来的验证数据集较小，算法导论如果使用复杂非线性模型往往容易过拟合。所以这里使用了一个基于约束的线性模型来获得第二层级模型的融合权重。

上述方案同我们业务中模型相比，采用更多的模型融合ios终于迎来更新，在取得高精度的同时产生了更高的开销，而在实际业务中要更加注重效果与效率的平衡。

KDD Cup 2020 Debasing：基于i2i多跳游走的Debiasing方案

竞赛问题与挑战ios启动器：竞赛是以电子商务平台为背景，预估用户下一次点击的商品。并围绕着如何缓解推荐系统中算法的有穷性是指的选择性偏差以及流行度偏差进行展开，具体参考：KDD Cup 2020 Debiasing比赛介绍详情^[27]。推荐系统中的偏差问题有很多，除了上述两种偏差，还有曝光偏差、位次偏差等等^[5][6]。我们团队之前也对位次偏差进行了相关研究^[7]。而本次竞赛为了更好地衡量推荐系统对历史低热度商品的推荐效果，选手的成绩主要采用圈复杂度NDCG@50_half指标进行排名。该指标是从整个评测算法分析的目的是数据集中取出一半历史曝光少的点击商品，由于是ios模拟器低热度且有被算法工程师点击的商品，可以跟更好的评估偏差问题。本次比赛包含了以下挑战：

• 赛题只提供点击数据，构造候选集时需要考虑选择性偏差问题。
• 不同商品热度差异大，商品历史点击次数梯度下降呈机器学习现一个长尾分布，算法是什么数据存在严重梯度下降法原理的流行度偏差问题，并且评估指标 NDCG@50_half 用于考算法的五个特性察低热度商品的排序质量。

基于i2i游走的Debiasing排序方案：我们的方案为基于i2i建模的排序框架。如图所示，整体流程包含四ios系统个阶段：i2i构图与多跳游走、环路复杂度i2i样本构建、i2i建模以及u2i排序。前两个阶段解决了选择性偏差问题，后两个阶段则侧重于解决流行度偏差问题。

第一个阶段是基于用户行为数据和商品多模态数据构建i2i图，并在该算法分析的目的是图上多跳游走生成候选样本。这种方式扩大了商品候选集，更好地近似系统真实候选集，缓解了选择性偏差。

第二个阶段是根据不同i2i关系计算i2i候选样本的相似度，从而决定每种i梯度下降法原理2i关系下候选样圈复杂度本的数量，最终形成候选集。通过不同候选的构造方法，探索出更多有差异的候选商品，可以进一步缓解选择性ios模拟器偏差问题。

第三个阶段包括基于i2i样本集的自动化特征工程，以及使用流行度加权的损失函数算法的五个特性进行消除流行度ios15偏差的建模。自动化特征工程中包含了商品多模态信息的刻画，这类信息能够反应商品复杂度在热度信息以外的竞争关系，能够一定程度上缓解流行度偏差问题。而流行度加权的损失函数定算法的时间复杂度是指什么义如下：

其中，参数与流行度成反比，来削弱流行商品的权重，从而消除流行度偏差。参数是正样本权重，用于解决样本不平衡问题。

第四个阶段首先将i2i打梯度下降法公式分通过Max操作进行聚合，突出打分集合中低热度商品的高分信号，从而缓梯度下降法解流行度偏差问题。然后对梯度下降法商品列表的打分结合商品热度进行调整处理，进而缓解流行度偏差问题。

关于该比赛的更多细节，大家可以参考《KDD Cup 202复杂度0 Debiasing比赛冠军技术方案及在美团的实践》一文。

2.2 时间序列问题

时序系列问题：时间序列问ios15.1值得更新吗题相比于推荐系统问题的有较大差异梯度下降法原理和步骤。在任务上，推荐系统预测的是未来单个点，而时间序列预测未来多个点复杂度怎么计算的；在数据上，推荐系统通常包含用户、商品、上下文等多维信息，时间序列通常包含时间空间上变化的数值序列信息。

时间序列竞赛：在本文ios模拟器中，时间序列竞赛主要介绍KDD Cup 2018 Fresh Air和KDD Cup 2017 HighWay Tollgates Traffic Flow Prediction。它们都是时间序列问题，前者是预测未来两天的污染物浓度以及变化，后者是预测未来几个小时高速交通情况和变化。它们的共同点一是传统行业问题，实际意义强；二是存在各种突变性、稳定性低梯度下降法原理；三是都涉及到多地域、多空间问题，需结合时空进行建模。它们的异同点是污染物浓度突变需要一个短ios启动器期时间才能发生，数据算法复杂度在突变时存在一定规律性，但交通突变具有强偶发性，交通道路容易受到偶ios模拟器发性车祸、偶发梯度下降性地质灾害等影响，数据不会呈现出明显的规律性。

KDD Cup 2018 Fresh Air：基于时空门控DNN和Seq2Seq的空气质量预测方案

竞赛问题及挑战：竞赛目标是预测北京和伦敦48个站点在未来48小时里PM2.5/PM10/O3的浓度变化，具体参考： KDD Cup 2018比赛介绍详情^[28]。参赛选手需要解决以下两个挑战：

• 时序性：预测未来48小时的污染梯度下降算法浓度情况，实际污染物iOS浓度存在突变的情况。如图5所示，站点2在05-05以及05-06、05-07之间存在大量的波动和突变。
• 空间性：不同站点上污染物浓度有明显差异，并且和站点之间的拓扑结构相关联。如图所示，站点1、2软件复杂度的波形有较大差别，但是在05-07产生了相同的凸起。

基于Spatial-tempor梯度下降算法al Gated DNN与Seq2Seq的模型融合方案算法是什么^[9]：为了强化时间序列和空间拓扑的建模，我们引入了Spatial-temporal Gated DNN与Seq2Seq两个模型，并与LightGBM一起构建模型融合方案，具体如下。

（1）Spatial-temporal Gated DNN：对于时序问题而算法的特征言，由于未来预测临近时间点的统计特征值差异较小，直接使用DNN模型会使得不机器学习同小时和站点的预测值差异性小，因此我们在DNN中引入Spatial-temporal Gate来突出时空信息。如下图6所劳动复杂度示，Spatial-temporal Gated DNN采用了双塔结构，拆分了时空信息和其他信息，并且通过门函数来控制和强调时空信息，最终能够提高模型算法分析的目的是对时空的敏感度，实验中发现引入swish激活函数算法是什么f(x) = x sigmoid(x)能提升模型精度。

（2）Seq2梯度下降算法Seq：尽管Spatial-temporal Gated DNN相比DNN软件复杂度对时空信息进行了强化，但是它们的数据建模方式都是将样本的梯度下降算法是最常用也是最有效历史数据复制48份，分别打上未来48小时的标签，相当于分别预测48小时的污染浓度值。软件复杂度这种方式其实和时间序列预测任务有所脱离，失去了时间连续性。而Seq2Se算法的时间复杂度是指什么q建模方式可以很自然地解决这一问题，并且取得了不错的效果。下图7是本次比赛中，我们采用的Seq2S算法的五个特性eq模型结构。针对时序性挑战，历史天气特征通过时间算法分析的目的是前后组织ios15成算法是什么序列输入到编码器当中，解码器依赖于编码结果以及梯度下降法未来天气预报特征进行解码，得到48小时的污染物浓度序列。未来天气预报信息对齐到解码器每个小时的解码过程中，解码器可以通过天气预报中的天气算法的特征信息ios是什么意思（比梯度下降法如风级、气压等）来有效预估出突变值。针对空间性挑战，方梯度下降算法的正确步骤案在模型中加入站点嵌入以及空间拓扑结构特征来刻画空间信息，在模型中和天气信息进行拼接以及归一化，从而实现时空联合建模。

（3）模ios系统型融合：我们队采用了Stacking融算法是什么合的方式，单个学习器通过不同模型、数据、建模方式来构建差异性。LightGBM模型使用了天气质量、历史统计、空间拓扑等特征，Spatial-te梯度下降mporal Gate则是引入了门结构，强化了时空信息。Seq2Seq利用序梯度下降法原理列到序列的建模方式，刻画了序列的连续性、波动算法的五个特性性。最后使用了基于约束的线性模型将不同的单个学习器进行融合。

更多详情，大家可参考SIGKDD会议论文：AccuAir: Winning Solution to Air Quality Prediction for KDD Cup 2018。

KDD Cup 2017 Traffic Flow Prediction：基于交叉空间复杂度验证降噪与多损失融合的高稳定性交通预测方案

竞赛问题及挑战：竞赛目标是以20分钟为时间窗口，给复杂度分析定前2小时高速公路入口到关卡的行驶状况，预测未来2小时的行驶状况，具体可参考：KDD Cup 2017比赛介绍详情^[29]。竞赛根据行驶状况的不同，分为了行驶时间算法的时间复杂度是指什么预测和交通流量预测两个赛道。参赛选手iOS需要解决以下两算法个挑战：

• 数据小、噪声多。如下图8所示，框中时间段的数值分布和其他时间段的分布有明显的差异。

• 极值对结果影响大，评估指标使用了MAPE，如下式，其中 A算法的时间复杂度是指什么_t 代表实际值，F_t 代表预测值，当复杂度实际值为较小值（特别为极小值）时，这一项对整个和式的贡献拥有很大的权重。

基于交叉验证降噪的极值点优化模型融合方案：

（1）基于交叉验证的降噪，由于在线仅能进行一天一次的提交，并且最终的评测会由A榜测试集切到B榜测试集，并且由于A榜数据集小在线评测指标存在不稳定性，故而离线迭代验证的方式就显得尤为重要。为了能使离线迭代置信，我们采用两种验证方式进行辅助，第一种是下一天同时间段验证，我们在训练集最后M天上对每一天都取在线梯度下降算法的正确步骤同一时间段的环形复杂度数据集，得到M个验证集。第二种是N-fold天级采样验证，类似N-fold交叉验证，我们取最后N天的每一天数据作为验证集，得到N个验证集。这两种方法共同辅助模型离线效果梯度下降法原理和步骤的迭代，保证了我们在B榜上的鲁棒性。

（2）极值点问随机梯度下降题优化和模型融空间复杂度合：由于MAPE对于极值较敏感，我们在标签、损失、样本权重等不同方面分别进行多种不同处理，机器学习例如标签上进行Log变换和Box-Cox变换，Log变换是对标签进行Log转换，模型拟合后对ios15.1值得更新吗预估值进行还原，这样能帮助模型关注于小值同时更鲁棒，损失使用MAE、MSE等多种，样本权重上利用标签对样本进行加权等，我们在复杂度分析XGBoost、LightGB劳动复杂度M、DNN上引入这些处理生成多个不同模型进行模型融合，优化极值点问题，达到鲁棒效果。

备注：特别感谢共同参加KDDios模拟器 Cup 2017劳动复杂度的陈欢、燕鹏、黄攀等同学。

2.3 自动化机器学习问题

自动化机器学习问题^[10]主要包括KDD Cup 2019 AutoML和KDD Cup 2020 AutoGraph比圈复杂度赛。该类问题，一般具有以下三个特性算法的时间复杂度是指什么：

• 数据多样性强：15+个数据集，来源于不同领域问题，且不会标识数据来源，要求选手设计的自动化机器学习框架能够兼容多领域的数据，并对不同领域数据做出一定的适配。
• 自动化的鲁棒性：公共排行榜与私有榜评测数据不一样，最终评分按照多ios手游下载平台个数据集的平均排名/得分得到，要求能够在不曾见过的数据集上得到鲁棒环形复杂度的结果。
• 性能ios是什么意思限制：环路复杂度与现实问题搜索空间有较大对应，需要在算法设计与分析有限时间和内存上求解。

KDD Cup 2020 AutoGraph：基于代理模型的自动多层次图学习优化方案

竞赛问题及挑战：自动化图表示学习挑战赛（AutoGraph）是第一个应用于图结构数据的AutoML挑战，详情请见KDD Cup 2020 AutoGraph 比赛介绍^[30]。竞赛选择图结点多分类任务来评估表示学习的质量，参与者需设计自动化图表示学习^[11-13]解决方案。该方案需要基于图的给定特征、邻域和结构信息，高效地学习每个结点的高质量表示。比赛数据从真实业务中收集，包含社交网络、论文网络算法导论、知识图谱等多种领域共1梯度下降5个，其中5个圈复杂度数据集可供下载，5ios终于迎来更新个反馈数据集评估方案在公共排行榜的得分，剩余5个数据集在最后一次提交中评估最终排名。

每个数据集给予了图结点id和结点特征，图边和边权信息算法是什么，以及该数据集的时间预算（100-200秒）和内存算力（30G）。每个训练集随机将划分40%机器学习结点为训练集，60%结点为测试集，参赛者设计自动化图学习解决方案ios14.4.1更新了什么，对测试集结点进行分类。 每个数据集会通过精度（Accuracy算法设计与分析）来确定排名，最终排名将根算法据最后5个数据集的平均排名来评估。综上，本次比赛需要在未见过的5个数据集上直接执行自动化图学习方案，参机器学习赛者当时面临着以下挑战：

• 图模型具有高方差、稳定性低等特点。
• 每个数据集都有严格的时间预算和内存算时间复杂度力限制。

基于代理模型的自动化复杂度怎么计算的多层次模型优化^[14]

多类别ios手游下载平台层次化图模型优化：

（1）候选图模型的生成：现实世界中的图通常是多种属性的组合，这些属性信息很难只用一iOS种方法捕捉完全，因此，我们使用了基于谱域、空域、Attention机制等多种不同类型的模型梯度下降算法的正确步骤来算法的特征捕捉多种属性关系。不同模型在不同数据集上效果差算法的三种基本结构异算法的三种基本结构较大，为了防止后续模ios手游下载平台型融合时空间复杂度加入效果较差的模型，会对GCN、GAT、APPNP、TAGC、DNA、GraphSAGE、Gra软件复杂度phMix、Grand、GCNII等候选模型进行快速筛选，得到模型池。

（2）层次模型集成：这部分共包含两个维度的集成。第一层为模型自集成，为了解决图模型对初始化特别敏感，同种模型精度波动可达1%的问题，采用了同模型的自集成，同时生成多个同种模型，并取模型预测的平均ios模拟器值作为该种模型的输出结果，成功降低了算法的有穷性是指同种模型方差，提高了模型在不同数据集上的稳定性。第二层为不同模型集成，为了有效地利用来自本地和全球邻域的信息，充分捕获图的ios是什么意思不同性质，我们采用加权集成了不同种类的图模型，进一步提高性能。同时针对在参数搜索阶段，需要同时优化模型内参数，以及多种模型加权集成参数，使用模型集成参数和模型内参数通过互迭代的梯度下降进行求解，有效提升了速度。

基于代理模型与最终模型的两阶段优化：数据集采样，对子图根据Label进行层次采样，减少模型验证时间；代理模型与Bagging，计算多个较小隐层模型的平均结果，快速对该类模型进行评估。使用Kendall算法是什么 Ran算法是什么k和SpeedUp平衡准确度与加速倍率，得到合适的代理模型。最终通过代理模型梯度下降法得到了最优的超参数，然后ios下载再对最终的大模型在搜索好的参数上进行模型训练。

具体详情，大家可参考团队ICDE 2022论文，AutoHEns梯度下降算法的正确步骤GNN: Winning Solution to AutoGraph Challenge for KDD Cup 2020。

3软件复杂度 AutoM算法的时间复杂度是指什么L技术框架

3.1 自动化框架概述

经过上述的多场比赛，团队在多领域建模中不断总结与优化，抽象出其中较为通用的模块，总结得到针对数据挖掘类问题时ios终于迎来更新的一套较为通用的解决方案——AutoML框架。该框架包含数据预处理，自动化特征工程^[15]和自动化算法的五个特性模型优化^[16-20]三个部分。其中数据预处理部分主要负责特征分类、数据编码、缺失值处理等常见的基算法的三种基本结构础操作，不过多展开。主要空间复杂度针对AutoML框架的自动化特征工程和自动化模型优化两个部分进行详复杂度分析细介绍。

3.2 自动化特征工程

特征工程是机器学习中至关重要的工作，特征的好坏直接决定了模型精度的上限。目前常见的方式是人工手动对特征进行组合与变换，但人工特征挖掘存在速度较慢、无法梯度下降法原理挖掘全面等问题。因此，设计全面挖掘的自动机器学习化特征工程能够比较好地解决上述问题，自动化特征工程主要包含三个部分：

• 一、二阶特征算子：对数据的基础操作，可以得到更为复杂的高阶特征。特征算子包含算法导论三个，频数编码是指对于类别型特征在样本中次数、nunique等值的统计。目标编码指对数值型特征进行均值、求和、最大最小、百分位等操作。时序差分是指对于对时间特征进行差分处理。一阶算环路复杂度子使用一个实体计算，二阶算子使用二个实体计算算法导论，如用户在某品类下的订单数量，使用了用户与品类两个实体。
• 快速特征选择：因为自动化特征工程是针对全部实体依次算法的特征按照不同特征算子进行的笛卡尔积组ios是什么意思合，会产生大量的梯度下降法公式无效特征，故需要进行快速特征选择。使用Liios15.1值得更新吗ghtGBM模型快速识别有效特征及无用特征，从指标提升及特征重要性角度考虑，裁剪掉没用的特征，同时标识算法的时间复杂度是指什么重要特征与其他特征再次进行更为高阶的组随机梯度下降合。
• 高阶特征算子：基于一、二阶特征算子组合构建的新特征，进一步与其他特征进行高阶组合，基于K阶（K>=1）的K+1高阶组合循环迭代，能够产出大量人为考虑不足的高阶特征。

高阶特征算子按多实体结果是否完全匹配，分为Match方式——匹配全部实体劳动复杂度，All方式——匹配部分实体，得ios终于迎来更新到另一实体的全部值的计算结果，这样两种特征产出方式。下图中举例说明，Match方式匹配用户与时间段两个实体，得到用户在该时间段的平均订单价格；All方式则只匹配用户，得到用户在所有时间段的平均订单价格。

相较于DeepFM、DeepFFM等算法，自动化特征工程具有三个方面的优势。首先在存在多表信息的情况下，容易利时间复杂度用非训练数据的信息，如在广告场景中，通过特征可以利用自然数据的信息，相比直接使用自然数据训练，不容易产生分布不一致等问题；其次，只通过模型自动交叉学习，对于某些强特征交叉没有手动算法设计与分析构造学习得充分，许多显示交叉特征如用户商品点击率等往往有较强的业务意义，让模型直接感知组合好的特征往往比自动学习特征间的关系更为简单；机器学习第三方面对于许多高维度稀疏ID特征，如亿级别以上的推荐或广告场景中，DeepFM、DeepFF梯度下降法M对于这些特征的学习很难充分，自动化特征工程能给这些稀疏Iios15.1值得更新吗D构造很强的特征表示。

3.3 自动化模型优化

基于重要度的网圈复杂度格搜索：在我们框架算法导论中采用的梯度下降法是全局基于重要度算法的五个特性按照贪心的方式进行搜索，加快速度；得到算法的特征的最优结果再进行小领域更详细网格搜索，缓解贪心策略导致的局部最优。根据以往比赛经验，总结不同模型的超参重要性排序如下：

• Light算法的五个特性GBM：学习率>样本不平衡率>叶子数>行列采样等。
• DNN：学习率>Embedding维度>全连接层数和大小。值得一提的是，超参搜索在整个迭代梯度下降法过程中会算法进行多次，同时迭代前期与迭代后期参数搜索策略也有所不同，迭代前期，一般会选择更大的学习率，更小Embeddios手游下载平台ing维度和全连接层数等，降低模型参数量加快迭代速度，而在后期则选择更多参数，获得更好的效果。
• 模型融合：模型融ios系统合的关键点在于构造模型间的差异性，LightGBM和DN算法工程师N的模型本身差异性较大，同种模型中差异性主要算法是什么体现在，数据差异、特征差异、超参差异三个方面。数据差机器学习异主要通过自动化行采样实现，自动生成不同数据采样的模型；特征差异通过自动化列采样，生成特征采样的模型；算法导论超参差异通过高优参数扰动生成，在最优局部进行参数组网格局部扰动。模型融合方法一般Blending、Stacking或简单Mean Pooling等，融合前进行需要进行模ios14.4.1更新了什么型粒度剪枝（去除效果较差的模型避免影响融合效果）与正则算法复杂度化。

3.4 AutoMios手游下载平台L框架近期实战：MDD Cup 2021美团ios启动器外卖图谱推荐比赛冠军方案

在2021年8-9月美团举行的内部ios是什么意思算法比赛MDD Cup 2021中，美团到店广告平台质量预估团队应用了AutoML框架并获得了冠军。下面结合这场比赛，介绍框架在具体问题中的应用。

MDD C算法设计与分析up 2算法复杂度021需要参赛者根据用户、商家在图谱中的属算法的特征性、用户的历史点击、实时点击以梯度下降法原理及下单行为，预测下次购买的商家。包含四周的135万个订单行为，涉及20万个用户，2.9万个商家，17.9万个菜品，订单关联菜品数据共438万条，构成知识图谱。使用Hitrate算法导论@5作为评价指标机器学习。

数据预处理阶段：进行特征分类、异常值处理、统一编码等操作。主要涉及用户（用户画像特征等）、商家（品类、评分、品牌等）、菜品（口味、价格、食材等）三种实体数据及点击、购买（LBS、价格、时间等）两类交互数据环形复杂度，对原始数据进行特征分类、数据编环路复杂度码、缺失值处理等常见预处理操作。

自动ios模拟器化特征工程：一、二阶特征算子，首先对于类别、数据、时序、标签四类原始特征，按照可抽象的三种实体及两类交互数据进行一、二圈复杂度阶特征交叉，运用频数编ios模拟器码、目标编码与时序差分算子操作ios15.1值得更新吗，在多时段上统计得到一、二阶统计特征。举例说明，如频数编码可计算用户点击某商家的次数、用户购买商家品类的nunique值软件复杂度，用户在某场景的下单数量等。目标编码可计算用户的平均订单价格，用户点击梯度下降算法次数最多的商家品类等。时序差分可计算如用户购买某口味菜品的平均时间差等。多时段统计则意味着上述特征均可在不同时段上计算得到算法复杂度。

快速特环形复杂度征选择，上述自动产出的一、二阶统计特算法的五个特性征数量共有1000+，其中存在大量无效特征，故使用Light算法的五个特性GBM模型，从指标提升与重要性角度进行特征筛选与重要标识。如用户 x 菜品口味的特征没什么效果，进行筛除；用户最常购买的梯度下降法公式价格区间则很有效果，标识为重要特征进行高阶组合。

高阶特征算子，基于一、二阶特征算子组合构建的新特征，可以作为输入进行高阶特征组合。这里值得一提的是，高阶特征组合存在算法的时间复杂度是指什么两种形式，第一种原始特征的更高阶组合，如用户在某梯度下降算法个商家中最喜欢的菜品口味，结合三个实体，并不需要额外的运算，第二种需使用一、二阶新特征，其中频数编码的结果可以直接使用，目标编码与时序差分需要先进行数算法复杂度值分桶操作转换为离散值后才可使用，如用户订单价格区间的众数 x 商家订单价格平均值的分桶的联合count。循环进行特征组合与筛选后就得到了最终的特征集。

自动化模型优化：模型部分使用了LightGBM和DIN的融合方案，迭代过程中多次进行了自动超参搜索，通过自动化行、列采样及最优参数局部扰动构造了具有差异性的多个模型，融合得到最终的结果。

4 通用建模方法与理解

本节会就比赛的通用建模方法进行介绍，即面对一个新问题，如何进行快速高效的整体方案设计。

4.1 建模框架与方法复杂度

在面对新问题时，我们主要将技术框架分为以下三个阶段，即探索性建模、关键性建模、自动化建模ios模拟器。三个阶梯度下降算法是最常用也是最有效段具算法的三种基本结构有逐渐深化，进一步补充的作用。

探索性建模：比赛前期，首先进行问题理解，算法的三种基本结构包括评估指标与数ios启动器据表理解，然后进行基础的模型搭建，并线上提交验证一致性。在一致性验证过程中往往需要多次提交，找到同线上指标一致的评估方式。探索性建模的核心目标是ios是什么意思要找到迭代思路与方法，所以需要对问题做多方面探索，在探索中找到正确的方向。

一般在非时序问题，采用N-fold方法构造多个验证集，并可以灵活变换生成种子，得到不同的集合。而在梯度下降算法时序问题，梯度下降法公式一般会采用滑窗方式，构造同线上提ios系统交时间一致机器学习的验证集，并可以向前滑随机梯度下降动k天，来构造k个验证集。在多个验证集评估中，可以参考均值，方差，极值等参考指标综合评估，得到ios模拟器同线上一致的结果。

关键性建模：比赛中期，会就关键问题进行深挖，达成方案在榜单Top行列，在问题理解方面，会尽可算法分析的目的是能就评估方式进行损失函数自定义设计。

分类问题优圈复杂度化，可以结合Logloss、AUC Loss^[21]、NDCG Loss等不同损失函数进行Mix Loss设计。而回归问题的损失函算法的三种基本结构数设计要更复杂，一方面可以结合平方误差梯度下降算法，绝对值误差等进行损失函数设计，另一方面可以结合Log变换，Box-cox变换等解决回归异常值等问题。

自动化建模：比赛后期，由于基于人的理解一方面在细节与角度有盲区，另一方面较难进行抽象关系ios15的建模算法分析的目的是，所以我们会采用自动化建模进行补充。如下图18所示，先基于关系型多表输入，进行自动化关联，然后通过生成式自动化特征工程构建大量特征，再进行特征选择与迭代，然后基于模型输入进行自动化超参搜索与模型选择，最终基于多模型进行自动化融合构建，将生成的多元化模型关系进行选择与赋权。

自动化建模一般采用如图复杂度分析18的框架，先进行多表关ios下载联，然后基于先扩展后过滤的逻辑进行特征选择，下一步基于精选特征与多个超参范围进行超参搜索，最后采用XGBoost^[22]、Li复杂度ghtGBM、DNN、RNN、FFM等不同模型进行自动化模型融合。

4.2 同工业界方法联系

算法比赛相对于工业界实际情况而言，一个重要区别是工业界涉及线上系统，在工程方面性能的挑战更大，在算法方面涉及更多的线上线下效果一致性问题。因此算法比赛会在模型复杂度、模型精度更进一步，在算法比赛中也产算法的时间复杂度是指什么出了ResNet、Field-aware Factorizati算法的三种基本结构on Mach空间复杂度ine(FFM)、XGBoost等算法模型，广泛应用于工业界实际系统。

在ios模拟器空气算法是什么质量预测中，我们劳动复杂度采用了时空结合的Spatial-ios下载temporal Gated DNN网络进行有效建模，同空气质量问题相接近，在美团的实际业务中也面临着时空相结合的建模问题，以用户行为序列建模为例。我们对用户的历史时空信息和当前时空信息进行了充分的建模和交互^[24]。我们分辨出算法的五个特性用户行为的三重时空信息，即：用梯度下降算法是最常用也是最有效户点击发生时的时间、用户请求发出的地理位ios模拟器置、用户所算法导论点击的商户的地理位置。

基于上述三重时空信息，我们提出Spatio-temporal Ac算法的时间复杂度是指什么tivator Layer（如图19）：三边时空注算法导论意力机制神经网络来对用户历史行为进行建模，具体通过对请求经纬度信息、商户经纬度信息和请求时间的交互进行学习。针对空间信息交叉，我们进一步采用地理位置哈希编码和球面距离相结合的方式；针对时间信息交叉，我们也采用绝对与相对时间相结合的方式，有效实现用户行为序列在不同时空条件下的三边表达。最后，经上述网络编码后的时空信息经过注意力机制网ios系统络融合，得到LBS场景下用户超长行为序列对不同请求候选的个性化表达。

相比较而言，比赛中的Spatial-tempoios下载ral Gated DNN更注重时空融合信息对于复杂度怎么计算的预测值的算法设计与分析影响，由于需要预测的时间序列问题，更侧重于不同的时间、空间信息有能够将差异性建模充分。而在美团业务中的时空复杂度分析网络注重于细粒度刻画空间信息，源于不同的球面距离，不同的区块位置影响大，需要多重信息深度建模。更多详情，大家可参考团队的CIios系统KM论文：Trilatera空间复杂度l Spatiotemporal Attention Network for User Behavior Modeling in Locat时间复杂度ion-based Search^[23]。

在实际建模中，相对于比赛涉及到更多线上部分，而比赛主要专注于离线数据集的精度梯度下降算法的正确步骤极值。同Debi复杂度怎么计算的asing比赛相比，在实际梯度下降线上系统中，涉及到Bias等更多的问题，以Positi算法的五个特性on Bias为例，实际的展示数据高位点击率天然算法工程师高于低位，然而一部分是源于用户高低位之间的浏览习惯差ios是什么意思异，因此对于数据的直接建模不足以表征对于高低位广告点击率与质量的评估。我们在美团实际广告系统中，设计了位置组合预估框梯度下降法原理架进机器学习行建模，取得不错的效果，这里不再详述。具体详情，大家可参时间复杂度考团队SIGIR论文ios模拟器：Deep Position-wise Interaction Network for CTR Prediction^[7]。

4.3 建模关键理解

一致ios下载的评估方式是决定模型泛化能力的关键

在比赛的机制中，通常最终评测的P梯度下降算法是最常用也是最有效rivate Data和此前算法是什么一直榜单的Public Data并不是一份数据，有时切换数据会有几十名的名次抖动，影响最终排名。因此避免过拟合到常规迭代的Public Da算法工程师ta是最终取胜的关键。那么在此问题上，如何构造同线上分ios系统布一致的验证集呢？从一致性角度，一般会构造时间间隔一致的验证集。而部分问题数据噪音较重，可以用动态滑窗等方式构造多个验证集相结合。一致的验证集ios14.4.1更新了什么决定着后面的迭代方向。

大数据注重模型的深化，小数据注重模型的鲁棒

不同数据集注重的内容不一样，在数据充分的场景下ios终于迎来更新，核心问题是模型深化，以解决特征之间交叉，组合等复杂问题。而在小数据下，因为噪音多，空间复杂度不稳定性强，核心问题是模型的鲁棒。高数据敏感性是方案设计的关键。

方差与偏差的平衡是后圈复杂度期指复杂度怎么计算的导优化的关键

从误差分解角度去理解，平方误差可以分解为偏差(Bias)与方差(Variance环形复杂度)^[25]，在中前期模型复劳动复杂度杂度较低时ios手游下载平台，通过提升模型复杂度，能够有效减低偏差。而在偏差已经被高度优化的后期，方差的优化是关键算法，因此在后期会通过Emsemble等方式，在单模型复杂度不变的基础上，通过模型融合优化结果。

AutoML的关键是人为先验的不断减少

在运用AutoML环路复杂度框架的同时，会有一些超参数等隐蔽的人为先验，把AutoML技术也以模型视角来理解，同样存在模型复杂度越高越容易过拟合的问题，迭代梯度下降中的一个关键问题不是评算法的时间复杂度是指什么估效果的好坏，而是方案是否存在不必要的超参数等信息，能否不断地简化AutoML的建模，不断地自动化，自适应适配各类问题。

最后，也特别感谢Convolution Team、Nomo Team、Getmax Team、Aister Team等队伍的队友们。

总结

本文基于笔者7次算法比赛的冠军经历，分享推机器学习荐系统、时间序列及自动化机器学习等不同领域比赛中的ios下载算法经验，接着结合具体问题介绍AutoML技术框架，最后总结比赛中通用的建模方案，结合工业界方案介绍其与比赛的联系。希望文章中的一些算法比赛相关经验能够帮助算法爱好者更好地参与竞赛，能为大家提供一些思路，启迪更多的工程师随机梯度下降与研ios终于迎来更新究员在实际工作中取得更优结果。未来，我们团队将持续关注国际算法竞赛，积极进行比赛思路与工业方案结合的尝试，同时也欢迎大家加入我们团队，文末附有招聘信息，期待你的邮件。

作者简介

胡可、兴元、明健、坚强，均来自美团广告平台质量预估团队。

参考文献

• [1] Juan Y , Zhuang Y , Chin W S , et al. Field-aware Factorization Machines for CTR Prediction[C]// the 10th ACM Conference. ACM, 2016.
• [2] He K , Zhang X , Ren S , et al. Identity Mappings in Deep Residual Networks[J]. Springer, Cham, 2016.
• [3] Ali, Jehad &ampios启动器; Khan, Rehanullah &a复杂度怎么计算的mp; Ahmad, Nas随机梯度下降irios15.1值得更新吗 & Maqsood, Imran. (2012). Random Forests anios启动器d Decision Trees. Intern梯度下降法原理ational Journal of Computer Scienc算法e Issu梯度下降法公式es(IJCSI). 9.
• [4] Robi Pol环形复杂度ikar. 2006. Ensemble based systems in decision making. IEEE C环形复杂度ircuits and systems magazine 6, 3 (2006), 21–45.
• [5] Jiawei Chen, Hande Doios15ng, Xiang Wang, Fuli Feng, Me算法ng Wang, and Xiangna圈复杂度n He. 2020. Bias and Debias in Recommender System: A Survey and Futu算法设计与分析re Directions. arXiv preprint arXiv:2010.03240 (2020).
• [6] H. Abdollahpouri and M. Mansoury, “Multi-sided exposure bias in recommendation,” arXiv preprint arXiv:2006.15772, 2020.
• [7] Huang J, Hu K, Tang Q, et al. Deep Position-wios下载ise Interaction Network for CTR Prediction[J]. arXiv pios14.4.1更新了什么reprint arXi复杂度怎么计算的v:2106ios14.4.1更新了什么.05482, 2021.
• [8] KDD Cup 2020 Debiasi算法的三种基本结构ng比赛冠军技术方案及在美团的实践.
• [9] Luo Z, Huang算法的时间复杂度是指什么 J, Hu K, et al. Accu算法是什么Air: Winning solution to air quality prediction for KDD Cup 2018[C]//Proceedings of the 25th A算法设计与分析CM SIGKDD Internati算法的三种基本结构onal Conference on Knowle软件复杂度dge Discovery & Data Mining. 2019: 1842-1850.
• [10] He Y, Lin J, Liu Z, et算法的特征 al. Amc:ios系统 Automl for model compressionios是什么意思 and acceleration on mobile dev算法工程师ices[C]//Proceedings of the European conference on computer vision (ECCV). 2018: 784-800.
• [11] Yang Gao, Hong Yan算法的特征gios模拟器, Peng Zhang, Chuan Zhou, and Yue Hu. 2020. Graph neural architecture search. In IJCAI, Vol. 20. 1403–1409.
• [12] Matheus Nunes and Gisele L Pappa. 2020. Neuios是什么意思ral Architecture Search in Graph Neural Networks.复杂度怎么计算的 In Brazilian Conference on Intelli圈复杂度gent Systems. Sprios下载inger, 302– 317.
• [13] H算法的特征uan Zhao, Lanning Wei, and Q复杂度分析uanming Yao. 2020. Simplifying Architecture Search for Graph Neural Network. arXiv preprint arXiv:2008.11652 (2020).
• [14] Jin Xu, Mingjian Chen复杂度分析, Jianqiang Huang, Xingyuan Tang, Ke Hu, Jian Li, Jia Cheng, Jun Lei: “AutoHEnsGNN: Winning Solution to AutoGraph Challenge for KDD Cup 2020”, 2021; arXiv:2111.12952.
• [15] Selsaas L R, Agrawal B, Rong C,ios是什么意思 et al. AFFM: auto算法复杂度 feature engineering in field-aware fa梯度下降算法是最常用也是最有效ctorization machines for predictive analytics[C]//2015 IEEE International Conference on Data Mining Workshop (ICDMW). IEEE, 2015: 1705-1709.
• [16] Yao Shu, W环路复杂度ei Wang, and Shaofeng Cai. 2019. Understanding Architectures Learnt by Cell-based Nios模拟器eural Architecture Search. In Internatio梯度下降算法的正确步骤nal梯度下降法原理 C空间复杂度onference on Leios14.4.1更新了什么arning Representations.
• [17] Kaios是什么意思iche算法的有穷性是指ng Yu, Rene Ranf复杂度tl, and Mathieu Salzmann. 2020. How to Train Your Super-Net: An Analysis of Training H复杂度euristics in Weight-Sharing NAS. arXiv preprint arXiv:2003.04276 (2020).
• [18] Hios手游下载平台aixun Wang, Wei Fan, Philip S Yu, and Jiawei梯度下降算法 Han. 2003. Mining concept-drifting data str空间复杂度eams us空间复杂度ing ensemble classifiers. In Proceedings of the ninth AC梯度下降M SIGKDD international conference on Knowle复杂度分析dge discovery and data mining. 226–235.
• [19] Robi Polikar. 2006算法分析的目的是. Ensemble based systems in decision making. IEEE Circuits and systems magazine 6, 3 (2006), 21–45.
• [20] Chengshuai Zios15hao, Yang Qiu, Shuang Zhou, Shichao Liu, WeiOSn Zhang, and Yanqing Niu. 2020. Graph embedding ensemble methods based on the het算法的时间复杂度是指什么erogeneous network for ln随机梯度下降cRNA-miRNA interaction prediction. BMC genomics 21, 13 (2020), 1–12.
• [21] Rosenfeld N , Meshi O , Tarlow D , et al. Learning Structured Models with the AUC Loss and Its Generalizations.
• [22] Chen T , Tong H , Benesty M . xgboost: Extreme Gradient Boosting[J]. 2016.
• [23] Qi, Yi环形复杂度, et al. “Trilateral Spatiotemporal At算法的五个特性tention Network for User Behavior Modeling in Location-based Search”, CIKM 2021梯度下降算法的正确步骤.
• [24] 广告深度预估技术在美团到店场景下的突破与畅想.
• [25] Geurts P . Bias vs Variance Decomposition for Regression a梯度下降法公式nd Classification[J]. Springer US, 2005
• [26] Ka算法ggle Outbrai随机梯度下降n比赛链接： www.kaggle.com/c/ios启动器outbrain-….
• [27] KDios15D Cup 2020 D梯度下降算法是最常用也是最有效ebiasing比赛链接 tianchi.aliyun.com/competition….
• [28] KDD C算法复杂度up 2018比赛链接：www.biendata.xyz/compeios手游下载平台tition….
• [29] KDD Cuios启动器p 2017比赛链接：t算法的三种基本结构ianchi.aliyun.com/competition….
• [30] KDD Cup 2020 AutoGraph比赛链接：www.automl.ai/com算法分析的目的是petition…

招聘信息

美团到店广告平台算法团队立足广告场景，探索深度学习、强化学习、人工智能、大数据、知识图谱、NLP和计算机视觉前沿的技术发展，机器学习探索本地生活服务电商的价值。主要工作方向包括：

• 触发策略：用户意图识别、广算法的特征告商家数据理解，Query改写，深度匹配，相关性建模。
• 质量预估：广告质量度建模。点击率、转化率、客单价、交易额预估。
• 机制设计：广告排序机制、竞价机制、出价建议、流量预估、预算分配。
• 创意优化：智能创意设计。广告图片、文字、团单、优惠信息等展示创意的优化。

岗位要求：

• 有三年以上相ios15.1值得更新吗关工作经验，对CTR/CVR预估、NLP、ios系统图像理解、机制设计至少一方面有应用经验。
• 熟悉常用的算法的三种基本结构机器学习、深度学习、强化学习模型。
• 具有优秀的逻辑思维能力，对解决挑战性问题充满热情，对数据敏感，善于分析/解决问题。
• 计算机、数学相关专业硕士及以上学历。

具备以下条件优先：

• 有广告/搜索/推荐等相关业务经验。
• 有大规模机器学习相关经验。

感兴趣的同学可投递简历至：chengxi梯度下降法原理和步骤uyiiOSng@meituan.com（邮件标题请注明：广平算ios是什么意思法团队）。

阅读美团技术团队更多技术文章合集

前端 | 算法 | 后端 | 数据 | 安全 | 运维 | iOS | And算法的时间复杂度是指什么roid | 测试

| 在公众号菜单栏对话框回复【2020年货】、【2019年货】、【2018年货】、【2017年ios模拟器货】等关键词，可查看美团技复杂度分析术团队历年技术文章合集。

| 本文系美团技术团队出品，著作权归属美团。欢迎出于分享和交流等非商业目的转载或使用ios15本文内容，敬请注明“内容转载自美团技术团队”。本文未经许可，不得进行商业性转载或者使用。任何商用行为，请发送邮件至tech@meituan.com申请授权。