【推荐系统】CTR预估模型（一）：LR+GBDT

在举荐体系中，CTR预估是一个非常常见的使命，他最初步用于核算广告中用于判别广告作用的优化情况。在查找广告中，一般经过广告的点击数测验工程师量进行作用的评价和结算，因而点击率预估的准确性在作用优化中起到非常要害的作用。假定究竟评价作用的目标是转化，那么还需求一同对点击之后的转化率进行估量。而在许多场景中实践的转化数据非常稀少算法的时刻复杂度取决于，很难直接运算法导论用转化数据对模型进行练习，所以算法的五个特性常常退而求真算法剖析的意图是次，对二次跳转、参与购物车等行
为进行建模。对转化、二次跳转、参与购物车等行算法的时刻复杂度是指什么为进行建模的原理与点击率预估非常类测验用例似，所以CTR预估能够作为一个常用使命来建模。

1. CTR的定算法的有穷性是指义

点击率预估能够抽象成为一个二分类问题。它所处测验网速理的问题算法的五个特性是：给定一个算法的有穷性是指恳求以及与该恳求所匹配的广告，猜测广告展现之后取得点击的概率。标测验手机是否被监控明能够从测验你的自卑程度实践的投进数据中取得，在前史的投进作用中，取得了点击的记测验纸怎么看是否怀孕载标明为1，真余测验郁闷症的20道题标明为0。

上图为点击率算法工程师预估攫型中的一条练习／测验数据记载的暗示。左面的方框中列出了这条数据记载对应的特征，包含与用户（User tags）、上下文（Date, City, Ad exchange, Domain , …）测验网速、广告主（Ad ID）、构思（Ad size）等相关的特征。在练习记载中，假定这条测验网速记载究竟产生了点击，则记载为1，否则记载为测验网速0；在猜测肘，咱们需求猜测这条记测验用例载产生点击的概率，即CTR (Cl测验你的自卑程度ick-Through Rate）。

2. LR+GBDT

这个模型是Facebook在2014年的论文中介绍经过GBDT模型处理LR模型的特征组合问题。思路很简略，特征工程测验分为两部分，一部分特征用于算法剖析的意图是练习一个GB测验纸怎么看是否怀孕DT模型，把GBDT模型每颗树的叶子节点编号作为新的特征，参与到原始特征会合，再用LR模型练习究竟的模型。在这个模型之前CT算法的时刻复杂度取决于R预估的首要的benchmark是逻辑回归（LR）。

2.1 LR

因为CTR自身便是一个二分类问题，所以LR作为一个非常经典的分类模型很早就被拿来做CTR预估了测验纸怎么看是否怀孕。其自身测验用例结构简略，时刻复杂度低，又能够大规划并行化，所以在前期CTR预估使命中，根柢都是以手动规测验用例划穿插特征以及特征离散化来赋予LR线性模型关于数据集的非算法线性学习才能，高位离散特征+手动穿插特征构成了CTR预估的根柢特征。

模型结构：f(x)=w0+∑i=1nwixi，y=sigmoid(f(x))fleft ( x right )=w_0+sum_{i=1}^{n}w_ix_i，y=sigmoid(f(x))f(x)=w0​+∑i=1n​wi​xi​，y=sigmoid(f(x))

方针函数：J(w)=−1m∑i=1m(yilog⁡fw(xi)+(1−yi)log⁡(1−fw(xi))算法)J(w)=-frac{1}{m}sum_{i=1}^算法剖析的意图是{m}(y^ilog f_w(x^i)+(1-y^i) log(1-f_测验工程师w(x^i)测验郁闷症的20道题))J(w)=−m1​∑i=1m​(yilogfw​(xi)+(1−yi)log(1−fw​(xi)))

优势：

• 模型简略，具有一定可解释性
• 核算时刻复杂度低
• 工程上可大规划并行化

短少：

• 依赖于许多的特征工程，离入需求根据事务具有相关只是用过特征工程融入模型
• 特征穿插难以穷尽
• 关于操算法导论练会合没有测验手机是否被监控出现的穿插特征无法进行参数学习

2.2 GBDT

GBDT是集成算法的五个特性学习中boosting算法的一种，boosting算法的根柢思路是弱分类器经过串联，根据上一轮弱分类器的作用，以拟合残差或许前进分类过失样本的权重办法测验郁闷症来层层叠加弱分类器，究竟各层测验郁闷症的弱分类器作用加权得到究竟作用。弱分类器自身是高过失，高方差，boosting经过串行办法降低了集成分类算法剖析的意图是器的过失，从测验工程师而能得到更准确的作用。

GBDT全称为梯度前进决策树（gradient boosting decision tree）测验工程师。先练习一个初始决策树是ft−1(x)f_{t-1}(x)ft−1​(x)，丢掉函数L(y,ft−1(x))L(y,f_测验你的自卑程度{t-1}(x))L(y,ft−1​(x))，则本轮迭代方针数找到一个CART回归树学习器ht(x)h_t(x)ht​(x)，让本轮的丢掉函数L(y,ft(x))=L(y,ft−1(x)+ht(x))L(y,f_{t}(x))=L(y,f_{t-1}(x)+算法剖析的意图是h_t(x))L(y,ft​(x))=L(y,ft−1​(x)+ht​(x))最小。也便是说本轮迭代找到的决算法的五个特性策树，要让样本的丢掉尽量变得更小。而究竟的猜测作用是全部树的猜测值之和。

前进树算法

1. 前进树首要初始化f0(x)=0f_0(x测验你的自卑程度)=0f0​(x)=0,

2. 关于$m=1,2,...,M$

   1. 则残差rmi=yi−fm−1(x),i=1,2,…,Nr_{mi}=y_i-f_{m-1}(x),i=1,2,…,Nrmi​=yi​−算法工程师fm−1​(x),i=1,2,...,N

   2. 拟合残算法导论差rmir_{mi}rmi​学习一棵回归树，得到hm(x)h_m(x)hm​(x)

   3. 更新fm(x)=fm−1(x)算法是什么+hm(x)f_m(x算法导论)=f_{m-1}(x)+h_m(x)fm​(x)=fm−1​(x算法的时刻复杂度取决于)+hm​(测验郁闷程度的问卷x)

3. 得到回归问题前进树fM(x)=∑m=1Mhm(x)f_M(x)=sum_{m=1}^{M}h_m(x)fM​(x)=∑m=1M​hm​(x)

假定前一轮迭代得到的强学习器是ft−1(x)f_{t-1}(x)f算法的时刻复杂度是指什么t−算法剖析的意图是1​(x)，丢掉函数是L(y,ft−1(x))L(y,f_{t测验郁闷症-1}(x))L算法的五个特性(y,ft算法的特征−1​(x))，则本轮迭代的方针数找到一个弱学习器ht(x)h_t(x)ht​(x)最小化本轮算法的五个特性的丢掉

当运用平方差为丢掉函数时

这儿的$r$便是残差，所以前进树只需求简略测验纸怎么看是否怀孕的拟合当前模型残差，就测验怀孕的试纸图片一深一浅能够抵达最小化丢掉函数的意图。

梯度前进

在第$t$轮第算法的特征$i$个测验你的自卑程度样本的丢掉函数在挑选平方丢掉函数时

这时就会发现GBDT的负梯度便是残差，这也是Friedman提出的用丢掉函数的负梯度作为前进树算法的残差近似值。GBDT回归模型是要拟合残差，

GBDT回归算法

练习样本T=(x1,y1),(x2,y2),…,(xm,ym)T={(x_1,y_1),(x_2,y_2),…,(测验手机是否被监控x_m,y_算法的时刻复杂度是指什么m)}T=(x1​,y1​),(x2​,y2​),...,(xm​,ym​)，最大迭代次数T，丢掉函数L

1. 初始化弱学习器：f0(x)=arg⁡min⁡c∑i=1N算法的特征L(yi,c)f算法导论_0(x)=arg min _csum _{i=1}^{N}L(y_算法i,c)f0​(x)=argminc​∑i=1N​L(yi​,c)

2. 对$t=1,2,...,T$有：

   1） 对每个样本$i=1,2,...,m$，核算负梯度（残差）

   rti=−[∂L(yi,f(xi))∂f(xi)]f(x)=ft−1(x)r_{ti}=-l测验手机是否被监控e测验用例ft [frac{partial L(y_i,f(x_i))}{partial f(x_i)}算法剖析的意图是 right ]_{f(x)=f_{t-1}(x)}rti​=−[∂f(xi​)∂L(yi​,f(xi​))​]f测验网速(x)=ft−1​(x)​

   2. 将上步得到的残差作为样本新的实在值，并将数据(xi,rti)，i=1,2,..m (x_i,r_{ti})， i=1,2,..m(xi​,rti​)，i=1,2,..m拟合一棵CART算法的有穷性是指回归树，得到第$t$棵回归树ft(x)f_{t算法导论} (x)ft​(x)其对应的叶子节点区域为Rtj,j=1,2,…,JR_{tj}, j =1,2,…, JRtj​,j=1,2,...测验纸怎么看是否怀孕,J。其中$J$为回归算法导论树t的叶子节测验郁闷程度的问卷点的个数。

   3. 对叶子区域$j=1,2,...,J$核算最佳拟合值

   ctj=arg⁡min⁡测验你的自卑程度c∑xi∈RtjL(yi,ft−1(xi)+c)c_{tj}=arg min _csum_{x_i in R_{tj}}L(y_i,f_{t-1}(x_i)+c)ctj​=argcmin​xi​∈Rtj​∑​L(yi​,ft−1​(x算法的时刻复杂度取决于i​)+c)
   4. 更新强学习器
   ft(x)=ft−1算法是什么(x)+∑j=1JctjI(x∈Rtj)f_t(x)=f_{t-1测验郁闷症的20道题}(x)+sum_{j=1测验工程师}^测验怀孕的试纸图片一深一浅{J}c_{tj}I(x i算法工程师n R_{tj})ft​(x)=ft−1​(x)+j=1∑J​ctj​I(x∈Rtj​)

3. 得到强学习器$f(x)$的表达式

   ft(x)=fT(算法的五个特性x)=f0(x)+∑t算法的有穷性是指=1T∑j=1JctjI(x∈Rtj)f_t(x)=f测验郁闷症的20道题_{T}(x)=f_0(x)+sum _{t=1}^{T}sum_{j=1}^{J}c_{tj}I(x in R_{tj})ft​(x)=fT​(x)=f0​(x)+t=1∑T​j=测验网速1∑J​ctj​I(x测验郁闷程度的问卷∈Rtj​)

GBDT分类算法

分类算法的时刻复杂度取决于算法和回归算法的思想上是相同的，但是样本输出不是接连值，所以不能直接从输出类型去拟合测验类别输出的过失。则在分类算法的特征算法中运用的丢掉函数有指数丢掉函数和对数似然丢掉函数。而在二分类中运用的便是后者（GBDT+LR模型中便是二分类）

则此算法的五个特性刻负梯度过失为

则关于生成的决策树，各个叶子节点的最佳负梯度拟合值为

在优化上面的拟合值是用近似值替代

除了算法的有穷性是指负梯度核算和叶子节点最佳负梯度拟合的线算法的时刻复杂度是指什么性查找，二元GBDT分类和回归进程相同。

练习参数

GBDT的练习参数最基础需求：

• 学习率（算法剖析的意图是learni测验纸怎么看是否怀孕ng rate）
• 迭代次数（n_trees测验怀孕的试纸图片一深一浅）
• 单棵树深度（max_depth）

利益

• 树的生成进程能够了解成自动进行多维度的特征组合。从根结点到叶子节点上的整个途径(多个特征值判别)，才调究竟抉择一棵树的猜测值， 其他，关于接连型特征的处理，GBDT 能够拆分测验手机是否被监控出一个临界阈值，比方大于 0.027 走左子树，小于等于 0.027（或许 default 值）走右子树，这样很好的规避了人工离散化的问题。这样就非常轻松的处理了逻辑回归那里自动发现特测验用例征并进行有用组合的问题， 这也是GBDT的优势地址。

缺点

• 海量id类特征并不能有用存储

2.3 GBDT+LR

因为LR自身需求做许多的人工特征穿插，而GBDT能够自动化特征筛选组合，从而构成新的离散特征向量。所以将这两个算法的时刻复杂度是指什么模型连接起来，测验怀孕的试纸图片一深一浅用GBDT对原特征进行特征筛选组合，然后输出给LR模型进行分类便是知名的GBDT+LR模型了。

如上图所示，练习时，GBDT 建树的进程相当于自动进行的特征组合和离散化，然后从根结点到叶子节点的算法是什么这条途径就能够看成是不同特征进行的特征组合，用叶子节测验郁闷症的20道题点能够仅算法工程师有的表明这条途径，并作为一个离散特征传入 LR 进行二次操测验郁闷症的20道题练。举例上图$x$作为一条输入样本经过左右两棵GBD测验郁闷症的20道题T分类树，别算法离落到两棵树的叶子节点上，每个叶子节点对应LR的一维特征，那么经过遍历树就得测验郁闷症到了该样本对应的全部LR特征。举例两棵并行树会分别生成$[0,1,0]$和$[1,0]$，然后他们连接起来是$[0,1,0,1,0]$然后输入给下面的LR模型以完毕分类。

在猜测时，算法的时刻复杂度是指什么会测验郁闷症先走GBDT的每棵树，得到某个叶子节点对应的一个离散特征，然后把该特征以one-hot办法传入LR与原特征一同线性加权猜测。

要害点：

1. 经过GBDT进行特征组合之后得到的离散向量是和练习数据的原特征一块算法是什么作为逻辑回归的输入， 而不只是满是这种离算法的特征散特征
2. 建树的时分用ensemble建树的原因便是一棵树的表达才能很弱，短少以表达多个有差异性的特征算法剖析的意图是组合，多棵树测验网速的表达才能更强一测验郁闷症的20道题些。GBDT每棵树都在学习前面棵树尚存的短少，迭代多少次就会生成多少棵树。
3. RF也是多棵树，但从作用上有实践证明不如GBDT。且GBDT前面的树，特征割裂首要表现对多数样本有差异度的特征；后边的树，首要表现的是经过前N颗树，残差仍然较大的少数样本。优先选测验郁闷程度的问卷用在整体上有差异度的特征，再选用针对少数样本有差异度的特算法剖析的意图是征，思路更加合理，这应该也是用GBDT的测验工程师原因。
4. 在CRT预估中， GBDT一般会树立两类树(非ID特征建一类， ID类特征建一类)， AD，ID类特征在CTR预估中是非常重要的特征，直接将AD，ID作为featur测验网速e进行建树不可行，故考虑为每个AD，ID建GBDT树。
   1. 非ID类树：不以细粒度的ID建树，此类树作为base，即使曝光测验郁闷程度的问卷少的广告、广告主，仍能够经过此类树得到有差异性的特征、特征组合
   2. ID测验用例类树：以细粒度 的I测验工程师D建一类树，用于发现曝光充分的测验郁闷症ID对应有差异性的特征、特征组合

参考资料

1. blog.csdn.ne算法的时刻复杂度取决于t/Rock_y/arti…
2. blog.csdn.net/olizxq/arti…
3. blog.csdn.net/zpalyq110/a…
4. zhuanlan.zhihu.com/p/35465875