小红书社区内容以 UGC为主，经验共享类的广告构思方式更贴合社区用户的消费习气，也能取得更好的广告作用。怎么协助客户下降广告构思制造门槛，低本钱、高效率、持续性制造大量优质广告构思，并合理进行广告构思优选和流量适配，是智能构思方向致力于处理的重点问题。

通过一年多的探究与建设，咱们构建了一套完整的广告构思出产与优选才能，协助客户一站式投进广告构思。本文将介绍咱们在小红书广告智能构思方向进行的才能构建和技能处理方案。

小红书广告智能创意能力构建过程详解

在小红书，用户通过富媒体笔记共享和发现国际的精彩。商业广告作为小红书生态的一个重要组成部分，也需求符合社区的审美和调性，在这个超大型 UGC 社区里，根据个人经验的真挚共享更受用户青睐，广告信息也不破例。

广告构思是广告信息的首要载体，一方面承载了广告主想要推行和营销的内容，另一方面是用户被商业信息触达的榜首门面，所以广告构思的质量直接影响广告投进的作用和用户体会。广告图片是否简练直接地杰出产品特点，标题是否展示了产品的适用场景等等，都是影响用户重视的要素，也是广告构思的一部分。而优质构思的制造本钱较高，小红书若能协助客户下降广告构思制造门槛，而且协助客户进行构思优选和流量适配，关于进步广告的投进效率和满足用户体会意义严重。

业界其他公司通过多年的开展，现已在广告构思的标题、图片、展示款式等多个方面提供了智能化的才能。小红书的商业化起步尽管较晚，可是在智能构思方向也正迎头赶上。

小红书广告智能创意能力构建过程详解

小红书广告从2021年开端进行智能构思相关的建设，现已先后在查找和信息流两大首要场景完成了产品化，并逐步形成了完善的功用矩阵：

在资料层面，因为小红书天然就是富媒体笔记的形状，笔记中自身就有优质图片资料，所以咱们率先落地了图片优选的才能。

小红书广告智能创意能力构建过程详解

后续又提供给了客户自动生成的标题作为候选集，经客户筛选后再由体系在投进过程中进行优选。

小红书广告智能创意能力构建过程详解

优选支撑的物料，也由普通笔记广告扩展到了头绪广告，之后还会支撑商品广告。

小红书广告智能创意能力构建过程详解

智能优选战略，不只建设了高效的 E&E 算法，也建设了千人千面的大规划深度学习模型。

小红书广告智能创意能力构建过程详解

这些产品功用的上线和作用的进步的背后，是一个个技能问题的处理。

小红书广告智能创意能力构建过程详解

“巧妇难为无米之炊”，丰厚且优质的构思资料是智能构思进步作用的源泉。为了确保用户体会，小红书的广告方式十分原生化，也是笔记的方式，所以构思的资料首要由两部分组成：封面图和标题。一篇图文笔记中通常有多张图片，现已是博主或广告主进行精心挑选的成果，能够直接用作封面图的资料。而关于视频笔记，咱们能够从博主提供的视频中抽取要害帧，作为封面图的资料。可是，无论是视频笔记还是图文笔记，博主都只提供了一个标题，如安在不添加博主负担的前提下，得到更多的标题资料呢？

技能难点

文本生成技能几年前就开端在工业界有应用，技能上难点在于怎样一同统筹可控性和多样性。为了确保可控性，前期的方案首要是根据模版或许根据规矩进行文本生成，带来的问题是多样性比较差。跟着 NLP 大模型的呈现，开放式自然言语生成慢慢具有可行性，但也带来了一个新的问题：大模型尽管看似很智能地生成了较为通畅的内容，实践应用时却又简单呈现张冠李戴的现象 。怎样让 NLP 大模型生成的文本可控但不受限，自在但不松懈，是一件很有技能挑战性的工作。

咱们根据最前沿的可控式文本生成的技能，结合小红书海量高质量的文本大数据，构建了一套根据内容了解的小红书特色标题生成体系。

可控式生成

生成范式上，咱们首要运用了根据言语模型（GPT2）和 Seq2Seq（T5）两种生成范式。

● 其间 GPT2 模型运用内容丰厚的笔记正文作为输入，充沛学习笔记上下文信息，一同结合特征操控信息（要害词、标题长度、是否包含表情符合等）进行标题生成，极大的确保的生成标题与原文的相关性。

要害词/特征操控信号 + 笔记正文 -> 生成标题

● Seq2Seq 模型首要针对原标题进行改写，通过发掘高频 query, bidword，并以品牌、功用点、利益点等信息作为 prompt，一同融合不同的风格元素，对原有标题进行改写，既坚持原标题的核心内容，又添加了标题的多样性。两类生成模型在线上结合运用，确保对不同的广告笔记均有较好的生成成果。

原标题核心内容 + 原笔记正文特征 | 风格模型 -> 风格标题（包含标题核心内容）

小红书广告智能创意能力构建过程详解

预练习技能底座

好的生成才能离不开一个熟知小红书营销风格且强壮的预练习言语模型。根据业界最前沿的大规划言语模型理论和实践经验，咱们建设了 RED 系列-预练习模型技能底座：提供了根据小红书内部数据构建的RED-BERT (了解式)、RED-GPT2 (生成式)、RED-T5 (seq2seq) 等预练习模型，充沛利用大规划言语模型对小红书海量的文本常识进行无监督学习。

其间 RED-BERT 支撑了生成依靠的卖点抽取、相关性评价、机审质控、离线预估等内容了解相关的需求，而核心的可控式生成才能则由 RED-GPT2、RED-T5 支撑。市面上的开源生成模型都是根据公开语料进行练习的，如中文维基百科等，与小红书笔记的言语风格存在很大的差异，咱们的 “RED-” 系列预练习模型是根据小红书内部10亿规划的笔记内容练习的，能够更好地学习小红书笔记的言语特点。一同，咱们也改善了公开模型中的词表适配性的问题，如 vocab 太大，短少关于特定中文语料的侧重，短少 emoji 和小红书表情等。

下面是2种生成模型的离线评价目标，比较开源模型，根据小红书场景练习的生成模型在相关目标上有明显的进步：

小红书广告智能创意能力构建过程详解

小红书广告智能创意能力构建过程详解

高效的优选战略，是这些构思资料能够发挥作用体现价值的要害。优选战略的好坏体现在两个方面：

1. 选得好不好？ 能否选出来用户最喜欢的构思，是进步广告投进效率的要害。

2. 选得快不快？ 能否尽快把好的构思选出来，是客户及用户感知作用的要害。

在没有先验常识的前提下，从一个广告笔记的多个构思资料中，选出最好的那个，其实是一个 MAB (Multi-Armed Bandit，多臂赌博机) 的问题。这类问题业界常用的算法战略有 epsilon 贪心 (-greedy)、汤普森采样 (Tompson sampling)、UCB (Upper confidence bound) 等。通过归纳剖析各算法的收敛速度、对反应数据的敏感程度等要素，咱们采用了 UCB 战略。

UCB战略简介

多臂赌博机问题 (MAB)：老虎机有一条摇杆（类似于一条手臂），摇摆摇杆即会依照必定概率吐出必定量的钱，一个赌徒面临多台老虎机，在不知道老虎机吐钱概率散布的状况下，怎么最大化收益？

UCB 战略处理 MAB 问题的思路是运用相信区间：给每台老虎机一个相信区间，区间的中间值为该机器的均匀收益（吐出钱的均匀值），宽度与玩的总次数的对数值成正比，与在该机器上玩的次数成反比。面临多台老虎机，每次都选择有最大上界的那个机器。

在构思资料优选的场景中：关于每个资料，运用多次曝光该资料的收益 (Reward)+该资料相信区间宽度 (Bonus) 核算出区间上界 (Score)，每次曝光 Score 最高的那个资料。

Score=Reward+BonusScore=Reward+Bonus

其间，Reward 为某个资料累计曝光的归纳收益（例如 ctr 的增幅、收入的涨幅，也能够联合起来），Bonus 的核算与该资料的曝光次数 (Imp) 及一切资料的曝光次数 (totalImp) 有关，公式如下：

Bonus=2⋅ln⁡totalImpImpBonus= \sqrt{\frac{2\cdot \ln totalImp}{Imp}}

通过必定量的探究之后，相信区间的宽度将渐近变小，此刻 Reward 也趋于安稳，会倾向于曝光归纳收益较大的资料。假如某个资料曝光较少，跟着总曝光次数的添加，该资料的 Bonus 会变大，Score 也会变大，同样有必定的曝光概率进行探究。

在根据 UCB 对小红书的广告构思进行优选战略规划时，咱们需求一同考虑以下三个问题：

  1. 怎么统筹用户体会？

  2. 怎么协助广告主节省优选本钱？

  3. 阅读深度对优选有何影响？

怎么统筹用户体会

小红书社区十分注重用户的体会，关于广告展示款式的改动，有或许会影响用户体会。算法规划时，在力求商业侧的收益最大化的一同，也需求统筹用户体会的目标。

咱们以用户逗留时长 (avgViewTime) 作为衡量服务质量 (QoS，Quality of Service) 的一个归纳目标，怎么通过 QoS 来核算得出用户体会 (QoE，Quality of Experience)？

QoE 的相关研究指出：当 QoS 较低时，用户的 QoE 现已很低了，即使 QoS 持续恶化，QoE 也不会再下降很多了。同理，当 QoS 较高时，用户的 QoE 现已很高了，QoS 的进一步进步也不会再添加 QoE，如下图所示：

小红书广告智能创意能力构建过程详解

所以，咱们得到的 QoE 的表达式为：

QoE=21+e−3⋅avgViewTime−1QoE= \frac{2}{1+e^{-\omega_3 \cdot avgViewTime}}-1

其间w3w_3为能够动态调整的加强系数。终究咱们将 UCB 中的 Reward 设置为：

Reward=1⋅ctr+(1−1)⋅2(21+e−3⋅avgViewTime−1)Reward=\omega_1\cdot ctr + (1-\omega_1)\cdot\omega_2( \frac{2}{1+e^{-\omega_3 \cdot avgViewTime}}-1)

其间，w1w_1为ctr的权重，w2w_2用来调节逗留时长部分的量纲，w3w_3为均匀逗留时长的权重。

试验标明：这种 Reward 的规划，能够在确保在用户侧目标不降的约束下，广告 ctr 目标有较大幅度进步。

怎么协助广告主节省优选本钱？

通过数据剖析发现，运用 UCB 战略进行优选时，资料的 ctr 会在较短的时间内收敛到一个较为安稳的值，而且通过较长时间调查，最优资料的安稳体现比其他资料更好，因此能够考虑规划离场机制，减少探究本钱。下面以图片优选为例：

离场机制：考虑关于到达某一条件（足够的曝光、点击，或 ctr 安稳在一个区间）的笔记，只曝光 Reward 最高的图片。一同在一个滑动窗口时间内，选取一个阈值，确保每个图片都有必定的曝光。离场机制的完成逻辑如下：

小红书广告智能创意能力构建过程详解

试验标明，有离场机制的 UCB 优选战略，能够减少探究次数，节省广告主优选本钱，而且对渠道收益有正向作用。 （注意：离场机制只适用于静态资料，且需求资料间 Reward 差异较明显）

广告阅读深度对优选有何影响？

在查找场景下，用户寻觅特定信息的目的性很强，跟着阅读深度的添加，用户堆集的信息越多，关于物料的点击需求越低。因此，当一个广告曝光在不同位置时，其 ctr 的差异很大，这会对 Reward 中的 ctr 部分发生较大影响。这种状况下，咱们考虑对 ctr 进行根据广告坑位的纠偏。

工业界常用 COEC (Click on Expected Click) 来衡量两个物料的好坏，进一步地，能够衡量两个有不同曝光坑位的优选元素差异，其核算方法如下：

COEC=C1+C2I1⋅ctr1+I2⋅ctr2COEC=\frac{C_1+C_2}{I_1\cdot ctr_1+I_2\cdot ctr_2}

其间InI_n表示第 n 坑位的曝光量，CnC_n表示第 n 坑位的点击量，ctrnctr_n表示第 n 坑位的点击率。

但在咱们的场景中希望能够将这种差异归结到 ctr 上，方便 UCB 战略中的 Reward 核算，这就需求添加额外的超参，将 COEC 值映射到 ctr 上，而且确保其散布近似，这添加了必定的不可控性。

根据事务现状，咱们立异性地提出了一种关于 ctr 进行坑位纠偏的方法，命名为 ECOI (Expected Click on Impression)。

ECOI (Expected Click on Impression) ：借鉴 COEC 的思想（根据不同坑位的均匀 ctr，核算期望点击数量），将一切位置的点击都与首位进行校准对齐，其核算方法如下：

ECOI=C1+C2⋅ctr1ctr2I1+I2ECOI=\frac{C_1+C_2 \cdot \frac{ctr_1}{ctr_2}}{I_1 + I_2}

ECOI 也能对 ctr 进行纠偏，比较 COEC，其含义和取值范围根本与实践 ctr 一致，方便直接替换模型中的 ctr，而且也不必再引入超参并寻觅与 ctr 的映射关系。可是 ECOI 也有其不足之处，单看某一坑位上的点击数校准后的值，或许比曝光数大（这种状况呈现的几率很小，尤其是在广告体系中点击数远小于曝光数，因此能够忽略）。

通过对比试验发现：运用 ECOI 的试验组作用略好于运用 COEC 的作用，而且远好于不进行坑位纠偏的作用。

小红书广告智能创意能力构建过程详解

UCB 依靠后验数据的反应，可是构思资料（包含封面图和标题）有很多都是散布在长尾上，或许无法在有限的时间内收集到足够多的反应数据得到相信的成果。所以咱们构建了大规划离散值 DNN 模型来弥补构思上的泛化才能。

另外，针对热门构思的资料，咱们在模型中将用户的个性化也考虑进来，使体系具有了千人千面的优选才能，从而进一步进步优选作用。

怎么进步泛化才能

特征是大规划离散值 DNN 的学习基础，在项目一期，咱们对构思资料和用户进行了精细的描写，构建了具有较强泛化才能和个性化才能的模型。

●构思素 材泛化： 发掘基础的构思泛化特征，如图片的类目，OCR 成果，文本的分词，实体词等。一方面防止模型在自解说特征上过拟合，另一方面关于冷启动阶段的新构思，自解说特征还未完全收敛时，泛化特征能够提供相应的信息从而进步预估作用。

●用户个性化刻 画： 用构思侧特征去描写用户兴趣，以用户历史点击过的笔记的图片 id 构造点击行为序列，并以图片 id 的泛化特征去扩展用户行为序列，包含 OCR 序列、图片类目序列、实体词序列等。此外，根据用户在图片各个特征维度的泛化特征序列，咱们通过取每个序列里 top3 呈现的特征，来作为对用户最感兴趣的特征的描写。

●构思侧特征穿插： 将用户侧特征与当时构思特征做穿插，来描写用户对当时构思的偏好，通过特征穿插，能够增强模型在个性化预估下对候选构思的区分度。在 query 上，将当时 query 和候选图片 OCR 识别出来的文字以及构思标题做字粒度、词粒度以及实体词的匹配。在用户行为上，将当时候选图片与用户历史点击行为序列里的图片类目、OCR 序列做匹配。

小红书广告智能创意能力构建过程详解

怎么处理核算规划问题

深度模型的推理粒度是比笔记更深一层的资料等级，即一个笔记会有多个候选的候选的标题和图片，为了进步模型预估的准确性，咱们在标题和图片的笛卡尔积进步行推理，使模型能够直接选出最优的标题图片组合。但这也使模型推理的核算量进步了一个数量级。

为了在这个核算量级进步行模型推理，咱们规划了一个级联双塔结构来确保模型的预估作用，具体如下：

●双塔模型中左边塔是一个完整的点击率模型结构，输入层只接纳广告特征的 embedding，模型结构上比较右侧复杂度和参数量都要大很多。

●右侧是一个浅层 DNN 网络，输入层加入构思侧特征的 embedding。一同，咱们将左边广告塔的输出和上层的隐层向量传递到右侧塔，来辅导构思特征对 点击率的学习。

●在练习时，右侧塔接纳左边塔的信息，并融合构思特征共同学习。右侧构思塔的梯度不回传给左边塔，确保左边塔学习的是广告整体的体现，在特征和练习上都不包含构思特征的信息。

●线上推理时，每个广告对左边广告塔仅核算一次，右侧构思塔核算 N 个构思的点击率。比较于点击率模型，仅添加了 N 个构思塔的核算量，避免了构思展开导致的核算量爆炸。

小红书广告智能创意能力构建过程详解

因为构思侧特征较少，简单在 id 类特征上过拟合，咱们在构思侧的网络结构进步行了精细化的规划：

●构思特征通过 SENet 来学习每个特征的嵌入向量的权重。

●关于图片 id 特征额外在 SENet 上加入正则化，并添加自适应 dropout 来减弱 id 类特征的影响。

●关于泛化特征，咱们添加user_id、query以及广告侧传过来的 embedding 合并到一同，与构思侧泛化特征的 embedding 通过 DeepNet 来增强构思特征与广告特征的穿插才能。

因为具有泛化才能和个性化的才能，深度优选模型使广告构思的优选作用得到了进一步的进步。

小红书广告智能创意能力构建过程详解

通过一年多的尽力迭代，小红书商业化在智能构思技能上完成了一些基础才能的建设，客户运用量也现已初具规划。未来，咱们还会在构思出产、多模态了解、优选战略、优选模型等方面持续地进行技能立异和才能晋级。

本文作者：商业技能部（排名不分先后）

了凡（李沛龙）玉伯（康潮明）亨利（张保如）

劳班（郭泰）神宗（谢明宸）秋哥（邓永超）

鲲鹏（王金成）宝库（张京鹏）特图（黄彦华）