美团SemEval2022结构化情感分析跨语言赛道冠军方法总结-六虎

美团语音交互部针对跨言语结构化情感剖析使命中缺少小语种的标示数据、传统办法优化成本高昂的问题，经过运用跨言语预练习言语模型、多使命和数据增强办法在不同言语间完成低成本的迁移，相关办法取得了SemEval 2022结构化情感剖析跨言语赛道的冠军。

1. 背景

SemEval（International Workshop on Semantic Evaluation）是一系列世界自然言语处理（NLP）研讨会，也是自然言语处理范畴的威望世界竞赛，其使命是推进语义剖析的研究进展，并协助一系列日益具有挑战性的自然言语语义问题创建高质量的数据集。本次SemEval-2022（The 16th International Workshop on Semantic Evaluation）包括12个使命，触及一系列主题，包括习语检测和嵌入、讽刺检测、多言语新闻类似性等使命，吸引了包括特斯拉、阿里巴巴、支付宝、滴滴、华为、字节跳动、斯坦福大学等企业和科研机构参加。

其间Task 10: 结构化情感剖析（Structured Sentiment Analysis）归于信息抽取（Information Extraction）范畴。该使命包括两个子使命（别离是Monolingual Subtask-1和Zero-shot Crosslingual Subtask-2 ），包括五种言语共7个数据集（包括英语、西班牙语、加泰罗尼亚语、巴斯克语、挪威语），其间子Subtask-1运用全部七个数据集，Subtask-2运用其间的三个数据集（西班牙语、加泰罗尼亚语、巴斯克语）。咱们在参加该评测使命的三十多支队伍中取得Subtask-1第二名和Subtask-2 第一名，相关工作已总结为一篇论文MT-Speech at SemEval-2022 Task 10: Incorporating Data Augmentation and Auxiliary Task with Cross-Lingual Pretrained Language Model for Structured Sentiment Analysis，并收录在NAACL 2022 Workshop SemEval。

2. 赛题简介

结构化情感剖析使命（Structured Sentiment Analysis, SSA）的意图是抽取出文本中人们对创意、产品或方针等的观念，并结构化地表达为观念四元组 – Opinion tuple Oi (h, t, e, p)，包括Holder（主体）、Target（客体）、心情表达（Expression）、极性（Polarity）四种要素，表征了Holder（主体）对Target（客体）的心情表达（Expression），和对应的极性（Polarity）。观念四元组能够用Sentiment Graphs来具象化储存和标明（如下图1所示），图中展现了两个例句，别离用英文和巴斯克语表达了“某些人给the new UMUC大学评五分是不可信的”这个意思。第一句英文示例包括了两个观念四元组，别离是O1 (h, t, e, p) = (Some others, the new UMUC, 5 stars, positive)，以及O2 (h, t, e, p) = (, them, don’t believe, negative)。

竞赛使命有两个：

Monolingual使命：已知测验集的语种，答应运用相同语种的有标签数据进行练习。总分取七个数据集的宏均匀 Sentiment F1 。
Crosslingual使命：不答应运用和测验集语种相同言语的有标签数据进行练习（测评数据集是其间的三个小语种数据集 – 西班牙语，加泰罗尼亚语，巴斯克语）。

数据介绍

数据集	言语	阐明	链接/参阅文献
MultiBCA	加泰罗尼亚语	Catalan hotel reviews	Barnes, Jeremy, Patrik Lambert, and Toni Badia. 2018. “MultiBooked: A Corpus of Basque and Catalan Hotel Reviews Annotated for Aspect-Level Sentiment Classification.” ArXiv:1803.08614 [Cs], March. arxiv.org/abs/1803.08….
MultiBEU	巴斯克语	Basque hotel reviews	Barnes, Jeremy, Patrik Lambert, and Toni Badia. 2018. “MultiBooked: A Corpus of Basque and Catalan Hotel Reviews Annotated for Aspect-Level Sentiment Classification.” ArXiv:1803.08614 [Cs], March. arxiv.org/abs/1803.08….
OpeNerES	西班牙语	Spanish hotel reviews	www.researchgate.net/publication… ，
OpeNerEN	英语	English hotel reviews	www.researchgate.net/publication… ，
MPQA	英语	MPQA2.0 (news wire text in English. mpqa.cs.pitt.edu/corpora/mpq…)	Janyce Wiebe, Theresa Wilson, and Claire Cardie. 2005. Annotating expressions of opinions and emotions in language. Language Resources and Evaluation, 39(2-3):165–210. doi.org/10.1007/s10….
DSUnis	英语	English reviews of online universities	Cigdem Toprak, Niklas Jakob, and Iryna Gurevych. 2010. Sentence and expression level annotation of opinions in user-generated discourse. aclanthology.org/P10-1059/
NoReCFine	挪威语	Norwegian professional reviews in multiple domains	vrelid, Lilja, Petter Mhlum, Jeremy Barnes, and Erik Velldal. 2020. “A Fine-Grained Sentiment Dataset for Norwegian.” ArXiv:1911.12722 [Cs], April. arxiv.org/abs/1911.12….

评价方针

竞赛的评价方针是 Sentiment Graph F1（SF1, 缩写沿袭论文^[5]的写法），评价猜测四元组和标签四元组的重合度。除了需要运用传统的真阳性（True Positive, TP）、假阳性（False Positive, FP），假阴性（False Negative, FN）、真阴性（True Negative, TN）参加方针核算，还额定界说了加权真阳性（Weighted True Positive, WTP）^[5]为观念元组级别的准确匹配 – 即观念元组的极性判别正确时，三个元素（Holder，Target，Expression）的猜测片段和真实标签片段的均匀重合程度（若有多个匹配的观念元组，则取均匀重合度最大的元组）为WTP的值（详细可进一步参阅^[5]），假如WTP大于0，则TP为1，不然TP为0。若极性判别过错，则WTP和TP都为0。观念元组标签的Holder或许Target片段可认为空，此刻，相应的要求猜测的Holders或许Targets片段也要为空，不然不算成功匹配。可见观念元组的准确匹配要求是十分高的。

核算观念元组精准率时， $TuplePrecision=WTPP/(TP+FP)\text{Tuple Precision} = \text{WTP}_P / (TP + FP)$
核算观念元组召回率时， $TupleRecall=WTPR/(TP+FN)\text{Tuple Recall} = \text{WTP}_R / (TP + FN)$
终究的Sentiment Graph F1 (SF1)为 $\frac{2 * (\text{Tuple Precision} * \text{Tuple Recall}) }{(\text{Tuple Precision} + \text{Tuple Recall})}$

3. 现有办法和问题

结构化情感剖析使命的干流办法是采用流水线的方式，别离进行Holder、Target和Expression的信息抽取等子使命，再进行情感分类。可是，这样的办法不能捕获多个子使命之间的依赖联系，且存在使命的误差传达。

为了处理这个问题，Barnes et al. (2021) ^[5]运用基于图的依存剖析（Dependency Parsing）来捕获观念四元组内各要素之间的依赖联系，其间情感主体、客体和心情表达都是节点，它们之间的联系则是弧。该模型当时在 SSA 使命上取得了最佳作用。可是，上述Barnes et al. (2021) ^[5] 的办法依然存在一些问题。首先，预练习言语模型（PLM）的常识没有得到充分运用，由于Barnes et al. (2021)^[5] 没有很好处理图联系和字Tokens间的映射，导致其只能用PLM来生成字符Embedding，且无法跟模型一起练习。

事实上，跨言语的 PLM 包括关于不同言语之间交互的丰富信息。其次，上述数据驱动的模型依赖于很多标示数据，但在真实场景中往往是标示数据不足或许甚至没有标示数据。例如，在本次使命中，MultiBEU (Barnes et al., 2018)^[4] 的练习集只要 1063 个样本，类似的 MultiBCA (Barnes et al., 2018)^[4] 的练习集只要 1174 个样本。本次使命的跨言语子使命要求不能运用方针言语的练习数据，也严峻制约了该办法的功能。

4. 咱们的办法

为了处理上述提到的问题，咱们提出了一个统一的端到端 SSA 模型（图2），把PLM作为模型主干（Backbone）参加到整个端到端的练习中，而且运用数据增强办法和辅佐使命来大幅进步跨言语zero-shot场景的作用。

详细地，咱们采用 XLM-RoBERTa (Conneau and Lample, 2019; Conneau et al., 2019)^[10,11] 作为模型的主干编码器（Backbone Encoder），以充分运用其已有的多言语/跨言语常识；运用BiLSTM^[12]加强序列解码才能；最后一个双线性留意力矩阵（Bilinear Attention）建模依存图，解码出观念四元组。为了缓解缺少标示数据的问题，咱们采用了两种数据增强办法：一种是在练习阶段添加相同使命的相同范畴（In-Domain）的标示数据，另一种是运用XLM-RoBERTa经过掩码言语模型（MLM） (Devlin et al., 2018)^[13] 生成增强样本（Augmented Samples）。

此外，咱们还添加了两个辅佐使命：1）序列标示使命（Sequence Labeling）以猜测文本中Holder/Target/Expression的片段，以及 2）情感极性分类（Polarity Classification）。这些辅佐使命都不需要额定的标示。

5. 办法完成和试验剖析

5.1 模型挑选

当时有很多种预练习模型可作为模型主干，例如Multilingual BERT (mBERT) (Devlin et al., 2018)^[13]、XLM-RoBERTa (Conneau et al., 2019)^[10] 和 infoXLM(Chi et al., 2021）^[9]。咱们挑选 XLM-RoBERTa。由于Monolingual使命触及五种言语的预料，Crosslingual使命是一个跨言语零样本问题，这两个使命都获益于 XLM-RoBERTa 的多言语练习文本和翻译言语建模(Translation Language Model, TLM)练习方针。

XLM 系列模型中的 TLM 和 Masked Language Modeling (MLM) 方针的功能优于 mBERT，后者仅运用 MLM 方针在多言语语料库上进行练习。此外，XLM-RoBERTa供给了Large版别，模型更大，练习数据更多，这使其在下游使命的功能更好。咱们没有运用 infoXLM，由于它着重于语句级的分类方针，不适合本次结构化猜测的使命。

为了证明跨言语预练习言语模型 XLM-RoBERTa 的有用性，咱们将其与以下基线进行了比较：1）w2v + BiLSTM，word2vec(Mikolov et al., 2013)^[20] 词嵌入和BiLSTMs； 2) mBERT，多言语 BERT(Devlin et al., 2018)^[13]； 3）mBERT + BiLSTM； 4) XLM-RoBERTa + BiLSTM。表 1 标明 XLM-RoBERTa + BiLSTM 在一切基准测验中取得了最佳功能，均匀得分比最强基线 (mBERT + BiLSTM) 高 6.7%。BiLSTM 能够进步 3.7% 的功能，这标明 BiLSTM 层能够捕获序列信息，这有利于序列化的信息编码 (Cross and Huang, 2016)^[12]。

咱们运用官方发布的开发集作为测验集，将原始练习集随机拆分为练习集和开发集。并保持拆分开发集的大小与官方发布的开发集相同。

5.2 数据增强

数据增强（DA1）- 同范畴数据兼并

不同语种的M个数据集假如归于相同的范畴，能够兼并作为一个大练习集以进步各个子数据集的作用。本次评测有四个同归于酒店谈论的数据集MultiBEU、MultiBCA、OpeNerES、OpeNerEN (Agerri et al., 2013)^[1]，咱们在练习阶段组合了这些归于同一范畴的不同数据集，能够进步各个数据集的作用。咱们还额定添加了葡萄牙语的酒店谈论数据集 (BOTE-rehol) (Barros and Bona, 2021)^[7]。咱们观察到这些数据集尽管语种不同，但同享一些类似特征。

详细地说，这些数据集所属的言语对一些相同的方针或概念同享相近的词（从拉丁字母类似性的视点看）。例如，加泰罗尼亚语和西班牙语对“酒店”的标明跟英文一样都是“hotel”；在巴斯克语中“酒店”则是一个类似的词“hotela”。此外，人们在酒店谈论范畴具有相同的情感极性倾向，比如对“优质的服务”和“干净整齐的空间”标明赞赏。其间MultiBEU数据集是数据量最少的数据集，能够经过更多的数据增强取得更多进步。

数据增强（DA2）- 经过掩码言语模型生成新样本

掩码言语模型（Mask Language Model）在预练习阶段运用 [MASK] 符号随机替换原始文本tokens，练习方针就是在 [MASK] 方位猜测原始tokens。关于每个具有有用观念四元组的样本，咱们随机掩码练习集文本中的一小部分tokens，并运用在使命数据集上预练习过的XLM-RoBERTa在这些掩码过的样本上生成新的tokens，这样咱们就取得了带标签的新样本。但要留意不能在Express片段上进行掩码生成，由于模型可能会生成与原始标签极性不同的词。

从表3和表4能够看到两种数据增强办法都有助于进步功能，几乎每个基准测验的功能都有所进步。特别是对Crosslingual使命的功能有明显进步，推测是由于Zero-shot使命没有机会在练习阶段看过同数据集的练习样本的文本和标签。DA2办法能进步Crosslingual使命的作用，可是对Monolingual使命的作用不大，推测是由于Monolingual使命的已经在练习阶段看过同数据集的练习样本了。

5.3 辅佐使命

SSA使命一起包括结构化猜测和情感极性分类，让模型端到端地处理这两个使命并非易事。咱们提出了两个辅佐使命来为模型供给更多的练习信号，以更好地处理结构化猜测和极性分类。关于结构化猜测，咱们添加了一个序列标示使命（如下图3），让模型猜测每个token的类型（Holder、Target或许Expression），得到辅佐丢失 $Ls\mathcal{L}^{s}$ 。

针对极性分类使命，咱们把评测的练习数据转换为语句级的极性分类使命，详细完成是把只要一种极性的观念元组的语句设置为对应的极性类别，把包括多种极性的观念元组的语句设置为中性（Neutral）类别。除此之外，针对不同语种的数据集，咱们还添加了相关的开源语句级情感极性分类数据集，为各个数据集额定配置一个多层感知器 (MLP)作为分类器。咱们把模型的 BiLSTM 躲藏状况（Hidden States）的均匀池化（Average Pooling）作为文本语句级的向量表达，并输入到对应的分类器进行语句级情感极性分类，得到辅佐丢失（ $Lc\mathcal{L}^{c}$ ）。总的练习丢失（Loss）是主丢失（ $Lp\mathcal{L}^{p}$ ）和两个辅佐丢失的加权和：

$L=Lp+(Ls+Lc)/2\mathcal{L} = \mathcal{L}^{p} + (\mathcal{L}^{s} + \mathcal{L}^{c})/2$

6. 与其他参赛队伍作用比照

和其他团队的成果比较，咱们在均匀分以及多个子数据集上有优势。在Subtask-2（表7）的Zero-shot数据集上，比较第二名均匀分高了5.2pp。在Subtask-1（表6）上多个数据集（MultiBEU , MultiBCA, OpeNerES, 和 OpeNerEN）排名第一，均匀分比较第一名仅有0.3pp的差距。

7. 总结

本次评测，咱们首要探索了结构化情感剖析的使命。针对不同言语数据间缺少交互、以及标示资源缺少的问题，咱们应用了跨言语预练习言语模型，并采用了两种数据增强办法和两种辅佐使命。试验证明了咱们的办法和模型的有用性，并在 SemEval-2022 使命 10 结构化情感剖析（Structured Sentiment Analysis）取得Subtask-1第二名（表6）和Subtask-2第一名（表7）的成果。后续将持续探索其他更有用的多言语/跨言语资源和跨言语预练习模型的应用办法。咱们正在尝试将竞赛中的技能应用到美团详细业务中，如语音交互部的智能客服、智能外呼机器人中，为优化智能处理才能、进步用户满意度供给参阅。

9. 参阅文献

[1] Rodrigo Agerri, Montse Cuadros, Sean Gaines, and German Rigau. 2013. OpeNER: Open polarity enhanced named entity recognition. In Sociedad Espaola para el Procesamiento del Lenguaje Natural, volume 51, pages 215–218.
[2] Rodrigo Agerri, Iaki San Vicente, Jon Ander Campos, Ander Barrena, Xabier Saralegi, Aitor Soroa, and Eneko Agirre. 2020. Give your text representation models some love: the case for basque. In Proceedings of the 12th International Conference on Language Resources and Evaluation.
[3] Jordi Armengol-Estap, Casimiro Pio Carrino, Carlos Rodriguez-Penagos, Ona de Gibert Bonet, Carme Armentano-Oller, Aitor Gonzalez-Agirre, Maite Melero, and Marta Villegas. 2021. Are multilingual models the best choice for moderately underresourced languages? A comprehensive assessment for Catalan. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pages 4933–4946, Online. Association for Computational Linguistics.
[4] Jeremy Barnes, Toni Badia, and Patrik Lambert. 2018. MultiBooked: A corpus of Basque and Catalan hotel reviews annotated for aspect-level sentiment classification. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation(LREC 2018), Miyazaki, Japan. European Language Resources Association (ELRA).
[5] Jeremy Barnes, Robin Kurtz, Stephan Oepen, Lilja vrelid, and Erik Velldal. 2021. Structured sentiment analysis as dependency graph parsing. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pages 3387–3402, Online. Association for Computational Linguistics.
[6] Jeremy Barnes, Oberlnder Laura Ana Maria Kutuzov, Andrey and, Enrica Troiano, Jan Buchmann, Rodrigo Agerri, Lilja vrelid, Erik Velldal, and Stephan Oepen. 2022. SemEval-2022 task 10: Structured sentiment analysis. In Proceedings of the 16th International Workshop on Semantic Evaluation (SemEval2022), Seattle. Association for Computational Linguistics.
[7] Jos Melndez Barros and Glauber De Bona. 2021. A deep learning approach for aspect sentiment triplet extraction in portuguese. In Brazilian Conference on Intelligent Systems, pages 343–358. Springer.
[8] Jos Caete, Gabriel Chaperon, Rodrigo Fuentes, JouHui Ho, Hojin Kang, and Jorge Prez. 2020. Spanish pre-trained bert model and evaluation data. In PML4DC at ICLR 2020.
[9] Zewen Chi, Li Dong, Furu Wei, Nan Yang, Saksham Singhal, Wenhui Wang, Xia Song, Xian-Ling Mao, Heyan Huang, and M. Zhou. 2021. Infoxlm: An information-theoretic framework for cross-lingual language model pre-training. In NAACL.
[10] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmn, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. 2019. Unsupervised cross-lingual representation learning at scale. arXiv preprint arXiv:1911.02116.
[11] Alexis Conneau and Guillaume Lample. 2019. Crosslingual language model pretraining. Advances in neural information processing systems, 32.
[12] James Cross and Liang Huang. 2016. Incremental parsing with minimal features using bi-directional lstm. ArXiv, abs/1606.06406.
[13] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2018. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805.
[14] Timothy Dozat and Christopher D Manning. 2016. Deep biaffine attention for neural dependency parsing. arXiv preprint arXiv:1611.01734.
[15] E. Kiperwasser and Yoav Goldberg. 2016. Simple and accurate dependency parsing using bidirectional lstm feature representations. Transactions of the Association for Computational Linguistics, 4:313–327.
[16] Robin Kurtz, Stephan Oepen, and Marco Kuhlmann. 2020. End-to-end negation resolution as graph parsing. In IWPT.
[17] Xin Li, Lidong Bing, Piji Li, and Wai Lam. 2019. A unified model for opinion target extraction and target sentiment prediction. ArXiv, abs/1811.05082.
[18] Bing Liu. 2012. Sentiment analysis and opinion mining. Synthesis lectures on human language technologies, 5(1):1–167.
[19] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. 2019. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692.
[20] Tomas Mikolov, Kai Chen, Gregory S. Corrado, and Jeffrey Dean. 2013. Efficient estimation of word representations in vector space. In ICLR.
[21] Margaret Mitchell, Jacqui Aguilar, Theresa Wilson, and Benjamin Van Durme. 2013. Open domain targeted sentiment. In EMNLP.
[22] Stephan Oepen, Omri Abend, Lasha Abzianidze, Johan Bos, Jan Hajic, Daniel Hershcovich, Bin Li, Timothy J. O’Gorman, Nianwen Xue, and Daniel Zeman. 2020. Mrp 2020: The second shared task on crossframework and cross-lingual meaning representation parsing. In CONLL.
[23] Lilja Ovrelid, Petter Maehlum, Jeremy Barnes, and Erik Velldal. 2020. A fine-grained sentiment dataset for norwegian. In LREC.
[24] Lilja vrelid, Petter Mhlum, Jeremy Barnes, and Erik Velldal. 2020. A fine-grained sentiment dataset for Norwegian. In Proceedings of the 12th Language Resources and Evaluation Conference, pages 5025– 5033, Marseille, France. European Language Resources Association.
[25] Bo Pang, Lillian Lee, et al. 2008. Opinion mining and sentiment analysis. Foundations and Trends in information retrieval, 2(1–2):1–135.
[26] Maria Pontiki, Dimitris Galanis, John Pavlopoulos, Haris Papageorgiou, Ion Androutsopoulos, and Suresh Manandhar. 2014. Semeval-2014 task 4: Aspect based sentiment analysis. In COLING 2014.
[27] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. 2019. Language models are unsupervised multitask learners.
[28] Colin Raffel, Noam M. Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. 2020. Exploring the limits of transfer learning with a unified text-to-text transformer. ArXiv, abs/1910.10683.
[29] Mike Schuster and Kuldip K Paliwal. 1997. Bidirectional recurrent neural networks. IEEE transactions on Signal Processing, 45(11):2673–2681.
[30] Cigdem Toprak, Niklas Jakob, and Iryna Gurevych. 2010. Sentence and expression level annotation of opinions in user-generated discourse. In Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics, pages 575–584, Uppsala, Sweden. Association for Computational Linguistics.
[31] Ashish Vaswani, Noam M. Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. 2017. Attention is all you need. ArXiv, abs/1706.03762.
[32] Janyce Wiebe, Theresa Wilson, and Claire Cardie. 2005. Annotating expressions of opinions and emotions in language. Language Resources and Evaluation, 39(2-3):165–210.
[33] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rmi Louf, Morgan Funtowicz, and Jamie Brew. 2019. Huggingface’s transformers: State-of-the-art natural language processing. ArXiv, abs/1910.03771.
[34] Lu Xu, Hao Li, Wei Lu, and Lidong Bing. 2020. Position-aware tagging for aspect sentiment triplet extraction. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 2339–2349, Online. Association for Computational Linguistics.
[35] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime G. Carbonell, Ruslan Salakhutdinov, and Quoc V. Le. 2019. Xlnet: Generalized autoregressive pretraining for language understanding. In NeurIPS.
[36] Elena Zotova, Rodrigo Agerri, Manuel Nunez, and German Rigau. 2020. Multilingual stance detection: The catalonia independence corpus. arXiv preprint arXiv:2004.00050.

阅读美团技能团队更多技能文章合集

前端 | 算法 | 后端 | 数据 | 安全 | 运维 | iOS | Android | 测验

| 在大众号菜单栏对话框回复【2021年货】、【2020年货】、【2019年货】、【2018年货】、【2017年货】等关键词，可检查美团技能团队历年技能文章合集。

| 本文系美团技能团队出品，著作权归属美团。欢迎出于共享和交流等非商业意图转载或运用本文内容，敬请注明“内容转载自美团技能团队”。本文未经许可，不得进行商业性转载或许运用。任何商用行为，请发送邮件至tech@meituan.com请求授权。