通往 AIGC 道路上，开发者和企业将如何把握这个时代机会？

以 GPT、Diffusion 为代表的大模型到来，让人类对通用人工智能（ AGI ）重燃信心的同时，开端在不同范畴中探索落地之路，其间文本生成、图画生成、代码生成、音视频\游戏等范畴百家争鸣。能够预见，未来生成式 AI 将进一步与出产、日子深度交融，不断打破咱们的幻想边界，带来新的出产力革新。

自从 ChatGPT 迸发之后，全球范围内掀起了大模型热潮。包括微软、谷歌、百度、阿里在内的一众科技巨头加快大炼“大模型”，甚至在原有产品出产中参加大模型才能，亦如谷歌推出 PaLM2 大模型、微软 Windows 全系产品注入 GPT 才能…..以期在新的范式转化和新技能浪潮中摘得先机。

在通往 AGI 道路上，大模型带来的变革才刚刚开端。从 LLM 到多模态大模型，大模型将怎么演进？AIGC 还有哪些幻想空间？大模型将会怎么影响开发者和企业？企业又该怎么借力和追赶大模型创造出实践价值？

6 月 30 日- 7 月 1 日在北京新云南皇冠假日酒店，由稀土掘金技能社区举行的 「稀土开发者大会2023」上，俞刚（QQ 印象中心算法担任人）和吴兴龙（字节跳动智能创造 CV 技能担任人）一道作为出品人，为咱们带来《大模型与 AIGC 》专场。字节跳动研讨科学家冯佳时、腾讯科技 QQ 印象中心高档算法研讨员陈欣、虾皮多媒体技能担任人熊鹏飞、小红书智能创造 AIGC 担任人李华夏、Google Cloud 机器学习解决计划架构师刘士君、英特尔人工智能计划架构师赵亮、好未来境外事务移动端担任人孙凤伟、JinaAI 联合创始人兼 CTO王楠、Zilliz 合伙人和产品总监郭人通、字节跳动算法工程师李俊毅，将与技能开发者们一同深入评论和复盘，破除迷雾，直面 AIGC 最中心的问题。

扫码即可报名，转发海报还能够参加抽奖！

讲演嘉宾 ：冯佳时 字节跳动研讨科学家

现任字节跳动智能内容创造根底研讨团队担任人。曾任新加坡国立大学电子与核算机工程系助理教授，机器学习与视觉实验室担任人。研讨方向包括深度学习与核算机视觉。现在首要研讨多模态根底模型、生成模型、3D 建模。曾获得麻省理工科技评论 35 岁以下立异者（亚洲），ACM MM 最佳学生论文奖，ICCV TASK-CV 评论会最佳论文奖，CVPR2021 最佳论文奖提名。曾担任 CVPR、ICML、ICLR、NeurIPS 等会议的范畴主席。

****讲演主题： 多模态内容生成技能的前沿与运用

AIGC 是其时人工智能技能范畴的热门研讨方向，其运用场景包括但不限于图画、视频和三维模型的生成。在本次讲演中，咱们将要点介绍三个方面的内容：首先是 text2image 技能，行将文本描绘转化为图画。咱们将评论怎么运用深度学习算法将自然言语描绘转化为图画，并展现该技能在资料供应、规划等范畴的运用事例。其次是 text2video 技能，行将文本描绘转化为视频。咱们将介绍怎么运用深度学习技能来生成动态场景，例如电影特效和虚拟演员。此外，咱们将展现怎么将该技能运用于视频主动生成。 终究，咱们将评论 3D 生成技能，行将文本描绘转化为三维模型。咱们将介绍运用 GAN 和其他深度学习技能来生成三维物体的办法，并展现该技能的运用事例。

讲演纲要：

1. AIGC 布景介绍

2. text2image 技能介绍与运用事例

3. text2video 技能介绍与运用

4. 3D 内容生成技能介绍

5. 总结、评论与展望

讲演嘉宾：陈欣 腾讯科技 QQ 印象中心高档算法研讨员

中国科学院大学博士，重视于生成式人工智能，首要研讨方向为虚拟人生成、人体动作生成、三维物体生成等，在 CVPR、ICCV、SIGGRAPH 等世界尖端会议期刊宣布论文 20 余篇。现在首要担任超级 QQ 秀的虚拟人服饰、动画的研讨、QQ 印象的前沿技能探索，并致力于 AIGC、多模态大模型等前沿技能的技能研讨与落地作业。

讲演主题：AIGC 前沿技能——虚拟人动作生成技能的开展与运用

AIGC 这类生成式智能算法技能大大提高了规划师的作业效率，降低了规划门槛，也让更多的人感受到 AI 画画、AI 动画生成的趣味。其间，AI 动画是一种依据文本生成高质量、多样化的人体动作的前沿技能，这为驱动虚拟人物甚至控制人形机器人供给了更便利和人性化的方法，将有益于游戏产业、电影制造、虚拟现实/增强现实和机器人辅佐等众多运用。在本次讲演中，咱们将针对虚拟人动作生成方向，介绍咱们提出的两种全新动作生成算法，共享咱们依据分散模型技能和言语大模的最新研讨成果。另外，讲演中介绍的算法已开源，欢迎测验与运用，终究也会与相关开发者评论动作生成技能的应战和未来开展方向。

讲演纲要：

1. 虚拟动作生成算法的开展与演进
2. 分散模型与虚拟动作生成
3. 言语模型与虚拟动作生成
4. 虚拟动作的应战与未来开展

讲演嘉宾：熊鹏飞 虾皮多媒体技能担任人

博士毕业于中科院主动化所。前腾讯专家研讨员及多模态内容了解和智能创造担任人，先后担任核算机视觉、内容检索、移动端拍照、多媒体了解、视频出产、智能创造等相关团队的算法研讨与事务落地。曾在 300-W、Middlebury、YoutubeVOS、Kinects、TRECVID、NTIRE 等世界赛事多次登顶，在尖端世界会议和期刊上宣布近二十篇论文，并持有三十多篇世界专利。

讲演主题：内容电商下的多模态内容了解和智能出产

内容电商逐步成为电商场景的重要组成。跟着图画、视频、文本等多模态信息的越来越遍及，多模态预练习技能在内容电商的供应、出产、消费、流量等环节也表现出了越来越多的运用。作为持续投入多模态技能的团队，咱们规划了一整套完好的多模态练习、跨模态了解及内容出产服务。经过内容电商的事务沉淀了一整套多模态内容了解计划。在多模态的表征、交融、对齐、预练习、出产等多个维度上均做了深入的研讨和立异。本次共享咱们首要介绍多模态预练习上的开展，以及在电商检索、直播了解、电商出产等场景下的运用。

讲演纲要：

1. 多模态研讨布景
2. 多模态练习技能
3. 事务布景介绍
4. 多模态电商检索
5. 跨模态内容电商
6. 直播内容出产
7. 电商内容出产
8. 总结与展望

讲演嘉宾：刘士君 Google Cloud 机器学习解决计划架构师

Google Cloud AI 和机器学习专家，首要担任向出海用户介绍 Google Cloud AI 和机器学习技能的最佳实践，专心于深度神经网络算法、机器学习工程化、GPU/TPU 加快等范畴。在近 10 年的云核算和人工智能从业阅历中，积累了丰厚的云上 AI 运用的落地、GPU 和 TPU 优化的经历。

讲演主题：解密 Google Cloud 全新 PaLM2 及立异运用

2023 年 Google I/O 大会上，Google 向全球开发者发布了 PaLM2 大言语模型，并介绍了最新的研讨开展，同时发布了依据 Google Cloud 和 Workspace 的多个立异运用和服务。本讲座会进一步介绍 Google 最新的大言语模型、多模态模型，以及微调的才能，同时经过实践运用场景来介绍大言语模型的实践落地。

讲演纲要：

1. Google 大言语模型及多模态模型
2. 模型的练习及微调
3. 实践运用场景

讲演嘉宾：赵亮 英特尔人工智能计划架构师

拥有 20 年多媒体和人工智能核算产品及渠道研制、办理和技能支撑的经历，现在 Intel 从事 Habana 人工智能加快器产品在中国的推广、技能支撑及落地作业。

讲演主题：生成式 AI 狂潮下怎么加快大模型言语模型核算

跟着近年大规模言语模型（LLM）的蓬勃开展以及和 ChatGPT 类运用的迸发性增长，大规模言语模型的运用有统一天下之势。本次共享将经过概述近期盛行的 LLM 模型的技能特色，分析此类模型对软硬件的要求和应战，同时介绍 Habana Gaudi2 产品怎么加快此类模型的练习、推理的运用。

讲演纲要：

1. LLM 模型的开展前史
2. 近期盛行的典型 LLM 模型技能分析比较
3. LLM 练习和推理对软硬件的要求
4. Habana Gaudi2 产品特性及对 LLM 模型的支撑情况

讲演嘉宾：孙凤伟 好未来境外事务移动端担任人

曾任职百度、滴滴，现担任好未来境外分校移动端担任人，多年 toC 移动端研制经历，近半年转向大模型运用和调研。

讲演主题：依据 GPT 的智能客服落地实践

自从 ChatGPT 上线以来，在全球范围内瞬间就掀起了大模型的热潮，咱们团队也是第一时间开端重视。咱们一边在感叹它的“聪明”，一边在思考怎么合理的“运用”它，依据其时对它的了解和海外的一些开源项目，咱们决定经过智能客服的形式来验证它的运用性。在整个实践进程中，跟着对它了解的深入，咱们的项目迭代方向也在不断的调整。本文经过介绍依据 GPT 完成智能客服的实践进程，讲解怎么让 GPT 链接企业的知识库，以及知识库的建立，终究完结 1.0 版别上线。依据 1.0 版别规划的一些缺点和弊端，引出 2.0 版别的规划，2.0 版别的中心思路是，大模型和事务 API 接口打通，如用户输入“课程”相关文字，智能客服能够直接调用事务的接口，给出体会课的课程卡片。为了完成和 API 联动的效果，咱们参考了 AutoGPT 的规划思想，经过介绍 AutoGPT 的完成原理，讲解咱们怎么和事务 API 打通。终究会介绍关于大模型运用的一些心得和了解。

讲演纲要：

1. 问答客服的建立和技能规划

1.1 怎么让大模型链接企业专有知识库

1.2 语料库的建立

1.3 其时规划的一些弊端

2. 问答客服向智能客服的转变

2.1 怎么让大模型事务 API 联动

2.2 工程相关的改造

3. 心得和展望

讲演嘉宾：王楠 JinaAI 联合创始人兼 CTO

博士毕业于德国波鸿鲁尔大学。自 2009 年开端从事深度学习相关研讨，之后先后担任德国闻名电商 Zalando 高档数据科学家，腾讯高档研讨员，在查找和推荐范畴的具有丰厚的模型规划、完成和布置经历。专心于机器学习和深度学习算法在 NLP 和查找范畴的实践运用。作为开源神经查找框架 Jina 的中心贡献者，热衷于开源软件和云原生技能。

讲演主题：依据 Langchain 和 Langchain-serve 的智能文档问答体系

文档问答体系的使命是从文档数据中查找与用户问题相关的答案。因为文档数量不断添加，传统的查找现已不能满足人们的需求。跟着深度学习模型的开展，文档问答体系从依据字符匹配的办法迁移到依据向量表明的办法，大规模言语模型更为文档问答体系的答案生成问题供给了解决计划。新一代的文档问答体系将传统模型、深度学习问答模型和大规模言语模型技能交融在一同，为用户供给更完善的文档问答服务。本次讲演将介绍怎么运用 Langchain 开发框架和 Langchain-serve 布置东西来开发智能文档问答体系。

讲演纲要：

1. 文档问答体系的布景
2. 智能文档问答体系的算法计划
3. 智能文档问答体系的工程计划
4. 总结与展望

讲演嘉宾：郭人通 Zilliz 合伙人和产品总监

华中科技大学核算机软件与理论博士，CCF 分布式核算与体系专委会委员。专心于开发面向 AI 的高效并可扩展的数据分析体系，是 Milvus 项目的体系架构师和 Towhee 项目担任人。其作业成果曾宣布于 SIGMOD、VLDB、USENIX ATC、ICS、DATE、IEEE TPDS 等世界尖端会议与期刊。在参加 Zilliz 前，曾上任于华为，是 ModelArts 渠道中心研制成员。

讲演主题：向量数据库：大模型的海量记忆体

关于构建专有大型言语模型的安排而言，向量数据库至关重要。向量数据库的一个新式重要用例是 LLM，在文本生成进程中可用于检索范畴特定现实或专有现实，用以存储、索引、查找和检索非结构化数据的大型数据集。本次共享将要点介绍 AI 根底设施的开源向量数据库 Milvus 以及对应的云服务 Zilliz Cloud 是怎么知识增强和赋能 LLM，并从而引出大模型与向量数据库的关系、生态集成、东西与运用等。

讲演纲要：

1. 开源向量数据库 Milvus 技能才能详解
2. 相应云服务 Zilliz Cloud 赋能大模型才能介绍
3. 介绍大模型与向量数据库的关系、现有生态、东西与运用等

讲演嘉宾：李俊毅 字节跳动算法工程师

爱丁堡大学 NLP 硕士，ACL/EMNLP 等 NLP 顶会审稿人，中文言语了解测评基准 CLUE 中心成员、执委会。现在在字节跳动担任算法工程师。

讲演主题：怎么依据 PLHF 来优化 ChatGPT 类型的打言语模型

本次共享会将分析 ChatGPT 中提及的 RLHF 流程，包括数据搜集、数据质量优化、SFT、Reward 模型，以及终究的 PPO 优化。内容将依据 WebGPT 系列已揭露的论文和已知的数据搜集计划，进行数据质量的验证和提高。考虑到其时存在许多开源模型并未揭露翔实的 RLHF 流程和完成计划，咱们将在此进行详细展开，相关代码也会开源。

讲演纲要：

1. 布景简介：ChatGPT 根底信息与 Pretrain 流程

2. 数据作业：练习数据搜集与清洗

2.1 业界揭露数据与数据获取来源

2.2 数据标注机制

2.3 数据清洗与质量优化

3. RLHF 原理流程及完成方法介绍

4. 依据开源 LLM 进行 RLHF 的完成介绍

5. 总结

除了以上嘉宾共享的「大模型与 AIGC」外，本届大会策划的专题还包括**「云原生实践、前端未来、前端工程实践、分布式云和边缘核算、可观测性探索、音视频技能前沿」等数十个技能专场，这些议题由来自字节、腾讯、阿里巴巴、QQ 印象、哗哩哗哩、小红书、剪映**等公司具备技能影响力与洞察力的行业专家担任把控。现在大会出品人已悉数集齐，讲师阵型在连续公布中，欢迎重视，敬请期待！

参加「代码不止」互动抽奖，赢开发者大会线下门票&周边奖品

参加使命：共享本推文/任一分论坛海报到朋友圈/微信群/微博/抖音/B站/小红书等任一社交渠道，将你的共享截图上传到活动问卷，咱们会抽出「30位同学」送出「在吗？在码！」系列周边单品，抽出「30位同学」送出稀土开发者大会线下门票～

「代码不止」互动抽奖

更多精彩内容和抽奖互动，欢迎参加稀土开发者大会交流群