周鸿祎为360智脑招贤纳士;LLM时代的选择指南;Kaggle大语言模型实战;一文带你逛遍LLM全世界 | ShowMeAI日报

日报&周刊合集 | 生产力东西与职业运用大全 | 点赞重视谈论托付啦!

周鸿祎为360智脑招贤纳士;LLM时代的选择指南;Kaggle大语言模型实战;一文带你逛遍LLM全世界 | ShowMeAI日报

思否「齐聚码力」黑客马拉松,用技能代码让生活变得更美好

周鸿祎为360智脑招贤纳士;LLM时代的选择指南;Kaggle大语言模型实战;一文带你逛遍LLM全世界 | ShowMeAI日报

主页:pages.segmentfault.com/google-hack…

2023 Google 开发者大会(Google I/O Connect|China)将于9月6日在上海拉开帷幕。以本次大会举办为关键,SegmentFault 思否黑客马拉松以「齐聚码力」为主题,召集开发者们在 32 小时内打造完善可行的解决方案。

报名参赛&构思提交的时刻截至8月29日。进入决赛的上百位开发者们将在9月6日至9月7日齐聚一堂,共同应战32小时将构思落地,完结构思脑暴、产品规划、代码完结和 Demo 展现。感兴趣能够预约路演直播和获奖队伍报导 ⋙ 了解更多

周鸿祎在微博发布求才令,360智脑继续招聘AI研发人才

周鸿祎为360智脑招贤纳士;LLM时代的选择指南;Kaggle大语言模型实战;一文带你逛遍LLM全世界 | ShowMeAI日报
周鸿祎为360智脑招贤纳士;LLM时代的选择指南;Kaggle大语言模型实战;一文带你逛遍LLM全世界 | ShowMeAI日报

360集团创始人周鸿祎在微博发布了「360智脑招聘」信息,发布了多个岗位需求,包含:算法工程师/高档专家/资深专家、数据挖掘工程师/专家、推理引擎资深专家、AI大模型方向产品经理、分布式大模型练习框架研发专家、大模型练习算法工程师等。

上方是6个岗位的称号、岗位职责和任职要求。招聘邮箱:liulixiong@360.cn 或 chenhui7@360.cn ⋙ 微博@周鸿祎

周鸿祎为360智脑招贤纳士;LLM时代的选择指南;Kaggle大语言模型实战;一文带你逛遍LLM全世界 | ShowMeAI日报

爱奇艺初次发布 AIGC 开展,剧本拆解准确率超90%,引进辅佐内容运营

周鸿祎为360智脑招贤纳士;LLM时代的选择指南;Kaggle大语言模型实战;一文带你逛遍LLM全世界 | ShowMeAI日报

8月22日,爱奇艺发布了2023年第二季度财报,并初次发布了其在 AIGC 方面取得的开展。

内部数据显现,现在「引进AIGC辅佐剧本评价」对场景和人物拆解的准确率超过90%,有效进步了在剧本评价、预算规划和资源办理等方面的功率。

爱奇艺树立的「星罗剧情了解渠道」完结了对影视剧分钟级的了解,能够主动生成剧情对应片段及剧情亮点,显著进步了查找的精准度。

以现在热播综艺「乐队的夏天3」第一期大张伟扮演的经典摇滚歌曲「静止」为例,用户只需在爱奇艺App内输入「大张伟」,就能够经过查找联想词直接进入这一经典的舞台扮演时刻 ⋙ 爱奇艺职业速递

阿里巴巴世界站发布首个全链路外贸AI产品,外贸职业首个AI运用落地

周鸿祎为360智脑招贤纳士;LLM时代的选择指南;Kaggle大语言模型实战;一文带你逛遍LLM全世界 | ShowMeAI日报

8月24日,在阿里巴巴跨境浙商大会上,世界站总裁张阔发布了「生意帮手」和「OKKI AI」两项服务,给每个商家都配上了AI帮手,这也是首个在外贸产业落地的AI运用。其间,世界站商家能够运用「生意帮手」,而「OKKI AI」是面向全职业一切商家开放,让一切外贸人都能够借助AI开启外贸新生意。

这两项AI服务能够协助商家高效完结外贸生意一切环节,掩盖智能产品发布与办理、市场分析、客户招待、视频聊天实时翻译、企业办理等多项运营的提效功用。

经过这套AI产品,即便不懂外语、没有经验、缺少专业人才,也都能在AI的辅佐下顺畅地与海外客户交流、发布契合海外市场趋势的产品,完结外贸的各个环节 ⋙ 阿里巴巴世界站

周鸿祎为360智脑招贤纳士;LLM时代的选择指南;Kaggle大语言模型实战;一文带你逛遍LLM全世界 | ShowMeAI日报

选择你的道路:LLM 时代指南

周鸿祎为360智脑招贤纳士;LLM时代的选择指南;Kaggle大语言模型实战;一文带你逛遍LLM全世界 | ShowMeAI日报

这是一篇评论大言语模型 (LLM) 时代对自然言语处理 (NLP) 研讨方向产生影响的文章。文章从「中心层消亡」引进,指出ChatGPT这类端到端模型直接迫临高档使命,使得许多传统的中心使命 (如词性标示等) 变得无用武之地,一起也紧缩了模型结构、丢失函数等中心练习环节。

已然中心层消亡了,那该往哪里去呢?作者整理「向下」「向上」「困难之路」这三条出路:

向下

  • Capability:能够了解为怎么练习出功用足够强壮的基座模型,重视数据、Tokenizer、练习技巧等

  • Deployment:能够了解为怎样把获得的模型进行部署和高效运用,重视下降推理参数量、下降实践核算量、优化内存拜访、解码技巧等

  • Infrastructure:能够了解为怎样给练习同学供给好用的软件硬件练习框架,重视分布式练习算法、硬件利用率优化、卡的办理和测验等

向上

  • Alignment:让强壮的基座模型对齐人类的意图和价值观,重视SFT、 RLHF、Scalable Oversight、测验模型的哪里会呈现 misalignment 等

  • Agents:构建辅佐人类的智能体,门槛不高,重视 Prompt Engineering、Agent 系统架构规划、外部能力接入等

  • Applications:LLM 在各个范畴的运用,重视范畴常识、对 LLM 各部分功用的了解、包含范畴洞见的 Prompt

困难之路

  • Theory:依据底层理论数学推导,获得一套理论公式后,接着去辅导实践实验,需求扎实的数学物理根底

  • Interpretability:解说大模型的内部机制,现在开展有限,OpenAI 和 Anthropic 较前沿

作者文笔超级有意思!把前沿和艰深的内容解说得诙谐浅显,十分引荐 ⋙ 阅读原文

周鸿祎为360智脑招贤纳士;LLM时代的选择指南;Kaggle大语言模型实战;一文带你逛遍LLM全世界 | ShowMeAI日报

带你逛遍 LLM 全世界,追赶到范畴的开展前沿

周鸿祎为360智脑招贤纳士;LLM时代的选择指南;Kaggle大语言模型实战;一文带你逛遍LLM全世界 | ShowMeAI日报

作者将7月末的一场演讲整理成了图文,十分具体地介绍了近年来大言语模型范畴的开展进程、技能原理、以及各类言语模型地运用技巧。假如你想全面了解这个飞速开展的范畴,这篇文章是很好的选择:

什么是 LLM

  • 一个生动的比方:LLM 能够了解为3年前外星人遗落地球的一个U盘,人类一向用棍子戳来戳去企图了解它是什么、怎么作业

  • LLM 本质上是一个文件 (例如 Vicuna 7B模型是一个 4.2GB的文件)

  • LLM 也能够看作是一个函数,能够完结文本生成,而且答复给定的问题

周鸿祎为360智脑招贤纳士;LLM时代的选择指南;Kaggle大语言模型实战;一文带你逛遍LLM全世界 | ShowMeAI日报

LLM是怎么作业的

  • LLM 的作业原理是猜测句子的下一个词,就像手机键盘会依据前文猜测下一个词相同

  • 大型 LLM 模型需求练习海量数据,需求许多核算资源

  • LLM估计的不仅是词,而是 1-30000 整数表明的词符,这或许带来言语成见

周鸿祎为360智脑招贤纳士;LLM时代的选择指南;Kaggle大语言模型实战;一文带你逛遍LLM全世界 | ShowMeAI日报

LLM 开展的扼要时刻线

  • 扼要介绍了LLM开展历史,从2015年OpenAI成立,到2017年Transformer架构问世,以及后续GPT-1/2/3等模型的发布

  • 2022年5月有论文发现了 GPT-3 的新功用,2022年11月ChatGPT推出则是一个分水岭

周鸿祎为360智脑招贤纳士;LLM时代的选择指南;Kaggle大语言模型实战;一文带你逛遍LLM全世界 | ShowMeAI日报

当时最优秀的 LLM 东西

  • 引荐了ChatGPT (速度快)、GPT-4 (功用强)、Claude 2 (文本长度长)、Bard (依据PaLM) 和Llama 2 (抢先的开源模型) 等当时较好的LLM

运用 LLM 的技巧

  • 供给了一些运用技巧,比方留意模型的练习截止时刻 (2021年9月)、留意输入文本长度约束、避免 hallucination 等

  • 要树立正确的心思模型,了解其良莠不齐的输出

运用 LLM 进行编程

  • 评论了 LLM 在编程方面的运用,包含解说术语、命名 (供给多个选项)、API规划等

  • 作者经过 LLM 进步了4-5倍的编程功率,而且展现了经过 LLM 生成测量文件大小脚本的示例

依据 LLM 我们能够构建什么

  • Giving them access to tools:依据ReAct方式,能够给 LLM 供给外部东西 (如Wikipedia) 的拜访权限;作者展现了经过英文指令来「编程」操控 LLM 的示例

  • Retrieval augmented generation:运用查找引擎为 LLM 供给额定上下文信息,辅佐 LLM 生成答案;作者依据该办法构建了问答demo

  • Embeddings and vector search:词向量可表明文本语义,用于类似文本的向量空间查找;作者介绍了词向量相关技能

ChatGPT Plugins

  • ChatGPT插件能够拜访外部API,供给额定能力

  • 作者构建了一个拜访 Datasette API 的插件 Demo,并评论了或许的圈套

ChatGPT Code Interpreter

  • 该东西让ChatGPT能够运行代码,解决 hallucination问题

  • 作者经过它生成了Mandelbrot分形动画

LLM 的练习方法

  • LLaMA training data:LLaMA运用了许多爬虫、GitHub等数据,其间4.5%是Books3的数据集,包含许多侵权书籍内容

  • Reinforcement learning from human feedback:介绍了该练习办法对进步 LLM 质量的重要性

Openly licensed models

  • 评论了 Llama2 等开源 LLM 模型的情况,大多数模型发布时的答应并不是「开源」的,往往带有一大堆额定的约束

  • 作者也介绍了开源社区无视答应证约束进行fine-tuning的现状

My LLM utility

  • llm.datasette.io/en/stable

  • 这是作者开发的 LLM 命令行东西,能够完结生成release note等功用

Prompt injection

  • 探讨了该安全问题, LLM 是易受攻击的;作者提出了该攻击的比方并链接了相关文章 ⋙ 阅读原文
周鸿祎为360智脑招贤纳士;LLM时代的选择指南;Kaggle大语言模型实战;一文带你逛遍LLM全世界 | ShowMeAI日报

云启资本「AIGC + Game」洞悉, LLM 在游戏中的新潜力

周鸿祎为360智脑招贤纳士;LLM时代的选择指南;Kaggle大语言模型实战;一文带你逛遍LLM全世界 | ShowMeAI日报

这是云启资本与硅谷AI社群、Xbox/Riot Game/腾讯/Inworld多位职业专家/游戏创业者/投资人等的干货洞悉,总结了AI正在为游戏职业带来的各个环节的范式革新

游戏是内容制造的集大成者,越来越多来自AI、游戏、构思等不同布景的创业者正在进入这个范畴。而多模态生成式AI的飞速迭代,使得游戏正在成为新的泛娱乐方式。

一、AIGC+游戏:新运用

  1. 财物生成

  • AI东西的呈现大幅进步了游戏财物生成功率 (文中比方的综合本钱减少10%左右)

  • 许多游戏大厂已有AIGC管线投入运用中 (如网易);硅谷已有多家创业公司切入赛道,为开发者供给游戏财物生成渠道 (如Scenario、Kaedim、NVIDIA GET3D)

  1. 组织架构

  • AI改动了作业流,极大下降了「构思审核」的门槛和沟通本钱,将更多资源转向构思范畴,有些作业室已经将本来3个月的作业量紧缩到了1周内

  • AI让「多面手」职工能够全面释放创造力,10+职工的小团队就能够全部完结本来需求几百几千人的大项目

  1. 游戏规划思路

  • 核心仍是「让游戏好玩」,游戏开发者面对的最重要的问题仍然是玩家究竟在游戏里寻觅什么,怎么招引更多新玩家、并进步粘性

  • 当下能够研讨「新技能带来了哪些规划思路上的新玩法」,例如在交互中生成奇幻世界、将现有的公共IP小说作品改编成在线交际角色扮演游戏等

  1. 运营链条

  • AI对于游戏职业的改动,还掩盖到了发行、运营、营销等环节,运用AI东西进步功率,比方后台的数据分析怎么直接衔接至生产和规划等

二、AI Agent 的新用法

  • AI Agent 的进化正逐渐打破游戏的既有规划理念,为游戏开发者供给了新的玩法思路

  • AI Agent 大幅进步 NPC 的交互、记忆、情感体现能力,极大进步玩家的「参与感」(例如网易「逆水寒」)

  • AI Agent 也已经被用来进行主动化测验,替代人工跑通一切关卡

三、UGC 的新玩法

  • UGC 是游戏运营的核心环节,AIGC 东西整体拉低了创作门槛,有利于 UGC 社区内容的蓬勃开展

  • 当AI东西的「可即性」就像短视频拍摄相同简略时,游戏就有时机成为一个媒介渠道,招引屏幕重视时长 (类比抖音)

四、新探求,新问题

  • 游戏是一个高度数字化、结构化的场景,几乎是大模型的最佳Playground,想象空间被无限拉高,也呈现了新的问题

  • 本钱和算力仍然是最大的掣肘,大模型的「通用性」和「扩展性」也还没完结,商业方式有待开拓,生态仍在前期 ⋙ 阅读原文

周鸿祎为360智脑招贤纳士;LLM时代的选择指南;Kaggle大语言模型实战;一文带你逛遍LLM全世界 | ShowMeAI日报

Kaggle Notebook 大言语模型实战,编程实例带你搞定 GPT

周鸿祎为360智脑招贤纳士;LLM时代的选择指南;Kaggle大语言模型实战;一文带你逛遍LLM全世界 | ShowMeAI日报

Kaggle 举办的AI竞赛「LLM Science Exam」,目的是测验和比较不同言语模型在科学范畴的常识了解和推理能力,参赛队伍需求提交一个能够主动答复这些科学问题的言语模型。

在开始练习我们自己的模型之前,学习一些大言语模型的根底常识是十分必要的!这篇Kaggle教程具体介绍了大言语模型的定义、开展历史、典型运用等相关常识,供给了在 Colab 上体会 LLM 的示例,以及怎么在 Kaggle 渠道上运用 LLM!

  1. 导言和设置:文章导入OpenAI模块,并具体展现了创立OpenAI账号、获取密钥、设置认证等步骤的代码,让读者能够明晰了解在 Kaggle Notebook 中完结调用API预备的全过程

  2. 运用 OpenAI API:给出了不同模型 (text-davinci-003、code-davinci-002等) 调用示例代码,并打印出完整的恳求URL,让读者看到参数设置的细节,而且比较了各模型的差异和好坏

  3. 有任何过错的答复吗:运用代码调用API生成答复,查看语法、现实过错,像言语模型提问,验证其答复的过错

  4. 运用 Bing 进行更深入的探求:编写查找引擎查询代码,将查找结果与 LLM 答复进行比照,发现 LLM 答复的现实谬误

  5. GPT-3.5基准精度:给出各种Prompt的代码完结,核算不同Prompt下答复的准确率,直观展现 Prompt Engineering 的重要性

  6. 更好的提示和对话:构建多轮对话代码,改动Prompt的说法,让LLM逐渐改善答复

  7. 对答复进行评分:用 Python 树立打分函数,评价答复质量,并作图展现不同 Prompt 的分数分布,直观反映代码的可视化效果 ⋙ 学习教程 | LLM Science Exam

感谢贡献一手资讯、资料与运用体会的 ShowMeAI 社区同学们!

周鸿祎为360智脑招贤纳士;LLM时代的选择指南;Kaggle大语言模型实战;一文带你逛遍LLM全世界 | ShowMeAI日报

◉ 点击 日报&周刊合集,订阅话题 #ShowMeAI日报,一览AI范畴开展前沿,抓住最新开展时机!

◉ 点击 生产力东西与职业运用大全,一起在信息浪潮里扑腾起来吧!